结论
- Next.js chatbot 绝不能把 provider key 暴露在 client component 或浏览器 bundle。
- 免卡 API 适合验证 UX 和 prompt flow，不适合客户可用性保证。
- OpenAI-compatible baseURL 能让后续迁到付费或路由 provider 更简单。
- 生产环境需要请求上限、路线日志、fallback 和花费告警。
怎么做
- 创建私有 route handler 或 server action，从环境变量读取 baseURL、apiKey 和 model。
- 公开 UI 前，先跑一次最小 streaming 响应和一次结构化 JSON 响应。
- 用 20 个真实 chatbot prompt 比较一条免卡路线、一条低价付费路线和一个 fallback 模型。
- 记录 provider、model、tokens、延迟、错误、重试、user/session id 和最终被接受答案。
- chatbot 需要统一兼容 endpoint、预算、fallback 和 provider 切换时，用 OpenLLMAPI。
推荐路径对比
| 平台 | 免费/额度 | 适合 |
|---|---|---|
| OpenRouter/Groq | 免费路线变化 | 快速免卡 Next.js chatbot demo |
| 通义千问 DashScope | 注册额度变化 | 中国大陆友好 compatible baseURL 测试 |
| DeepSeek | 核验当前价格 | 原型后的低价推理 |
| 智谱 GLM | 注册 tokens 变化 | 国产 chatbot fallback |
| OpenLLMAPI | 体验额度变化 | 生产路由、日志、预算和 fallback |
自有平台承接
给 Next.js chatbot 一条安全生产路线
原型继续用免卡路线，上线前加入服务端 OpenAI-compatible 路由、花费日志、fallback 和 UTM 注册追踪。
FAQ
能把免费 AI API key 放到 Next.js client component 吗？
不能。provider key 应放在服务端 route handler、server action、worker 或网关，浏览器只调用你自己的 endpoint。
先试哪个免卡 provider？
先选所在地区可用、正规且支持 SDK 的 provider，再和一条低价付费路线 benchmark 后上线。
OpenAI 兼容就够了吗？
不够。要在真实部署 runtime 测 streaming chunk、结构化输出、超时、限速和错误体。
什么时候从免费路线升级？
公开用户、客服组件、定时任务、付费功能或失败/延迟会产生业务成本之前。