结论
- 免卡 API 适合 Vercel AI SDK smoke test，不适合无人值守生产。
- key、baseURL、model、timeout 和 max tokens 都应放服务端 env。
- 兼容 endpoint 也要测试 streaming、JSON、tool calls 和错误格式。
- 上线前加入花费日志、fallback、限速和用户级 quota。
怎么做
- 创建私有 Next.js route handler，从 env 读取 baseURL、apiKey 和 model。
- 连接 UI 前，先跑一次最小 streaming 和一次 JSON 响应测试。
- 至少比较一条免卡路线、一条低价付费路线和一个 fallback 模型。
- 记录 provider、model、tokens、延迟、错误、用户 id 和最终接受结果。
- 需要一个兼容 Vercel AI SDK 且带预算/fallback 的 endpoint 时，用 OpenLLMAPI。
推荐路径对比
| 平台 | 免费/额度 | 适合 |
|---|---|---|
| OpenRouter/Groq | 免费路线变化 | 快速 JavaScript 原型和 demo |
| 通义千问 DashScope | 注册额度变化 | 中国大陆友好 compatible baseURL 测试 |
| DeepSeek | 核验当前价格 | 原型后的低价推理路线 |
| 智谱 GLM | 注册 tokens 变化 | Next.js chatbot 国产 fallback |
| OpenLLMAPI | 体验额度变化 | 统一 endpoint、日志、预算、路由和 fallback |
自有平台承接
让 Vercel 原型提前具备生产路线
用一个 OpenAI-compatible endpoint 管 Vercel AI SDK 的服务端 key、fallback、花费日志和 UTM 注册追踪。
FAQ
Vercel AI SDK 能接 OpenAI-compatible API 吗？
很多 chat workflow 可以，只要显式设置 compatible baseURL、key 和 model。但仍要测试 streaming、结构化输出和错误行为。
能把免费 API key 放客户端吗？
不能。key 应放服务端 route handler 或后端，浏览器只调用你自己的 endpoint。
先试哪个免卡 provider？
先试正规、注册最快且支持 SDK 的路线，再和一条低价付费路线 benchmark。
什么时候停止依赖免费路线？
真实用户、付费功能、客服 chatbot、定时任务或失败会产生业务成本的 workflow 之前。