结论
- 免费 chatbot API 适合 demo，但面向客户时必须有预算上限和 fallback。
- 应按每次已解决会话成本选择，而不是只看 token 单价。
- API key 必须放服务端，不能嵌到网站 JavaScript。
- 广告、客服工单或真实客户数据带来流量前，应迁到 routed endpoint。
怎么做
- 创建一个免卡或免费额度测试 key，并把 chatbot 放在 staging URL。
- 跑 10 个代表性客户问题，记录回答质量、延迟、拒答和成本。
- 设置最大输入长度、最大输出 tokens、会话限速和每日花费告警。
- 配置便宜主路线，并为失败或高价值会话添加 fallback。
- 上线前把调用放到服务端 middleware 或 OpenLLMAPI，统一日志、预算和 provider 切换。
推荐路径对比
| 平台 | 免费/额度 | 适合 |
|---|---|---|
| OpenRouter/Groq | 免费路线变化 | 快速免卡 chatbot demo |
| 通义千问 | 注册额度变化 | 中国大陆友好业务 chatbot 测试 |
| DeepSeek | 核验当前价格 | 低价推理和客服答案 |
| 智谱 GLM | 注册 tokens 变化 | 国产 fallback 和中文客服 bot |
| OpenLLMAPI | 体验额度变化 | 统一 endpoint、fallback、日志和预算 |
自有平台承接
用带预算的 API 路由上线 chatbot
一个兼容 endpoint 同时承接免费测试、低价主模型、fallback 和花费日志；注册会标记小企业 chatbot 意图。
FAQ
上线后还能一直用免费 API 吗？
只有极低流量才可能。真实客户需要稳定限速、计费、支持、日志和 fallback。
优化哪个指标？
每次已解决会话成本，包含重试、差回答、fallback 调用和人工转接。
一定先做向量数据库吗？
不一定。先用小 FAQ prompt 测试，需要业务文档答案时再加检索。
API key 应放哪里？
放服务端、worker 或网关，绝不能放前端代码。