生产代码里不要把模型名散落写死。建议把默认模型、兜底模型和实验模型都放进配置,并在日志里记录每次实际调用的
model 和 X-Oneapi-Request-Id。Tapapi 已接入的模型远不止文档里的精选详情页。模型中心只放主流模型族和重点说明;完整实时列表以控制台和价格页为准。
第一步:先选模态
第二步:按业务目标选
第三步:给模型分角色
生产环境不要只配一个模型。默认模型解决日常吞吐,兜底模型解决可用性,高质量模型解决高价值请求,实验模型只进入灰度。
第四步:小样本评测
- 从真实业务里抽 20-50 条样本,不要只用演示 prompt。
- 每个候选模型使用同一批输入,记录返回内容、耗时和错误码。
- 文本任务看指令遵循、格式稳定、首字时间和总耗时。
- 图片任务看可用率、主体稳定、尺寸比例、转存字段和单张成本。
- 视频任务看任务提交、轮询、完成耗时、输出文件和失败返还。
- 最后再决定默认模型、兜底模型、预算上限和降级策略。
不建议的选法
- 只选最便宜的模型,不测失败率和人工可用率
- 只看单张样例效果,不测真实批量
- 只看文档里的模型介绍,不确认账号是否有权限
- 把受控开放模型直接放进默认生产链路
- 没有记录实际
model、价格、耗时和错误码 - 没有记录
request_id,导致扣费、超时和失败无法定位 - 没有为 429、5xx、超时和内容安全拒绝设置降级路径