成本变量
成本隔离
批量任务不要直接使用主业务 Key。建议为每个环境、活动或客户创建独立 API Key:
平台提供 Key 额度、余额、用量日志和低余额通知。每日预算、worker 停止阈值和业务幂等需要在你的队列或后端里实现。
推荐做法
- 先用低成本模型跑通流程,对关键任务再切高质量模型
- 文本接口设置合理的
max_tokens或max_completion_tokens - 默认关闭不需要的 Web Search、File Search 和内置图片工具
- 图片默认用
n: 1,确认模型支持后再使用n > 1 - 视频先用短时长、低分辨率验证,再切高时长或高分辨率
- 批量任务先抽样 20-50 条真实数据
- 给每个任务记录模型和实际消耗
- 为异常重试设置最大次数
- 对请求
n、返回data.length、保存成功数和实际消耗做对账 - 余额不足通常是 403,常见
error.code: "insufficient_user_quota",不要对这类错误自动重试 - 批量任务启动前先估算预算,并设置 Key 额度上限和余额下限
- 每个任务保存
request_id和upstream_request_id,后续按控制台用量日志对账 - 把“生成失败”和“保存失败”拆成两个状态,避免重复生成
成本保护
批量预算模板
quota 反推平均成本和 P95 成本,再放大批量。
放量规则
如果任一阶段出现连续 429、超时升高、
data=[] 增多或保存失败,就先停放量,降低并发或切换模型。
对账指标
推荐每个任务至少保留: