80%简单问题用便宜模型,20%复杂问题才用贵模型。成本直接降一半。
同样的问题别重复调API。把问题和答案存起来,下次问一样的直接返回,不花API钱。
输入也按token收费。prompt写越长越贵。核心的写清楚就行,别堆一堆。
输出按token收费。别让AI写长篇大论,够用就行。
多条问题批量处理,比一条条调便宜。
五个方法:简单问题用便宜模型、缓存重复问题、精简prompt、减少输出长度、批量调用。直接降一半。
同样的问题别重复调API。把问题和答案存起来,下次问一样的直接返回,不花API钱。
越短越省钱。输入也按token收费,prompt写越长越贵。核心的写清楚就行。
对。输出按token收费。别让AI写长篇大论,够用就行。
优化完成本能降50%-70%。很多钱都是白花的。
缓存不是存所有回答——只缓存"高重复、答案稳定"的问题:常见问答、产品参数、政策条款。判断标准:同一个问题一周内被问超过 3 次,就值得缓存。动态问题(报价、个性化推荐)不缓存,保证新鲜度。缓存命中率做到 30% 以上,费用下降就很明显。