不是经常,但一定会发生。限流、超时、服务临时不可用,这些在生产环境早晚遇到。必须做兜底。
三层兜底:重试(失败重试2-3次)→ 降级(换另一个模型)→ 兜底回复(实在不行说"我帮您转人工")。
建议接2-3个。一个模型挂了自动切到另一个。主模型用便宜的,备用模型用贵的,日常走便宜的,故障时切贵的。
10-30秒。太短容易误杀,太长客户等不耐烦。超时了直接转人工,别让客户干等。
1%以下正常。超过5%说明有问题,要排查。失败率高影响用户体验,要重视。
可在线演示,1 个工作日内回复,源码交付、私有化部署。