AI应用上线不是终点。用户问了什么、AI答得对不对、花了多少钱、哪里出了问题——这些你不监控，就永远在"用户投诉了才知道出错"的被动状态。
一、必须监控的5个指标
- 响应时间：平均多久回一次？高峰期会不会超时？超过5秒用户就跑了。
- 成功率：API调用失败率多少？限流了没有？
- 成本：每天token用量多少？花了多少钱？突然涨了要查原因。
- 答错率：用户点"没用/转人工"的比例多少？重复出现的错误问题是什么？
- 用户反馈：好评差评比例？哪些问题用户最不满意？
二、日志必须记什么
- 用户问了什么（原始query）
- AI答了什么（完整回复）
- 调用了哪个模型、用了多少token
- 响应时间
- 用户反馈（有用/没用/转人工）
出了问题要能回溯：当时用户问了什么、AI怎么答的、当时知识库版本是什么。没有这些日志，出了问题根本查不出来。
三、最常见的三个故障
- API超时/限流：高峰期第三方API扛不住。要做重试机制和备用模型切换。
- 回答跑偏：知识库没喂对、切片策略不好。要定期review答错的问题，优化知识库。
- 成本暴涨：Prompt写太长、或者被恶意刷调用。要设用量告警。
常见问题
AI应用必须监控什么？
五个：响应速度、成功率、token用量和成本、答错率、用户反馈。前三个是技术指标，后两个是业务指标。
怎么知道AI答错了？
用户点"没用/转人工"时记录下来；定期抽样人工review；把重复出现的错误问题整理出来优化知识库。
日志要记多久？
至少保留3个月。出了问题要能回溯当时用户问了什么、AI怎么答的、当时知识库版本是什么。
要专门买监控工具吗？
小规模不用。自己记日志到数据库，写个简单面板看就行。量大了（每天上千次调用）再考虑专业监控工具。
AI应用最常见的故障是什么？
三个：API超时/限流、回答跑偏（知识库没喂对）、成本暴涨（Prompt写太长或被刷了）。这三个都要监控。
需要一套带监控的AI系统？
可在线演示，1 个工作日内回复，源码交付、私有化部署。
立即免费咨询