RAG系统上线就不管了？半年后你会发现准确率从80%掉到50%——业务变了、知识库没更新、切片策略过时了。上线只是开始，持续监控优化才是关键。
一、监控三个核心指标
- 准确率：每周抽10-20条对话人工打分，看答得对不对
- 满意度：对话结束后用户打个分（👍/👎）
- 覆盖率：多少问题AI答不上来（转人工/说不知道）
二、怎么发现知识库缺什么
把AI说"我不知道"的问题收集起来——这些就是知识库缺的内容。每周看一次，把高频问题补充进知识库。
三、为什么效果会慢慢变差
- 业务变了、产品更新了、流程改了
- 知识库没同步更新
- 新问题层出不穷，老知识库覆盖不到
不监控不优化，半年后准确率就掉下来了。
常见问题
RAG上线后要监控什么？
监控三件事：准确率（答得对不对）、满意度（用户打几分）、覆盖率（多少问题答不上来）。每周看一次。
怎么知道RAG准确率掉了？
每周抽10-20条对话人工打分。准确率比上周掉了10%以上，说明有问题，要排查。
怎么发现知识库缺什么？
看"没答案"的对话。AI答不上来的问题收集起来，就是知识库缺的内容，定期补充进去。
RAG效果会随时间变差吗？
会。业务变了、产品更新了、流程改了，知识库没同步更新，准确率就慢慢掉。不监控半年后就没法用了。
监控要专人做吗？
不用专人。系统自动收集数据，每周抽时间看一眼就行。半小时的事，但很重要。
需要一套带监控的RAG系统？
可在线演示，1 个工作日内回复，源码交付、私有化部署。
立即免费咨询