一句话结论:准确率低别怪大模型,90%的问题出在知识库、切片、prompt这三个环节。把这三步调好,准确率能从50%提到90%。
很多人说"AI答得不好",但到底有多不好?拿100个真实客户问题去测:
不测就不知道问题在哪。
这是最关键的一步,占准确率影响的60%。
知识库喂进去后,系统会切片。切得好不好,占准确率影响的25%。
| 切片大小 | 问题 | 效果 |
|---|---|---|
| 太大(>2000字) | 一段里有多个主题,AI抓不住重点 | 答非所问 |
| 太小(<200字) | 上下文不够,AI不知道在说什么 | 回答不完整 |
| 切在中间 | 一句话切成两半 | 逻辑断裂 |
Prompt占准确率影响的15%。
"你是{公司名}的AI客服。请只根据提供的知识库内容回答客户问题。如果知识库中没有相关信息,请说'这个问题我帮您转人工客服',不要编造答案。回答要简洁,不超过3句话。"
客户问的问题,知识库里面有没有相关内容?检索能不能找到?
解决:加同义词词典,或者用更好的向量模型。
别一上来就用最大最贵的模型。大部分客服场景,7B模型就够了。模型只占10%的影响。
刚上线50-60%正常,优化1个月后80%以上合格,90%以上优秀。低于50%说明知识库有问题,别上线。
拿100个真实客户问题去测,答对的占比就是准确率。别凭感觉,要量化。答错的问题要分类:知识库没有、检索没找到、还是模型答错了。
提升有限。90%的准确率问题出在知识库和RAG链路,不是模型。换模型前先把知识库和切片调好。很多公司花几十万换模型,结果准确率只涨了5%。
80%以上就可以上线。剩下20%的问题让人工兜底。别等100%,永远做不到。上线后边用边优化,准确率会越来越高。
按上面三步优化,2-4周就能从50%提到80%。关键是每周花1小时看答错的问题,持续补知识库。
AI客服准确率上不去?
免费帮你做准确率诊断我们提供 AI智能客服/获客系统定制开发 —— 源码交付、私有化部署,先看成品再谈合作。