用同一套测试集跑。改之前跑一遍,改之后再跑一遍,对比准确率有没有提升。别凭感觉改。
评估不是上线后随便问问,而是先建一套固定的测试集:从客服记录、销售提问、售后咨询里挑 20-50 条真实问题,覆盖常见、边缘、易混淆三类,每条配上标准答案(从资料里能溯源的)。之后每次改系统,都拿这同一套题跑一遍对比得分,分数没掉才算改进成功。测试集三个月更新一次,把新出现的高频问题加进去。
三步:准备测试集(100个真实问题)、跑一遍AI回答、人工打分。有数据才知道好不好。
80%以上合格。低于70%别上线,客户体验会崩。
真实客户问题。从历史对话里挑,别自己编。真实问题测出来的结果才准。
用同一套测试集跑。改之前跑一遍,改之后再跑一遍,对比准确率有没有提升。
不用。Excel就行:问题、标准答案、AI回答、打分。简单直接。