客服问答这种简单活，用轻量小模型就行。别一上来就用最大的旗舰模型，快好几倍效果差不多。
别把所有历史和知识库全塞进去。只放最相关的，塞得越少越快。
一个字一个字往外吐，用户看到字在打，不用等全部生成完。体验快很多。
调API最省事，又快又不用管服务器。自建模型要GPU、要维护，性价比低。
不用追求极限速度，达到这几个数字就行：客服场景首字延迟 1 秒内，客户感受不到卡顿；内容生成场景首字 2 秒内可接受；批量处理场景看吞吐不看首字，用并发跑满。测速时用真实业务 prompt 测，别拿“你好”这种空 prompt 测——输出长度不同，延迟差好几倍。稳定达标后再优化，不要为省几百毫秒牺牲回答质量。
四个原因：模型选太重、上下文塞太多、没做流式输出、服务器太慢。优化完能快好几倍。
客服问答这种简单活，用轻量小模型就行。别一上来就用最大的旗舰模型。
一个字一个字往外吐，用户看到字在打，不用等全部生成完。体验快很多。
API调用主要看模型厂商速度，本地部署要GPU。不用自建，调API最省事。
首字<2秒，完整回复<5秒。优化前可能10秒以上，优化完客户感觉快一倍。