就是模型一次能"看到"的文字长度。你塞进去的内容越多,模型能参考的越多——但也越慢越贵。
上下文窗口再大也有上限,三种常见处理:一是分块,长文档拆成多段,只检索相关段落送进窗口;二是摘要,把历史对话先压缩成要点再接续,适合客服这类多轮场景;三是外置检索,窗口里只放检索结果和当前问题,其余全放向量库里,用检索代替硬塞。大多数业务用第一种就够,别一上来就换大窗口模型。
不是。上下文越大,越慢越贵。够用就行,别为了大而大。
放最相关的:当前问题、检索到的知识库片段、系统提示。别把所有历史都塞进去。
不用。放最近几轮就行。放太多不仅浪费,还会让模型跑偏。
测试:放最相关的内容进去,看回答准不准。准就够,不准就再加相关内容。
变慢变贵,还会让模型抓不住重点。不是越多越好,是越相关越好。