大模型(LLM)在长上下文处理中的“迷失在中间(Lost in the Middle, 简称 LitM)”效应,是当前AI应用开发(尤其是RAG和Agent开发)中必须面对的一个经典难题。 下面我将详细解释这一效应的原理,并给出在组装Agent上下文时规避该问题的一整套实用策略。 --- 一、 什么是“迷失在中间”效应? 定义: 斯坦福大学等机构的研究人员发现,当给大模型输入一段非常长的文本(例如包含几十个检索文档或超长对话历史)时,大模型在提取和利用信息时呈现出一种“U型”性能曲线: 首因效应(Primacy Effect):模型非常擅长提取位于提示词最开头的信息。 近因效应(Recency Effect):模型也非常擅长提取位于提示词最末尾(即最靠近提问处)的信息。 迷失在中间(Lost in the Middle):对于隐藏在长文本中间部分的关键信息,模型的检索和推理准确率会断崖式下降,常常发生忽略、幻觉或回答“我不知道”。 为什么会产生这种现象? 1. 训练数据偏差:人类写作的文章(如新闻、论文)通常把最核心的信息放在开头(摘要/导语)或结尾(总结)。模型在海量人类文本上...