长上下文里答案放中间，GPT-3.5 比不给文档还答得差？《Lost in the Middle》
TL;DR：斯坦福等机构的研究者发现，把相关信息放在长输入的开头或结尾，模型答得最好；放在中间，准确率明显下滑。在多文档问答里，GPT-3.5-Turbo 在最差位置的表现甚至低于完全不给文档的基线（56.1%）。这说明模型并不能稳健地利用整段长上下文，但不等于「长上下文没用」：多数位置上给文档仍然有帮助。 这是一篇 2023 年的老论文：arXiv 首版于 2023 年 7 月 6 日提交，后发表于 TACL 2024。文中测的是当时的模型，现在的模型表现未必相同，但它提出