Потеря в середине (Lost in the Middle)

«Потеря в середине» — это вывод о том, что языковые модели лучше всего используют информацию, когда она стоит в начале или конце длинного контекста, и хуже всего — когда она зарыта в середине. Даже модели, рекламирующие огромные окна контекста, показывают эту U-образную закономерность: поместите ключевой фрагмент в середину длинного промпта — и модель заметно чаще его пропустит. Поведение задокументировано в исследовании 2023 года и имеет реальные последствия для всех, кто набивает в промпт много текста. Для разработчиков — особенно в RAG — это значит, что просто извлечь нужный документ недостаточно; важно, куда вы его поместите. Практическая заметка: располагайте самые важные извлечённые фрагменты в начало и конец контекста, а не в середину; держите промпты настолько сжатыми, насколько позволяет задача, вместо того чтобы максимизировать контекст просто потому, что можете; и проверяйте точность извлечения на реалистичных длинах контекста. Шаг переранжирования (reranking), выносящий главные доказательства к краям, способен заметно улучшить ответы.