Позиционное смещение

Позиционное смещение (position bias) — склонность LLM поддаваться тому, где расположена информация, а не тому, что в ней сказано; заметнее всего это, когда модель выступает судьёй или выбирает из вариантов. В попарной оценке судьи часто предпочитают кандидата, показанного первым (иногда последним), независимо от качества; тот же эффект виден в задачах с выбором ответа, где перестановка вариантов меняет решение. Оно заметно задокументировано в работах об LLM-судьях, например MT-Bench (Zheng et al., 2023), и связано, но не тождественно эффекту «потерянного в середине» (lost in the middle), когда факты в глубине контекста используются недостаточно. Это важно, потому что оно незаметно портит любой рейтинг, маршрутизацию или выбор, построенные поверх модели, выдавая результаты, которые выглядят обоснованно, но следуют за порядком. Для разработчиков средства дешёвы: меняйте позиции и усредняйте оба порядка, рандомизируйте порядок вариантов и калибруйтесь по небольшому размеченному человеком набору. Если решение меняется от одной лишь перестановки входов — решает позиционное смещение, а не содержание.