Self-consistency (самосогласованность)

Self-consistency — это техника промптинга/инференса, повышающая надёжность рассуждения по методу chain-of-thought путём выборки нескольких независимых путей рассуждения для одного и того же вопроса (запуская один и тот же промпт несколько раз с ненулевой температурой, чтобы каждый запуск мог рассуждать по-разному), а затем выбора окончательного ответа голосованием большинства среди этих запусков, вместо доверия единственной генерации. Представленная вместе с исследованиями chain-of-thought, self-consistency использует тот факт, что неверные пути рассуждения LLM склонны расходиться (разные ошибки выглядят по-разному), тогда как множественные верные пути рассуждения склонны сходиться к одному и тому же ответу даже через разные маршруты — поэтому ответ, полученный голосованием большинства, статистически с большей вероятностью верен, чем любая отдельная выборка, что по духу похоже на ансамблевые методы в классическом машинном обучении. Для разработчиков SaaS self-consistency — это практичный рычаг повышения надёжности для задач, где неверный автоматический ответ дорого обходится (финансовые расчёты, медицински-ориентированная сортировка, классификация юридических документов), и где дополнительная стоимость 3-5-кратных вызовов API оправдана приростом точности. Реализуется полностью в коде приложения, а не как специальный параметр API: вызовите один и тот же промпт N раз (обычно 3, 5 или 7 — нечётные числа избегают ничьих) при умеренной температуре (например, 0,7), извлеките окончательный ответ из каждого отклика и верните тот ответ, который встречался чаще всего; для ответов в свободной форме более дешёвый вызов «судьи» может кластеризовать семантически похожие ответы перед голосованием. Очевидные компромиссы — стоимость (N-кратные расходы на API) и задержка (смягчается запуском N вызовов параллельно, а не последовательно). Конкретный пример: ИИ-классификатор налоговых категорий для бухгалтерского SaaS-сервиса прогоняет каждое неоднозначное описание транзакции через промпт классификации 5 раз параллельно при температуре 0,7. Для транзакции «Подписка Adobe Creative Cloud» 4 из 5 запусков возвращают «Программное обеспечение и подписки», а 1 возвращает «Офисные принадлежности» — система берёт ответ большинства, «Программное обеспечение и подписки», и дополнительно логирует уровень несогласия 1 из 5 как сигнал уверенности, помечая транзакции с низким согласием (например, разбивка 3-2) для проверки человеком вместо автоматической категоризации. Это превращает единичную зашумлённую классификацию как в более точный ответ, так и во встроенную оценку неопределённости.