Top-p (нуклеус-сэмплирование)

Top-p сэмплирование, также называемое нуклеус-сэмплированием (nucleus sampling), — это альтернатива (или дополнение) температуре для контроля того, как LLM выбирает следующий токен во время генерации. Вместо масштабирования всего распределения вероятностей, как это делает температура, top-p работает так: ранжирует все возможные следующие токены по вероятности, затем оставляет только наименьший набор («ядро», nucleus), чья совокупная вероятность достигает как минимум p, и сэмплирует только из этого ограниченного набора — каждый токен вне ядра полностью исключается, независимо от того, насколько низкая температура иначе позволила бы ему проскочить. Top-p равный 1.0 учитывает весь словарь (без ограничений); top-p равный 0.1 ограничивает модель лишь крошечной горсткой токенов, которые вместе составляют 90% «очевидной» вероятностной массы, давая очень безопасный, предсказуемый вывод; распространённое значение по умолчанию вроде 0.9-0.95 исключает лишь длинный хвост крайне маловероятных токенов, всё ещё допуская значимое разнообразие. Это важно для разработчиков, потому что top-p динамически адаптируется к уверенности модели так, как не может фиксированная температура: когда модель очень уверена (один токен доминирует в распределении, как при завершении «Столица Франции — ___»), ядро мало даже при высоком p, поэтому вывод остаётся точным; когда модель не уверена (много правдоподобных следующих слов, например при продолжении творческой истории), ядро больше, что допускает больше разнообразия именно там, где разнообразие уместно. Конкретный пример: генерация вариантов описания товара с top-p=0.9 для инструмента e-commerce SaaS позволяет модели избегать одной и той же самой шаблонной формулировки каждый раз («Этот товар отличный и полезный»), при этом всё ещё исключая по-настоящему странные или не по теме завершения — баланс, которого одна лишь высокая плоская температура может не обеспечить. Большинство поставщиков API (OpenAI, Anthropic) рекомендуют настраивать либо температуру, либо top-p, но не накладывать агрессивные изменения на оба параметра сразу, поскольку их эффекты комбинируются способами, которые трудно предсказать — и для большинства продакшн-кейсов SaaS оставить top-p на значении по умолчанию и настраивать только температуру — более простой, более предсказуемый подход. На практике большинство разработчиков оставляют top-p на значении поставщика по умолчанию (обычно 0.9-1.0) и используют температуру как основной рычаг настройки, поскольку эффект top-p более тонкий и его сложнее оценить в изоляции — оставляя явную настройку top-p для случаев, когда одной температуры недостаточно для нужного баланса, например для функции творческого письма, которой нужно больше лексического разнообразия без потери связности, где умеренный top-p в сочетании с умеренной температурой часто превосходит выталкивание любого из параметров в крайность по отдельности.