Стоп-последовательность

Стоп-последовательность — строка, при появлении которой генерация немедленно прекращается. Вы передаёте одну или несколько вместе с запросом; как только декодер выдаёт совпадающий фрагмент, он останавливается, а сам стоп-текст обычно исключается из возвращаемого ответа. Она нужна потому, что у модели нет надёжного представления о том, когда вызывающая сторона считает ответ законченным: предоставленная сама себе, модель может уйти в пояснение, во второй пример или в воображаемую следующую реплику, — а токены, сгенерированные после полезной части, всё равно стоят денег и задержки. Типичные применения узкие и механические. В вызове на классификацию или извлечение перевод строки в качестве стоп-последовательности гарантирует однострочный ответ. В few-shot промпте из повторяющихся блоков естественный стоп — разделитель блока, ведь привычка модели продолжать шаблон это ровно то, что нужно прервать. В чат-подобном дополнении маркер начала пользовательской реплики не даёт модели написать обе стороны диалога. Две оговорки. Стоп-последовательность, которая законно встречается внутри содержимого, обрежет корректный ответ: голый перевод строки плох для многострочного вывода, а закрывающая фигурная скобка плоха для вложенного JSON. И поскольку модель была прервана, а не закончила сама, всегда проверяйте причину завершения в ответе: принять обрезанное дополнение за полное — распространённый источник тихо испорченных данных ниже по конвейеру.