Zero-shot-промптинг (промптинг без примеров)

Zero-shot-промптинг означает просьбу к крупной языковой модели выполнить задачу, описав её на естественном языке, без предоставления каких-либо готовых примеров правильных пар «вход-выход». Термин заимствован из «zero-shot learning» в машинном обучении, где модель выполняет задачу, на которую её никогда явно не обучали и не дообучали. Современные базовые модели, такие как Claude и модели класса GPT-4, показывают сильную производительность в zero-shot режиме на многих задачах — классификация, суммаризация, перевод, простое извлечение данных — потому что их предварительное обучение включало миллиарды примеров выполнения похожих инструкций, поэтому они могут обобщать, опираясь только на саму инструкцию. Для разработчиков SaaS zero-shot-промптинг — самая быстрая и дешёвая отправная точка для любой ИИ-функции: не нужна подборка примеров, не нужен набор данных для дообучения — только чёткая инструкция. Это правильный выбор, когда задача распространена, чётко определена, и модель, вероятно, видела похожие паттерны во время обучения (например, «сократи это письмо до двух предложений», «извлеки итоговую сумму счёта из этого текста», «переведи это на испанский»). Она склонна показывать худшие результаты на задачах с необычными, специфичными для компании требованиями к форматированию, тонкими оценочными суждениями или отраслевыми соглашениями, которых модель не видела — в таких случаях few-shot-промптинг (добавление примеров) обычно значительно повышает надёжность. Конкретный пример: zero-shot-промпт для функции модерации контента: «Классифицируй следующий пользовательский комментарий как SAFE, SPAM или TOXIC. Ответь только меткой.\n\nКомментарий: \"Заходите на мой канал за бесплатными подписчиками!!! ссылка в профиле\"» — модель корректно возвращает «SPAM» без каких-либо примеров, потому что «похожий на спам рекламный комментарий» — это паттерн, который она видела в изобилии. Сравните это с задачей, специфичной для компании, вроде «классифицируй этот тикет поддержки по нашей внутренней таксономии из 12 категорий» — производительность zero-shot там часто посредственна, потому что модель никогда не видела именно эту таксономию, и становятся необходимы few-shot-примеры (или подробный глоссарий категорий в промпте) для достижения промышленного уровня точности. Команды обычно начинают с zero-shot, измеряют точность на оценочном наборе и добавляют few-shot-примеры только там, где zero-shot не справляется — сопротивляясь искушению чрезмерно усложнять промпты для задач, с которыми модель уже хорошо справляется. Производительность zero-shot также существенно улучшилась в последовательных поколениях моделей, а значит задача, которая требовала few-shot-примеров для надёжной работы на более старой модели, теперь может работать в режиме zero-shot на более новой, мощной модели — это хорошая причина периодически перепроверять, действительно ли накопленные few-shot-примеры в промышленном промпте всё ещё окупают свою стоимость в токенах, а не полагать, что решение о дизайне промпта, принятое год назад, всё ещё остаётся оптимальным.