Пакетная обработка (Batch Processing)

Пакетная обработка (batch processing) — это вычислительный паттерн, при котором большой объём работы собирается и обрабатывается вместе как группа («пакет», batch), обычно по расписанию (ночью, ежечасно) или по достижении порога, вместо немедленной обработки поэлементно, по мере поступления каждого запроса (альтернативный паттерн — обработка в реальном времени или потоковая обработка). Почему это важно для разработчиков AI/SaaS: пакетная обработка — один из самых эффективных и недооценённых рычагов снижения затрат, доступных именно в AI-инфраструктуре, потому что крупные провайдеры LLM (OpenAI, Anthropic, Google) предлагают выделенные batch API, обрабатывающие запросы в течение 24-часового окна с существенной скидкой — обычно 50% от стандартной цены — в обмен на отказ от гарантий ответа в реальном времени. Для любой AI-нагрузки, не требующей мгновенного ответа (генерация эмбеддингов для накопившихся документов, классификация обращений в поддержку за неделю, пересчёт оценок каталога товаров после улучшения промпта, запуск наборов оценки против модели), направление работы через batch API вместо стандартного синхронного API — почти бесплатное снижение затрат. Как это работает: пакетное задание обычно отправляется как файл (часто JSONL — один объект JSON-запроса на строку), описывающий много независимых запросов сразу; провайдер обрабатывает их асинхронно, как правило успевая в пределах 24 часов (часто намного быстрее), и возвращает файл результатов, сопоставляющий каждый запрос с его ответом. Это естественно вписывается в архитектуру конвейеров данных — этап «трансформации» или «загрузки» ETL-конвейера часто сам реализован как пакетное задание. Компромисс по сравнению с обработкой в реальном времени — это задержка (пакетные задания завершаются за минуты-часы, а не миллисекунды) и немедленность обратной связи (ошибки проявляются после выполнения всего пакета, а не по отдельному запросу), поэтому пакетная обработка — правильный выбор именно тогда, когда нагрузка массовая, не срочная и чувствительна к стоимости, — и неправильный выбор для всего, чего пользователь активно ждёт в открытой вкладке браузера. Практический пример: SaaS для контент-маркетинга должен сгенерировать SEO-мета-описания для 40 000 существующих постов блога в CMS клиентов после добавления новой AI-функции. Вызов стандартного синхронного API LLM для всех 40 000 постов был бы одновременно медленным (ограничение частоты запросов, по одному) и дорогим по полной цене. Вместо этого команда пишет файл JSONL с одним запросом на генерацию мета-описания на пост, отправляет его в batch API провайдера LLM и через 6 часов скачивает файл результатов, запуская задание конвейера, которое записывает каждое сгенерированное описание обратно в соответствующую запись CMS — примерно за половину стоимости API по сравнению с синхронной альтернативой и без конкуренции за те же лимиты частоты запросов, которые нужны функциям реального времени живого продукта.