Потоковая генерация

Потоковая генерация отдаёт вывод модели токен за токеном по мере его создания, а не ждёт весь ответ, чтобы вернуть его одним блоком. Пользователь видит, как слова появляются почти сразу, — именно поэтому чат-интерфейсы ощущаются отзывчивыми, даже когда полный ответ занимает несколько секунд. Технически API возвращает поток (обычно server-sent events), который ваше приложение читает по частям и отрисовывает по мере поступления. Для разработчиков поток — прежде всего выигрыш в UX и воспринимаемой задержке: для ощущения скорости продукта время до первого токена важнее полного времени ответа, а ещё поток позволяет показывать прогресс, прерывать генерацию досрочно или начинать постобработку до её завершения. Практические заметки: потоковые ответы усложняют всё, что требует вывода целиком — разбор JSON, модерацию, подсчёт токенов, — поэтому в конце вы всё равно часто буферизуете и проверяете результат. Аккуратно обрабатывайте обрывы соединения и частичный вывод и помните, что поток не снижает стоимость или общий объём вычислений — он лишь меняет момент, когда байты доходят до пользователя.