Зарезервированная пропускная способность (provisioned throughput)

Зарезервированная пропускная способность — модель закупки размещённого инференса, при которой вы бронируете фиксированный объём мощности модели на срок и платите за саму бронь, а не по токенам в общем пуле по требованию. Поставщики продают это под названиями вроде «единицы зарезервированной пропускной способности», «зарезервированная ёмкость» или «выделенная ёмкость», а единицей служит та или иная мера токенов в секунду, гарантированная вам независимо от того, используете вы её или нет. Покупаются две разные вещи, и их стоит разделять. Первая — предсказуемая задержка и свобода от лимитов общего пула, из-за которых трафик по требованию под нагрузкой становится рваным: это ёмкость, которую у вас никто не заберёт. Вторая — определённость цены, а иногда и более низкая эффективная ставка за токен, но только выше объёма безубыточности. Ниже этого объёма зарезервированная ёмкость строго дороже, чем оплата по требованию, потому что вы платите и за простаивающие часы. Арифметика безубыточности проста, и делать её лучше до разговора с продавцом, а не во время: разделите стоимость обязательства за период на реалистичный объём токенов за тот же период и сравните результат с опубликованной ставкой по требованию. Команды ошибаются, планируя по пиковой пропускной способности при рваном трафике, — а это ровно тот профиль, которому больше подходит оплата по требованию. Риск сосредоточен в условиях обязательства. Брони обычно месячные или годовые, часто без права отмены, как правило привязаны к конкретной версии модели — что прямо сталкивается с прекращением её поддержки, поэтому спрашивайте, что станет с обязательством при выводе версии, — и нередко закреплены за регионом. В проде распространён гибрид: зарезервированная ёмкость под устойчивую базовую нагрузку и переполнение, уходящее на оплату по требованию; это ограничивает простой и оставляет запас на всплески.