Backoff при лимитах

Backoff — стратегия повторов, когда API отвечает отказом, обычно 429 или 503. Вместо немедленного ретрая клиент ждёт, и пауза растёт с каждой попыткой: секунда, две, четыре, восемь. Добавляется случайный джиттер, чтобы тысяча клиентов, упавших одновременно, не повторяла запросы синхронно. В API моделей это особенно важно, потому что лимиты действуют по двум осям: запросы в минуту и токены в минуту. Нагрузка может быть далеко ниже лимита по запросам и всё равно упираться в лимит из-за длинных промптов — сбивает с толку ровно тогда, когда вы разбираетесь под нагрузкой. Три правила спасают. Уважайте заголовок Retry-After, если провайдер его прислал: это лучшая информация, чем ваша формула. Ограничьте число попыток и покажите настоящую ошибку вместо ретраев в очередь, которую никто не разгребает. И делайте повторы идемпотентными: генерация, повторённая трижды после таймаута, со стороны провайдера трижды и оплачена. В пользовательских сценариях лучше быстрый фолбэк, чем длинная цепочка ретраев: две секунды подвисания стоят дороже, чем чуть худший ответ модели поменьше.