Hız Sınırı Geri Çekilmesi

Backoff, bir API hayır dediğinde — genelde 429 veya 503 — istemcinin kullandığı yeniden deneme stratejisidir. İstemci hemen denemek yerine bekler ve bekleme her denemede büyür: bir saniye, iki, dört, sekiz. Birlikte başarısız olan bin istemcinin birlikte yeniden denememesi için rastgele jitter eklenir. Model API'lerinde bu alışılmadık biçimde önemlidir, çünkü sınırlar iki eksende bağlar: dakikadaki istek ve dakikadaki token. Bir iş yükü istek sınırının çok altındayken uzun promptlar yüzünden kısıtlanabilir — tam da yük altında hata ayıklarken kafa karıştırır. Üç kural işi ayakta tutar. Sağlayıcı Retry-After başlığı gönderiyorsa ona uyun; formülünüzden daha iyi bilgidir. Toplam deneme sayısını sınırlayın ve kimsenin boşaltmadığı bir kuyruğa denemek yerine gerçek hatayı gösterin. Ve denemeleri idempotent yapın: zaman aşımından sonra üç kez denenen bir üretim, sağlayıcı tarafında üç kez faturalanmıştır. Kullanıcıya dönük yollarda uzun deneme zinciri yerine hızlı bir yedeği tercih edin. İki saniyelik takılma, küçük bir modelden gelen biraz daha zayıf yanıttan daha çok iyi niyet harcar.