Çıkarım Gecikmesi

Çıkarım gecikmesi, bir modelin yanıt vermesinin ne kadar sürdüğüdür ve tek değil iki sayıdır. İlk token süresi, hiçbir şey görünmeden önceki bekleyiştir; saniyedeki token olarak verim ise geri kalanın ne hızla geldiğidir. Kullanıcı bunları farklı deneyimler, yanlış olanı iyileştirmek emek israfıdır. Sohbet arayüzünde algıyı ilk token süresi belirler. 300 ms'de başlayıp dört saniye akan bir yanıt, iki saniyede bütün hâlinde beliren yanıttan daha hızlı hissettirir — bu yüzden akış teknik bir ayrıntı değil, ürün özelliğidir. Kimsenin izlemediği toplu işlerde yalnızca toplam süre önemlidir. En büyük katkı genelde modelden gelmez. Prompt uzunluğu ön doldurma süresini belirler; 4.000 token'a şişmiş bir sistem promptu her isteği vergilendirir. Getirme ve araç çağrıları gidiş-dönüş ekler. Üç model çağrısından oluşan bir zincirin üç soğuk başlangıcı vardır. Zor istekler için daha büyük model seçen bir yönlendirici ise gecikmeyi tam da kullanıcının en sabırsız olduğu isteklerde kaliteye takas eder. Ortalamayı değil p95'i ölçün: ortalama kuyruğu gizler, akılda kalan ise kuyruktur.