Token Bütçesi

Token bütçesi, bir isteğin, bir özelliğin veya bir müşterinin kaç token tüketebileceğine dair açık bir tavandır. Altyapı diliyle ifade edilmiş bir ürün kararıdır; olmadığında bağlam, biri faturayı fark edene kadar büyür. Bağlam iyi nedenlerle büyür; tehlikeli olmasının sebebi de budur. Biri doğruluk için üç belge daha ekler, bir başkası tüm konuşma geçmişini iliştirir, üçüncüsü sistem promptuna şirket üslup kılavuzunu koyar. Her değişiklik savunulabilir, toplam etki ise birkaç puan kalite için geçen çeyreğin dört katına mal olan bir istektir. Bütçe, ödünleşimi görünür kılar. Her özelliğe bir tahsis verin, p95'i buna karşı ölçün ve aşan her şeyin harcamayı gerekçelendirmesini isteyin — genelde kımıldayan bir kalite metriğiyle. Uygulama noktaları: kırpma politikası (bütçe sıkıştığında önce ne düşer — genelde en eski turlar, asla sistem kuralları), getirme üst sınırı ve çıktı uzunluğuna sert bir üst sınır. Bunları bilinçli belirleyin; varsayılanları, kopyaladığınız SDK örneğini yazan kişi belirlemiştir.