Skeleton-of-Thought

Skeleton-of-Thought (SoT), modele önce kısa bir "iskelet" — yanıtın kapsaması gereken maddelerin çıplak listesini — ürettiren, ardından her maddeyi ayrı ayrı açtıran bir yönlendirme kalıbıdır. Maddelerin açılımları birbirine bağlı olmadığı için token token sırayla değil paralel üretilebilir; asıl cazibesi de budur: SoT (Ning vd., 2023) uzun yanıtların gecikmesini düşürmek için önerildi ve bazı liste tipi görevlerde süreyi kabaca yarıya indirirken kaliteyi çoğu zaman koruyor ya da artırıyor. SaaS geliştiricileri için pratik tarafı hız: "5 onboarding e-postası taslağı üret" ya da bir karşılaştırma dökümü gibi çok parçalı çıktı veren özelliklerde kullanıcı her saniyelik akış gecikmesini hisseder. Bedeli ise orkestrasyon karmaşıklığıdır: iskelet için tek çağrı yapar, her bölüm için paralel çağrıları dağıtır, sonra hepsini birleştirirsiniz. Her adımın öncekine bağlı olduğu sıkı akıl yürütme zincirlerine değil, madde madde sayılabilen yanıtlara uygundur.