Etiketleme Kılavuzu

Etiketleme kılavuzu, insanlara veriyi nasıl etiketleyeceklerini anlatan yazılı yönergedir: her etiketin ne anlama geldiğini, etiketlerin arasında kalan durumların nasıl ele alınacağını ve doğru yanıtın gerçekten belirsiz olduğu hâllerde ne yapılacağını söyler. Bir makine öğrenmesi projesindeki en gösterişsiz ve en çok kaldıraç sağlayan üründür, çünkü sonraki bütün sayılar onun ürettiği tutarlılığı devralır. Önemli olmalarının nedeni etiketlemenin bir yargı işi olması ve desteksiz yargının dağılmasıdır. Aynı belirsiz destek talebi verilip bunun bir şikâyet olup olmadığı sorulan iki özenli kişi farklı yanıt verir; ikisi de dikkatsiz olduğu için değil, sözcük her biri için biraz farklı bir şey ifade ettiği için. Kılavuz bunu çözmüyorsa anlaşmazlık, sinyalmiş gibi veri kümesine yazılır; onunla eğitilen model belirsizliği yeniden üretir ve değerlendirme kümesi de aynı gürültüyü taşıdığı için sorunu hiçbir şey açığa çıkarmaz. İyi kılavuzlar ilk ilkelerden değil anlaşmazlıklardan doğar. Verimli döngü şudur: kısa bir taslak yazın, aynı küçük partiyi birkaç kişiye bağımsız olarak etiketletin, nerede ayrıştıklarını ölçün ve emeği yalnızca ayrışmayı üreten sınırlara harcayın. Soyut tanımlar nadiren yardım eder; doğru etiketleri farklı olan neredeyse aynı iki örnek ve nedenini açıklayan tek bir cümle, sayfalarca tanımdan değerlidir. Her kılavuzda bulunması gereken birkaç şey vardır. Bir karar sırası: iki etiket de uyar göründüğünde açıkça belirtilmiş bir öncelik olsun. Etiketlenemeyen durumlar için açık bir seçenek, çünkü seçim dayatmak gürültü imal eder ve taksonominin eksik olduğunu gizler. Ne kadar bağlam kullanılacağına dair talimat — tüm yazışma mı yoksa yalnızca mesaj mı — yoksa etiketleyiciler sessizce farklı seçerler. Ve belirsiz bir durumda ne yapılacağına dair kural: tahmin etmek değil, yukarı taşımak. Kılavuzlar kayar ve onları sürümlemek isteğe bağlı değildir. Bir kural değiştiğinde eski ve yeni sürüm altında üretilen etiketler artık aynı ölçüm değildir; bu sınırı aşan bir değerlendirme karşılaştırması, kimsenin yapmadığı bir değişiklik üretir. Her etiketin hangi sürüm altında üretildiğini kaydedin ve bir kural esaslı biçimde değiştiğinde ikisini karıştırmak yerine etkilenen dilimi yeniden etiketleyin. Aynı belgenin artık ikinci bir hayatı var. Yargıç olarak bir model kullanıldığında ona verilen ölçüt, okuyucusu değişmiş bir etiketleme kılavuzudur ve aynı nedenlerle bozulur: bulanık ölçütler, beraberliği bozacak bir sıra yokluğu, çekimser kalma seçeneğinin bulunmaması. İnsan kılavuzunu önce iyi yazmak, kullanılabilir bir otomatik yargıca giden en ucuz yoldur; o kılavuza göre üretilen insan etiketleri de yargıcın herhangi biriyle uyuşup uyuşmadığını denetlemenin tek inandırıcı yoludur.