Инструкции по разметке

Инструкции по разметке — это письменные правила, объясняющие людям, как размечать данные: что означает каждая метка, как обходиться со случаями между метками и что делать, когда верный ответ действительно неочевиден. Это самый неяркий артефакт в проекте машинного обучения и один из самых рычажных, потому что все дальнейшие числа наследуют ту согласованность, которую он обеспечил. Важны они потому, что разметка — это суждение, а суждение без опоры расходится. Двое внимательных людей, получив одно и то же неоднозначное обращение и вопрос, жалоба ли это, разойдутся во мнениях — не по небрежности, а потому что слово значит для каждого чуть своё. Если инструкция это не разрешает, разногласие записывается в датасет как сигнал, обученная модель воспроизводит ту же двусмысленность, а оценочный набор несёт тот же шум, так что проблема не всплывает нигде. Хорошие инструкции строятся из разногласий, а не из первых принципов. Продуктивный цикл такой: написать короткий черновик, дать нескольким людям разметить одну и ту же небольшую партию независимо, измерить, где они разошлись, и тратить силы исключительно на те границы, которые дали расхождение. Абстрактные определения помогают редко; пара почти одинаковых примеров с разными правильными метками и одно предложение объяснения стоят нескольких абзацев определений. Несколько вещей нужны в любой инструкции. Порядок принятия решения, чтобы при двух подходящих метках существовало заявленное старшинство. Явная опция для случаев, которые разметить нельзя, потому что принуждение к выбору производит шум и прячет неполноту таксономии. Указание, сколько контекста читать — всю переписку или только сообщение, — иначе разметчики молча решают по-разному. И правило для неясного случая: его следует эскалировать, а не угадывать. Инструкции дрейфуют, и версионировать их не опция. Когда правило меняется, метки, созданные по старой и по новой версии, перестают быть одним и тем же измерением, и сравнение оценочных прогонов через эту границу даёт изменение, которого никто не вносил. Фиксируйте, под какой версией сделана каждая метка, а при существенной смене правила переразмечайте затронутый срез, а не смешивайте два. У этого документа появилась вторая жизнь. Когда судьёй выступает модель, выданная ей рубрика — это та же инструкция по разметке с другим читателем, и ломается она по тем же причинам: расплывчатые критерии, нет порядка разрешения ничьей, нет права воздержаться. Хорошо написанная человеческая инструкция — самый дешёвый путь к пригодному автоматическому судье, а человеческие метки, сделанные по ней, — единственный убедительный способ проверить, согласен ли этот судья хоть с кем-нибудь.