Как держать человека в контуре, когда вы автоматизируете работу

Проверка — это решение о дизайне, а не оговорка

«Это проверяет человек» — фраза, благодаря которой автоматизированные процессы получают одобрение. И в большой доле реализаций она на практике неверна: человек присутствует, контрольная точка существует, и она одобряет почти всё, потому что спроектирована так, что настоящая проверка невозможна. Подлинность надзора зависит от конкретных решений о размещении, информации и объёме, а не от того, что человек формально стоит на пути.

Ставьте контрольную точку перед необратимым шагом

Правильное место для проверки — непосредственно перед тем, что нельзя отыграть назад: уходом денег, доставкой сообщения клиенту, изменением записи в учётной системе, закрытием аккаунта. Всё, что выше по потоку, может работать без присмотра, потому что ошибка там ещё поправима. Команды часто ставят проверку слишком рано — согласуют промежуточный черновик, а последствие затем выполняется автоматически, — и это даёт обряд надзора без его сути.

Там, где действие обратимо, обычно лучше другой приём: дайте ему выполниться, но вложитесь в его видимость и лёгкость отмены. Автоматизация с внятным журналом и отменой в один клик выигрывает у той, где есть очередь согласований, которую некому читать.

Дайте проверяющему достаточно для решения и не больше

Проверяющему нужны три вещи: что сейчас произойдёт, почему система это предлагает и что сделало бы этот случай ошибочным. Если интерфейс показывает только предлагаемый результат, единственное доступное суждение — выглядит ли он правдоподобно, а правдоподобие это ровно то, что языковая модель производит и когда ошибается. Покажите вход, с которым она работала, источник, на который опиралась, и любую проверку, которая не прошла или едва прошла. Подсветите отличия от обычного случая, потому что настоящая работа проверяющего — поймать исключение, а не перечитать рутину.

Тихо ломает всё именно объём

Качество согласования резко падает с количеством. Человек, которому дают четыреста позиций в день, одобрит почти все независимо от содержания, и сама доля одобрений — полезная метрика раннего предупреждения: очередь с девяноста девятью процентами одобрений либо автоматизируема, либо не проверяется, и стоит выяснить, что именно.

Обычное лекарство — перестать отправлять на проверку всё подряд. Маршрутизируйте по риску: автоматически одобряйте случаи, прошедшие все проверки и укладывающиеся в обычные границы, а человеку отправляйте только неопределённое, необычное и дорогое. Так очередь становится достаточно короткой, чтобы её действительно читали, — единственный способ сделать проверку осмысленной. Есть роль и у выборки: просмотр случайного среза автоматически одобренного потока показывает, верны ли ещё правила автоодобрения.

Измеряйте не только процесс, но и саму контрольную точку

Следите, как часто проверяющие отклоняют или правят, сколько времени тратят и что происходит с одобренными позициями. Если отклонений почти нет, контрольная точка не работает. Если проверяющие постоянно правят одно и то же — это отчёт о дефекте предыдущего шага. А если ошибки доходят до клиентов через одобренные позиции, значит проверка не ловит тот отказ, ради которого её строили, и это проблема дизайна, а не штата.

Планируйте её снятие

Человеческая проверка должна быть явной стадией с критериями выхода, а не вечным налогом. Заранее решите, что оправдает её снятие — доля отклонений ниже определённого уровня на заданном объёме, отсутствие видимых клиентам ошибок за период — и пересматривайте это по расписанию. Некоторые контрольные точки останутся навсегда, потому что тяжесть последствий оправдывает их цену, и это законный ответ. Незаконна точка, которая держится потому, что её никто никогда не пересматривал: дорого, медленно и создаёт видимость страховки, тогда как все участники давно перестали читать.