Человек над контуром (Human-on-the-Loop)

«Человек над контуром» (human-on-the-loop) описывает надзор, при котором человек контролирует агента, действующего самостоятельно, и вмешивается только при необходимости — в отличие от «человека в контуре» (human-in-the-loop), где человек обязан одобрить каждое действие до его выполнения. Агент работает автономно, а человек наблюдает, может приостановить или переопределить и проверяет постфактум — как менеджер, следящий за дашбордом, а не подписывающий каждую форму. Это обмен безопасности на пропускную способность: масштабируется гораздо лучше, чем одобрение каждого шага, но агент может совершить неверные действия до того, как кто-то вмешается, поэтому подход подходит для обратимой работы с малым радиусом поражения. Для разработчиков практичный дизайн — многоуровневый: позволяйте агенту свободно действовать в безопасных операциях (черновики, чтение, разметка), требуйте одобрения «в контуре» для необратимых или дорогих (перевод денег, удаление данных, письма клиентам) и дайте человеку хороший мониторинг, оповещения и простой аварийный выключатель. Настоящее мастерство — выбирать нужный уровень для каждого действия, а не для агента целиком.

Похожие термины

Ещё термины: ИИ-агенты