Обучение без учителя

Обучение без учителя находит структуру в данных, у которых нет меток. Никто не сообщает модели правильный ответ; её просят описать форму данных: какие точки похожи друг на друга, какие не похожи ни на что, какой меньший набор измерений схватывает большую часть разброса. Оно существует потому, что метки дороги, а неразмеченные данные почти бесплатны, и значит немало полезной работы можно сделать на том, что уже есть. Основные техники ложатся на узнаваемые бизнес-задачи. Кластеризация группирует похожие записи — так поведенческие сегменты клиентов обнаруживаются, а не выдумываются. Снижение размерности сжимает множество скоррелированных полей в несколько информативных, что полезно и для визуализации, и как шаг предобработки. Детекция аномалий выучивает, как выглядит норма, и помечает отклонения — на этом стоят антифрод и алертинг инфраструктуры. Эмбеддинги, то самое представление за семантическим поиском и retrieval, получаются из целей, вообще не требующих человеческой разметки, — потому они и масштабировались так далеко. Загвоздка в оценке, и она настоящая. Без эталонной истины нет и точности, которую можно предъявить, поэтому «это хорошо?» становится вопросом суждения. Алгоритм кластеризации, которого попросили пять кластеров, бодро вернёт пять — независимо от того, осмысленное ли это число, — и полученные сегменты могут быть статистически аккуратными и при этом не соответствовать ничему, с чем маркетолог мог бы работать. Внутренние метрики вроде силуэта измеряют геометрическую аккуратность, а не полезность. Честная проверка лежит ниже по потоку: меняет ли разное обращение с этими сегментами бизнес-результат, коррелирует ли эта аномалия с реальными инцидентами. Для SaaS-команды прагматичный подход — считать результаты обучения без учителя гипотезами, а не ответами. Кластеризуйте аккаунты, а затем попросите человека, знающего клиентов, посмотреть на кластеры и дать им имена; если он не может, значит кластеризация не нашла ничего настоящего. При таком использовании это по-настоящему дешёвый инструмент разведки. При использовании как оракула она выдаёт уверенную бессмыслицу, и, поскольку нет числа точности, способного её опровергнуть, эта бессмыслица может жить очень долго.