Нейронная сеть

Нейронная сеть — это функция, собранная из слоёв простых элементов, каждый из которых считает взвешенную сумму своих входов и пропускает результат через нелинейную активацию. Сложите несколько таких слоёв, и составная функция сможет приблизить зависимости, слишком запутанные, чтобы выписать их вручную; в этом вся математическая предпосылка. Биологическое название — историческая случайность и активно сбивает с толку: ничто в сети не моделирует синапс, а рассуждения по аналогии с мозгом дают худшую интуицию, чем взгляд на сеть как на дифференцируемую функцию с очень большим числом ручек. Самое интересное происходит при обучении. Вы задаёте функцию потерь — число, говорящее, насколько текущий вывод неверен, — затем методом обратного распространения считаете вклад каждого веса в эту ошибку и слегка сдвигаете каждый вес в сторону её уменьшения. Повторите на миллионах примеров, и сеть осядет в весах, дающих полезный вывод. Нелинейность важнее, чем кажется: без неё любой стек слоёв алгебраически сворачивается в одно линейное преобразование, и глубина не даёт ровным счётом ничего. Архитектура — это выбор того, как соединены слои, и она кодирует предположение о данных. Свёрточные сети разделяют веса между пространственными позициями, потому что кот остаётся котом, где бы он ни находился в кадре. Рекуррентные сети протаскивают скрытое состояние вдоль последовательности, потому что язык приходит по порядку. Трансформеры заменяют эту рекуррентность вниманием, позволяя каждой позиции смотреть напрямую на любую другую, — именно это сделало обучение параллелизуемым и потому сделало возможным современный масштаб моделей. Для разработчика практические следствия прозаичны и стоят усвоения. Вывод сети — это число, подогнанное так, чтобы коррелировать с верным ответом, а не его вывод из посылок; поэтому сеть может быть уверенно неправа, отразит любое смещение обучающих данных и тихо деградирует на входах, непохожих на виденное. Ничто из этого не лечится более аккуратным промптом: это свойство самой функции, и именно поэтому мониторинг и оценка — часть выпуска модели, а не необязательная добавка.