[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"glossary-natural-language-processing::ru":3,"gloss-cluster-natural-language-processing::ru":23,"gloss-next-natural-language-processing::ru":9},{"slug":4,"category":5,"name":6,"definition":7,"meta_desc":8,"faq":9,"schema_markup":9,"related":10},"natural-language-processing","core-ai","Обработка естественного языка (NLP)","Обработка естественного языка — область, занятая тем, чтобы компьютеры работали с человеческим языком: классифицировали его, извлекали из него структуру, переводили, суммировали, порождали. Она старше нынешней эпохи моделей на десятилетия, и история важна, потому что объясняет, как выглядят сегодняшние инструменты. Первое поколение было основано на правилах: грамматики, парсеры, вручную собранные лексиконы и немало лингвистической экспертизы, закодированной руками. Второе было статистическим и рассматривало язык как распределение, оцениваемое по корпусам. Третье — нейросетевое, и большие языковые модели впитали столько ранее раздельных задач, что «NLP-конвейер» теперь часто означает один вызов модели. Именно это впитывание и есть главная практическая новость. Распознавание именованных сущностей, классификация тональности, перевод, суммаризация и ответы на вопросы — каждая задача раньше была отдельной моделью со своим обучающим набором и своей оценкой. Сильная модель общего назначения сегодня делает их все приемлемо по одному промпту, и это сжимает месяцы работы под конкретную задачу в один вечер. Но «приемлемо» не всегда «достаточно», и именно здесь команды обжигаются: специализированный классификатор, обученный на ваших размеченных данных, обычно побеждает общую модель на вашем распределении, работает за малую долю стоимости, отвечает за миллисекунды и ведёт себя завтра так же, как сегодня. Классический словарь всё ещё полезен, потому что он называет режимы отказа, с которыми вы столкнётесь. Токенизация определяет, что модель вообще видит, — и именно из-за неё счёт символов и слов расходится с биллингом. Неоднозначность — лексическая, синтаксическая, референциальная — причина того, что резюме может быть гладким и неверным. Смещение домена объясняет, почему модель, справляющаяся с отзывами о товарах, спотыкается на клинических записях. А оценка — то место, где NLP по-настоящему трудна: единственно верного резюме не существует, поэтому судить порождённый текст приходится либо людьми, либо по рубрике, либо моделью, судящей модель, и у каждого варианта своё смещение. Выбор между общей и обученной моделью — в основном вопрос объёма, бюджета задержки и того, насколько жёстко нужно закрепить поведение.","NLP учит компьютеры работать с человеческим языком; современные LLM впитали столько его отдельных задач, что конвейер часто сводится к одному вызову модели.",null,[11,14,17,20],{"slug":12,"name":13},"embedding","Эмбеддинг (векторное представление)",{"slug":15,"name":16},"llm","Большая языковая модель (LLM)",{"slug":18,"name":19},"optical-character-recognition","Оптическое распознавание символов (OCR)",{"slug":21,"name":22},"tokenizer","Токенизатор (Tokenizer)",[24,28,32,36,39,42,45,48,51,54,57,60],{"slug":25,"category":5,"name":26,"updated_at":27},"agentic","Агентный AI (Agentic AI)","2026-08-24T02:46:36+00:00",{"slug":29,"category":5,"name":30,"updated_at":31},"alignment-tax","Налог на выравнивание (Alignment Tax)","2026-08-24T02:46:37+00:00",{"slug":33,"category":5,"name":34,"updated_at":35},"artificial-intelligence","Искусственный интеллект (ИИ)","2026-08-24T02:46:38+00:00",{"slug":37,"category":5,"name":38,"updated_at":27},"attention","Внимание (Attention)",{"slug":40,"category":5,"name":41,"updated_at":35},"beam-search","Лучевой поиск",{"slug":43,"category":5,"name":44,"updated_at":31},"benchmark-contamination","Загрязнение бенчмарка (Benchmark Contamination)",{"slug":46,"category":5,"name":47,"updated_at":31},"catastrophic-forgetting","Катастрофическое забывание (Catastrophic Forgetting)",{"slug":49,"category":5,"name":50,"updated_at":35},"computer-vision","Компьютерное зрение",{"slug":52,"category":5,"name":53,"updated_at":31},"constitutional-ai","Конституционный ИИ (Constitutional AI)",{"slug":55,"category":5,"name":56,"updated_at":27},"context-window","Контекстное окно",{"slug":58,"category":5,"name":59,"updated_at":35},"deep-learning","Глубокое обучение",{"slug":61,"category":5,"name":62,"updated_at":27},"diffusion-model","Диффузионная модель (Diffusion Model)"]