[{"data":1,"prerenderedAt":-1},["ShallowReactive",2],{"glossary-positional-encoding::ru":3,"gloss-cluster-positional-encoding::ru":23,"gloss-next-positional-encoding::ru":9},{"slug":4,"category":5,"name":6,"definition":7,"meta_desc":8,"faq":9,"schema_markup":9,"related":10},"positional-encoding","core-ai","Позиционное кодирование","Позиционное кодирование — способ, которым трансформер узнаёт, где в последовательности стоит токен. Внимание по своей конструкции слепо к порядку: оно вычисляет связи между всеми парами токенов, не имея представления о том, какой был раньше, так что сырой трансформер читал бы предложение как мешок слов. Позиционное кодирование решает это, добавляя сведения о позиции в представления токенов — исторически фиксированными синусоидальными узорами, позже обучаемыми векторами позиций, а в большинстве нынешних моделей поворотом, применяемым прямо внутри вычисления внимания, так что модель видит относительное расстояние между двумя токенами, а не их абсолютные номера. Практические следствия проявляются у границ контекстного окна. Модель, обученная преимущественно на коротких последовательностях, видела мало примеров очень больших позиционных смещений, поэтому качество часто падает не ровно на заявленном лимите контекста, а раньше — одна из причин, по которой система поиска, подающая небольшой и хорошо отобранный набор фрагментов, всё ещё обыгрывает ту, что вставляет всё подряд. Обработкой позиций объясняется и то, почему важен порядок внутри промпта: инструкции, найденный контекст и вопрос пользователя стоят на разном расстоянии от генерируемых токенов, и перенос ключевой инструкции из середины длинного промпта в конец — реальное измеримое изменение, а не стилистическое.","Позиционное кодирование сообщает трансформеру порядок токенов, ведь внимание к нему слепо; объясняет и падение качества у края контекстного окна.",null,[11,14,17,20],{"slug":12,"name":13},"attention","Внимание (Attention)",{"slug":15,"name":16},"context-window","Контекстное окно",{"slug":18,"name":19},"token","Токен",{"slug":21,"name":22},"transformer","Трансформер",[24,28,32,36,37,40,43,46,49,52,53,56],{"slug":25,"category":5,"name":26,"updated_at":27},"agentic","Агентный AI (Agentic AI)","2026-08-24T02:46:36+00:00",{"slug":29,"category":5,"name":30,"updated_at":31},"alignment-tax","Налог на выравнивание (Alignment Tax)","2026-08-24T02:46:37+00:00",{"slug":33,"category":5,"name":34,"updated_at":35},"artificial-intelligence","Искусственный интеллект (ИИ)","2026-08-24T02:46:38+00:00",{"slug":12,"category":5,"name":13,"updated_at":27},{"slug":38,"category":5,"name":39,"updated_at":35},"beam-search","Лучевой поиск",{"slug":41,"category":5,"name":42,"updated_at":31},"benchmark-contamination","Загрязнение бенчмарка (Benchmark Contamination)",{"slug":44,"category":5,"name":45,"updated_at":31},"catastrophic-forgetting","Катастрофическое забывание (Catastrophic Forgetting)",{"slug":47,"category":5,"name":48,"updated_at":35},"computer-vision","Компьютерное зрение",{"slug":50,"category":5,"name":51,"updated_at":31},"constitutional-ai","Конституционный ИИ (Constitutional AI)",{"slug":15,"category":5,"name":16,"updated_at":27},{"slug":54,"category":5,"name":55,"updated_at":35},"deep-learning","Глубокое обучение",{"slug":57,"category":5,"name":58,"updated_at":27},"diffusion-model","Диффузионная модель (Diffusion Model)"]