Векторное квантование (vector quantization)

Векторное квантование — семейство методов сжатия, которые уменьшают эмбеддинги, чтобы векторный индекс занимал меньше памяти и искал быстрее. Сырой эмбеддинг может состоять из 1536 чисел float32 — около 6 КБ каждый; на десяти миллионах векторов это 60 ГБ ОЗУ. Квантование приближает каждый вектор куда меньшим кодом: скалярное квантование снижает точность (с float32 до int8), а произведённое квантование делит вектор на части и заменяет каждую идентификатором ближайшего центроида. Компромисс — точность в обмен на стоимость. Сжатые векторы дают чуть менее точные результаты поиска ближайших соседей, но зачастую достаточно близкие — а большую часть потерь можно вернуть, переранжировав лучших кандидатов по полноточным векторам. Для SaaS-разработчиков, запускающих RAG или семантический поиск на масштабе, квантование — это разница между индексом, который помещается в ОЗУ, и тем, который нет. На практике: измеряйте полноту (recall) на своих же запросах до и после — приемлемый компромисс зависит от нагрузки, а не универсален.