Дообучение против RAG

Дообучение и поиск решают разные задачи, и выбор обычно определяется тем, о чём ваше требование: о поведении или о фактах. Дообучение меняет веса модели на ваших примерах. Это верный инструмент для формы и стиля: стабильная структура вывода, фирменный тон, классификация с размытыми границами, доменная лексика, которую базовая модель коверкает. Плохо оно справляется со знаниями, которые меняются: переобучать модель при каждом изменении прайса — значит построить очень дорогую базу данных. Поиск не трогает модель и кладёт нужный текст перед ней в момент запроса. Он решает свежесть, данные конкретного клиента и цитируемость: ответ может указать на документ, из которого взят, а дообучение так не умеет. Большинство команд, просящих дообучение, описывают задачу поиска: «модель не знает наших продуктов» — это про факты. Работающий порядок такой: промпт, затем поиск, и только потом дообучение, когда оставшаяся ошибка стилистическая или структурная, а не фактическая. К этому моменту у вас уже есть набор оценки с первых двух этапов, чтобы доказать пользу третьего.