Стоимость задачи

Стоимость задачи — во что вам обходится одна завершённая единица работы в расходах на модель: закрытый тикет, сгенерированный отчёт, проверенный документ. Это знаменатель, который связывает ИИ-инфраструктуру с бизнес-моделью, и именно его большинство команд не измеряет. Токены — неверная единица по двум причинам. Они не учитывают повторы, вызовы инструментов, неудачные попытки и вторую модель, оценивавшую вывод первой; и покупатель покупает не их. Задача, стоящая $0,04 в токенах, но требующая в среднем 1,6 попытки и переранжирования, обходится ближе к $0,09 — и именно от этой цифры считают цену. Считайте по сценариям, а не по аккаунтам. Средние по продукту прячут тот единственный сценарий, где стоимость задачи выше выручки с неё, — а в продуктах с оплатой за место именно так активный пользователь тихо становится убыточным при внешне здоровой марже. Сильнее всего на эту метрику влияет обычно не более дешёвая модель, а меньше повторов, короче контекст и кэш, ловящий повторную работу.