Почти любая AI-функция хорошо выглядит в демо. Интересный вопрос — что произойдёт на третий месяц, когда новизна ушла и кто-то отвечает за неправильный ответ.
По нашему опыту, функции, которые остаются включёнными, имеют четыре общих свойства, и ни одно из них не о модели.
1. Она может сказать, что не знает
Система, которая отвечает всегда, рано или поздно ответит неправильно и очень уверенно. Пороги уверенности поиска, явные пути отказа и передача человеку — это не запасной вариант, это и есть функция.
2. Каждый ответ можно проследить
Цитаты — не украшение. Когда пользователь видит, из какого документа взят ответ, проверка занимает две секунды вместо двух минут, и доверие переживает первую ошибку.
3. Есть набор тестов
Промпты — это код. Менять их без регрессионного набора на реальных исторических кейсах означает деплоить непроверенный код в продакшн, и он тихо ухудшит именно те случаи, о которых вы не думали.
- Собирайте тестовый набор из реальных исторических запросов, а не из синтетических.
- Включайте случаи, где правильный ответ — это отказ.
- Гоняйте его в CI. Изменение промпта, снижающее оценку, не мержится.
4. Стоимость и задержка мониторятся, как любой ресурс
Расходы на токены ведут себя как запрос к базе без индекса: в тестах нормально, на объёме — тревожно. Считайте стоимость на решённую задачу с первого дня, а не на запрос.
И держите доступ к провайдеру за интерфейсом. Цены и возможности моделей двигаются достаточно быстро, чтобы переключение было изменением конфигурации.
Мы написали это, потому что должны были это решить. Посмотрите, что мы построили или расскажите, над чем работаете.