Майже будь-яка AI-функція добре виглядає в демо. Цікаве питання — що станеться на третій місяць, коли новизна зникла і хтось відповідає за неправильну відповідь.
За нашим досвідом, функції, які залишаються увімкненими, мають чотири спільні властивості, і жодна з них не про модель.
1. Вона може сказати, що не знає
Система, яка відповідає завжди, рано чи пізно відповість неправильно й дуже впевнено. Пороги впевненості пошуку, явні шляхи відмови й передача людині — це не запасний варіант, це і є функція.
2. Кожну відповідь можна простежити
Цитати — не прикраса. Коли користувач бачить, з якого документа взято відповідь, перевірка займає дві секунди замість двох хвилин, і довіра переживає першу помилку.
3. Є набір тестів
Промпти — це код. Змінювати їх без регресійного набору на реальних історичних кейсах означає деплоїти неперевірений код у продакшн, і він тихо погіршить саме ті випадки, про які ви не думали.
- Збирайте тестовий набір із реальних історичних запитів, а не з синтетичних.
- Включайте випадки, де правильна відповідь — це відмова.
- Ганяйте його в CI. Зміна промпту, що знижує оцінку, не мержиться.
4. Вартість і затримка моніторяться, як будь-який ресурс
Витрати на токени поводяться як запит до бази без індексу: у тестах нормально, на обсязі — тривожно. Рахуйте вартість на вирішену задачу з першого дня, а не на запит.
І тримайте доступ до провайдера за інтерфейсом. Ціни й можливості моделей рухаються достатньо швидко, щоб перемикання було зміною конфігурації.
Ми написали це, бо мусили це вирішити. Подивіться, що ми побудували або розкажіть, над чим працюєте.