ШІ знайшов правильний товар серед п’яти варіантів. Це ще не означає, що він може сам оформити замовлення. Для пошуку та для автоматичної дії потрібні різні критерії якості.
У проєкті UniTech задача пов’язана зі зіставленням запитів із номенклатурою. На такому прикладі зручно пояснити, чому цифру з тесту не можна переносити на весь бізнес-процес.
Спочатку визначте, що є правильною відповіддю
Для пошуку це може бути потрібна позиція серед перших п’яти результатів. Для документа потрібно перевірити кожне обов’язкове поле. Для звернення клієнта важливі правильність відповіді, її джерело та відсутність дій поза погодженими правами.
Метрика Exact@5 відповідає лише на питання, чи є точний збіг серед п’яти кандидатів. Вона не вимірює частку замовлень, які можна виконати без менеджера, або зростання продажів.
Зберіть окремий набір для перевірки
Візьміть звичайні запити, неоднозначні формулювання, помилки, неповні дані та випадки, на які правильної відповіді немає. Позначте очікуваний результат разом із людиною, яка знає процес. Приклади для фінальної перевірки не повинні бути тими самими, на яких налаштовували систему.
Зберігайте версію набору, дату перевірки й конфігурацію рішення. Інакше два відсотки з різних звітів легко виявляться непорівнюваними.
Оцініть наслідки помилки
Невдала чернетка й помилкове списання коштів мають різну ціну. Виділіть дії, які потребують підтвердження, та умови передачі людині. Окремо перевірте поведінку, коли база знань не містить відповіді або зовнішня система недоступна.
Що вимірювати на пілоті
Фіксуйте частку правильних результатів, час перевірки, повні переробки та випадки ескалації. Якщо менеджер витрачає на виправлення більше часу, ніж раніше на ручну роботу, високий бал пошуку не рятує процес.
Потенційний ефект можна попередньо перевірити в калькуляторі часу. Межі самостійності та критерії приймання визначаємо під час підготовки ШІ-рішення.