Оценки в работе¶

Тестирование перед выпуском доказывает, что агент готов. Мониторинг в реальном времени доказывает, что он остаётся хорошим с реальными пользователями. Он находится в разделе Оценка → Агент и непрерывно извлекает сигналы качества из разговоров, которые агент ведёт со своими пользователями после запуска, — в виде чисел, но никогда не текстов.

Метрики¶

Доля без ответа / ухода — как часто пользователи уходят, не получив полезного ответа. Отмечается, когда поднимается выше примерно 10%.
Ошибки инструментов — как часто инструменты агента сбоят при реальном использовании.
Пустой поиск — для агентов со знаниями: как часто поиск не возвращает ничего полезного. Высокая доля (выше ~50%) указывает на пробелы в базе знаний.
Недовольство пользователя — LLM-судья оценивает, как часто пользователи явно недовольны (стоит присмотреться, если выше ~15%). То, что судья отправляет своей модели, подчиняется правилам безопасности вашего аккаунта — так же, как собственные запросы вашего агента.
Задержка (p50 / p95) — типичное и худшее время ответа, включая то, сколько вызовов модели требует каждая реплика.

У метрик есть цветные значки состояния, динамика за выбранный период (7 / 14 / 30 дней) и разбивка по использованию моделей.

Что вы видите и чего не видите¶

Вы видите только сводные оценки. Карточки метрик, динамика и графики задержки — это количества и доли по всем вашим пользователям. Разговоры, на которых они основаны, принадлежат каждому человеку лично: они никогда не появляются на этой панели, и никто другой не может их открыть — ни вы как владелец агента, ни администратор вашей организации, ни сотрудники платформы (см. Публикация). Карточка метрики — это плитка только для чтения, поэтому списка примеров разговоров, в которые можно провалиться, нет.

Чтобы разобраться с красным значком, воспроизведите проблему сами: пообщайтесь с агентом как собственный пользователь и попробуйте такой запрос, с которым что-то идёт не так.

Что вы получаете¶

Постоянно работающий сигнал качества на реальном трафике, который замыкает круг между тем, что вы протестировали, и тем, что на самом деле получают пользователи. Растущая доля подсказывает, куда смотреть, а исправлять проблему нужно с помощью собственных тестов и следующей сборки.