Качество сборки и проверки задач¶

Каждый раз, когда билдер заканчивает работу над вашим агентом, Агент Атом оценивает результат. После первой сборки агента он также проверяет, что агент делает то, о чём вы просили, — а когда вы что-то изменили в агенте, эти проверки можно прогнать ещё раз. И то и другое вы видите на вкладке агента Оценка, в представлении Билдер.

Оценка качества сборки¶

Одно число от 0 до 100, которое отвечает на вопрос «насколько далеко продвинулась эта сборка?». Это лестница, а не процент правильности: каждый диапазон означает свой этап:

Диапазон	Что это значит
94–100	Работает: агент отвечает и прошёл все проверки, составленные по вашему запросу
60–94	Отвечает вам, но некоторые проверки пока не пройдены
40–60	Интерфейс открывается, но пока ничего не отвечает
20–40	Агент запускается, но экран так и не открывается
0–20	Сборка не завершилась, в коде есть ошибки или ничего не было собрано

Начиная с 60 оценка учитывает две вещи: сколько проверок пройдено и насколько эффективно была получена сборка — сколько времени и работы она потребовала. Проверки весят гораздо больше скорости, и быстрота никогда не поднимет сборку с непройденной проверкой в верхний диапазон: это делает только прохождение всех проверок, причём одной пройденной проверки недостаточно — нужно минимум две. Когда пройдены все проверки, оценка равна 94 или выше; последние несколько баллов — это скорость сборки. Поэтому сборка, в которой всё пройдено, может показывать, скажем, 97, а не 100: проверки зелёные, а оставшиеся баллы зависят от скорости сборки. Карточка под оценкой объясняет это простыми словами для вашей сборки.

Если проверки не запускались — например, после последующей сборки, которую вы ещё не проверили заново, или когда в разговоре с билдером ещё не названа конкретная задача агента, — оценка остаётся в самом низу диапазона «отвечает вам», на 60. То же самое, когда интерфейс отвечает, но его бэкенд возвращает ошибки. Ни то ни другое ничего не говорит о том, справляется ли агент со своей задачей, поэтому такие сборки не оцениваются выше сборки, проверки которой были запущены и не пройдены. Исключение — последующая сборка, которая поменяла только страницу агента, а его настройки оставила как были: она сохраняет оценку предыдущей проверки, пока вы не прогоните оценку ещё раз.

Когда запускаются проверки задач, то, отвечает ли интерфейс и отвечает ли его бэкенд, определяется на временной копии, на которой они идут (см. ниже), за тот же проход, что и проверки.

Разговор с билдером, который ничего не меняет, — вопрос, объяснение — не является сборкой, поэтому оценка остаётся прежней. Если первая сборка агента в билдере заканчивается, так и не собрав ничего из того, о чём вы просили, оценка равна 0, а в разделе проверок сказано, что пока ничего не собрано.

Пока оценивание ещё идёт, вместо оценки показано «Оцениваем эту сборку…». Когда запускаются проверки задач, это занимает несколько минут после окончания сборки, потому что они действительно испытывают агента.

Проверки задач¶

После первой сборки агента и потом всякий раз, когда вы попросите (см. Когда запускаются проверки), Атом составляет несколько проверок по тому, о чём вы просили билдер, — по вашим сообщениям и ответам на его вопросы. Затем он создаёт временную копию вашего агента и выполняет на ней каждую проверку: в её чате, на её странице и в файлах, которые она создаёт. ИИ-судья смотрит, что произошло, и выносит решение по каждой проверке:

Пройдено — агент сделал то, чего ожидала проверка.
Не пройдено — агент не ответил, или то, что он сделал, не совпадает с ожиданием проверки.
Не удалось проверить — проверку не удалось завершить, или она требует того, что проверки пока не умеют испытывать, поэтому ничего не утверждается ни в ту, ни в другую сторону.

Каждая проверка цитирует запрос, который она проверяет, вашими собственными словами и показывает, что пробовали сделать, что ожидалось и что произошло на самом деле. Метка показывает, что именно проверяется:

Чат — агент выполняет свою задачу в чате.
Запоминает — агент что-то сохраняет и потом выдаёт это в новом разговоре.
Интерфейс — собственная страница агента: проверка вводит текст, нажимает кнопки и смотрит, что меняется.
Файл — агент создаёт файл, который вы просили, например презентацию, PDF или таблицу.
Расписание — у агента есть воркфлоу, который запускается тогда, когда вы просили: регулярно или в заданное время.
Честность — когда для задачи нужно то, что можете дать только вы, например ваши документы, ключи или аккаунты, агент просит об этом, а не выдумывает.
Пока не умеем — то, о чём вы просили, но что проверки пока не умеют испытывать, с указанием причины: например, реальная доставка письма, платёж, изменение в ваших собственных внешних аккаунтах или то, что видит другой человек. Такие пункты перечислены, чтобы вы знали, что они не проверялись.

Читая результаты, полезно помнить несколько вещей:

Проверяется то, о чём вы просили, а не всё. Сборка получает несколько проверок, а не по одной на каждую кнопку или каждый сценарий, который поддерживает агент. Зелёные проверки означают, что работают именно эти вещи, а не что работает всё.
Ваш агент не затрагивается. Проверки выполняются на временной копии, которая затем удаляется, поэтому в разговорах и данных вашего агента ничего не остаётся. С копии также ничего не отправляется: письма и публикации, которые она отправила бы, записываются, но не доставляются.
Проверки не тратят ваши кредиты. Ни работа временной копии, ни составление и оценка проверок не списываются с вашего баланса — запустились ли проверки сами или их запустили вы.
Ничего разрушительного не пробуют. Проверки никогда не нажимают элементы, которые удаляют данные, выполняют выход из аккаунта или тратят деньги.
Знания пока не копируются. Копия не получает знания вашего агента, поэтому у агента с подключёнными знаниями проверки в чате пока отображаются как Не удалось проверить.
Проверять может быть пока нечего. Если в разговоре с билдером не описана конкретная задача агента, раздел сообщает об этом вместо проверок. Скажите билдеру, что должен делать агент, дайте ему собрать агента, а затем прогоните оценку ещё раз.
Запуск может не удаться. Если после первой сборки агента проверки не удалось составить или не удалось создать временную копию, в разделе сказано, что проверки не запустились. Сами они не повторяются: прогоните оценку ещё раз из раздела. Если так не удался запуск, который начали вы, раздел всё это время открыт и агента за это время не пересобирали, он сообщает, что прошлый прогон не завершился; кнопка в любом случае появляется снова.

Когда запускаются проверки¶

На любом тарифе агент проверяется сам один раз — после первой сборки, которая что-то собрала. Разговор, в котором билдер только задаёт вопросы или отвечает на них, такой сборкой не считается, как и первая сборка, которая закончилась, так ничего и не собрав: проверки ждут сборку, которая что-то соберёт. Проверки занимают несколько минут; пока они не закончились, вместо оценки показано «Оцениваем эту сборку…», а раздел проверок появляется, когда они закончатся. Если первый шаг билдера ничего не собрал, до конца проверок оценка показывает результат этого шага, а раздел уже виден и сообщает, что оценка идёт.

Последующие сборки сами не проверяются. Каждая из них по-прежнему получает оценку, но без проверок она не поднимается выше 60 — кроме сборки, которая поменяла только страницу агента: она сохраняет последнюю оценку с проверками (см. выше). Если после последующей сборки открыть вкладку Оценка, раздел проверок по-прежнему показывает результаты последней проверенной сборки с пометкой Оценка устарела: после этой проверки агента меняли. Нажмите Прогнать оценку ещё раз, чтобы проверить агента в его нынешнем виде. Проверки заново составляются по тому, о чём вы просили билдер до его последней сборки, и выполняются на новой временной копии, а оценка этой сборки обновляется по их результату. Это занимает несколько минут; пока оценка идёт, раздел сообщает об этом, и одновременно идёт только один запуск. Всего по всем вашим агентам можно запустить до 20 оценок в час. Сразу после сборки, пока её ещё оценивают, раздел сообщает и об этом, а кнопка появляется через минуту. После разговора с билдером, который ничего не меняет, результат не устаревает.

Если раздел не может показать проверки агента в нынешнем виде — например, потому что агент был собран до появления проверок задач, — он предлагает кнопку Прогнать оценку, которая делает то же самое.

Агента, которого билдер создал сам, без разговора с вами, — например, участника команды агентов — не с чем сверять: ваших просьб у него нет, поэтому раздел не предлагает для него кнопку.

На некоторых установках проверки задач входят только в платные тарифы. Там каждая сборка на платном тарифе проверяется сама, поэтому кнопки Прогнать оценку ещё раз нет, а на бесплатном тарифе вместо проверок видно пояснение о тарифах. Что входит в каждый тариф, см. на странице тарифов.

Что с этим делать¶

Карточка Что улучшить превращает оценку в один следующий шаг: чего не хватает для следующего диапазона или — в верхнем диапазоне — что осталась только скорость сборки. Если проверка не пройдена, откройте агента, повторите эту задачу вручную и расскажите билдеру, что пошло не так. Когда он пересоберёт агента, прогоните оценку ещё раз и посмотрите, проходит ли теперь проверка.