Генерация медиа

Генерация медиа позволяет агенту создавать изображения и короткие видео по текстовому описанию прямо в разговоре. Попросите иллюстрацию, главное изображение для страницы, картинку для поста в соцсетях или короткий видеоролик — агент создаст его и покажет прямо в чате.

Нужно обратное — превратить запись в текст? См. Транскрипция.

Что с этим можно делать

• Изображения: создавайте иллюстрацию или графику по описанию с выбором соотношения сторон (квадрат, альбомная, портретная ориентация и т. д.). Изображения появляются в чате сразу. Платформа предлагает отобранный набор моделей для изображений; агент выбирает самую дешёвую, которая подходит под запрос, или более сильную, если вы об этом попросите.
• Видео: создавайте короткий ролик по описанию с выбором соотношения сторон и длительности. Видео рендерится дольше, поэтому в чате показывается карточка «генерируется», а на канвасе видео отмечено как генерирующееся. Обе превращаются в готовый ролик, как только он готов, — даже если ход уже закончился или чат открыт на другом устройстве, — без перезагрузки. Доступно несколько известных моделей для видео; агент выбирает из них за вас.
• Созданные изображения и видео сохраняются как файлы в рабочем пространстве того, кто их запросил, с постоянными ссылками, поэтому их можно использовать повторно — например, сослаться на них в приложении или странице, созданных агентом, — и они не пропадают со временем.
• Приложение, которое билдер делает для вашего агента, может работать с созданными вами медиа — например, склеить несколько клипов в финальный монтаж или подложить музыку под видео. Эта работа идёт на сервере агента: ничего не нужно скачивать и загружать заново, и клип, который проигрывается в приложении, всегда можно использовать.
• Всё, что создаёт агент, также отображается среди файлов разговора на канвасе под коротким именем, которое даёт агент: попросите закат над озером — и файл будет называться примерно sunset-over-the-lake-3f2a1c.png. Картинка, созданная три ответа назад, остаётся в одном клике, и её можно снова попросить по имени: «покажи sunset-over-the-lake». Если попросить второй вариант, он появится как отдельный файл, так что ничто не перезапишет то, что у вас уже есть.
• Когда ассистент передаёт часть работы помощнику или одному из ваших агентов, медиа, созданные этим агентом, отображаются там же с пометкой, какой агент их создал, — и ассистент тоже может ими пользоваться: посмотреть на них, разместить на странице, которую он для вас собирает, или открыть на канвасе.
• Генерация учитывается в вашем расходе, и платформа проверяет баланс перед запуском, чтобы запрос не мог незаметно увести баланс в минус.

В приложениях для телефона, iPad и Mac можно прикрепить к сообщению фото из медиатеки, сделать снимок или прикрепить документ — изображения отправляются вместе с сообщением, а файлы загружаются рядом с ним. Созданные изображения и видео появляются как карточка, которую можно открыть на весь экран, сохранить или отправить.

В браузере нажмите на созданное изображение в чате, чтобы открыть его на весь экран. Скачать изображение в левом верхнем углу сохраняет файл.

Доступность генерации изображений и видео зависит от вашего тарифа.

Референсы, варианты и ход генерации видео

Прикрепите изображение и попросите агента использовать его как референс или сошлитесь на изображение, которое он создал раньше. В проекте референсом может быть и любое изображение из файлов проекта: лист персонажа или ключевые кадры, которые сделал другой агент, сохраняют вид серии от одного изображения или видео к другому. Если референс отсутствует или недоступен, запрос останавливается с объяснением, чтобы агент мог это исправить. Он не станет молча генерировать замену без этого референса.

Можно запросить несколько вариантов сразу. Агент создаёт запрошенные результаты, включая подготовительные референсные изображения, нужные для задачи. Шаг подтверждения, если он показан, влияет на то, когда начнётся генерация; на запрошенное число результатов он не влияет.

Новые запросы на видео продолжают обрабатываться, даже если вы закрыли чат. Видео в одном рабочем пространстве создаются по одному, и готовые файлы будут на месте, когда вы вернётесь. Если один из результатов не удался, агент получает причину сбоя и может исправить этот результат, не повторяя успешные. Когда агент делает видео для другого агента, который его вызвал, вызвавший агент узнаёт, что видео готово: в проекте это MAIN, в чате проекта.

Некоторые модели поддерживают только фиксированную длительность или размеры изображения. Если вы не указали формат изображения, поддерживаемый формат выбирается автоматически. Когда формат, который вы явно запросили, приходится скорректировать, агент сообщает, какие настройки были использованы. У сохранённого результата указаны фактическая длительность и соотношение сторон.

Ваши медиа остаются вашими

У агента, которым пользуется несколько человек, всё, что вы создаёте, принадлежит только вам. Другие люди, пользующиеся агентом, и владелец агента не могут видеть подтверждения, ожидающие вашего ответа, подтверждать или отменять их, открывать ваши файлы по ссылкам или использовать ваши изображения или видео как референс для своего запроса. Ссылка на чужие медиа отклоняется так же, как ссылка на несуществующий файл. В обратную сторону то же самое: вы всегда работаете только со своими.

Как выбирается модель

Названия моделей знать не нужно. Скажите агенту, что вам нужно, — вертикальный ролик, десять секунд, со звуком, в 1080p, — и платформа выберет самую дешёвую включённую модель, которая умеет всё это. Агент одной строкой сообщает, какую модель использовал.

• Попросите качество, когда оно важно («сделай кинематографично», «текст должен читаться», «это финальная версия»), и агент выберет более сильную модель по её описанию, а не самую дешёвую.
• Попросите конкретную модель по названию, и агент использует именно её; если ваши настройки ей не подходят, вы получите объяснение, а не молчаливую замену.
• Звук — всегда явный выбор: агент спрашивает, если неясно, нужен ли вам звук.
• Для длинных роликов, роликов в высоком разрешении или других требовательных роликов агент может сначала уточнить: он называет модель, которую использовал бы, и альтернативы, и запускает генерацию, когда вы подтвердите.
• Если ничего не подходит (например, 30-секундный ролик в 4K), агент объясняет, какому требованию не соответствует ни одна модель, и предлагает, что изменить.

Администраторы описывают сильные и слабые стороны каждой модели и задают её прайс-лист в панели администратора; описание — это то, что агент читает при выборе, а цены только ранжируют кандидатов — конечным пользователям они никогда не показываются.

Как это включить

1. Включите у агента возможности Генерация изображений и/или Генерация видео (в инструментах агента). Внутри агента не нужны ни API-ключи, ни настройка провайдера — бэкенд генерации предоставляет платформа.
2. Просто попросите агента в чате («сделай изображение…», «сгенерируй короткий ролик…»). Агент вызовет возможность, и результат появится в разговоре.

Генерация медиа расходует много кредитов

Генерация изображений и особенно видео — одно из самых дорогих действий агента, и она может быстро израсходовать ваши кредиты. Следите за балансом и страницей использования и просите агента оценить стоимость перед дорогим запросом.