Что Tencent выложила 28 октября
В конце октября на arXiv появилась работа 2610.38352 с заголовком «WeVisCut: The Whole Editing Room in One Agent From Narration to Long-Form Video». Код открыт на GitHub в организации Tencent под лицензией Apache-2.0, веса лежат на Hugging Face в репозитории tencent/WeVisCut. Модель там одна: 9 млрд параметров на базе Qwen3.5, дальше идёт обвязка из инструментов и рендера.
На вход агент берёт статью или текст закадра. На выходе готовый ролик на несколько минут: разбитый на главы, с озвучкой, футажом, музыкой и финальной склейкой. Это сценарий, который до сих пор почти всегда означал часы сидения в таймлайне.
Двенадцать инструментов вместо одного промта
Мне понравилось, как устроен цикл. Отдельного шага с планом на весь фильм нет: агент смотрит на текущее состояние монтажа, выбирает один инструмент, вызывает его и смотрит на новое состояние. За прогон выходит около 12 вызовов.
Инструменты такие:
Каждый пункт это отдельная операция с понятным входом и выходом. Из-за этого в Studio потом можно ткнуть в любой шот и поправить его руками, не пересобирая ролик целиком.
- разбить статью на главы
- спланировать шоты
- синтезировать озвучку
- найти футаж
- наложить анимированный шаблон
- собрать шот
- подобрать фоновую музыку
- проверить текст
- проверить отрендеренное видео
- решить, что чинить
- проверить внешние сервисы
- склеить финал
Три тысячи семьсот пятьдесят роликов и обратный монтаж
Данные для обучения собирали не из промтов. Авторы взяли 3 750 готовых роликов и прошли их обратным ходом: восстановили решения монтажёра, где начинается шот, откуда пришёл футаж, как легла музыка. Из этого набралось больше 130 тыс. обучающих примеров.
Логика прозрачная. Модель учили повторять последовательность действий человека, поэтому она умеет ставить главу, искать кадр и проверять результат. Угадывать финальную картинку по описанию ей для этого не требуется.
Цифра против Claude Opus 5
Бенчмарк на сто задач придумали сами авторы, и на нём WeVisCut набирает 90,5 против 89,9 у Claude Opus 5. Разбор AI Weekly от 1 ноября приводит те же числа. Расход сгенерированных токенов на минуту готового видео ниже почти в 33 раза.
Такие числа стоит читать с оговоркой: задачи выбирали люди, заинтересованные в результате, независимой проверки нет, а 0,6 балла на сотне задач это шум. Куда интереснее, откуда берётся экономия токенов. Авторы объясняют её устройством: одна компактная модель ведёт весь монтаж через общее состояние проекта и укладывается примерно в дюжину вызовов инструментов.
Studio: восемь дорожек и правка чатом
В комплекте идёт Studio с живым таймлайном на 8 дорожек: главы, шоты, озвучка, субтитры, футаж, шаблоны, музыка, рендер. Работает пауза, ручная правка, правка чатом в духе «поменяй первую фразу», перерендер только изменённых шотов и откат версий.
Вот это и есть главный аргумент. Ролик можно остановить в середине, поправить один шот и запустить дальше. С генерацией одним промтом так не выходит: пока не увидишь результат, непонятно, что именно менять.
Что нужно, чтобы запустить у себя
Требования скромные для открытой модели и тяжёлые для ноутбука: Python 3.11+ и NVIDIA GPU примерно на 24 ГБ, столько занимает модель в bf16. Футаж и музыка по умолчанию ищутся в открытом вебе, источник меняется на свою папку или API.
Права на найденные кадры остаются на совести того, кто запускает. Для внутренних черновиков и раскадровок это терпимо, для клиентского ролика папку с лицензированным футажом придётся подставить заранее и проверить, что агент ею пользуется.
Монтажёр, который не рисует кадры
Границу стоит держать в голове. WeVisCut не генерирует картинку с нуля: он собирает ролик из найденного футажа и готовых анимированных шаблонов, поэтому в кадре будет сток или типовой шаблон. Обычный генератор видео из текста отвечает за сцену, этот агент отвечает за сборку, и путать их роли не стоит.
Для новостей, объясняющих выпусков и обучающих курсов такого футажного монтажа обычно хватает. Для художественной сцены с конкретным героем понадобится отдельная видеомодель и отдельная работа с промтом.
Почему для «статья в видео» это важнее одной цифры
Мой вывод простой: ценность здесь в разложенном на шаги монтаже. Двенадцать операций это тот же список, по которому работает человек: главы, шоты, озвучка, футаж, музыка, проверка, склейка. Если вам нужно создать ии видео по тексту для обучающего или новостного блока, такой агент даёт предсказуемый каркас: сцену можно заменить, фразу переписать, музыку убрать.
Одним промтом то же самое делают вслепую: получил минуту, посмотрел, выбросил. Разница здесь в контроле и в том, сколько раз придётся переделывать. Как модель читает запрос «текст в видео», где теряет смысл и почему длинная статья переваривается хуже короткого абзаца, мы разбирали отдельно, и этот материал стоит прочитать перед тестами WeVisCut.
Смотреть на WeVisCut как на замену ручной сборки для объясняющих и новостных роликов. Проверить на своём материале, если под рукой карта на 24 ГБ, иначе следить за репозиторием.
Дальше решает объём. Пара роликов в месяц живёт на подписке, а регулярный выпуск требует схемы, где считаются часы монтажа и правок. Если задача звучит как видео из статьи нейросетью, выигрыш приходит из сокращения монтажных часов, и ведение YouTube-канала можно строить вокруг готового таймлайна с ручной доводкой. Для постановки такой работы у нас есть видео нейросетями и ведение канала: маршрут от сценария к готовому ролику с проверкой на каждом шаге.
