С чего начинается анимация нейросетью
Анимация нейросетью ломается на стыках. В новой сцене у героя другое лицо, палитра уехала в холодный тон, линия стала толще, а тень упала с другой стороны. Один кадр при этом может выглядеть отлично, и на нём легко обмануться. Поэтому порядок работы я держу такой: референсы персонажа и стиля, ключевые кадры, короткие генерации блоками, монтаж, звук.
Кто начинает с промпта, тот через день получает десяток красивых сцен, которые не склеиваются в ролик. Перегенерация каждой сцены по тридцать секунд стоит дороже, чем один утверждённый лист персонажа в начале. Экономия здесь измеряется количеством прогонов, подписка на неё почти не влияет.
Популярные анимационные ролики держатся на узнаваемом герое и ровном ритме. Зритель следит за героем, поэтому вся работа с нейросетью идёт вокруг одной задачи: чтобы он не менялся от сцены к сцене.
Анимационное видео как создать: сценарий и закадровый голос
Текст пишется до генерации, потому что он задаёт длину сцен и число кадров. Фразу на четыре секунды нечем заполнить десятью секундами анимации, а десятисекундная мысль в четырёхсекундный кадр не влезает.
1 июля в changelog Higgsfield появился Explainer. Это навык для Supercomputer и MCP, где один закадровый голос звучит поверх стилизованных анимированных блоков. Заявленный предел десять минут, работает инструмент только с анимацией. Из описания сразу виден порядок: сначала голос, потом нарезка его на фразы, потом блок под каждую фразу.
20 августа Higgsfield выложила Faceless Studio: анимированные ролики без ведущего за три шага. На входе тема, стиль и голос рассказчика, темы Education, History, Kids и Storytelling, длина от одной до пяти минут, восемь стилевых пресетов. Это готовая схема для обучающих роликов и историй, где весь ролик держится на одном рассказчике.
Для длинного ролика схема другая. Сценарий делится на главы по двадцать-тридцать секунд, у каждой главы один ключевой кадр и одна фраза закадра. Голос записывается целиком, дальше режется по смыслу, и только потом начинается генерация.
Персонажи и стиль: референсы вместо описаний
Словами внешность не удержать. «Парень в синей куртке» в каждой сцене будет новым парнем, а референс с тремя ракурсами держит лицо, причёску и одежду. Персонажа собирают один раз, отбирают удачный кадр и дальше подают его как референс.
21 октября на Higgsfield появился Kling 4.0. В нём до десяти ключевых кадров на ролик вместо только первого и последнего, до пятнадцати референсов на входе, длина от трёх до тридцати секунд. Пятнадцать референсов это уже полноценный пакет: лицо, костюм, локация, реквизит, палитра.
Второй источник дисциплины, раскадровка. 2 ноября вышла Higgsfield Mangaka, она собирает персонажей и страницы манги или комикса прямо из идеи. До анимации из неё удобно взять каст и порядок сцен: страницы задают ритм и планы, а герой на них уже нарисован в одном стиле.
Если стиль ещё не выбран, сначала стоит заглянуть в разбор про стили анимации для нейросети.
Ключевые кадры и генерация блоками
Ключевой кадр это опора сцены: композиция, поза, свет, взгляд. Пока опоры нет, модель каждый раз придумывает сцену заново, и склеить два дубля почти невозможно. Десять ключевых кадров в Kling 4.0 как раз про это, сцена перестаёт быть лотереей на входе.
Дальше работает правило короткого блока. Три-тридцать секунд это предел одного прогона, и внутри блока движение живёт лучше, чем на длинной дистанции. Ролик на две минуты собирается из восьми-десяти блоков, каждый проверяется отдельно, брак выбрасывается сразу.
У Explainer с его десятью минутами логика та же, просто блоков больше. Один закадровый голос поверх набора блоков означает, что звук держит непрерывность, пока картинка меняется.
Звук и сборка
Звук собирает ролик в целое. Голос задаёт темп, музыка держит настроение, шумы привязывают движение к реальности: шаг, скрип двери, удар. Без этого даже ровная анимация выглядит как слайд-шоу.
В Faceless Studio голос рассказчика выбирается на входе, вместе с темой и стилем. В Explainer закадр записывается один раз и ложится поверх всех блоков. Оба варианта обходятся без синхронизации артикуляции, потому что говорящего в кадре нет.
Сборка идёт в монтажной программе, где блоки ставятся по голосу. Здесь же правятся темп, паузы, титры и переходы. Порядок простой: черновая дорожка звука, картинка под неё, эффекты в конце.
Как добавить в видео анимационные эффекты поверх живого видео
Отдельная задача, когда в кадре живой человек или снятая сцена, а нужен анимационный слой. Тут два рабочих пути.
Первый, перерисовка стиля. 30 сентября вышел Genjutsu Restyle: он перерисовывает всё видео в новом стиле с сохранением движения, тайминга и камеры. Стилей больше двадцати, свой задаётся референсом, исходники берутся от четырёх до тридцати секунд в режиме Motion transfer. Снятый проход камеры по офису превращается в рисованный, и тайминг остаётся прежним.
Второй, моушн-слои. 11 сентября появился AI Motion Designer: плагин Higgsfield для ChatGPT связывает сервис с After Effects, моушн описывается словами, агент собирает его в твоей композиции. Титры, подложки, схемы и выноски делаются так же, как обычная анимация, только быстрее.
Выбор простой. Перерисовка меняет всю сцену целиком, моушн-слой добавляет графику поверх съёмки. Когда анимационная реклама выигрывает у съёмки, это отдельный разговор с отдельной сметой.
Правки: что проверить перед сдачей
Проверка идёт по короткому списку.
Правки дешевле на уровне ключевого кадра, дороже на уровне блока и совсем дорогие в собранном ролике. Поэтому проверка встаёт после каждой генерации, до монтажа.
- Лицо героя в трёх сценах подряд. Если меняется разрез глаз или форма носа, блок переделывается целиком.
- Руки и мелкий реквизит. Пальцы и застёжки модель путает чаще всего.
- Текст в кадре. Надписи и вывески плывут, их либо убирают из генерации, либо добавляют на монтаже.
- Ритм. Сцена длиннее фразы на секунду уже заметна даже на просмотре без звука.
- Свет. Направление тени в двух соседних блоках должно совпадать, иначе склейка видна.
Мой вывод
Анимация нейросетью это конвейер, где дороже всего обходится потерянное единство. Референсы, ключевые кадры и короткие блоки решают почти всю задачу, а инструменты вокруг них меняются каждый месяц.
Практический маршрут выглядит так. Сценарий и голос, потом лист персонажа и три референса стиля, потом ключевые кадры, потом блоки по пять-десять секунд, потом монтаж и звук. Эффекты поверх живого видео добавляются в конце, когда основной ряд уже собран.
Там, где нужен аккуратный монтаж, тайминг и звук, работа идёт в анимационном ролике. Там, где в кадре должен быть живой человек, выручают ручные ролики.
