Сравнение AI сервисов
Технологии ИИ мокапа еще не активно используются в кино и анимационной индустрии, но уже популярны у создателей контента на youtube. Даже музыкальные исполнители начали использовать их для клипов и концертов.
MGMT — «Mother Nature» (2023). Анимация выполнена с помощью сервиса MOVE
Выступление Grimes на фестивале «Коачелла» 2024. Анимация выполнена с помощью сервиса MOVE
Linkin Park — «The Emptiness Machine». Сервис Wonder Dynamics использовался для трекинга актеров, чтобы затем создать визуальные эффекты.
Далее будет проведен практический анализ трёх сервисов по предоставлению ИИ мокап услуг. Для рассмотрения будут взяты Rokoko, Wonder Dynamics и Plask. Они почти не отличаются по принципу загрузки, редактирования и экспорта файлов, но качество сильно различается от сервиса к сервису. Чтобы сравнить их друг с другом, были записаны видео базовых движений: походка, бег, прыжок, приседание, предмет в руке, удар рукой и удар ногой. Оценка данных платформ будет включать анализ качества анимации, скорости обработки и удобства использования, что позволит сделать выводы о преимуществах и недостатках каждого сервиса для профессиональных студий и инди команд.
Для анимации будет использоваться модель с сайта Mixamo, каталога бесплатных анимаций. Она простая, но хорошо отражает движения тела человека за счет «кукольных» суставов.
3D риг Mixamo
Анимацию можно перенести на необходимую модель двумя способами: либо создать анимацию на 3D модели, представленной платформой в редакторе, либо загрузить персонажа в редактор. Однако для второго способа требуется правильно назвать джоинты (кости) модели, следуя инструкциям на сайте. Второй метод не рекомендуется по многим причинам. Во-первых, риг модели может содержать дополнительные кости, которые программа не будет анимировать, и это создаст сложности при переносе модели в редактор. Во-вторых, это лишняя трата времени, ведь чаще всего у аниматора на руках уже готовый скелет модели с правильными названиями костей. И в-третьих, самая главная проблема — анимация при этом способе переносится именно на джоинты. А так как анимация любой модели происходит с помощью контролов, которые в свою очередь управляют джоинтами, то последующее редактирование анимации становится невозможным.
Поэтому для переноса анимации для анализа использовался другой метод
ИИ создал анимацию встроенной в редактор сервиса 3D модели, потом был сделан ее .fbx экспорт и перенесен в программу Maya. Далее модель была поставлена в Т-позу. В программу произвелся импорт рига модели для теста. И затем от анимированных джоинтов были созданы констрейны (constraint parent) к контролам модели с ригом. Дальше анимацию можно будет запечь, тем самым перенеся ее целиком на контролы. Это позволит сделать чистку анимации и изменить движения, требующие правок.
Скриншот из Autodesk Maya. Модель Mixamo с контролами. Зелёным цветом выделен скелет с анимацией.
Далее будут описаны возможности каждого из сервисов, чтобы учитывать их при анализе.
Rokoko Studio
Rokoko Studio предоставляет широкий спектр услуг по организации мокапа и переноса движений в программу. Платформа предлагает скачать отдельную программу. Загрузка видео происходит в специальном редакторе на сайте. Библиотеки встроенных моделей не предоставлено, однако можно загрузить свою. Обработка используемых для анализа видео заняла не более 2-х минут на каждый ролик. После загрузки сервис предлагает обрезать видео при необходимости, а дальше начинает анализ и создание анимации. Анимацию на модели можно посмотреть прямо в редакторе и сделать экспорт. Однако экспорт лучше делать в программе для компьютера, которая предлагает более широкие настройки для экспорта анимации. Именно тут можно настроить присутствие в файле кадра модели в Т-позе, что облегчает перенос анимации на любую другую модель.
Иллюстрации Криса Теорина, Фадлана Ирсиада, Йонаса Вида, Кара Айвазовского, Нильса Рамзеса Куллака для анимационного конкурса «Альтернативные реальности», организованного Pwnisher.
Самая яркая проблема сервиса — плохая анимация корпуса. Анимация тела получается деревянная, а корпус не сгибается и не поворачивается.
Сервис предоставляет возможность как бесплатного использования, так и платного. При оплаченной подписке возможность программы расширяется: перенос движений можно сделать в реальном времени, а также использовать сразу 2 камеры, чтобы движения переносились как можно чётче. Также на сайте продаются инструменты для трекинга движений: костюм с датчиками и камеры, включая камеру для записи лица. В исследовании будет использоваться бесплатная версия без дополнительных инструментов.
Wonder Dynamics
Wonder Dynamics является более профессиональной программой. Сервис помогает как создать мокап, так и вставить персонажа в уже готовый видеоролик, отслеживая движение камеры и угол обзора. В кадре может быть несколько персонажей, и все они могут быть обработаны даже в прямом эфире. Модель можно как загрузить, так и выбрать готовую из библиотеки, которая предоставляет обширный выбор: от семиреалистичного персонажа до роботов и инопланетян.
Пробного периода нет: платформой можно пользоваться только после оплаты
Для начала работы нужно создать новый проект. Туда загружается видео, и далее начинается процесс обработки и поиска «актёра». Это происходит довольно быстро. Дальше нужно поместить выбранную 3D модель в пространство, выделенное прямоугольником, настроить параметры анимации и отправить на создание анимации. Скорость обработки каждого видео составила 30-40 минут. Это несравнимо дольше, чем у Plask и Rokoko. Результат можно также скачать в нескольких расширениях, включая .fbx
Демонстрация продукта Wonder Studio
Plask AI
Платформа Plask AI заявляет себя как профессиональная программа для 3D анимации. Из нее можно сделать экспорт как анимации так и готового рендера. Часто её используют для создания коротких вертикальных видео. Она также работает только через сайт и имеет библиотеку моделей, хоть и довольно маленькую.
Однако интерфейс не слишком удобен. Хотя там и есть обучающие плашки, работа с таймлайном непонятна. Полученная анимация превращается в видеодорожку, которую можно двигать по таймлайну, однако сама анимация будет проигрываться с нулевого кадра, где бы она ни стояла. Причем проигрывание не зациклено, и даже когда анимация закончится, она не начнется заново. При проигрывании может возникнуть странный эффект перемещения модели из Т позы в положение из анимации, поэтому иногда затруднительно понять, как начинается анимация. Также, когда человека нет в кадре, модель съеживается в нулевой координате до тех пор, пока по таймингу не начнется движение.
Обработка видео происходит быстро, и результат можно сразу посмотреть.
Демонстрация продукта Plask
После знакомства с сервисами можно начать анализ полученных результатов. Для этого были сняты видео с базовыми и динамическими движениями.
Походка
Загрузка видео на сервисы: походка спокойным шагом и остановка
Полученные результаты:
Rokoko
Rokoko справился с местоположением стоп и тела, однако со всеми остальными конечностями проблема. Масса тела завалена вперед, особенно это чувствуется в конце. Ступни, хоть и расположены правильно, но повернуты в совершенно другую сторону, из-за чего персонаж идёт боком. Руки сохраняют траекторию движения, но проходят сквозь тело, а колени «выстреливают».
Если посмотреть на анимацию в целом, то она поддается исправлению вручную. Массу тела можно подвинуть, руки расположить так, чтобы они не проходили сквозь ноги, а стопы, которые и так нужно будет переключать из прямой кинематики в обратную, можно повернуть. Но править придётся очень много.
Wonder Dynamics
Тут ситуация намного лучше. Движения переданы четко и правильно, а также плавно и ровно. Проблемы видны при повороте камеры: когда рука скрывается за телом, нейросеть не видит ее, из-за чего сама «додумывает» движения, и может возникнуть баг. Но это легко правится. Положение стоп также верное, хотя есть небольшое подергивание. Это тоже можно исправить, переключив кинематику ног. Также можно заметить, что здесь анимированы пальцы рук, чего не было в Rokoko. Правда движения не совсем совпадают с оригинальным видео: пальцы постоянно то сгибаются, то разгибаются. Это можно исправить простым удалением ключей. В целом, результат очень легко поддается корректировке и чистка анимации с исправлением ошибок займет не так много времени.
Plask
Здесь тоже движения переданы достаточно хорошо и плавно. Но можно найти проблемы, если присмотреться. Плечи модели неестественно опущены, а руки болтаются слишком сильно и не совпадают с видео. Видна некоторая дерганность в движении таза. Ноги двигаются хорошо, но стопы слишком сильно задраны вверх. При повороте камеры видно, что тело немного наклонено, однако завал очень маленький, и тело легко можно вернуть на правильное место. В целом анимация вышла хорошей. Править здесь, конечно, больше, чем у Wonder Dynamics, но нужно помнить, что Plask можно пользоваться бесплатно.
Всё вместе
Бег
Загрузка видео: забегание в кадр и остановка
Полученные результаты:
Rokoko
Rokoko передал направление и движение тела, однако со всем остальным сильные проблемы. Как можно увидеть, тело при каждом шаге подпрыгивает вверх, тело снова заваливается вперед, а голова вертится в разные стороны. Кажется, что руки движутся прямо, но они опять проходят сквозь тело. Всё это можно исправить, но создать анимацию вручную с нуля будет быстрее и проще.
Wonder Dynamics
Wonder опять справился очень хорошо. В движениях есть некоторая дерганность, но она исчезнет при чистке ключей. Ступни не прыгают и следуют за ногами в оригинальном видео. В этот раз движения пальцев рук переданы правильно и реалистично.
Plask
Plask тоже создал плавные движения, хотя они тут более размашистые. Голова слишком сильно болтается вверх и вниз. Осталась проблема с неестественно опущенными плечами. Если присмотреться, то можно увидеть, что ступни при соприкосновении с полом отъезжают назад. Но в движении рук и корпуса всё хорошо, а перечисленные ошибки легко поддаются исправлению.
Всё вместе
Прыжок
Загрузка видео: прыжок с разбега и остановка
Полученные результаты:
Rokoko
Rokoko неплохо справился в этот раз. Присутствует быстрый отскок и плавное приземление. Проблема с руками всё та же: проходят насквозь. В конце персонаж встает в непонятную заваленную стойку. Из-за того, что две половинки туловища не поворачиваются относительно друг друга, движение становится неестественным и деревянным. К тому же персонаж начинает прыжок, когда отталкивающаяся нога еще не вытянута полностью. Получившийся результат требует большой доработки, но уже гораздо лучше, чем в предыдущие разы.
Wonder Dynamics
Здесь опять все практически идеально. Хотя излишняя плавность убивает динамику прыжка. Всё же движение должно быть быстрым при отскоке и в конце приземления. Но все остальные части тела отрабатывают хорошо: видно, как сгибаются пальцы ног, опорная нога при прыжке вытягивается.
Plask
Тут сразу видна проблема в общем движении массы: создается странное ускорение вперед в середине прыжка. Ноги скользят по полу, а опорная нога так же, как и в Rokoko, не выпрямляется при отталкивании. Но по динамике и скорости всё хорошо: быстрое начало, более плавный полет и быстрое, аккуратное приземление с почти правильной отработкой частей тела.
Всё вместе
Приседание
Загрузка видео: человек ставит стул на пол и садится на него
Полученные результаты:
Rokoko
Сейчас анимация совсем не получилась: конечности дергаются, персонаж поднимает корпус вверх после того как сел. Руки не расставлены широко, как в оригинальном видео, чтобы в них поместился предмет. Чистить и править придётся очень много, поэтому проще сделать анимацию с нуля.
Wonder Dynamics
Сразу нужно отметить, что нейросеть заметила в руках предмет и широко расположила руки. После приседания корпус немного уезжает вправо, но это легко поправимо. Единственный существенный минус — плечи совсем не отработали. В референсе корпус изогнут аркой, а плечи опущены, чего не получилось в итоговой анимации. Также довольно странно ведут себя пальцы, которые неестественно прямо изогнулись. Но в движении ног и рук, переносе веса и повороте головы всё хорошо.
Plask
Нейросеть хорошо передала основные движения тела, но все еще осталось много проблем: персонаж подергивается, стопы ног странным образом искривлены, а голова после приседания заваливается назад. Также неправильно отследился поворот кистей: они вывернуты в другую сторону, в такой позе невозможно что-либо удержать в руках. Если повернуть камеру, то видно, как неестественно ломается туловище. Это плохо видно спереди на данной модели, однако на других, более подробных персонажах, может выглядеть по-другому.
Всё вместе
Предмет в руке
Загрузка видео: переброска предмета из одной руки в другую и обратно
Полученные результаты:
Rokoko
В статичном положении тело, анимированное Rokoko, выглядит совсем деревянно: топорные движения конечностей и несгибаемый корпус создают иллюзию того, что персонажем управляют, дёргая за ниточки. Руки не повернуты в правильную сторону, ноги съезжают по земле в момент небольшого приседа. В бросках не чувствуется динамики.
Wonder Dynamics
Хорошо выполнена анимация туловища. Ноги хорошо отрабатывают приседание, однако неестественно выгнуты внутрь, но частично это проблема самой модели, у которой голень не параллельна бедру. Есть существенная проблема в руках. Во-первых, пальцы согнуты неправильно, а во-вторых, не чувствуется динамика и сам бросок из-за того, что не хватает захлестов кистей рук. также стопы при приседании двигаются вниз. Но все это легко исправимо.
Plask
Plask хорошо передал динамику, однако все же здесь много ошибок. Расположение рук не совсем точное, и кисти повернуты не в ту сторону. Также присутствует неприятное подергивание модели. Голова и ноги отрабатывают хорошо.
Всё вместе
Удар рукой
Загрузка видео: удар рукой с размаха
Полученные результаты:
Rokoko
Движение хорошо в своей резкости, но проблемы всё еще есть. Возникли баги в анимации ног. При максимальной точке удара корпус отскакивает назад, что нарушает динамику. Стоит отметить, что левые нога и рука двигаются хорошо. В целом, получился нормальный результат, который можно почистить.
Wonder Dynamics
В этот раз плавность сыграла не на руку сервису: тело и конечности хорошо отрабатывают инерцию, но анимация удара вышла слишком плавной. Так же бьющая рука совсем не разгибается, из-за чего потенциальный удар не попал бы по цели. Пальцы опять запутаны друг в друге, но это простительно, учитывая скорость движения и их масштаб в оригинале.
Plask
Несмотря на перечисленные выше типичные ошибки сервиса, анимация получилась хорошей. Плечи не выгибаются неестественно. Из-за замаха и скорости движения чувствуется сила удара. Тело хоть и подергивается, но двигается правильно, по инерции. Осталось поправить стопы, пальцы рук и движение головы.
Всё вместе
Удар ногой
Загрузка видео: удар ногой в сторону
Полученные результаты:
Rokoko
Типичные ошибки для сервиса продолжаются: проходящие насквозь руки, несгибаемый корпус. Удар получился не такой динамичный как в оригинале, в теле не чувствуется инерции и силы. персонаж будто пинает мусорный бак, а не ударяет со всей силой. В целом, анимация поддаётся редактированию, и если сжать корпус, успокоить руки, то выйдет хороший результат.
Wonder Dynamics
Здесь удар тоже получился довольно слабым, но тело отрабатывает правильно. Усилить удар довольно просто: нужно сильнее сжать тело перед ударом и дальше занести ногу, затем быстро вывести в позу, сделать разворот груди быстрее и добавить инерции к нижней части туловища.
Plask
У Plask хорошо получаются очень быстрые динамические движения. Несмотря на баги, сила удара передана правильно, в соответствии с оригиналом. Вывернутые плечи также отсутствуют и двигаются естественно. Небольшая чистка — и выйдет отличная анимация.
Всё вместе
Танец
Загрузка видео: динамичный танец. Сложность: камера не статична
Полученные результаты:
Rokoko
Исходя из полученных результатов, можно сказать, что сервис не заточен под создание динамических сцен. Из-за топорного движения тела танец смотрится очень скудно. Движения повторены верно, но именно отсутствие движений корпуса испортило анимацию.
Wonder Dynamics
Сервис хорошо себя показывает с точки зрения плавности движений. Но эта плавность не всегда нужна. Танец передан правильно, каждое движение соответствует тому, что есть в ролике, но не хватает резкости, динамики. Также видно, что предплечья с кистями двигаются слишком жестко, в них нет естественных изгибов и захлестов. Это исправимо, динамику также можно добавить, только придется делать это во всем теле.
Plask
Движения выполнены хорошо, четко и динамично. В анимации есть небольшие ошибки: неправильное движение левой руки и прыгающие стопы. Во всем теле хоть и есть, что править, но это касается только поз в определенных ключах. Положение ключей на таймлайне менять практически не требуется.
Отдельным выводом стоит упомянуть, что каждый сервис может корректно обработать только видео со статичной камерой. Движения считаются, но потом придётся править положение тела в пространстве, чтобы модель стояла ногами на полу. Сейчас же персонаж подлетает в воздух в соответствии с положением тела в кадре.
Всё вместе
