Израильские ученые разработали ИИ-инструмент для создания реалистического видео движением мыши

Исследователи Хайфского Техниона разработали новый метод, позволяющий обычному пользователю точно управлять движением объектов в генеративном видео.

Новая технология, получившая название Time-to-Move (TTM), решает одну из главных проблем современного генеративного искусственного интеллекта – точный контроль динамики персонажей. В отличие от существующих аналогов, разработка ученых не требует огромных вычислительных мощностей или обучения на миллионах видеороликов. Программа функционирует как плагин, который можно легко интегрировать в существующие базовые модели генерации видео. Пользователю достаточно интуитивных движений компьютерной мыши, чтобы задать траекторию и характер перемещения объектов на экране.

В основе технологии лежит новый метод двухтактового шумоподавления. Эта эффективная система балансирует между точным следованием намерениям пользователя и сохранением естественности и физической реалистичности происходящего в кадре. Проведенные эксперименты доказали, что TTM не только не уступает сложным обучаемым методам, но и превосходит их по точности траекторий. Плагин открывает новые возможности, ранее недоступные для стандартных инструментов, включая редактирование внешнего вида движущихся объектов прямо в процессе создания видео и добавление новых элементов в готовую сцену.

"Наш метод упрощает создание ИИ-видео и дает доступ к нему обычному пользователю", – поясняет руководитель исследования доктор Ор Литани. По его словам, технология работает без каких-либо дополнительных вычислительных затрат, что делает создание профессиональной анимации и видеоконтента доступным для широкого круга независимых авторов. Это важный шаг к появлению интуитивных и гибких инструментов для творчества.