Первое музыкальное видео, созданное с использованием неизданной модели Sora от OpenAI, уже здесь.

В начале этого года OpenAI поразила технологическое сообщество, а также многих представителей средств массовой информации и искусства, а также подняла настроение традиционным видеооператорам и художникам, продемонстрировав новую модель искусственного интеллекта под названием Sora, которая создает реалистичное видео с высоким разрешением и плавностью до 60 секунд на клип. .

На данный момент технология остается необнародованной — OpenAI заявила тогда, еще в феврале 2024 года, что она делает Сору «доступной для красных командников для оценки критических областей на предмет вреда или рисков» и избранной небольшой группы «визуальных художников, дизайнеры и режиссеры». Но это не помешало некоторым пользователям первой волны создавать и публиковать с его помощью новые проекты.

Теперь один из выбранных OpenAI пользователей раннего доступа к Sora, сценарист и режиссер Пол Трилло, который одним из первых в мире в марте продемонстрировал сторонние видеоролики, сделанные с помощью модели, создал то, что называется «первое официальное музыкальное видео, созданное с помощью Sora от OpenAI.»

видео был создан для инди-музыканта в стиле чиллвейв Washed Out (Эрнест Уэзерли Грин-младший) и его нового сингла «The Hardest Part». По сути, это 4-минутная серия связанных снимков разных сцен с быстрым зумом, которые были склеены вместе, чтобы создать иллюзию непрерывного зума. Посмотрите это ниже:

В своем аккаунте в социальной сети X: Трилло опубликовал что идея видео пришла ему в голову 10 лет назад, но он отказался от нее. Он также ответил на вопросы своих подписчиков и заявил, что видео было составлен из 55 отдельных клипов создано Сорой из пула в 700 штук и склеено в Adobe Premiere.

Отдельно, но взаимосвязанно, Adobe недавно объявила, что планирует добавить Sora и другие сторонние модели видеогенераторов AI в свое программное обеспечение Premiere Pro по подписке, но сроки этой интеграции не установлены, поэтому тем временем те, кто хочет подражать рабочему процессу Trillo, придется создавать видеоклипы с использованием искусственного интеллекта в другом стороннем программном обеспечении, таком как Runway или Pika (поскольку Sora остается непубличным), а затем сохранять и импортировать их в Premiere. Не конец света, но и не так гладко, как могло бы быть.

В интервью изданию Лос-Анджелес Таймс, Washed Out/Greene сказал: «Я с нетерпением жду возможности внедрить некоторые из этих совершенно новых технологий и посмотреть, как это повлияет на то, что я могу придумать. Так что, если это новаторство, я бы хотел быть частью этого». В интервью также рассматриваются некоторые используемые конкретные подсказки:

«Грину нужно было написать подсказки с достаточно конкретными подробностями не только о самом изображении, но и о ракурсах съемки и движениях персонажей. «Мы приближаемся к пузырю, который лопается, и мы приближаемся к жевательной резинке и выходим на открытое футбольное поле», — написал Трилло в рамках подсказки к короткому фрагменту видео. «Сцена движется быстро, показывая переднюю перспективу, показывая, как студенты становятся больше и быстрее».

Трилло также опубликовал, что использовал только возможности модели по преобразованию текста в видеовместо того, чтобы брать неподвижные изображения, снятые или созданные где-то еще, и передавать их в ИИ для добавления движения (популярная тактика среди художников в быстро развивающейся видеосцене с искусственным интеллектом).

Этот пример демонстрирует возможности Соры в создании медиа с помощью ИИ и является полезным ответом на недавно опубликованную информацию о том, что еще одно из первых демонстрационных видео, созданное канадской творческой студией Shy Kids, под названием «Air Head», показывает мужчину с воздушным шаром для голова, на самом деле в значительной степени опирался на другие инструменты VFX и редактирования видео, такие как ротоскопирование в Adobe After Effects.

Это также свидетельствует о постоянном стремлении некоторых творческих людей — в музыке и видео — использовать новые инструменты искусственного интеллекта для самовыражения и рассказа историй, несмотря на то, что многие другие творческие люди критикуют эту технологию и OpenAI, в частности, как эксплуатирующие и нарушающие авторские права людей-художников путем сбора и обработки данных. обучение по своим предыдущим работам без информированного согласия или компенсации.