Достижение согласованности в видеороликах, созданных с помощью ИИ, всегда было сложной задачей. В то время как создание виртуальных моделей и одежды — простая задача, создание видеоролика, в котором Илон Маск демонстрирует шубу, остается сложной задачей.
Недавно обновленная модель Pika 2.0 предлагает умное решение: загружая несколько фотографий, Pika может ссылаться на определенные элементы для создания видеороликов с удивительной точностью.
Предоставляя фотографии людей, продуктов и обстановки, пользователи могут создать простой рекламный видеоролик, визуальные эффекты которого максимально соответствуют исходным изображениям.
Означает ли это, что ИИ решил проблему согласованности видео, создав новые проблемы для рекламодателей? Не совсем так. Хотя Pika удобна в использовании, ее практичность все еще оставляет желать лучшего.
Создание нереальных сцен с помощью Pika
Функция ввода нескольких изображений Pika, называемая «Ингредиенты сцены», позволяет пользователям комбинировать фотографии и создавать уникальные сценарии. Вот как это работает:
- Загрузите до шести изображений, нажав кнопку «+».
- Добавьте простую подсказку в текстовое поле.
Например, пусть Илон Маск и Ультрамен вместе посмотрят фильм. Подсказка: Двое сидят в темном зале, держат попкорн и с нетерпением смотрят на экран…
Просто загрузите их фотографии, и театральная среда будет создана по подсказке. В то время как Илон Маск выглядит реалистично, внешность Ультрамена кажется преувеличенной и оторванной от оригинальной фотографии.
Отличительной особенностью Pika является его способность «повторно использовать» элементы. Например, мы можем одеть Маска и Ультрамена в одинаковые зеленые пальто и создать модную фотосессию.
Фотографии двух людей были получены из готовых изображений. Зеленое пальто и ледяной снежный фон были сгенерированы отдельно с помощью ИИ, а текст «AIGC» на пальто послужил вызовом для Пика.
Результат показал приличную согласованность между сценой и пальто, а текст «AIGC» был едва узнаваем. Позы моделей также соответствовали инструкциям. Но самая большая проблема в том, кто эти два человека? Лица на видео и фотографиях могут быть не идентичны, но они совершенно не связаны.
Далее мы протестировали кастомизацию наряда Пики, создав черную футболку с надписью «Я был человеком». Мы добавили фотографию Марка Цукерберга и фотографию укулеле, чтобы создать музыкальное представление.
Пика хорошо следовала подсказке, и движение камеры было плавным. Одежда также была надета без проблем, но правая рука, особенно большой палец, все еще не идеальна.
По сравнению с Google Veo и OpenAI Sora модель Pika не топовая. Решение одной проблемы часто выявляет больше ошибок.
Попробовав реалистичный стиль, перейдем к стилю аниме. Чтобы Гинтоки Саката и Наруто Узумаки были в одном кадре, я выбрал два изображения с голубым небом и белыми облаками в качестве фона.
Фон естественно сливается, и выражения хорошо переданы, с эффектом ветра на волосах и одежде, которая хорошо сидит. Однако эффект поворота довольно тревожный. Глаза Гинтоки выглядят безжизненными, не закатываются по-настоящему.
Вы также можете заставить известные картины взаимодействовать между эпохами — как Мона Лиза и Девушка с жемчужной сережкой, поедающая картошку фри в Макдоналдсе. Эффект неидеальный. Увидев Мону Лизу, задаешься вопросом, перевернулся ли бы да Винчи в гробу. Персонажи выглядят как наклейки, размещенные в видео, со странными движениями головы.
Иногда возвращение к простоте дает неожиданно хорошие результаты. Загрузка изображения Starbucks и картины Моне «Водяные лилии» приводит к появлению «лотосообразной» кофейной чашки.
Конкуренция с моделями китайского производства: управление видео с ИИ стало проще
В некоторой степени Pika улучшила управляемость видео. Хотя это не совсем удалось, как видно на практике, Pika сохраняет последовательность в сценах, одежде и объектах, но лица имеют тенденцию искажаться независимо от стиля.
Кроме того, базовые возможности Пика нуждаются в улучшении. Такие действия, как прием пищи или игра на пианино, все еще представляют трудности. Можно ли облегчить эти проблемы, вытягивая карты?
В трех словах: недоступно. Pika 2.0 в настоящее время доступна только для пользователей Pro и Fancy, стоит не менее 35 долларов в месяц без бесплатной пробной версии. Более того, пользователи Pro получают только 2000 баллов в месяц, но использование функции Scene Ingredients стоит 100 баллов за видео.
Фактически, китайская модель видео AI Vidu реализовала функцию «многокадровой ссылки» раньше, чем Pika. Более привлекательно для пользователей, она предлагает бесплатные пробные баллы.
Я проверил некоторые из кейсов Pika на Vidu. Мона Лиза и Девушка с жемчужной сережкой, поедающие картошку фри, выглядят так, будто они только что вылезли из-под земли, но сходство Моны Лизы лучше, чем у Pika.
Илон Маск и Ультрамен смотрят фильм вместе. Лицо Маска воспроизведено примерно на 70–80 % точно, но лицо Ультрамена все еще не очень.
Гинтоки Саката и Наруто Узумаки в одном кадре. Виду может сгенерировать боковую сторону из передней, но стиль отличается от оригинального изображения.
Кроме того, Vidu имеет ограничение по сравнению с Pika — он может загружать максимум три изображения. Поэтому, когда я использовал Vidu для создания модной съемки для Маска и Ультрамена, я загрузил только их фотографии и зеленое пальто, оставив фон.
Результаты показались незнакомыми. Очевидно, что сохранение стабильности лица по-прежнему остается проблемой.
При сравнении Vidu и Pika мнения могут различаться. Pika использует профессиональную версию, а Vidu — бесплатную, что объясняет некоторые различия. Однако подход Pika и Vidu схож — использование всего нескольких изображений и простых подсказок для создания относительно стабильных объектов.
В генерации видео с использованием ИИ поддержание согласованности субъектов в настоящее время более надежно достигается с помощью решения LoRA. Это подразумевает тонкую настройку модели с определенным количеством конкретного предметного материала. При наличии адекватного материала и обучения модель постепенно изучает черты внешности персонажа.
Но чтобы сделать видео AI более доступными и коммерчески ценными, необходимо снизить порог входа. По крайней мере, в Vidu и Pika мы видим потенциал.
Становление вирусным с помощью коротких видеороликов на основе искусственного интеллекта: билет в один конец к творчеству
Вскоре после выпуска модели Pika 2.0 международные пользователи уже были в восторге. Многократно генерируя видео в разных сценах с использованием собственных фотографий, они могли достичь «мгновенного путешествия по вселенной». С ИИ примерка одежды осуществляется всего одним щелчком мыши. Модели и наряды плавно перетекают друг в друга, что экономит стоимость реальных съемок.
Игра с Пикой дала мне ощущение, похожее на игру в «QQ Show» и «The Sims», где мы решаем, как нарядить персонажей в видео.
Если вы хотите осуществить «мечту» Маска, это легко. Во-первых, используйте другие инструменты ИИ, чтобы сгенерировать футболку «Conquer Mars» и красную шапку с надписью «MAGA».
Затем загрузите эти изображения, сцену на Марсе, фотографию Маска, его гуманоидного робота Оптимуса Прайма и прототип его любимого интернет-мема Doge на Pika.
В конце появляется солнечный и жизнерадостный молодой человек с собакой слева и роботом справа, выглядящий дружелюбно, но не совсем похожий на Маска.
Похожи они на него или нет — это одно; пока вы сохраняете открытость ума, возможности безграничны. Используя фотографии себя и знаменитостей, мы можем легко вступить в фандом. Загружайте шляпы, одежду и инструменты, чтобы одеться с головы до ног. Собирайте сцены, продукты и моделей, и у вас получится простое рекламное видео…
Фото + изображения AI + Pika 2.0 + подсказки могут генерировать много интересных визуальных эффектов. Этот метод также позволяет избежать некоторых недостатков видеомоделей, таких как написание, которые можно решить с помощью моделей изображений. Не конкурируя напрямую с возможностями моделей Google или не сравниваясь с голливудскими мечтами Runway, Pika имеет свой уникальный подход.
Pika всегда была мастером креатива: предыдущая серия спецэффектов на основе искусственного интеллекта Pikaffect стала вирусной на таких платформах, как RedNote и TikTok, в результате чего количество пользователей Pika превысило 11 миллионов.
Pika нашла группу пользователей с высоким спросом на развлекательные короткие видео. Даже если эти видео шаблонные и мимолетные, пока они веселые, люди будут на них толпами ходить.
Кто сказал, что победа — это когда все забираешь? Рынок ИИ огромен, и хотя симуляция физического мира — это великая мечта, достижение небольшой цели — сделать короткие видеоролики ИИ интересными — это тоже форма успеха.
Источник из ифанр
Отказ от ответственности: информация, изложенная выше, предоставлена ifanr.com независимо от Chovm.com. Chovm.com не делает никаких заявлений и не дает никаких гарантий относительно качества и надежности продавца и продукции. Chovm.com категорически отказывается от какой-либо ответственности за нарушения авторских прав на контент.
