Чем проект непрофессионального режиссера с использованием искусственного интеллекта выделялся среди обычных короткометражек?
В феврале 2023 года Джим, программист в игровой индустрии, стал художником по искусственному интеллекту.
К декабрю 2024 года короткометражный анимационный фильм Джима «Худой человек, ружье, тушеное мясо с овощами» получил золотую награду за лучший короткометражный анимационный фильм на церемонии вручения премии Independent Shorts Awards.
Это значимый международный фестиваль короткометражных фильмов в мире независимого кино, не специально для работ с ИИ, что делает его крупным достижением для Джима. Он заявил: «Приятно, что судьи сосредоточились на самой истории, проигнорировав ярлык ИИ».
«The Thin Man The Gun The Hotpot» был в основном закончен Джимом в одиночку. 10-минутный фильм состоит из 242 кадров, на его создание ушло почти три месяца, и потребовалось не менее 200 часов работы, в среднем более двух часов в день.
В течение 90-дневного процесса создания Джим чувствовал себя так, будто он находится в битве умов с ИИ, расширяя его границы и избегая его ограничений. Когда зрители заметили: «ИИ начал делать анимацию», Джим ответил: «Это создатели заставляют ИИ делать анимацию».
3 месяца, 10 минут
«The Thin Man The Gun The Hotpot» — криминальный фильм в жанре нуар, важный жанр в прошлом Голливуда, история которого уходит корнями в китайскую культуру. Термин «The Thin Man The Gun The Hotpot» происходит из Юго-Западного Китая и относится к небольшим продуктовым лавкам, открытым поздно ночью.
Главный герой, Сюй Ся, молодой человек, который поздно ночью обедает в уличном ларьке. Чтобы оплатить лечение отца, он делает неэтичный выбор, но сохраняет неприкосновенную моральную линию. В конечном итоге он оказывается втянутым в насилие и убийство, пойманным в ловушку судьбы.
Вместо того чтобы называть это «ИИ-анимацией», точнее было бы сказать, что «Худой человек, ружье, жаркое» — это анимация, созданная с использованием инструментов ИИ.
ИИ генерировал визуальные эффекты, в то время как другие элементы, такие как сценарий, монтаж, озвучка, музыка и звуковые эффекты, были сделаны вручную. Текст в визуальных эффектах был добавлен на этапе пост-продакшна.
Что касается визуальных эффектов, Джим следует стилю «чистой генерации ИИ». В «The Thin Man The Gun The Hotpot» нет кадров с живыми актерами; фильм основан на преобразовании изображения в видео. Изображения были созданы Midjourney, а видео — Keling, Pika, Jidream, PixVerse и Runway.
Генерация ИИ непредсказуема, но для того, чтобы рассказывать последовательную историю с помощью ИИ, нужна стабильность. Начиная с дизайна персонажей, Джим думал о том, как сохранить последовательность персонажей.
У Джима было два принципа дизайна персонажей. Во-первых, общий вид должен быть простым, описываемым несколькими ключевыми словами. Во-вторых, персонажи должны иметь отличительные элементы, так что даже если они не полностью последовательны, они остаются узнаваемыми для аудитории.
Наиболее характерные персонажи — Брат Ван и Ли Цзяцзя. Брат Ван лысый, носит спортивную одежду и солнцезащитные очки; Ли Цзяцзя напоминает женщину из ретро 90-х, в рыжем платье и с волнистыми волосами.
Внешне утонченный мистер Чжу, носящий очки и костюм без бороды, лишен каких-либо необычных черт, что делает его наиболее часто воссоздаваемым персонажем Джима.
Джим обнаружил, что ИИ легко создает персонажей с аурой «старых денег», но испытывает трудности с персонажами вроде мистера Чжу, который богат, но не принадлежит к элите, опасен, но не является криминальным авторитетом.
«Фильм с живыми актерами и анимационным фильтром», — так Джим описывает свой стиль анимации. Зрители могут представить, как бы это выглядело с настоящими актерами.
После того, как изображение каждого персонажа сгенерировано с помощью текста, это похоже на фотографию костюма для фильма. Затем Джим использует эти изображения в качестве материала, создавая больше изображений с разными углами и сценами, сохраняя при этом персонажей неизменными.
При наличии достаточного количества изображений можно создавать видео. Инструменты видео с использованием ИИ быстро обновляются; «The Thin Man The Gun The Hotpot» использовал версии с августа по сентябрь 2024 года.
Для технически сложных кадров Джим экспериментировал с различными видеоинструментами. Каждый инструмент имеет свои сильные стороны. Jidream, Keling и Pika были наиболее используемыми инструментами.
В то время Джидрим преуспел в съемке боевых сцен, Пика — в съемке сцен и простой разговорной анимации, в то время как Келинг обладал в целом сильными способностями, хотя иногда и излишне сложными в определенных ситуациях.
Даже с сегодняшними инструментами многие сцены в «The Thin Man The Gun The Hotpot» сложно передать естественным образом. Это требует использования традиционных методов.
Например, когда персонажи не смотрят прямо вперед или не находятся на крупных планах, которые ИИ может легко распознать, и когда действия, выражения и углы камеры находятся в движении, актер озвучивания должен дублировать в соответствии с движениями губ видео. Джим считает, что новые функции не обязательно полезны; старые методы, хотя, возможно, и неуклюжи, более надежны.
Ниша и разнообразие
История «The Thin Man The Gun The Hotpot» разворачивается в небольшом городке на юго-западе Китая, персонажи говорят на сычуаньском диалекте, который является личным предпочтением Джима. Художественный стиль «The Thin Man The Gun The Hotpot» также уникален, и зрители сравнивают его с эпизодом «Love, Death & Robots».
За время работы в игровой индустрии Джиму довелось увидеть слишком много однотипного, проверенного и проверенного контента.
Создание на основе ИИ может быть персонализировано. Высококачественные работы по-прежнему требуют от крупных компаний значительных вложений ресурсов, но Джим видит больше возможностей в создании «базовой работы».
С самого начала использования Midjourney Джим ясно дал понять, что не хочет творить в стиле «мейнстрима». Как активный пользователь Midjourney, он хорошо знает стили, которые легко генерирует ИИ, и которые также являются его запретными зонами.
Он предпочитает стили, которые не сразу узнаются, с оттенком ретро, но не совсем старомодную анимацию — знакомую, но в то же время новую.
При разработке художественного стиля для «The Thin Man The Gun The Hotpot» Джим опирался на работы режиссера анимации Масааки Юасы и художника манги Ёсихару Цугэ.
Сначала он использовал функцию описания Midjourney, чтобы понять ключевые слова их стилей, а затем непрерывно писал подсказки, многократно повторяя процесс для создания изображений, соответствующих его требованиям.
Мировоззрение в фильме «Худой человек, ружье, жаркое» во многом проистекает из регионов и стихий, с которыми Джим знаком.
В 2019 году Джим посмотрел фильм «Озеро диких гусей» режиссера Дяо Инань с Ху Гэ в главной роли и был глубоко впечатлен его «приземленной обстановкой с эстетикой и сутью нуара». Он понял, что традиционные жанровые фильмы не высечены в камне, и в китайских повествованиях появилась новая жизненная сила.
В 2021 году Джим начал писать сценарий, сформировав основную схему романа «Худой человек, ружье, жаркое из тушеного мяса», включив в нее небольшой городок, отчаявшегося молодого человека и жизненные неурядицы.
В 2023 году Джим начал использовать Midjourney для изучения концепт-арта ИИ.
Однако до 2024 года Джим никогда не думал о том, чтобы на самом деле сделать фильм с использованием искусственного интеллекта. Он самостоятельно изучил фотографию, написание сценариев и операторское мастерство, но на этом остановился. Видеоролики рассказывают истории через линзы, но он не мог создавать собственные кадры.
В начале 2024 года Джим начал использовать некоторые из самых ранних видеороликов ИИ, такие как Pika, и внезапно понял, что он наконец может анимировать сцены, настраивать и изменять изображения и соединять их для завершения короткометражного фильма. Его желание творить стало беспрецедентно сильным.
Когда материалы были готовы, пришло время для монтажа, звуковых эффектов, дубляжа и музыки. Джим глубже погрузился в традиционный процесс производства фильмов. Он экспериментировал и учился, постепенно загружая некоторые стилизованные, личностно отличительные работы на Bilibili.
Другой короткометражный фильм Джима с использованием искусственного интеллекта, «Hard Bop Gunman», вдохновлен стилем старых американских комиксов и немого кино и впоследствии получил награду в номинации «Творческий трек» конкурса видеороликов с использованием искусственного интеллекта на таких платформах, как 1905 Movie Network и Bilibili.
ИИ еще не успел произвести революцию во многих отраслях, но для небольших команд и отдельных авторов стоимость создания контента стала приемлемой, а разнообразный контент получил шанс быть увиденным аудиторией.
Джим признает, что действие «Худого человека, пистолета и жаркого» происходит в регионе Сычуань-Чунцин, и он действовал «преднамеренно». Он доказывает, что при создании нишевого контента больше нет необходимости слишком беспокоиться о традиционном понятии «слишком рискованно».
Ограниченный, но уникальный
10-минутный «The Thin Man The Gun The Hotpot» может не считаться длинным видео на Bilibili. Но в сообществе AI 10 минут — это редкая длина, не говоря уже о том, что «The Thin Man The Gun The Hotpot» рассказывает полную историю.
Чтобы выдержать эти 10 минут, Джиму пришлось выложиться по максимуму и над собой, и над искусственным интеллектом.
Сцены действия в ресторане «Холодный человек. Пистолет. Хот-пот» потребовали от Джима больших усилий, каждый кадр был продуман, но конечный эффект составил менее 40%.
Джим признает, что сцены действия ИИ действительно недостаточны, в них нет ощущения удара и они не следуют физической логике, например, удару по воздуху. Не только сцены действия, но и любые кадры со значительным движением, например, удушение, бросок молотка или удар камнем, труднодостижимы для ИИ.
По опыту Джима, если вам нужно разработать боевые сцены для ИИ, избегайте холодного оружия и используйте вместо него огнестрельное, поскольку ИИ может, по крайней мере, имитировать стрельбу. Он сам использовал эту технику: «Спасибо старым гонконгским фильмам за спасение».
Когда настоящие актеры испытывают трудности с экшн-сценами, на помощь приходят каскадеры-дублеры, но выразительная мимика — это базовый навык актера. Однако это также слабое место ИИ, который либо переигрывает, либо не показывает никакого выражения.
В октябре 2024 года Runway запустила функцию Act-One, которая заставляет персонажей ИИ делать те же выражения, основанные на реальных видео человеческих действий. Джим видит в этом признак того, что если больше продуктов запускают похожие функции, это означает, что у ИИ действительно есть узкое место в производительности.
В «The Thin Man The Gun The Hotpot» персонажи часто появляются крупным планом и в полуобнаженном виде, что отражает слабость ИИ: обработку кадров с несколькими субъектами. При проектировании кадров Джим старается избегать сцен с несколькими людьми, потому что он пока не нашел хорошего решения.
Даже при генерации изображений с помощью Midjourney, если людей больше двух, могут возникнуть проблемы с лицами. При помещении в видеовзаимодействия ИИ сцена становится еще более хаотичной.
Визуальные эффекты, созданные с помощью ИИ, имеют множество ограничений, поэтому в пост-продакшн Джим использует крупные планы, символические кадры и быстрые монтажи, чтобы компенсировать визуальные недостатки. Повторяющиеся образы животных в «The Thin Man The Gun The Hotpot» являются примером.
Метафоры и символизм также широко используются в некоторых классических американских фильмах нуар. В 1940-х и 50-х годах из-за технических ограничений и правил, таких как Кодекс Хейса, ограничивающий жестокие образы, ситуация была несколько похожа на видеоролики ИИ в 2024 году.
Джима интригует эта мысль, отголоски десятилетий: «Возможно, устаревшие методы хорошо работают в фильмах с искусственным интеллектом».
Однако зрители честны и дают такие отзывы, как «гладкая презентация PowerPoint» или «улучшенный динамичный комикс». Джим принимает это, поэтому он решил создавать анимации с помощью ИИ.
По сравнению с гладкой кожей, жутко движущимися персонажами в реальном стиле, анимация, по крайней мере, «не заставляет зрителей сразу думать: «Ого, это слишком фальшиво». Слегка скованные и жесткие движения персонажей более приемлемы в нереалистичной анимации.
Не слепо гоняться за длиной и гарантировать качество в первую очередь отчасти потому, что Джим сравнивает себя с обычными фильмами. Он принял участие в конкурсе Independent Shorts Awards без ИИ, чтобы судьи не обращали внимания на ярлык ИИ и сосредоточились на самой истории.
Джим надеется, что, наблюдая за его работами, зрители будут знать о присутствии ИИ, но не будут прибегать к нему, не проявляя снисходительности в системе оценки фильмов с ИИ: «Сообщество ИИ слишком дружелюбно, услышать несколько резких слов просто необходимо».
Упорство в творчестве для преодоления беспокойства
Новости об искусственном интеллекте часто пишут о «мгновенных изменениях», а создание короткометражного фильма за три месяца — это уже долгий срок.
ИИ прогрессирует ежедневно. В 2023 году Джим мог бы ежедневно получать информацию об ИИ, но с начала 2024 года следить за тенденциями стало невозможно. Он также испытывает беспокойство, но не слепо, как многие другие.
Технология сильна, но людям еще многое предстоит сделать. Трудность и интерес к творению заключаются в том, что некоторые проблемы должны быть решены самим создателем.
В фильме «Озеро диких гусей» есть сцена перестрелки, которая произвела на Джима глубокое впечатление: люди танцуют на площади, полицейские в штатском носят светящуюся обувь, преступники стреляют, полиция гонится за ними, истекая светящейся кровью, а затем тоже стреляет.
Напряженный, но игривый контраст тронул Джима. Без этой сцены первая реакция на квадратные танцы была бы «безвкусной».
Он считает, что зачастую знакомые элементы не устарели, а просто не подверглись глубокому исследованию со стороны создателей.
И наоборот, вещи, тщательно выраженные с помощью старых инструментов, не могут быть заменены новыми технологиями.
Видеоролики об ИИ обновлялись много раз, но Джим не планирует переделывать предыдущие короткометражки об ИИ.
Дизайн и компромиссы всего короткометражного фильма основывались на ограничениях ИИ того времени, формируя целостную сущность. Даже годы спустя все еще есть забавные аспекты, в которых и заключается ценность работы.
ИИ может помочь Джиму завершить больше подобных экспериментов, переосмысливая интересные вещи. Ему не нравится, когда ИИ напрямую дает ответы; он предпочитает решать проблемы сам, используя ИИ как инструмент, похожий на калькулятор.
По сравнению с использованием ИИ для создания рекламных роликов или музыкальных клипов, Джим все же предпочитает использовать ИИ для повествования историй. Для него «нарратив — это изначальное намерение создания фильма».
Несколько лет назад, когда Джим самостоятельно изучал написание сценариев, он не только читал книги, но и практиковался, сочиняя сценарии и завершая их: «Если вы не закончите, это ничего не значит».
В то же время он посмотрел много фильмов, постоянно просматривая новые, организуя интересные кадры и наблюдая за объяснениями и анализами других. Он говорит, что у него «нет прочной основы», но он чувствителен к изображениям, хорошо соединяет похожие объекты и лучше использует язык камеры для точной передачи эмоций и чувств.
Сейчас Джим делает перерыв, планирует поделиться творениями ИИ, готовит следующий проект ИИ и изучает последние разработки в каждом видеоинструменте ИИ. По его мнению, сколько бы ни было инструментов ИИ, ресурсы, которые может инвестировать каждый человек, равны и незаменимы. Количество не имеет значения; важнее найти правильный путь для себя.
В разделе комментариев Джима Билибили зритель описал свои впечатления от просмотра как «бездушные инструменты, душевное творение». Он ответил: «Это утверждение имеет большой вес».
Лучший способ борьбы с тревогой — это творчество. Джим не хочет рассуждать о том, что ИИ сможет сделать в будущем или кого он заменит. Он предпочитает верить, что постоянное создание новых произведений в его руках — это прочная крепость человека.
Источник из ифанр
Отказ от ответственности: информация, изложенная выше, предоставлена ifanr.com независимо от Chovm.com. Chovm.com не делает никаких заявлений и не дает никаких гарантий относительно качества и надежности продавца и продукции. Chovm.com категорически отказывается от какой-либо ответственности за нарушения авторских прав на контент.
