Animacja AI: Nowa era w tworzeniu krótkich filmów

Czym projekt sztucznej inteligencji autorstwa nieprofesjonalnego filmowca wyróżnia się na tle zwykłych filmów krótkometrażowych?

W lutym 2023 roku Jim, programista pracujący w branży gier, został artystą zajmującym się sztuczną inteligencją.

W grudniu 2024 r. animowany film krótkometrażowy Jima z udziałem sztucznej inteligencji „The Thin Man The Gun The Hotpot” zdobył złotą nagrodę za najlepszy krótkometrażowy film animowany na Independent Shorts Awards.

To znaczący międzynarodowy festiwal filmów krótkometrażowych w niezależnym świecie filmowym, nie tylko dla prac AI, co czyni go wielkim osiągnięciem Jima. Stwierdził: „To satysfakcjonujące, że sędziowie skupili się na samej historii, ignorując etykietę AI”.

„The Thin Man The Gun The Hotpot” został w większości ukończony przez samego Jima. 10-minutowy film składa się z 242 ujęć, jego realizacja zajęła prawie trzy miesiące i wymagała co najmniej 200 godzin pracy, średnio ponad dwie godziny dziennie.

Podczas 90-dniowego procesu tworzenia Jim czuł, że toczy bitwę na rozum z AI, przekraczając jej granice i unikając jej ograniczeń. Kiedy widzowie zauważyli: „AI zaczęła tworzyć animacje”, Jim odpowiedział: „To twórcy napędzają AI do tworzenia animacji”.

3 miesiące, 10 minut

„The Thin Man The Gun The Hotpot” to kryminał noir, ważny gatunek w przeszłości Hollywood, którego historia jest zakorzeniona w kulturze chińskiej. Termin „The Thin Man The Gun The Hotpot” pochodzi z południowo-zachodnich Chin i odnosi się do małych straganów z jedzeniem otwartych późno w nocy.

Główny bohater, Xu Xia, jest młodym mężczyzną jedzącym późną nocą w ulicznym straganie. Aby zapłacić za leczenie ojca, podejmuje nieetyczne decyzje, ale utrzymuje nienaruszalną linię moralną. Ostatecznie zostaje uwikłany w przemoc i morderstwo, uwięziony przez los.

Zamiast nazywać to „animacją AI”, bardziej trafne byłoby stwierdzenie, że „The Thin Man The Gun The Hotpot” to animacja stworzona przy użyciu narzędzi AI.

Sztuczna inteligencja wygenerowała wizualizacje, podczas gdy inne elementy, takie jak scenariusz, montaż, dubbing, muzyka i efekty dźwiękowe, zostały wykonane ręcznie. Tekst w wizualizacjach został dodany w postprodukcji.

Jeśli chodzi o wizualizacje, Jim podąża za stylem „czystej generacji AI”. „The Thin Man The Gun The Hotpot” nie ma żadnych ujęć z udziałem żywych aktorów; opiera się na konwersji obrazu na wideo. Obrazy zostały wygenerowane przez Midjourney, a filmy przez Keling, Pika, Jidream, PixVerse i Runway.

Generowanie AI jest nieprzewidywalne, ale opowiadanie spójnej historii za pomocą AI wymaga stabilności. Od projektowania postaci Jim rozważał, jak zachować spójność postaci.

Jim miał dwie zasady projektowania postaci. Po pierwsze, ogólny wygląd powinien być prosty, możliwy do opisania kilkoma słowami kluczowymi. Po drugie, postacie powinny mieć charakterystyczne elementy, więc nawet jeśli nie są całkowicie spójne, pozostają rozpoznawalne dla odbiorców.

Najbardziej reprezentatywnymi postaciami są Brother Wan i Li Jiajia. Brother Wan jest łysy, nosi odzież sportową i okulary przeciwsłoneczne; Li Jiajia przypomina kobietę retro z lat 90., ubraną na czerwono i z falowanymi włosami.

Z pozoru elegancki pan Zhu, noszący okulary i garnitur bez brody, nie posiada żadnych niezwykłych cech, przez co jest postacią najczęściej odtwarzaną przez Jima.

Jim odkrył, że sztuczna inteligencja z łatwością tworzy postacie z aurą „starych pieniędzy”, ale ma problemy z postaciami takimi jak pan Zhu, który jest bogaty, ale nie należy do elity, jest niebezpieczny, ale nie jest bossem przestępczym.

„Film aktorski z filtrem animacji” – tak Jim opisuje swój styl animacji. Widzowie mogą sobie wyobrazić, jak wyglądałby z prawdziwymi aktorami.

Gdy obraz każdej postaci zostanie wygenerowany za pomocą tekstu, jest to jak posiadanie zdjęcia kostiumowego z filmu. Następnie Jim używa tych obrazów jako materiału, generując więcej obrazów z różnymi kątami i scenami, zachowując przy tym niezmienione postacie.

Przy wystarczającej liczbie obrazów można generować filmy. Narzędzia wideo AI aktualizują się szybko; „The Thin Man The Gun The Hotpot” używało wersji od sierpnia do września 2024 r.

W przypadku technicznie trudnych ujęć Jim eksperymentował z różnymi narzędziami wideo. Każde narzędzie ma swoje mocne strony. Jidream, Keling i Pika były najczęściej używanymi narzędziami.

W tamtym czasie Jidream brylował w ujęciach akcji, Pika w ujęciach scen i prostych animacjach rozmów, natomiast Keling miał silne ogólne umiejętności, choć czasami w pewnych sytuacjach był niepotrzebnie skomplikowany.

Nawet przy dzisiejszych narzędziach wiele scen w „The Thin Man The Gun The Hotpot” trudno jest osiągnąć naturalnie. Wymaga to polegania na tradycyjnych metodach.

Na przykład, gdy postacie nie są zwrócone bezpośrednio do przodu lub w zbliżeniach, które AI może łatwo rozpoznać, a akcje, wyrazy twarzy i kąty kamery są w ruchu, aktor głosowy musi dubbingować zgodnie z ruchami ust w filmie. Jim uważa, że ​​nowe funkcje niekoniecznie są przydatne; stare metody, choć być może niezdarne, są bardziej niezawodne.

Niszowe i różnorodne

Akcja „The Thin Man The Gun The Hotpot” rozgrywa się w małym miasteczku w południowo-zachodnich Chinach, a bohaterowie mówią dialektem syczuańskim, co jest osobistą preferencją Jima. Styl artystyczny „The Thin Man The Gun The Hotpot” jest również wyjątkowy, widzowie porównują go do odcinka „Love, Death & Robots”.

Pracując w branży gier, Jim widział już zbyt wiele podobnych, sprawdzonych treści.

Tworzenie oparte na AI może być spersonalizowane. Wysokiej jakości prace nadal wymagają od dużych firm inwestowania znacznych zasobów, ale Jim widzi więcej możliwości w tworzeniu „podstawowej pracy”.

Od początku korzystania z Midjourney Jim jasno stwierdził, że nie chce tworzyć w „mainstreamowym” stylu. Jako intensywny użytkownik Midjourney doskonale zdaje sobie sprawę ze stylów, które AI łatwo generuje, a które są również jego strefami zakazanymi.

Preferuje style, które nie są od razu rozpoznawalne, mające klimat retro, ale nie do końca staromodne animacje – znajome, a jednocześnie nowatorskie.

W kwestii stylu artystycznego „The Thin Man The Gun The Hotpot” Jim nawiązał do reżysera animacji Masaakiego Yuasy i twórcy mangi Yoshiharu Tsuge.

Najpierw użył funkcji Describe programu Midjourney, aby zrozumieć słowa kluczowe ich stylów, a następnie stale pisał podpowiedzi, wielokrotnie powtarzając te czynności, aby wygenerować obrazy spełniające jego wymagania.

Światopogląd przedstawiony w „The Thin Man The Gun The Hotpot” w dużej mierze wywodzi się z regionów i żywiołów, które Jim dobrze zna.

W 2019 roku Jim obejrzał „The Wild Goose Lake” w reżyserii Diao Yinan z Hu Ge w roli głównej i był pod wielkim wrażeniem „przyziemnej scenerii z estetyką i rdzeniem noir”. Zdał sobie sprawę, że tradycyjne filmy gatunkowe nie są wyryte w kamieniu, a w chińskich narracjach pojawiła się nowa witalność.

W 2021 roku Jim zaczął pisać scenariusz, tworząc podstawowy zarys „The Thin Man The Gun The Hotpot”, obejmujący małe miasteczko, zdesperowanego młodego mężczyznę i trudną sytuację życiową.

W 2023 roku Jim zaczął używać Midjourney, aby poznać koncepcje artystyczne sztucznej inteligencji.

Jednak przed 2024 r. Jim nigdy nie myślał o nakręceniu filmu AI. Nauczył się sam fotografii, pisania scenariuszy i kinematografii, ale na tym poprzestał. Filmy opowiadają historie przez obiektywy, ale nie potrafił tworzyć własnych ujęć.

Na początku 2024 r. Jim zaczął używać niektórych z najwcześniejszych filmów AI, takich jak Pika, i nagle zdał sobie sprawę, że w końcu może animować sceny, dostosowywać i modyfikować obrazy oraz łączyć je, aby ukończyć krótki film. Jego pragnienie tworzenia stało się bezprecedensowo silne.

Mając gotowe materiały, nadszedł czas na montaż, efekty dźwiękowe, dubbing i muzykę. Jim zagłębił się w tradycyjny proces produkcji filmowej. Eksperymentował i uczył się, stopniowo przesyłając stylizowane, charakterystyczne dla siebie prace na Bilibili.

Inny krótkometrażowy film Jima o sztucznej inteligencji, „Hard Bop Gunman”, czerpie ze stylu starych amerykańskich komiksów i filmów niemych, a później zdobył nagrodę w kategorii Creative Track konkursu wideo o sztucznej inteligencji na platformach takich jak 1905 Movie Network i Bilibili.

Sztuczna inteligencja nie zrewolucjonizowała jeszcze wielu branż, jednak dla małych zespołów i indywidualnych twórców koszty tworzenia stały się akceptowalne, a różnorodna treść ma szansę dotrzeć do odbiorców.

Umieszczając „The Thin Man The Gun The Hotpot” w regionie Syczuan-Chongqing, Jim przyznaje, że był nieco „rozmyślny”. Udowadnia, że ​​podczas tworzenia treści niszowych nie ma już potrzeby zamartwiania się o tradycyjne pojęcie „zbyt ryzykownego”.

Ograniczone, ale wyjątkowe

10-minutowy film „The Thin Man The Gun The Hotpot” może nie być uważany za długi film na Bilibili. Jednak w społeczności AI 10 minut to rzadkość, nie wspominając o tym, że „The Thin Man The Gun The Hotpot” opowiada całą historię.

Aby ukończyć te 10 minut, Jim i sztuczna inteligencja musieli wysilić się do granic możliwości.

Sceny akcji w restauracji serwującej hotpot w filmie „The Thin Man The Gun The Hotpot” wymagały od Jima mnóstwa wysiłku, ponieważ każde ujęcie było zaprojektowane dokładnie tak, jak powinno, ale efekt końcowy był na poziomie zaledwie 40%.

Jim przyznaje, że sceny akcji AI są rzeczywiście niekompletne, bez poczucia uderzenia i bez przestrzegania logiki fizycznej, jak uderzenie w powietrze. Nie tylko sceny akcji, ale każde ujęcie ze znaczącym ruchem, jak duszenie, rzucanie młotem lub rozbijanie kamieniem, jest trudne do osiągnięcia dla AI.

Według doświadczenia Jima, jeśli musisz projektować sceny akcji dla AI, unikaj broni białej i używaj zamiast niej broni palnej, ponieważ AI może przynajmniej symulować strzelanie. On sam stosował tę technikę, „Dzięki starym filmom z Hongkongu za ratunek”.

Gdy prawdziwi aktorzy mają problemy ze scenami akcji, dublerzy kaskaderscy mogą wkroczyć do akcji, ale ekspresyjne mimiki twarzy są podstawową umiejętnością aktora. Jest to jednak również słaby punkt AI, która albo przesadza, albo nie wykazuje żadnej ekspresji.

W październiku 2024 r. Runway uruchomił funkcję Act-One, która sprawia, że ​​postacie AI wykonują te same mimiki na podstawie prawdziwych filmów z występami ludzi. Jim widzi to jako znak, że jeśli więcej produktów wprowadzi podobne funkcje, będzie to oznaczać, że AI rzeczywiście ma wąskie gardło w wydajności.

W „The Thin Man The Gun The Hotpot” postacie często pojawiają się w zbliżeniach i ujęciach pół-ciała, co odzwierciedla słabość AI: obsługę ujęć z wieloma obiektami. Podczas projektowania ujęć Jim stara się unikać scen z wieloma osobami, ponieważ nie znalazł jeszcze dobrego rozwiązania.

Nawet podczas generowania obrazów za pomocą Midjourney, jeśli jest więcej niż dwie osoby, mogą pojawić się problemy z twarzą. Po umieszczeniu w interakcjach wideo AI scena staje się jeszcze bardziej chaotyczna.

Wizualizacje generowane przez AI mają wiele ograniczeń, więc w postprodukcji Jim używa zbliżeń, symbolicznych ujęć i szybkich cięć, aby zrekompensować niedociągnięcia wizualne. Powtarzające się obrazy zwierząt w „The Thin Man The Gun The Hotpot” są tego przykładem.

Metafory i symbolika są również powszechnie używane w niektórych klasycznych amerykańskich filmach noir. W latach 1940. i 50. XX wieku, ze względu na ograniczenia techniczne i przepisy, takie jak Kodeks Haysa ograniczający brutalne obrazy, sytuacja była nieco podobna do filmów AI w 2024 r.

Jim jest zaintrygowany tym echem na przestrzeni dekad: „Być może przestarzałe metody sprawdzają się dobrze w filmach o sztucznej inteligencji”.

Jednak publiczność jest szczera, oferując opinie takie jak „płynna prezentacja PowerPoint” lub „ulepszony dynamiczny komiks”. Jim to akceptuje, dlatego zdecydował się na tworzenie animacji AI.

W porównaniu do gładkiej skóry, niesamowicie poruszającego się stylu realnego, animacja przynajmniej „nie sprawia, że ​​widzowie od razu myślą: wow, to jest zbyt sztuczne”. Nieco sztywne i sztywne ruchy postaci są bardziej akceptowalne w nierealistycznej animacji.

Nieślepe dążenie do długości i zapewnienie jakości w pierwszej kolejności wynika częściowo z faktu, że Jim porównuje filmy zwykłe. Wziął udział w konkursie filmów krótkometrażowych bez sztucznej inteligencji Independent Shorts Awards, aby sędziowie nie zwracali uwagi na etykietę AI i skupili się na samej historii.

Jim ma nadzieję, że oglądając jego prace, widzowie będą świadomi obecności sztucznej inteligencji, ale nie przyjdą tu dla sztucznej inteligencji, nie okazując pobłażliwości systemowi oceny filmów o sztucznej inteligencji: „Społeczność zajmująca się sztuczną inteligencją jest zbyt przyjazna, usłyszenie kilku ostrych słów jest koniecznością”.

Trwanie w Tworzeniu, aby przezwyciężyć lęk

Serwisy informacyjne o sztucznej inteligencji często piszą o „zmianach z dnia na dzień”, a stworzenie krótkometrażowego filmu w ciągu trzech miesięcy to już dużo czasu.

AI rozwija się codziennie. W 2023 r. Jim mógł nadążać za codziennymi informacjami AI, ale od początku 2024 r. nadążanie za trendami stało się niemożliwe. Czuje się również niespokojny, ale nie ślepo, jak wielu innych.

Technologia jest potężna, ale ludzie wciąż mają wiele do zrobienia. Trudność i zainteresowanie kreacją polegają na tym, że niektóre problemy muszą zostać rozwiązane przez samego twórcę.

W „Jeziorze dzikich gęsi” jest scena strzelaniny, która zrobiła na Jimie głębokie wrażenie: ludzie tańczą na placu, policjanci po cywilnemu noszą świecące buty, przestępcy strzelają, policjanci gonią ich świecącą krwią, a potem też strzelają.

Napięty, ale zabawny kontrast poruszył Jima. Bez tej sceny pierwszą reakcją na taniec w parach byłoby „tandetne”.

Uważa, że ​​często znane elementy nie są przestarzałe, tylko brakuje im dogłębniejszego zbadania przez twórców.

Z drugiej strony rzeczy starannie wyrażone za pomocą starych narzędzi mogą nie zostać zastąpione nową technologią.

Filmy o sztucznej inteligencji były wielokrotnie aktualizowane, ale Jim nie planuje przerabiać poprzednich krótkich filmów o sztucznej inteligencji.

Projekt i kompromisy całego krótkiego filmu opierały się na ówczesnych ograniczeniach AI, tworząc kompletny byt. Nawet po latach nadal są zabawne aspekty, w których tkwi wartość tej pracy.

AI może pomóc Jimowi przeprowadzić więcej podobnych eksperymentów, przemyśleć interesujące rzeczy. Nie lubi, gdy AI bezpośrednio udziela odpowiedzi; woli rozwiązywać problemy samodzielnie, używając AI jako narzędzia podobnego do kalkulatora.

W porównaniu do używania AI do generowania reklam lub teledysków, Jim nadal woli używać AI do opowiadania historii. Dla niego „narracja jest pierwotnym zamysłem tworzenia filmów”.

Kilka lat temu, gdy Jim uczył się samodzielnie pisać scenariusze, nie tylko czytał książki, ale także ćwiczył pisanie scenariuszy i ich realizację. „Jeśli nie skończysz, to nie ma to większego znaczenia”.

W tym samym czasie oglądał wiele filmów, stale oglądając nowe, organizując interesujące ujęcia i oglądając wyjaśnienia i analizy innych. Mówi, że „nie ma solidnych podstaw”, ale jest wrażliwy na obrazy, dobry w łączeniu podobnych obiektów i lepszy w używaniu języka kamery do dokładnego przekazywania emocji i uczuć.

Teraz Jim robi sobie przerwę, planuje dzielić się dziełami AI, warzyć kolejny projekt AI i nadrabiać zaległości w najnowszych osiągnięciach w każdym narzędziu wideo AI. Jego zdaniem, bez względu na to, ile jest narzędzi AI, zasoby, które każda osoba może zainwestować, są równe i niezbędne. Ilość nie ma znaczenia; ważniejsze jest znalezienie właściwej ścieżki dla siebie.

W sekcji komentarzy Jima Bilibili, jeden z widzów opisał swoje wrażenia z oglądania jako „bezduszne narzędzia, pełne duszy dzieło”. Odpowiedział: „To stwierdzenie ma dużą wagę”.

Najlepszym sposobem na walkę z lękiem jest tworzenie. Jim nie chce spekulować na temat tego, co AI może zrobić w przyszłości ani kogo zastąpi. Woli wierzyć, że ciągłe tworzenie nowych dzieł w jego rękach jest solidną twierdzą człowieka.

Źródło z ifanra

Zastrzeżenie: Informacje podane powyżej są dostarczane przez ifanr.com, niezależnie od Chovm.com. Chovm.com nie składa żadnych oświadczeń ani gwarancji co do jakości i niezawodności sprzedawcy i produktów. Chovm.com wyraźnie zrzeka się wszelkiej odpowiedzialności za naruszenia dotyczące praw autorskich do treści.