AI-animatie: een nieuw tijdperk in het maken van korte films

Hoe onderscheidde het AI-project van een niet-professionele filmmaker zich van gewone korte films?

In februari 2023 werd Jim, een programmeur in de game-industrie, een AI-kunstenaar.

In december 2024 won Jim's AI-geanimeerde korte film "The Thin Man The Gun The Hotpot" de gouden prijs voor beste korte animatiefilm bij de Independent Shorts Awards.

Dit is een belangrijk internationaal kortfilmfestival in de onafhankelijke filmwereld, niet specifiek voor AI-werken, wat het een grote prestatie voor Jim maakt. Hij zei: "Het is bevredigend dat de jury zich op het verhaal zelf heeft gericht en het AI-label heeft genegeerd."

“The Thin Man The Gun The Hotpot” werd voornamelijk door Jim alleen voltooid. De 10 minuten durende film bestaat uit 242 shots, nam bijna drie maanden in beslag om te maken en vereiste minstens 200 uur werk, gemiddeld meer dan twee uur per dag.

Tijdens het creatieproces van 90 dagen had Jim het gevoel dat hij in een gevecht van verstand met AI zat, de grenzen ervan verlegde en de beperkingen ervan ontweek. Toen kijkers opmerkten: "AI is begonnen met het maken van animaties", antwoordde Jim: "Het zijn de makers die AI aansturen om animaties te maken."

3 maanden, 10 minuten

“The Thin Man The Gun The Hotpot” is een noir-misdaadfilm, een belangrijk genre in het verleden van Hollywood, met een verhaal dat geworteld is in de Chinese cultuur. De term “The Thin Man The Gun The Hotpot” komt uit Zuidwest-China en verwijst naar kleine eetstalletjes die tot laat in de avond open zijn.

De hoofdpersoon, Xu Xia, is een jongeman die laat op de avond eet bij een kraampje op straat. Om de medische behandeling van zijn vader te betalen, maakt hij onethische keuzes, maar hij houdt vast aan een onaantastbare morele lijn. Uiteindelijk raakt hij verstrikt in geweld en moord, gevangen door het lot.

In plaats van het "AI-animatie" te noemen, is het nauwkeuriger om te zeggen dat "The Thin Man The Gun The Hotpot" een animatie is die is gemaakt met behulp van AI-tools.

AI genereerde de visuals, terwijl andere elementen zoals het script, editing, voice acting, muziek en geluidseffecten handmatig werden gedaan. De tekst in de visuals werd toegevoegd in postproductie.

Qua visuals volgt Jim een ​​"pure AI generation"-stijl. "The Thin Man The Gun The Hotpot" heeft geen live-actionbeelden; het vertrouwt op image-to-videoconversie. Afbeeldingen werden gegenereerd door Midjourney en video's door Keling, Pika, Jidream, PixVerse en Runway.

AI-generatie is onvoorspelbaar, maar een coherent verhaal vertellen met AI vereist stabiliteit. Vanuit character design overwoog Jim hoe je character consistentie kunt behouden.

Jim had twee principes voor karakterontwerp. Ten eerste moet het algehele uiterlijk eenvoudig zijn, beschrijfbaar met een paar trefwoorden. Ten tweede moeten personages onderscheidende elementen hebben, zodat ze, zelfs als ze niet helemaal consistent zijn, herkenbaar blijven voor het publiek.

De meest representatieve personages zijn Brother Wan en Li Jiajia. Brother Wan is kaal, draagt ​​sportkleding en een zonnebril; Li Jiajia lijkt op een retro 90s vrouw, gekleed in rood met golvend haar.

De ogenschijnlijk verfijnde meneer Zhu, die een bril en een pak zonder baard draagt, heeft geen enkele ongewone gelaatstrekken, wat hem tot het meest door Jim uitgewerkte personage maakt.

Jim ontdekte dat AI gemakkelijk personages genereert met een 'oud geld'-aura, maar moeite heeft met personages als meneer Zhu, die rijk is maar niet elitair, gevaarlijk maar geen misdaadbaas.

“Live-actionfilm met een animatiefilter,” zo omschrijft Jim zijn animatiestijl. Kijkers kunnen zich voorstellen hoe het eruit zou zien met echte acteurs.

Zodra de afbeelding van elk personage gegenereerd is door tekst, is het alsof je een kostuumfoto uit een film hebt. Jim gebruikt deze afbeeldingen vervolgens als materiaal, en genereert meer afbeeldingen met verschillende hoeken en scènes, terwijl de personages onveranderd blijven.

Met voldoende afbeeldingen kunnen video's worden gegenereerd. AI-videotools worden snel bijgewerkt; "The Thin Man The Gun The Hotpot" gebruikte versies van augustus tot september 2024.

Voor technisch uitdagende shots experimenteerde Jim met verschillende videotools. Elke tool heeft zijn sterke punten. Jidream, Keling en Pika waren de meest gebruikte tools.

Jidream excelleerde destijds in actiescènes, Pika in scènes en eenvoudige praatanimaties, terwijl Keling over sterke algemene vaardigheden beschikte, hoewel deze in specifieke situaties soms onnodig complex waren.

Zelfs met de tools van vandaag de dag zijn veel scènes in “The Thin Man The Gun The Hotpot” lastig op natuurlijke wijze te bereiken. Hiervoor is het nodig om te vertrouwen op traditionele methoden.

Bijvoorbeeld, wanneer personages niet recht vooruit kijken of in close-ups zijn die AI makkelijk kan herkennen, en wanneer acties, gezichtsuitdrukkingen en camerahoeken in beweging zijn, moet een stemacteur nasynchroniseren op basis van de lipbewegingen van de video. Jim gelooft dat nieuwe features niet per se nuttig zijn; oude methoden, hoewel misschien onhandig, zijn betrouwbaarder.

Niche en Divers

Het verhaal van “The Thin Man The Gun The Hotpot” speelt zich af in een klein stadje in het zuidwesten van China, met personages die het Sichuan-dialect spreken, een persoonlijke voorkeur van Jim. De tekenstijl van “The Thin Man The Gun The Hotpot” is ook uniek, kijkers vergelijken het met een aflevering van “Love, Death & Robots.”

Jim heeft in zijn werk in de game-industrie te veel vergelijkbare, beproefde content gezien.

AI-gebaseerde creatie kan gepersonaliseerd worden. Voor kwalitatief hoogstaand werk moeten grote bedrijven nog steeds aanzienlijke middelen investeren, maar Jim ziet meer mogelijkheden in het creëren van “een basiswerk.”

Vanaf het begin van het gebruik van Midjourney was Jim duidelijk dat hij niet in een "mainstream" stijl wilde creëren. Als een intensieve gebruiker van Midjourney is hij zich goed bewust van de stijlen die AI gemakkelijk genereert, wat ook zijn no-go zones zijn.

Hij geeft de voorkeur aan animatiestijlen die niet direct herkenbaar zijn, met een retrogevoel maar niet helemaal ouderwets: vertrouwd en toch nieuw.

Voor de tekenstijl van “The Thin Man The Gun The Hotpot” verwees Jim naar animatieregisseur Masaaki Yuasa en mangakunstenaar Yoshiharu Tsuge.

Eerst gebruikte hij de Describe-functie van Midjourney om de kernwoorden van hun stijlen te begrijpen. Vervolgens schreef hij voortdurend opdrachten en herhaalde deze herhaaldelijk om afbeeldingen te genereren die aan zijn vereisten voldeden.

Het wereldbeeld van “The Thin Man The Gun The Hotpot” is grotendeels gebaseerd op de regio’s en elementen waar Jim bekend mee is.

In 2019 keek Jim naar "The Wild Goose Lake", geregisseerd door Diao Yinan en met in de hoofdrol Hu Ge, en was diep onder de indruk van de "down-to-earth setting met een noir-esthetiek en kern". Hij realiseerde zich dat traditionele genrefilms niet in steen gebeiteld zijn en dat er nieuwe vitaliteit is in Chinese verhalen.

In 2021 begon Jim met het schrijven van het script, waarbij hij de basislijnen van "The Thin Man The Gun The Hotpot" schetste, inclusief een klein stadje, een wanhopige jongeman en een levenssituatie.

In 2023 begon Jim Midjourney te gebruiken om AI-concept art te leren.

Maar voor 2024 had Jim nooit gedacht om daadwerkelijk een AI-film te maken. Hij leerde zichzelf fotografie, scriptschrijven en cinematografie, maar stopte daar. Video's vertellen verhalen door lenzen, maar hij kon zijn eigen setshots niet maken.

Begin 2024 begon Jim een ​​aantal van de eerste AI-video's te gebruiken, zoals Pika, en realiseerde zich plotseling dat hij eindelijk scènes kon animeren, afbeeldingen kon aanpassen en modificeren en ze kon verbinden om een ​​korte film te voltooien. Zijn verlangen om te creëren werd ongekend sterk.

Met de materialen klaar, was het tijd voor editing, geluidseffecten, nasynchronisatie en muziek. Jim verdiepte zich dieper in het traditionele filmproductieproces. Hij experimenteerde en leerde, en uploadde geleidelijk een aantal gestileerde, persoonlijk onderscheidende werken op Bilibili.

Jim's andere korte AI-film, "Hard Bop Gunman", haalde inspiratie uit de stijl van oude Amerikaanse strips en stomme films en won later een prijs in de Creative Track van een AI-videowedstrijd op platforms als 1905 Movie Network en Bilibili.

AI heeft nog niet veel sectoren veranderd, maar voor kleine teams en individuele makers zijn de kosten van het creëren acceptabel geworden en krijgt gevarieerde content de kans om door het publiek gezien te worden.

Jim geeft toe dat hij enigszins 'opzettelijk' te werk ging door 'The Thin Man The Gun The Hotpot' te situeren in de regio Sichuan-Chongqing. Hij bewijst dat je je bij het creëren van nichecontent niet langer al te veel zorgen hoeft te maken over het traditionele idee van 'te riskant'.

Beperkt, maar uniek

Een 10 minuten durende “The Thin Man The Gun The Hotpot” wordt misschien niet als een lange video op Bilibili beschouwd. Maar in de AI-community is 10 minuten een zeldzame lengte, en dan hebben we het nog niet eens over het feit dat “The Thin Man The Gun The Hotpot” een compleet verhaal vertelt.

Om deze 10 minuten vol te houden, dwong Jim zowel zichzelf als AI tot het uiterste.

De actiescènes in het hotpotrestaurant in "The Thin Man The Gun The Hotpot" vergden veel moeite van Jim, waarbij elk shot werd ontworpen, maar het uiteindelijke effect was minder dan 40%.

Jim geeft toe dat de actiescènes van AI inderdaad tekortschieten, zonder gevoel voor impact en zonder fysieke logica, zoals in de lucht slaan. Niet alleen actiescènes, maar elke shot met significante beweging, zoals wurgen, een hamer gooien of met een steen slaan, is moeilijk voor AI om te bereiken.

Volgens Jims ervaring, als je actiescènes voor AI moet ontwerpen, vermijd dan koude wapens en gebruik in plaats daarvan vuurwapens, aangezien AI in ieder geval schieten kan simuleren. Hij gebruikte deze techniek zelf, "Dankzij oude Hong Kong-films voor de redding."

Als echte acteurs moeite hebben met actiescènes, kunnen stuntdubbels ingrijpen, maar expressieve gezichtsuitdrukkingen zijn de basisvaardigheid van een acteur. Dit is echter ook een zwak punt voor AI, die ofwel overacteert of helemaal geen uitdrukking toont.

In oktober 2024 lanceerde Runway de Act-One-functie, die AI-personages aanzet om dezelfde gezichtsuitdrukkingen te maken op basis van echte menselijke prestatievideo's. Jim ziet dit als een teken dat als meer producten vergelijkbare functies lanceren, dit aangeeft dat AI inderdaad een knelpunt heeft in de prestaties.

In "The Thin Man The Gun The Hotpot" verschijnen personages vaak in close-ups en half-body shots, wat een zwakte van AI weerspiegelt: het omgaan met shots met meerdere onderwerpen. Bij het ontwerpen van shots probeert Jim scènes met meerdere mensen te vermijden, omdat hij nog geen goede oplossing heeft gevonden.

Zelfs bij het genereren van afbeeldingen met Midjourney, kunnen er gezichtsproblemen ontstaan ​​als er meer dan twee personen zijn. Wanneer ze in AI-video-interacties worden geplaatst, wordt de scène nog chaotischer.

Door AI gegenereerde visuals hebben veel beperkingen, dus in de postproductie gebruikt Jim close-ups, symbolische shots en snelle cuts om visuele tekortkomingen te compenseren. De terugkerende dierenbeelden in "The Thin Man The Gun The Hotpot" zijn een voorbeeld.

Metaforen en symboliek worden ook vaak gebruikt in sommige klassieke Amerikaanse noir-films. In de jaren 1940 en 50 was de situatie, vanwege technische beperkingen en regelgeving zoals de Hays Code die gewelddadige beelden aan banden legde, enigszins vergelijkbaar met AI-video's in 2024.

De echo door de decennia heen is intrigerend voor Jim: “Misschien werken verouderde methoden wel goed in AI-films.”

Het publiek is echter eerlijk en geeft feedback in de vorm van ‘een vlotte PowerPoint-presentatie’ of ‘een verbeterde dynamische strip’. Jim accepteert dit, en daarom heeft hij ervoor gekozen om AI-animaties te maken.

Vergeleken met de gladde, griezelig bewegende stijl van het echte leven, zorgt animatie er in ieder geval voor dat kijkers niet meteen denken: wauw, dit is te nep. De licht stijve en rigide bewegingen van personages zijn acceptabeler in niet-realistische animatie.

Dat Jim niet blindelings de lengte nastreeft en kwaliteit voorop stelt, komt deels doordat Jim zich vergelijkt met reguliere films. Hij deed mee aan de non-AI-competitie Independent Shorts Awards om juryleden het AI-label te laten negeren en zich te laten focussen op het verhaal zelf.

Jim hoopt dat het publiek bij het bekijken van zijn werk zich bewust is van de aanwezigheid van AI, maar niet voor de AI komt, en dat het niet te coulant is in het AI-filmbeoordelingssysteem. "De AI-gemeenschap is te vriendelijk, het is noodzakelijk om harde woorden te horen."

Volharden in de schepping om angst te overwinnen

In AI-nieuws wordt vaak gesproken over ‘veranderingen van de ene op de andere dag’, en een korte film maken in drie maanden is al een lange tijd.

AI boekt dagelijks vooruitgang. In 2023 kon Jim de dagelijkse AI-informatie bijhouden, maar vanaf begin 2024 werd het onmogelijk om trends bij te houden. Hij voelt zich ook angstig, maar niet blindelings, zoals veel anderen.

Technologie is krachtig, maar er is nog veel werk te doen voor mensen. De moeilijkheid en interesse in creatie ligt in het feit dat sommige problemen door de schepper zelf moeten worden opgelost.

In "The Wild Goose Lake" is er een vuurgevechtscène die een diepe indruk op Jim heeft gemaakt: mensen dansen op een plein, agenten in burger dragen lichtgevende schoenen, criminelen schieten, de politie achtervolgt hem met lichtgevend bloed en schiet dan ook.

Het gespannen maar speelse contrast ontroerde Jim. Zonder deze scène zou de eerste reactie op square dancing “smakeloos” zijn.

Hij is van mening dat bekende elementen vaak niet ouderwets zijn, maar dat de makers er nog niet echt dieper op in zijn gegaan.

Omgekeerd kunnen zaken die met oude hulpmiddelen zorgvuldig zijn uitgedrukt, niet door nieuwe technologie worden vervangen.

AI-video's zijn al meerdere keren bijgewerkt, maar Jim is niet van plan om eerdere korte AI-films opnieuw te maken.

Het ontwerp en de compromissen van de hele korte film waren gebaseerd op de beperkingen van AI op dat moment, en vormden een compleet geheel. Zelfs jaren later zijn er nog steeds leuke aspecten, en daar ligt de waarde van het werk.

AI kan Jim helpen om meer vergelijkbare experimenten uit te voeren, en zo interessante dingen te heroverwegen. Hij houdt er niet van dat AI direct antwoorden geeft; hij lost liever zelf problemen op, waarbij hij AI gebruikt als een hulpmiddel dat lijkt op een rekenmachine.

Vergeleken met het gebruik van AI om reclames of muziekvideo's te genereren, geeft Jim er nog steeds de voorkeur aan om AI te gebruiken om verhalen te vertellen. Voor hem is "narratief de oorspronkelijke bedoeling van filmcreatie."

Een paar jaar geleden, toen Jim zelf scriptschrijven leerde, las hij niet alleen boeken, maar oefende hij ook door scripts te schrijven en ze af te maken. "Als je ze niet afmaakt, betekent het niet veel."

Tegelijkertijd keek hij veel films, keek voortdurend naar nieuwe films, organiseerde interessante shots en keek naar de uitleg en analyses van anderen. Hij zegt dat hij "geen solide basis heeft", maar hij is gevoelig voor beelden, goed in het verbinden van vergelijkbare objecten en beter in het gebruiken van camerataal om emoties en gevoelens nauwkeurig over te brengen.

Jim neemt nu een pauze, plant om AI-creaties te delen, het volgende AI-project te brouwen en de laatste ontwikkelingen in elke AI-videotool bij te praten. Volgens hem zijn de middelen die elke persoon kan investeren gelijk en onmisbaar, ongeacht hoeveel AI-tools er zijn. Hoeveelheid doet er niet toe; het vinden van het juiste pad voor jezelf is belangrijker.

In het commentaargedeelte van Jim's Bilibili beschreef een kijker zijn kijkervaring als "zielloze gereedschappen, zielvolle creatie". Hij antwoordde: "Deze uitspraak heeft veel gewicht."

De beste manier om angst te bestrijden is creatie. Jim wil niet speculeren over wat AI in de toekomst kan doen of wie het zal vervangen. Hij gelooft liever dat het constant creëren van nieuwe werken in zijn handen een solide fort is voor een persoon.

Bron van als een

Disclaimer: De hierboven vermelde informatie wordt verstrekt door ifanr.com, onafhankelijk van Chovm.com. Chovm.com geeft geen verklaringen en garanties met betrekking tot de kwaliteit en betrouwbaarheid van de verkoper en producten. Chovm.com wijst uitdrukkelijk elke aansprakelijkheid af voor inbreuken met betrekking tot het auteursrecht op inhoud.