Wie konnte sich das KI-Projekt eines Laienfilmers von gewöhnlichen Kurzfilmen abheben?
Im Februar 2023 wurde Jim, ein Programmierer in der Spielebranche, zum KI-Künstler.
Im Dezember 2024 gewann Jims KI-animierter Kurzfilm „The Thin Man The Gun The Hotpot“ den Gold Award für den besten animierten Kurzfilm bei den Independent Shorts Awards.
Dies ist ein bedeutendes internationales Kurzfilmfestival in der Welt des Independent-Films, das nicht speziell für KI-Werke ausgerichtet ist, was es für Jim zu einem großen Erfolg macht. Er erklärte: „Es ist erfreulich, dass sich die Jury auf die Geschichte selbst konzentriert und das KI-Label ignoriert hat.“
„The Thin Man The Gun The Hotpot“ wurde größtenteils von Jim allein fertiggestellt. Der 10-minütige Film besteht aus 242 Aufnahmen, die Produktion dauerte fast drei Monate und erforderte mindestens 200 Arbeitsstunden, durchschnittlich über zwei Stunden pro Tag.
Während des 90-tägigen Erstellungsprozesses hatte Jim das Gefühl, er befinde sich in einem Kampf der Intelligenz mit der KI, bei dem er ihre Grenzen austestete und ihre Beschränkungen umging. Als die Zuschauer bemerkten: „Die KI hat begonnen, Animationen zu erstellen“, antwortete Jim: „Es sind die Schöpfer, die die KI dazu bringen, Animationen zu erstellen.“
3 Monate, 10 Minuten
„Der dünne Mann, die Waffe, der Eintopf“ ist ein Noir-Krimi, ein bedeutendes Genre in Hollywoods Vergangenheit, dessen Geschichte in der chinesischen Kultur verwurzelt ist. Der Begriff „Der dünne Mann, die Waffe, der Eintopf“ stammt aus dem Südwesten Chinas und bezieht sich auf kleine Essensstände, die spät in der Nacht geöffnet sind.
Der Protagonist, Xu Xia, ist ein junger Mann, der spät abends an einem Straßenstand isst. Um die medizinische Behandlung seines Vaters zu bezahlen, trifft er unethische Entscheidungen, hält aber an einer unantastbaren moralischen Linie fest. Letztendlich verstrickt er sich in Gewalt und Mord, gefangen vom Schicksal.
Anstatt es „KI-Animation“ zu nennen, ist es genauer zu sagen, dass „The Thin Man The Gun The Hotpot“ eine mit KI-Tools erstellte Animation ist.
Die visuellen Elemente wurden von KI erstellt, während andere Elemente wie Drehbuch, Schnitt, Sprachausgabe, Musik und Soundeffekte manuell erstellt wurden. Der Text in den visuellen Elementen wurde in der Nachbearbeitung hinzugefügt.
In visueller Hinsicht folgt Jim einem „reinen KI-Generierungs“-Stil. „The Thin Man The Gun The Hotpot“ enthält kein Live-Action-Material; es basiert auf der Konvertierung von Bild zu Video. Die Bilder wurden von Midjourney und die Videos von Keling, Pika, Jidream, PixVerse und Runway generiert.
Die KI-Generierung ist unvorhersehbar, aber um mit KI eine zusammenhängende Geschichte zu erzählen, ist Stabilität erforderlich. Beim Charakterdesign überlegte Jim, wie die Charakterkonsistenz gewahrt werden kann.
Jim hatte zwei Prinzipien für das Charakterdesign. Erstens sollte das Gesamterscheinungsbild einfach sein und sich mit wenigen Schlüsselwörtern beschreiben lassen. Zweitens sollten die Charaktere unverwechselbare Elemente aufweisen, sodass sie für das Publikum erkennbar bleiben, auch wenn sie nicht ganz einheitlich sind.
Die repräsentativsten Charaktere sind Bruder Wan und Li Jiajia. Bruder Wan ist kahl, trägt Sportkleidung und eine Sonnenbrille; Li Jiajia ähnelt einer Retro-Frau der 90er Jahre, trägt rote Kleidung und hat welliges Haar.
Dem kultiviert wirkenden Herrn Zhu, der eine Brille und einen Anzug ohne Bart trägt, fehlen jegliche ungewöhnlichen Merkmale, was ihn zu Jims am häufigsten wiederholter Figur macht.
Jim stellte fest, dass KI problemlos Charaktere mit der Aura des „alten Geldes“ erzeugen kann, sich jedoch mit Charakteren wie Herrn Zhu schwer tut, der zwar reich, aber nicht elitär und gefährlich, aber kein Gangsterboss ist.
„Realfilm mit Animationsfilter“, so beschreibt Jim seinen Animationsstil. Die Zuschauer können sich vorstellen, wie es mit echten Schauspielern aussehen würde.
Sobald das Bild jeder Figur durch Text generiert ist, ist es, als hätte man ein Kostümfoto für einen Film. Jim verwendet diese Bilder dann als Material und generiert weitere Bilder mit unterschiedlichen Winkeln und Szenen, während die Figuren unverändert bleiben.
Mit genügend Bildern können Videos generiert werden. KI-Videotools werden schnell aktualisiert; „The Thin Man The Gun The Hotpot“ verwendete Versionen von August bis September 2024.
Für technisch anspruchsvolle Aufnahmen experimentierte Jim mit verschiedenen Videotools. Jedes Tool hat seine Stärken. Jidream, Keling und Pika waren die am häufigsten verwendeten Tools.
Damals zeichnete sich Jidream durch Action-Aufnahmen aus, Pika durch Szenenaufnahmen und einfache Sprechanimationen, während Keling insgesamt über starke Fähigkeiten verfügte, auch wenn diese in bestimmten Situationen manchmal unnötig komplex waren.
Selbst mit den heutigen Mitteln ist es schwierig, viele Szenen in „Der dünne Mann, die Waffe, der Eintopf“ auf natürliche Weise umzusetzen. Dafür muss man auf traditionelle Methoden zurückgreifen.
Wenn die Figuren beispielsweise nicht direkt nach vorne schauen oder in Nahaufnahmen zu sehen sind, die die KI leicht erkennen kann, und wenn Handlungen, Ausdrücke und Kamerawinkel in Bewegung sind, muss ein Synchronsprecher die Synchronisation auf die Lippenbewegungen des Videos abstimmen. Jim glaubt, dass neue Funktionen nicht unbedingt nützlich sind; alte Methoden sind zwar vielleicht umständlich, aber zuverlässiger.
Nische und Vielfalt
Die Geschichte von „The Thin Man The Gun The Hotpot“ spielt in einer Kleinstadt im Südwesten Chinas, und die Charaktere sprechen den Sichuan-Dialekt, eine persönliche Vorliebe von Jim. Der Kunststil von „The Thin Man The Gun The Hotpot“ ist ebenfalls einzigartig und die Zuschauer vergleichen ihn mit einer Folge von „Love, Death & Robots“.
Bei seiner Arbeit in der Spielebranche hat Jim zu viele ähnliche, bewährte Inhalte gesehen.
KI-basierte Kreationen können personalisiert werden. Hochwertige Werke erfordern immer noch große Investitionen großer Unternehmen, aber Jim sieht mehr Möglichkeiten in der Schaffung „eines Basiswerks“.
Von Anfang an war Jim klar, dass er nicht im „Mainstream“-Stil arbeiten wollte. Als intensiver Midjourney-Benutzer ist er sich der Stile bewusst, die KI leicht generiert und die für ihn tabu sind.
Er bevorzugt Stile, die nicht sofort erkennbar sind, mit einem Retro-Feeling, aber nicht völlig altmodischer Animation – vertraut und doch neuartig.
Für den Kunststil von „The Thin Man The Gun The Hotpot“ orientierte sich Jim an Animationsregisseur Masaaki Yuasa und Manga-Künstler Yoshiharu Tsuge.
Zuerst nutzte er die „Beschreiben“-Funktion von Midjourney, um die Schlüsselwörter ihrer Stile zu verstehen, und schrieb dann fortlaufend Eingabeaufforderungen, wobei er wiederholte, um Bilder zu generieren, die seinen Anforderungen entsprachen.
Das Weltbild von „Der dünne Mann, die Waffe, der Eintopf“ beruht größtenteils auf den Regionen und Elementen, mit denen Jim vertraut ist.
2019 sah Jim „The Wild Goose Lake“ von Diao Yinan mit Hu Ge in der Hauptrolle und war tief beeindruckt von der „bodenständigen Kulisse mit Noir-Ästhetik und -Kern“. Er erkannte, dass traditionelle Genrefilme nicht in Stein gemeißelt sind und dass chinesische Erzählungen eine neue Vitalität aufweisen.
Im Jahr 2021 begann Jim mit dem Schreiben des Drehbuchs und entwickelte die Grundzüge von „The Thin Man The Gun The Hotpot“, das eine Kleinstadt, einen verzweifelten jungen Mann und eine missliche Lage im Leben umfasst.
Im Jahr 2023 begann Jim, Midjourney zu verwenden, um KI-Konzeptkunst zu erlernen.
Vor 2024 dachte Jim jedoch nie daran, tatsächlich einen KI-Film zu drehen. Er brachte sich selbst Fotografie, Drehbuchschreiben und Kinematographie bei, ließ es aber dabei bewenden. Videos erzählen Geschichten durch Linsen, aber er konnte keine eigenen Set-Shots erstellen.
Anfang 2024 begann Jim mit der Verwendung einiger der ersten KI-Videos wie Pika und erkannte plötzlich, dass er endlich Szenen animieren, Bilder anpassen und ändern und sie zu einem Kurzfilm zusammenfügen konnte. Sein Schaffensdrang wurde beispiellos stark.
Nachdem das Material fertig war, ging es an Schnitt, Soundeffekte, Synchronisation und Musik. Jim vertiefte sich tiefer in den traditionellen Filmproduktionsprozess. Er experimentierte und lernte und lud nach und nach einige stilisierte, persönlich unverwechselbare Werke auf Bilibili hoch.
Jims anderer KI-Kurzfilm „Hard Bop Gunman“ orientierte sich am Stil alter amerikanischer Comics und Stummfilme und gewann später einen Preis im Creative Track eines KI-Videowettbewerbs auf Plattformen wie 1905 Movie Network und Bilibili.
In vielen Branchen hat die künstliche Intelligenz noch keinen Umbruch herbeigeführt, aber für kleine Teams und einzelne Entwickler sind die Erstellungskosten mittlerweile akzeptabel geworden und vielfältige Inhalte haben eine Chance, vom Publikum gesehen zu werden.
Jim gibt zu, dass er „Der dünne Mann, die Waffe, der Eintopf“ in der Region Sichuan-Chongqing angesiedelt hat und dabei etwas „überlegt“ vorgegangen ist. Er beweist, dass man sich bei der Erstellung von Nischeninhalten nicht mehr allzu viele Gedanken über die traditionelle Vorstellung von „zu riskant“ machen muss.
Limitiert und doch einzigartig
Ein 10-minütiges Video von „Der dünne Mann, die Waffe, der Eintopf“ ist auf Bilibili vielleicht kein langes Video. Aber in der KI-Community sind 10 Minuten eine seltene Länge, ganz zu schweigen davon, dass „Der dünne Mann, die Waffe, der Eintopf“ eine vollständige Geschichte erzählt.
Um diese 10 Minuten zu absolvieren, hat Jim sowohl sich selbst als auch die KI bis an die Grenzen gebracht.
Die Action-Szenen im Hotpot-Restaurant in „Der dünne Mann, die Waffe, der Hotpot“ erforderten von Jim viel Mühe. Jede Einstellung war geplant, aber die endgültige Wirkung lag bei weniger als 40 %.
Jim gibt zu, dass die Actionszenen der KI tatsächlich mangelhaft sind, da sie kein Gefühl von Wirkung vermitteln und keiner physikalischen Logik folgen, wie etwa das Schlagen in die Luft. Nicht nur Actionszenen, sondern jede Einstellung mit signifikanter Bewegung, wie Würgen, Hammerwerfen oder Zertrümmern mit einem Stein, ist für die KI schwierig umzusetzen.
Wenn Sie Actionszenen für KI entwerfen müssen, sollten Sie nach Jims Erfahrung kalte Waffen vermeiden und stattdessen Schusswaffen verwenden, da KI das Schießen zumindest simulieren kann. Er selbst hat diese Technik verwendet: „Ich danke alten Hongkong-Filmen für die Rettung.“
Wenn echte Schauspieler mit Actionszenen zu kämpfen haben, können Stuntdoubles einspringen, aber ausdrucksstarke Mimik ist eine grundlegende Fähigkeit eines Schauspielers. Dies ist jedoch auch eine Schwachstelle der KI, die entweder übertreibt oder keinen Ausdruck zeigt.
Im Oktober 2024 führte Runway die Funktion Act-One ein, die KI-Charaktere dazu bringt, dieselben Ausdrücke zu machen, die auf echten menschlichen Performance-Videos basieren. Jim sieht dies als Zeichen dafür, dass, wenn mehr Produkte ähnliche Funktionen einführen, dies darauf hindeutet, dass KI tatsächlich einen Leistungsengpass hat.
In „The Thin Man The Gun The Hotpot“ erscheinen die Charaktere oft in Nahaufnahmen und Halbkörperaufnahmen, was eine Schwäche der KI widerspiegelt: den Umgang mit Aufnahmen mit mehreren Personen. Beim Entwerfen von Aufnahmen versucht Jim, Szenen mit mehreren Personen zu vermeiden, da er noch keine gute Lösung gefunden hat.
Selbst wenn Bilder mit Midjourney erstellt werden, können Gesichtsprobleme auftreten, wenn mehr als zwei Personen anwesend sind. Bei KI-Videointeraktionen wird die Szene noch chaotischer.
KI-generierte Bilder haben viele Einschränkungen, daher verwendet Jim in der Nachbearbeitung Nahaufnahmen, symbolische Aufnahmen und schnelle Schnitte, um visuelle Mängel auszugleichen. Die wiederkehrenden Tierbilder in „The Thin Man The Gun The Hotpot“ sind ein Beispiel dafür.
Metaphern und Symbolik werden auch häufig in einigen klassischen amerikanischen Noir-Filmen verwendet. In den 1940er und 50er Jahren war die Situation aufgrund technischer Einschränkungen und Vorschriften wie dem Hays Code, der gewalttätige Bilder einschränkte, ähnlich wie bei KI-Videos im Jahr 2024.
Das Echo über Jahrzehnte hinweg fasziniert Jim: „Vielleicht funktionieren veraltete Methoden in KI-Filmen gut.“
Das Publikum ist jedoch ehrlich und gibt Feedback wie „eine flüssige PowerPoint-Präsentation“ oder „ein verbesserter dynamischer Comic“. Jim akzeptiert dies und hat sich deshalb entschieden, KI-Animationen zu erstellen.
Verglichen mit dem glatthäutigen, unheimlich bewegten Real-Life-Stil lässt die Animation den Zuschauer zumindest „nicht sofort denken: Wow, das ist zu künstlich.“ Die etwas steifen und starren Bewegungen der Figuren sind bei nicht-realistischer Animation akzeptabler.
Dass Jim nicht blind auf Länge und Qualität aus ist, liegt zum Teil daran, dass er sich an normalen Filmen orientiert. Er nahm am Independent Shorts Awards-Wettbewerb ohne künstliche Intelligenz teil, um die Juroren dazu zu bringen, das KI-Label zu übersehen und sich auf die Geschichte selbst zu konzentrieren.
Jim hofft, dass sich das Publikum beim Anschauen seiner Arbeit der Präsenz von KI bewusst ist, aber nicht wegen der KI kommt, und dass er im Bewertungssystem für KI-Filme keine Nachsicht zeigt: „Die KI-Community ist zu freundlich, es ist notwendig, sich ein paar harte Worte anzuhören.“
Beharrlich am Schaffen arbeiten, um Ängste zu überwinden
In den KI-Nachrichten wird häufig von „Änderungen über Nacht“ berichtet, und die Erstellung eines Kurzfilms in drei Monaten ist bereits eine lange Zeit.
KI entwickelt sich täglich weiter. Im Jahr 2023 konnte Jim mit den täglichen KI-Informationen Schritt halten, aber ab Anfang 2024 war es unmöglich, mit den Trends Schritt zu halten. Er ist auch besorgt, aber nicht blind, wie viele andere.
Die Technologie ist leistungsstark, aber es bleibt noch viel Arbeit für den Menschen. Die Schwierigkeit und das Interesse an der Schöpfung liegen darin, dass einige Probleme vom Schöpfer selbst gelöst werden müssen.
In „The Wild Goose Lake“ gibt es eine Schießereiszene, die bei Jim einen tiefen Eindruck hinterlassen hat: Menschen tanzen auf einem Platz, Polizisten in Zivil tragen leuchtende Schuhe, Kriminelle schießen, Polizisten verfolgen sie mit leuchtendem Blut und schießen dann ebenfalls.
Der spannungsgeladene und doch spielerische Kontrast berührte Jim. Ohne diese Szene wäre die erste Reaktion auf Square Dance „geschmacklos“.
Er ist davon überzeugt, dass vertraute Elemente oft nicht veraltet sind, sondern dass es ihnen an einer gründlichen Auseinandersetzung durch die Entwickler mangelt.
Umgekehrt können Dinge, die mit alten Werkzeugen sorgfältig zum Ausdruck gebracht wurden, nicht durch neue Technologien ersetzt werden.
KI-Videos wurden viele Male aktualisiert, aber Jim hat nicht vor, frühere KI-Kurzfilme neu zu verfilmen.
Das Design und die Kompromisse des gesamten Kurzfilms basierten auf den damaligen Einschränkungen der KI und bildeten eine vollständige Einheit. Selbst Jahre später gibt es immer noch unterhaltsame Aspekte, und darin liegt der Wert der Arbeit.
KI kann Jim dabei helfen, mehr ähnliche Experimente durchzuführen und interessante Dinge neu zu überdenken. Er mag es nicht, wenn KI direkt Antworten liefert; er löst Probleme lieber selbst und nutzt KI als Werkzeug, ähnlich einem Taschenrechner.
Anstatt KI zur Produktion von Werbespots oder Musikvideos einzusetzen, nutzt Jim KI immer noch lieber zum Geschichtenerzählen. Für ihn „ist das Erzählen die ursprüngliche Absicht der Filmproduktion.“
Als Jim vor einigen Jahren im Selbststudium das Drehbuchschreiben lernte, las er nicht nur Bücher, sondern übte auch, indem er Drehbücher schrieb und fertigstellte. „Wenn man es nicht fertigstellt, bedeutet das nicht viel.“
Gleichzeitig sah er sich viele Filme an, immer wieder neue, ordnete interessante Aufnahmen und sah sich die Erklärungen und Analysen anderer an. Er sagt, er habe „keine solide Grundlage“, aber er sei sensibel für Bilder, könne ähnliche Objekte gut miteinander verbinden und sei besser darin, die Sprache der Kamera zu verwenden, um Emotionen und Gefühle präzise zu vermitteln.
Jetzt macht Jim eine Pause, plant, KI-Kreationen zu teilen, heckt das nächste KI-Projekt aus und informiert sich über die neuesten Entwicklungen in jedem KI-Videotool. Seiner Ansicht nach sind die Ressourcen, die jeder Einzelne investieren kann, gleich und unverzichtbar, egal wie viele KI-Tools es gibt. Die Quantität spielt keine Rolle; wichtiger ist, den richtigen Weg für sich selbst zu finden.
In Jims Bilibili-Kommentarbereich beschrieb ein Zuschauer sein Seherlebnis als „seelenlose Werkzeuge, gefühlvolle Schöpfung“. Er antwortete: „Diese Aussage hat großes Gewicht.“
Der beste Weg, Ängste zu bekämpfen, ist die Schöpfung. Jim möchte nicht darüber spekulieren, was KI in Zukunft leisten kann oder wen sie ersetzen wird. Er glaubt lieber, dass die ständige Schaffung neuer Werke in seinen Händen die solide Festung eines Menschen ist.
Quelle aus wenn ein
Haftungsausschluss: Die oben aufgeführten Informationen werden von ifanr.com unabhängig von Chovm.com bereitgestellt. Chovm.com übernimmt keine Zusicherungen und Gewährleistungen hinsichtlich der Qualität und Zuverlässigkeit des Verkäufers und der Produkte. Chovm.com lehnt ausdrücklich jegliche Haftung für Verstöße gegen das Urheberrecht von Inhalten ab.
