Comment le projet d’IA d’un cinéaste non professionnel s’est-il démarqué parmi les courts métrages ordinaires ?
En février 2023, Jim, un programmeur dans l'industrie du jeu, est devenu un artiste en IA.
En décembre 2024, le court métrage d'animation IA de Jim « The Thin Man The Gun The Hotpot » a remporté le prix d'or du meilleur court métrage d'animation aux Independent Shorts Awards.
Il s’agit d’un festival international de courts métrages important dans le monde du cinéma indépendant, pas spécifiquement pour les œuvres d’IA, ce qui en fait une réussite majeure pour Jim. Il a déclaré : « C’est gratifiant que les juges se soient concentrés sur l’histoire elle-même, en ignorant l’étiquette d’IA. »
« The Thin Man The Gun The Hotpot » a été réalisé en grande partie par Jim seul. Le film de 10 minutes comprend 242 prises de vue, a nécessité près de trois mois de tournage et a nécessité au moins 200 heures de travail, soit en moyenne plus de deux heures par jour.
Au cours du processus de création de 90 jours, Jim a eu l'impression de se battre contre l'IA, repoussant ses limites et évitant ses contraintes. Lorsque les spectateurs ont fait remarquer : « L'IA a commencé à créer des animations », Jim a répondu : « Ce sont les créateurs qui poussent l'IA à créer des animations. »
3 mois, 10 minutes
« The Thin Man The Gun The Hotpot » est un film policier noir, un genre important dans le passé hollywoodien, dont l'histoire est ancrée dans la culture chinoise. Le terme « The Thin Man The Gun The Hotpot » vient du sud-ouest de la Chine et fait référence à de petits stands de nourriture ouverts tard le soir.
Le protagoniste, Xu Xia, est un jeune homme qui mange dans un stand de rue tard le soir. Pour payer les soins médicaux de son père, il fait des choix contraires à l'éthique mais maintient une ligne morale intouchable. En fin de compte, il se retrouve empêtré dans la violence et le meurtre, pris au piège par le destin.
Plutôt que de l'appeler « animation IA », il serait plus exact de dire que « The Thin Man The Gun The Hotpot » est une animation réalisée à l'aide d'outils d'IA.
L'IA a généré les visuels, tandis que d'autres éléments comme le script, le montage, le doublage, la musique et les effets sonores ont été réalisés manuellement. Le texte des visuels a été ajouté en post-production.
En termes de visuels, Jim suit un style de « génération d’IA pure ». « The Thin Man The Gun The Hotpot » ne comporte pas de séquences en direct ; il repose sur la conversion d’images en vidéos. Les images ont été générées par Midjourney et les vidéos par Keling, Pika, Jidream, PixVerse et Runway.
La génération d'IA est imprévisible, mais raconter une histoire cohérente avec l'IA nécessite de la stabilité. En ce qui concerne la conception des personnages, Jim a réfléchi à la manière de maintenir la cohérence des personnages.
Jim avait deux principes pour la conception des personnages. Tout d'abord, l'apparence générale devait être simple, descriptible à l'aide de quelques mots-clés. Ensuite, les personnages devaient avoir des éléments distinctifs, de sorte que même s'ils ne sont pas entièrement cohérents, ils restent reconnaissables pour le public.
Les personnages les plus représentatifs sont Frère Wan et Li Jiajia. Frère Wan est chauve, porte des vêtements de sport et des lunettes de soleil ; Li Jiajia ressemble à une femme rétro des années 90, vêtue de rouge avec des cheveux ondulés.
M. Zhu, apparemment raffiné, portant des lunettes et un costume sans barbe, ne présente aucune caractéristique inhabituelle, ce qui fait de lui le personnage le plus répété de Jim.
Jim a découvert que l’IA génère facilement des personnages avec une aura de « vieux riche », mais a du mal avec des personnages comme M. Zhu, qui est riche mais pas d’élite, dangereux mais pas un chef du crime.
« Un film d'action en direct avec un filtre d'animation », c'est ainsi que Jim décrit son style d'animation. Les spectateurs peuvent imaginer à quoi cela ressemblerait avec de vrais acteurs.
Une fois que l'image de chaque personnage est générée par le texte, c'est comme avoir une photo de costume de film. Jim utilise ensuite ces images comme matériau, générant d'autres images avec des angles et des scènes différents tout en gardant les personnages inchangés.
Avec suffisamment d'images, des vidéos peuvent être générées. Les outils vidéo d'IA se mettent à jour rapidement ; « The Thin Man The Gun The Hotpot » a utilisé des versions d'août à septembre 2024.
Pour les prises de vue techniquement difficiles, Jim a expérimenté différents outils vidéo. Chaque outil a ses points forts. Jidream, Keling et Pika étaient les outils les plus utilisés.
À l'époque, Jidream excellait dans les prises de vue d'action, Pika dans les prises de vue de scènes et les animations parlantes simples, tandis que Keling avait de solides capacités globales, bien que parfois inutilement complexes dans des situations spécifiques.
Même avec les outils d'aujourd'hui, de nombreuses scènes de « The Thin Man The Gun The Hotpot » sont difficiles à réaliser naturellement. Cela nécessite de s'appuyer sur des méthodes traditionnelles.
Par exemple, lorsque les personnages ne sont pas tournés directement vers l'avant ou dans des gros plans que l'IA peut facilement reconnaître, et lorsque les actions, les expressions et les angles de caméra sont en mouvement, un doubleur doit doubler en fonction des mouvements des lèvres de la vidéo. Jim pense que les nouvelles fonctionnalités ne sont pas nécessairement utiles ; les anciennes méthodes, bien que peut-être maladroites, sont plus fiables.
Niche et Diversité
L'histoire de « The Thin Man The Gun The Hotpot » se déroule dans une petite ville du sud-ouest de la Chine, avec des personnages parlant le dialecte du Sichuan, une préférence personnelle de Jim. Le style artistique de « The Thin Man The Gun The Hotpot » est également unique, les téléspectateurs le comparant à un épisode de « Love, Death & Robots ».
Dans le cadre de son travail dans l’industrie du jeu, Jim a vu trop de contenus similaires et testés.
Les créations basées sur l’IA peuvent être personnalisées. Les œuvres de haute qualité nécessitent toujours des investissements importants de la part des grandes entreprises, mais Jim voit davantage de possibilités dans la création d’« une œuvre de base ».
Dès le début de son utilisation de Midjourney, Jim a clairement indiqué qu'il ne souhaitait pas créer dans un style « grand public ». En tant qu'utilisateur intensif de Midjourney, il est parfaitement conscient des styles que l'IA génère facilement, qui sont également ses zones interdites.
Il préfère les styles qui ne sont pas immédiatement reconnaissables, avec une touche rétro mais pas une animation entièrement démodée, familière mais nouvelle.
Pour le style artistique de « The Thin Man The Gun The Hotpot », Jim a fait référence au réalisateur d'animation Masaaki Yuasa et au mangaka Yoshiharu Tsuge.
Il a d'abord utilisé la fonction Describe de Midjourney pour comprendre les mots-clés de leurs styles, puis a continuellement écrit des invites, en répétant à plusieurs reprises pour générer des images qui répondaient à ses exigences.
La vision du monde de « The Thin Man The Gun The Hotpot » découle en grande partie des régions et des éléments que Jim connaît.
En 2019, Jim a regardé « Le Lac aux oies sauvages », réalisé par Diao Yinan et interprété par Hu Ge, et a été profondément impressionné par son « décor réaliste avec une esthétique et un cœur noirs ». Il a réalisé que les films de genre traditionnels ne sont pas gravés dans la pierre et qu'il existe une nouvelle vitalité dans les récits chinois.
En 2021, Jim a commencé à écrire le scénario, formant les grandes lignes de « The Thin Man The Gun The Hotpot », comprenant une petite ville, un jeune homme désespéré et une situation difficile dans la vie.
En 2023, Jim a commencé à utiliser Midjourney pour apprendre l'art conceptuel de l'IA.
Cependant, avant 2024, Jim n'avait jamais pensé à réaliser un film sur l'IA. Il a appris la photographie, l'écriture de scénarios et la cinématographie en autodidacte, mais s'est arrêté là. Les vidéos racontent des histoires à travers des objectifs, mais il ne pouvait pas créer ses propres plans de tournage.
Début 2024, Jim a commencé à utiliser certaines des premières vidéos IA comme Pika et s'est soudain rendu compte qu'il pouvait enfin animer des scènes, ajuster et modifier des images et les relier pour réaliser un court métrage. Son désir de créer est devenu d'une force sans précédent.
Une fois le matériel prêt, il était temps de passer au montage, aux effets sonores, au doublage et à la musique. Jim s'est plongé plus profondément dans le processus traditionnel de production cinématographique. Il a expérimenté et appris, mettant progressivement en ligne sur Bilibili des œuvres stylisées et personnelles.
L'autre court métrage d'IA de Jim, « Hard Bop Gunman », s'inspire du style des vieilles bandes dessinées et des films muets américains, et remporte plus tard un prix dans la section Creative Track d'un concours vidéo d'IA sur des plateformes comme 1905 Movie Network et Bilibili.
L’IA n’a pas encore bouleversé de nombreux secteurs, mais pour les petites équipes et les créateurs individuels, le coût de création est devenu acceptable et des contenus diversifiés ont une chance d’être vus par le public.
Jim admet que le choix de « The Thin Man The Gun The Hotpot » se situe dans la région du Sichuan-Chongqing. Il prouve ainsi que lorsqu'on crée du contenu de niche, il n'est plus nécessaire de trop se soucier de la notion traditionnelle de « trop risqué ».
Limité, mais unique
Une vidéo de 10 minutes intitulée « The Thin Man The Gun The Hotpot » ne peut pas être considérée comme une longue vidéo sur Bilibili. Mais dans la communauté de l’IA, 10 minutes est une durée rare, sans parler du fait que « The Thin Man The Gun The Hotpot » raconte une histoire complète.
Pour compléter ces 10 minutes, Jim a poussé lui-même et l'IA à leurs limites.
Les scènes d'action dans le restaurant de fondue chinoise dans « The Thin Man The Gun The Hotpot » ont demandé beaucoup d'efforts à Jim, chaque plan étant conçu, mais l'effet final présentait moins de 40 %.
Jim admet que les scènes d'action de l'IA sont effectivement déficientes, qu'elles n'ont aucun sens de l'impact et ne suivent pas la logique physique, comme lorsqu'elles frappent dans l'air. Non seulement les scènes d'action, mais tout plan avec des mouvements significatifs, comme s'étouffer, lancer un marteau ou écraser avec une pierre, est difficile à réaliser pour l'IA.
D'après l'expérience de Jim, si vous devez concevoir des scènes d'action pour l'IA, évitez les armes blanches et utilisez plutôt des armes à feu, car l'IA peut au moins simuler des tirs. Il a lui-même utilisé cette technique, « Merci aux vieux films de Hong Kong pour le sauvetage. »
Lorsque les vrais acteurs ont des difficultés avec les scènes d'action, les doublures peuvent intervenir, mais les expressions faciales expressives sont la compétence de base d'un acteur. Cependant, c'est aussi un point faible de l'IA, qui surjoue ou ne montre aucune expression.
En octobre 2024, Runway a lancé la fonctionnalité Act-One, qui pousse les personnages IA à faire les mêmes expressions en s'appuyant sur de vraies vidéos de performances humaines. Jim voit cela comme un signe que si davantage de produits lancent des fonctionnalités similaires, cela indique que l'IA a effectivement un goulot d'étranglement en matière de performances.
Dans « The Thin Man The Gun The Hotpot », les personnages apparaissent souvent en gros plan et en plan à moitié nu, ce qui reflète une faiblesse de l'IA : gérer les prises de vue avec plusieurs sujets. Lors de la conception des prises de vue, Jim essaie d'éviter les scènes avec plusieurs personnes car il n'a pas encore trouvé de bonne solution.
Même lors de la génération d'images avec Midjourney, s'il y a plus de deux personnes, des problèmes de visage peuvent survenir. Lorsqu'elle est placée dans des interactions vidéo IA, la scène devient encore plus chaotique.
Les visuels générés par l’IA présentent de nombreuses limites. En postproduction, Jim a donc recours à des gros plans, des prises de vue symboliques et des coupes rapides pour compenser les défauts visuels. Les images animales récurrentes dans « The Thin Man The Gun The Hotpot » en sont un exemple.
Les métaphores et le symbolisme sont également couramment utilisés dans certains films noirs américains classiques. Dans les années 1940 et 50, en raison de limitations techniques et de réglementations telles que le Code Hays limitant les images violentes, la situation était quelque peu similaire à celle des vidéos d'IA en 2024.
L’écho au fil des décennies intrigue Jim : « Peut-être que les méthodes obsolètes fonctionnent bien dans les films d’IA. »
Cependant, le public est honnête et donne des retours comme « une présentation PowerPoint fluide » ou « une bande dessinée dynamique améliorée ». Jim l’accepte, c’est pourquoi il a choisi de créer des animations IA.
Comparée au style réaliste, à la peau lisse et aux mouvements étranges, l'animation au moins « ne fait pas immédiatement penser aux spectateurs, wow, c'est trop faux. » Les mouvements légèrement raides et rigides des personnages sont plus acceptables dans une animation non réaliste.
Jim ne cherche pas aveuglément la longueur et ne s'attache pas à la qualité en premier lieu, en partie parce qu'il se compare aux films classiques. Il a participé à la compétition non-IA Independent Shorts Awards pour inciter les juges à ignorer l'étiquette IA et à se concentrer sur l'histoire elle-même.
Jim espère qu'en regardant son travail, le public pourra être conscient de la présence de l'IA mais ne pas venir pour l'IA, en ne faisant pas preuve de clémence dans le système d'évaluation des films d'IA : « La communauté de l'IA est trop amicale, entendre des mots durs est nécessaire. »
Persister dans la création pour surmonter l'anxiété
Les médias spécialisés dans l’IA parlent souvent de « changements du jour au lendemain », et créer un court métrage en trois mois, c’est déjà beaucoup de temps.
L'IA progresse de jour en jour. En 2023, Jim pouvait suivre les informations quotidiennes sur l'IA, mais à partir du début de 2024, il lui est devenu impossible de suivre les tendances. Il se sent également anxieux, mais pas aveuglément, comme beaucoup d'autres.
La technologie est puissante, mais il reste encore beaucoup à faire aux humains. La difficulté et l'intérêt de la création résident dans le fait que certains problèmes doivent être résolus par le créateur lui-même.
Dans « Le Lac aux oies sauvages », il y a une scène de fusillade qui a profondément marqué Jim : des gens dansent sur une place, des policiers en civil portent des chaussures lumineuses, des criminels tirent, la police les poursuit avec du sang lumineux, puis tire à son tour.
Le contraste à la fois tendu et ludique a ému Jim. Sans cette scène, la première réaction face à la danse carrée aurait été « de mauvais goût ».
Il estime que souvent, les éléments familiers ne sont pas obsolètes mais manquent d’une exploration approfondie de la part des créateurs.
À l’inverse, des choses soigneusement exprimées avec d’anciens outils ne peuvent pas être remplacées par une nouvelle technologie.
Les vidéos d'IA ont été mises à jour plusieurs fois, mais Jim n'a pas l'intention de refaire les courts métrages d'IA précédents.
La conception et les compromis de l'ensemble du court-métrage se basaient sur les limites de l'IA de l'époque, formant ainsi une entité complète. Même des années plus tard, il y a encore des aspects amusants, c'est là que réside la valeur de l'œuvre.
L'IA peut aider Jim à réaliser davantage d'expériences similaires, en repensant à des choses intéressantes. Il n'aime pas que l'IA lui fournisse directement des réponses ; il préfère résoudre les problèmes lui-même, en utilisant l'IA comme un outil similaire à une calculatrice.
Par rapport à l’utilisation de l’IA pour générer des publicités ou des clips musicaux, Jim préfère toujours utiliser l’IA pour raconter des histoires. Pour lui, « la narration est l’intention originelle de la création cinématographique ».
Il y a quelques années, lorsque Jim apprenait l'écriture de scénarios en autodidacte, il ne se contentait pas de lire des livres, mais il s'entraînait également en écrivant des scénarios et en les terminant : « Si vous ne finissez pas, cela ne signifie pas grand-chose. »
Parallèlement, il a regardé de nombreux films, en regardant constamment de nouveaux, en organisant des prises de vue intéressantes et en regardant les explications et les analyses des autres. Il dit qu'il « n'a pas de bases solides », mais il est sensible aux images, sait relier des objets similaires et utilise mieux le langage photographique pour transmettre avec précision les émotions et les sentiments.
Jim fait maintenant une pause, prévoit de partager ses créations en matière d'IA, prépare le prochain projet d'IA et se tient au courant des derniers développements de chaque outil vidéo d'IA. Selon lui, quel que soit le nombre d'outils d'IA, les ressources que chaque personne peut investir sont égales et indispensables. La quantité n'a pas d'importance ; trouver le bon chemin pour soi est plus important.
Dans la section des commentaires de Jim sur Bilibili, un spectateur a décrit son expérience de visionnage comme « des outils sans âme, une création pleine d'âme ». Il a répondu : « Cette déclaration a beaucoup de poids. »
La meilleure façon de combattre l'anxiété est de créer. Jim ne veut pas spéculer sur ce que l'IA peut faire dans le futur ou sur qui elle remplacera. Il préfère croire que créer constamment de nouvelles œuvres entre ses mains est une solide forteresse pour l'homme.
Source à partir de si un
Avis de non-responsabilité : les informations présentées ci-dessus sont fournies par ifanr.com, indépendamment d'Chovm.com. Chovm.com ne fait aucune représentation ni garantie quant à la qualité et à la fiabilité du vendeur et des produits. Chovm.com décline expressément toute responsabilité en cas de violations des droits d'auteur du contenu.
