Como o projeto de IA de um cineasta não profissional se destacou entre os curtas-metragens comuns?
Em fevereiro de 2023, Jim, um programador na indústria de jogos, se tornou um artista de IA.
Em dezembro de 2024, o curta-metragem de animação de IA de Jim, “The Thin Man The Gun The Hotpot”, ganhou o prêmio de Melhor Curta de Animação de Ouro no Independent Shorts Awards.
Este é um festival internacional significativo de curtas-metragens no mundo do cinema independente, não especificamente para obras de IA, o que o torna uma grande conquista para Jim. Ele declarou: "É gratificante que os juízes tenham se concentrado na história em si, ignorando o rótulo de IA".
“The Thin Man The Gun The Hotpot” foi concluído principalmente por Jim sozinho. O filme de 10 minutos consiste em 242 tomadas, levou quase três meses para ser feito e exigiu pelo menos 200 horas de trabalho, com uma média de mais de duas horas por dia.
Durante o processo de criação de 90 dias, Jim sentiu como se estivesse em uma batalha de inteligência com a IA, forçando seus limites e evitando suas restrições. Quando os espectadores comentaram, "A IA começou a fazer animações", Jim respondeu, "São os criadores levando a IA a fazer animações".
3 meses, 10 minutos
“The Thin Man The Gun The Hotpot” é um filme policial noir, um gênero significativo no passado de Hollywood, com uma história enraizada na cultura chinesa. O termo “The Thin Man The Gun The Hotpot” vem do sudoeste da China, referindo-se a pequenas barracas de comida abertas até tarde da noite.
O protagonista, Xu Xia, é um jovem comendo em uma barraca de rua tarde da noite. Para pagar o tratamento médico de seu pai, ele faz escolhas antiéticas, mas mantém uma linha moral intocável. No final das contas, ele se envolve em violência e assassinato, preso pelo destino.
Em vez de chamá-lo de "animação de IA", é mais correto dizer que "The Thin Man The Gun The Hotpot" é uma animação feita usando ferramentas de IA.
A IA gerou os visuais, enquanto outros elementos como o roteiro, edição, dublagem, música e efeitos sonoros foram feitos manualmente. O texto nos visuais foi adicionado na pós-produção.
Em termos de visuais, Jim segue um estilo de “geração de IA pura”. “The Thin Man The Gun The Hotpot” não tem cenas de ação ao vivo; ele depende da conversão de imagem para vídeo. As imagens foram geradas pela Midjourney, e os vídeos pela Keling, Pika, Jidream, PixVerse e Runway.
A geração de IA é imprevisível, mas contar uma história coerente com IA requer estabilidade. Do design de personagem, Jim considerou como manter a consistência do personagem.
Jim tinha dois princípios para design de personagens. Primeiro, a aparência geral deve ser simples, descritível com algumas palavras-chave. Segundo, os personagens devem ter elementos distintivos, então, mesmo que não sejam totalmente consistentes, eles permanecem reconhecíveis para o público.
Os personagens mais representativos são Brother Wan e Li Jiajia. Brother Wan é careca, usa roupas esportivas e óculos escuros; Li Jiajia se assemelha a uma mulher retrô dos anos 90, usando vermelho com cabelo ondulado.
O aparentemente refinado Sr. Zhu, usando óculos e terno, sem barba, não possui nenhuma característica incomum, o que o torna o personagem mais iterado por Jim.
Jim descobriu que a IA gera facilmente personagens com uma aura de "dinheiro antigo", mas tem dificuldades com personagens como o Sr. Zhu, que é rico, mas não é da elite, perigoso, mas não é um chefe do crime.
“Filme live-action com filtro de animação”, é como Jim descreve seu estilo de animação. Os espectadores podem imaginar como seria com atores reais.
Uma vez que a imagem de cada personagem é gerada por meio de texto, é como ter uma foto de figurino de filme. Jim então usa essas imagens como material, gerando mais imagens com ângulos e cenas diferentes, mantendo os personagens inalterados.
Com imagens suficientes, vídeos podem ser gerados. Ferramentas de vídeo de IA atualizam rapidamente; “The Thin Man The Gun The Hotpot” usou versões de agosto a setembro de 2024.
Para tomadas tecnicamente desafiadoras, Jim experimentou várias ferramentas de vídeo. Cada ferramenta tem seus pontos fortes. Jidream, Keling e Pika foram as ferramentas mais usadas.
Na época, Jidream se destacava em cenas de ação, Pika em cenas de ação e animações simples de fala, enquanto Keling tinha fortes capacidades gerais, embora às vezes desnecessariamente complexas em situações específicas.
Mesmo com as ferramentas de hoje, muitas cenas em “The Thin Man The Gun The Hotpot” são desafiadoras de serem alcançadas naturalmente. Isso requer confiar em métodos tradicionais.
Por exemplo, quando os personagens não estão voltados diretamente para a frente ou em close-ups que a IA pode reconhecer facilmente, e quando ações, expressões e ângulos de câmera estão em movimento, um dublador deve dublar de acordo com os movimentos labiais do vídeo. Jim acredita que novos recursos não são necessariamente úteis; métodos antigos, embora talvez desajeitados, são mais confiáveis.
Nicho e diverso
A história de “The Thin Man The Gun The Hotpot” se passa em uma pequena cidade no sudoeste da China, com personagens falando dialeto de Sichuan, uma preferência pessoal de Jim. O estilo de arte de “The Thin Man The Gun The Hotpot” também é único, com espectadores comparando-o a um episódio de “Love, Death & Robots”.
Em seu trabalho na indústria de jogos, Jim viu muito conteúdo semelhante e testado.
A criação baseada em IA pode ser personalizada. Trabalhos de alta qualidade ainda exigem que grandes empresas invistam recursos significativos, mas Jim vê mais possibilidades na criação de “um trabalho básico”.
Desde o início do uso do Midjourney, Jim deixou claro que não queria criar em um estilo “mainstream”. Como um usuário pesado do Midjourney, ele está bem ciente dos estilos que a IA gera facilmente, que também são suas zonas proibidas.
Ele prefere estilos que não sejam imediatamente reconhecíveis, com um toque retrô, mas não uma animação totalmente antiquada — familiar, mas inovadora.
Para o estilo de arte de “The Thin Man The Gun The Hotpot”, Jim fez referência ao diretor de animação Masaaki Yuasa e ao artista de mangá Yoshiharu Tsuge.
Primeiro, ele usou o recurso Descrever do Midjourney para entender as palavras-chave dos estilos e, depois, escreveu prompts continuamente, iterando repetidamente para gerar imagens que atendessem aos seus requisitos.
A visão de mundo de “The Thin Man The Gun The Hotpot” deriva em grande parte das regiões e elementos com os quais Jim está familiarizado.
Em 2019, Jim assistiu a “The Wild Goose Lake”, dirigido por Diao Yinan e estrelado por Hu Ge, e ficou profundamente impressionado com seu “cenário realista com uma estética e núcleo noir”. Ele percebeu que os filmes de gênero tradicionais não são imutáveis, e há uma nova vitalidade nas narrativas chinesas.
Em 2021, Jim começou a escrever o roteiro, formando o esboço básico de “The Thin Man The Gun The Hotpot”, incluindo uma pequena cidade, um jovem desesperado e uma situação difícil na vida.
Em 2023, Jim começou a usar o Midjourney para aprender arte conceitual de IA.
No entanto, antes de 2024, Jim nunca pensou em realmente fazer um filme de IA. Ele aprendeu sozinho fotografia, roteiro e cinematografia, mas parou por aí. Os vídeos contam histórias através de lentes, mas ele não conseguia criar suas próprias tomadas de cenário.
No início de 2024, Jim começou a usar alguns dos primeiros vídeos de IA, como o Pika, e de repente percebeu que finalmente poderia animar cenas, ajustar e modificar imagens e conectá-las para completar um curta-metragem. Seu desejo de criar se tornou inédito.
Com os materiais prontos, era hora de edição, efeitos sonoros, dublagem e música. Jim se aprofundou no processo tradicional de produção de filmes. Ele experimentou e aprendeu, gradualmente carregando alguns trabalhos estilizados e pessoalmente distintos no Bilibili.
Outro curta-metragem de IA de Jim, “Hard Bop Gunman”, foi inspirado no estilo dos antigos quadrinhos e filmes mudos americanos, ganhando mais tarde um prêmio no Creative Track de uma competição de vídeos de IA em plataformas como 1905 Movie Network e Bilibili.
A IA ainda não revolucionou muitos setores, mas para pequenas equipes e criadores individuais, o custo de criação se tornou aceitável, e conteúdo diversificado tem a chance de ser visto pelo público.
Ao ambientar “The Thin Man The Gun The Hotpot” na região de Sichuan-Chongqing, Jim admite que foi um tanto “deliberado”. Ele está provando que, ao criar conteúdo de nicho, não há mais necessidade de se preocupar muito com a noção tradicional de “muito arriscado”.
Limitado, mas único
Um “The Thin Man The Gun The Hotpot” de 10 minutos pode não ser considerado um vídeo longo no Bilibili. Mas na comunidade de IA, 10 minutos é uma duração rara, sem mencionar que “The Thin Man The Gun The Hotpot” conta uma história completa.
Para completar esses 10 minutos, Jim levou a si mesmo e a IA ao limite.
As cenas de ação no restaurante de hotpot em “The Thin Man The Gun The Hotpot” exigiram muito esforço de Jim, com cada tomada planejada, mas o efeito final apresentou menos de 40%.
Jim admite que as cenas de ação da IA são realmente deficientes, sem senso de impacto e sem seguir lógica física, como bater no ar. Não apenas cenas de ação, mas qualquer cena com movimento significativo, como sufocar, jogar um martelo ou esmagar com uma pedra, é difícil para a IA conseguir.
De acordo com a experiência de Jim, se você precisa projetar cenas de ação para IA, evite armas brancas e use armas de fogo, pois a IA pode pelo menos simular tiros. Ele mesmo usou essa técnica, “Obrigado aos velhos filmes de Hong Kong pelo resgate.”
Quando atores reais têm dificuldades com cenas de ação, dublês podem intervir, mas expressões faciais expressivas são uma habilidade básica do ator. No entanto, esse também é um ponto fraco para a IA, que exagera ou não mostra nenhuma expressão.
Em outubro de 2024, a Runway lançou o recurso Act-One, que leva personagens de IA a fazer as mesmas expressões com base em vídeos de desempenho humano real. Jim vê isso como um sinal de que, se mais produtos lançarem recursos semelhantes, isso indica que a IA realmente tem um gargalo no desempenho.
Em “The Thin Man The Gun The Hotpot,” os personagens frequentemente aparecem em close-ups e tomadas de meio corpo, refletindo uma fraqueza da IA: lidar com tomadas com múltiplos sujeitos. Ao projetar tomadas, Jim tenta evitar cenas com múltiplas pessoas porque ele ainda não encontrou uma boa solução.
Mesmo ao gerar imagens com Midjourney, se houver mais de duas pessoas, podem surgir problemas faciais. Quando colocadas em interações de vídeo de IA, a cena se torna ainda mais caótica.
Os visuais gerados por IA têm muitas limitações, então, na pós-produção, Jim usa close-ups, tomadas simbólicas e cortes rápidos para compensar deficiências visuais. As imagens recorrentes de animais em “The Thin Man The Gun The Hotpot” são um exemplo.
Metáforas e simbolismo também são comumente usados em alguns filmes noir americanos clássicos. Nas décadas de 1940 e 50, devido a limitações técnicas e regulamentações como o Hays Code restringindo imagens violentas, a situação era um pouco semelhante aos vídeos de IA em 2024.
O eco ao longo das décadas é intrigante para Jim: “Talvez métodos ultrapassados funcionem bem em filmes de IA”.
No entanto, o público é honesto, oferecendo feedback como "uma apresentação suave do PowerPoint" ou "uma história em quadrinhos dinâmica aprimorada". Jim aceita isso, e é por isso que ele escolheu fazer animações de IA.
Comparado ao estilo da vida real, de pele lisa e movimentos assustadores, a animação pelo menos "não faz os espectadores pensarem imediatamente, nossa, isso é muito falso". Os movimentos ligeiramente rígidos e rígidos dos personagens são mais aceitáveis em animações não realistas.
Não perseguir cegamente o comprimento e garantir a qualidade primeiro é em parte porque Jim faz benchmarks contra filmes regulares. Ele entrou na competição não-IA Independent Shorts Awards para fazer os juízes ignorarem o rótulo de IA e se concentrarem na história em si.
Jim espera que, ao assistir ao seu trabalho, o público possa estar ciente da presença da IA, mas não venha atrás dela, não mostrando clemência no sistema de avaliação de filmes de IA: "A comunidade de IA é muito amigável, ouvir algumas palavras duras é necessário."
Persistindo na Criação para Superar a Ansiedade
As notícias sobre IA geralmente escrevem sobre “mudanças repentinas”, e criar um curta-metragem em três meses já é muito tempo.
A IA progride diariamente. Em 2023, Jim conseguia acompanhar as informações diárias da IA, mas a partir do início de 2024, acompanhar as tendências se tornou impossível. Ele também se sente ansioso, mas não cegamente, como muitos outros.
A tecnologia é poderosa, mas ainda há muito trabalho para os humanos fazerem. A dificuldade e o interesse na criação residem no fato de que alguns problemas devem ser resolvidos pelo próprio criador.
Em “The Wild Goose Lake”, há uma cena de tiroteio que deixou uma profunda impressão em Jim: pessoas dançando em uma praça, policiais à paisana usam sapatos brilhantes, criminosos atirando, policiais perseguem com sangue brilhante e depois atiram também.
O contraste tenso, mas brincalhão, comoveu Jim. Sem essa cena, a primeira reação à dança quadrada seria “brega”.
Ele acredita que, muitas vezes, elementos familiares não estão desatualizados, mas carecem de exploração profunda por parte dos criadores.
Por outro lado, coisas cuidadosamente expressadas com ferramentas antigas podem não ser substituídas por novas tecnologias.
Os vídeos de IA foram atualizados muitas vezes, mas Jim não planeja refazer curtas de IA anteriores.
O design e os compromissos de todo o curta-metragem foram baseados nas limitações da IA na época, formando uma entidade completa. Mesmo anos depois, ainda há aspectos divertidos, que é onde está o valor do trabalho.
A IA pode ajudar Jim a completar mais experimentos semelhantes, repensando coisas interessantes. Ele não gosta que a IA forneça respostas diretamente; ele prefere resolver problemas sozinho, usando a IA como uma ferramenta semelhante a uma calculadora.
Comparado ao uso de IA para gerar comerciais ou videoclipes, Jim ainda prefere usar IA para contar histórias. Para ele, “narrativa é a intenção original da criação de filmes”.
Alguns anos atrás, quando Jim estava aprendendo a escrever roteiros por conta própria, ele não apenas lia livros, mas também praticava escrevendo roteiros e completando-os: "Se você não terminar, não significa muito".
Ao mesmo tempo, ele assistia a muitos filmes, constantemente assistindo a novos, organizando tomadas interessantes e observando explicações e análises de outros. Ele diz que "não tem uma base sólida", mas é sensível a imagens, bom em conectar objetos semelhantes e melhor em usar a linguagem da câmera para transmitir emoções e sentimentos com precisão.
Agora, Jim está dando um tempo, planejando compartilhar criações de IA, elaborando o próximo projeto de IA e se atualizando sobre os últimos desenvolvimentos em cada ferramenta de vídeo de IA. Em sua visão, não importa quantas ferramentas de IA existam, os recursos em que cada pessoa pode investir são iguais e indispensáveis. Quantidade não importa; encontrar o caminho certo para si mesmo é mais importante.
Na seção de comentários de Jim no Bilibili, um espectador descreveu sua experiência de visualização como “ferramentas sem alma, criação com alma”. Ele respondeu: “Esta declaração tem muito peso”.
A melhor maneira de combater a ansiedade é a criação. Jim não quer especular sobre o que a IA pode fazer no futuro ou quem ela substituirá. Ele prefere acreditar que criar constantemente novas obras em suas mãos é a fortaleza sólida de uma pessoa.
Retirado de se um
Isenção de responsabilidade: as informações estabelecidas acima são fornecidas por ifanr.com, independentemente do Chovm.com. Chovm.com não faz nenhuma representação e garantia quanto à qualidade e confiabilidade do vendedor e dos produtos. Chovm.com isenta-se expressamente de qualquer responsabilidade por violações relativas aos direitos autorais do conteúdo.
