Alcançar consistência em vídeos gerados por IA sempre foi desafiador. Embora gerar modelos e roupas virtuais seja simples, criar um vídeo em que Elon Musk modela um casaco de pele continua sendo uma tarefa complexa.
O modelo 2.0 recentemente atualizado do Pika oferece uma solução inteligente: ao enviar várias fotos, o Pika pode referenciar elementos específicos para gerar vídeos com precisão notável.
Ao fornecer fotos de pessoas, produtos e cenários, os usuários podem criar um vídeo comercial básico em que os elementos visuais correspondem muito às imagens originais.
Isso significa que a IA resolveu a consistência do vídeo, criando novos desafios para os anunciantes? Não exatamente. Embora o Pika seja divertido de usar, sua praticidade ainda tem espaço para melhorias.
Criando cenas irreais com Pika
O recurso de entrada de múltiplas imagens do Pika, chamado “Scene Ingredients”, permite que os usuários combinem fotos e gerem cenários únicos. Veja como funciona:
- Carregue até seis imagens clicando no botão “+”.
- Adicione um prompt simples na caixa de texto.
Por exemplo, vamos fazer com que Elon Musk e Ultraman assistam a um filme juntos. Prompt: Duas pessoas sentam-se em um cinema escuro, segurando pipoca e focadas na tela com antecipação…
Basta carregar suas fotos, e o ambiente de teatro é criado a partir do prompt. Enquanto Elon Musk parece realista, a aparência de Ultraman parece exagerada e desconectada da foto original.
Um recurso de destaque do Pika é sua capacidade de “reutilizar” elementos. Por exemplo, podemos vestir Musk e Ultraman com casacos verdes combinando e criar uma sessão de fotos de moda.
As fotos das duas pessoas foram ambas obtidas de imagens prontas. O casaco verde e o fundo de neve gelada foram gerados separadamente usando IA, com o texto “AIGC” no casaco servindo como um desafio para Pika.
O resultado mostrou uma consistência decente entre a cena e o casaco, e o texto “AIGC” era vagamente reconhecível. As poses dos modelos também seguiram as instruções. Mas o maior problema é: quem são essas duas pessoas? Os rostos no vídeo e nas fotos podem não ser idênticos, mas são completamente independentes.
Em seguida, testamos a personalização da roupa de Pika gerando uma camiseta preta com a frase “Eu era humano”. Adicionamos uma foto de Mark Zuckerberg e uma foto de um ukulele para criar uma apresentação musical.
Pika seguiu bem o prompt, e o movimento da câmera foi suave. As roupas também foram colocadas perfeitamente, mas a mão direita, especialmente o polegar, ainda não está perfeita.
Comparado ao Google Veo e OpenAI Sora, o modelo do Pika não é de primeira. Resolver um problema geralmente revela mais erros.
Depois de tentar um estilo realista, vamos mudar para um estilo anime. Para ter Gintoki Sakata e Naruto Uzumaki no mesmo quadro, escolhi duas imagens com céu azul e nuvens brancas como fundo.
O fundo se mistura naturalmente, e as expressões são bem capturadas, com o efeito do vento no cabelo e nas roupas se encaixando bem. No entanto, o efeito de giro é bastante perturbador. Os olhos de Gintoki parecem sem vida, não rolando de verdade.
Você também pode ter pinturas famosas interagindo entre eras — como Mona Lisa e a Moça com Brinco de Pérola comendo batatas fritas no McDonald's. O efeito não é o ideal. Ao ver Mona Lisa, a gente se pergunta se Da Vinci se reviraria no túmulo. Os personagens parecem adesivos colocados no vídeo, com movimentos estranhos de cabeça.
Às vezes, retornar à simplicidade produz resultados inesperadamente bons. Carregar uma imagem do Starbucks e uma pintura de Water Lilies de Monet resulta em uma xícara de café “parecida com lótus”.
Competindo com modelos de fabricação chinesa, controlar o vídeo de IA agora é mais fácil
Até certo ponto, o Pika melhorou a controlabilidade de vídeo. Embora não seja totalmente bem-sucedido, como visto na prática, o Pika mantém a consistência em cenas, roupas e objetos, mas os rostos tendem a distorcer independentemente do estilo.
Além disso, as capacidades básicas de Pika precisam ser melhoradas. Ações como comer ou tocar piano ainda representam desafios. Esses problemas podem ser aliviados comprando cartas?
Em três palavras: não é acessível. O Pika 2.0 está disponível atualmente apenas para usuários Pro e Fancy, custando pelo menos US$ 35 por mês, sem teste gratuito. Além disso, usuários Pro ganham apenas 2000 pontos por mês, mas usar o recurso Scene Ingredients custa 100 pontos por vídeo.
Na verdade, o modelo de vídeo de IA chinês Vidu implementou o recurso de “referência de multi-imagem” antes do Pika. Mais atraente para os usuários, ele oferece pontos de teste gratuitos.
Testei alguns casos da Pika no Vidu. A Mona Lisa e a Garota com Brinco de Pérola comendo batatas fritas parecem ter acabado de sair do chão, mas a semelhança da Mona Lisa é melhor que a da Pika.
Elon Musk e Ultraman assistindo a um filme juntos, o rosto de Musk é cerca de 70-80% preciso, mas o rosto de Ultraman ainda não é ótimo.
Gintoki Sakata e Naruto Uzumaki no mesmo quadro, Vidu pode gerar uma face lateral a partir de uma face frontal, mas o estilo difere da imagem original.
Além disso, o Vidu tem uma limitação em comparação ao Pika — ele só pode carregar no máximo três imagens. Então, quando usei o Vidu para criar uma sessão de fotos de moda para Musk e Ultraman, carreguei apenas as fotos deles e um casaco verde, deixando de fora o fundo.
Os resultados pareceram estranhos. Está claro que manter a estabilidade facial ainda é um desafio.
Ao comparar o Vidu com o Pika, as opiniões podem variar. O Pika usa uma versão profissional, enquanto o Vidu usa uma versão gratuita, o que explica algumas diferenças. No entanto, a abordagem do Pika e do Vidu é semelhante — usando apenas alguns materiais de imagem e prompts simples para gerar objetos relativamente estáveis.
Na geração de vídeo de IA, manter a consistência do assunto é atualmente mais confiável com a solução LoRA. Isso envolve o ajuste fino do modelo com uma certa quantidade de material de assunto específico. Com material e treinamento adequados, o modelo aprende gradualmente as características de aparência do personagem.
Mas para tornar os vídeos de IA mais acessíveis e comercialmente valiosos, a barreira de entrada precisa ser reduzida. Pelo menos com Vidu e Pika, vemos o potencial.
Viralizando com vídeos curtos de IA: uma passagem só de ida para a criatividade
Logo após o lançamento do modelo 2.0 da Pika, usuários internacionais já estavam se divertindo muito. Ao gerar vídeos repetidamente em diferentes cenas usando suas próprias fotos, eles conseguiram uma "viagem instantânea pelo universo". Com a IA, experimentar roupas está a apenas um clique de distância. Modelos e roupas fluem perfeitamente, economizando o custo de filmagens reais.
Brincar com Pika me deu uma sensação parecida com a de jogar “QQ Show” e “The Sims”, onde decidimos como vestir os personagens no vídeo.
Se você quiser realizar o “sonho” de Musk, é fácil. Primeiro, use outras ferramentas de IA para gerar uma camiseta “Conquer Mars” e um chapéu vermelho com “MAGA” escrito nele.
Depois, carregue essas imagens, uma cena de Marte, a foto de Musk, seu robô humanoide Optimus Prime e seu protótipo Doge, seu meme favorito da internet, no Pika.
No final, um jovem alegre e alegre aparece, com um cachorro à esquerda e um robô à direita, parecendo amigável, mas não exatamente como Musk.
Se parece com ele ou não é uma coisa; contanto que você mantenha a mente aberta, as possibilidades são infinitas. Usando fotos nossas e de celebridades, podemos facilmente nos envolver no fandom. Carregue chapéus, roupas e instrumentos para nos vestirmos da cabeça aos pés. Reúna cenas, produtos e modelos, e você terá um vídeo comercial simples…
Fotos + imagens de IA + Pika 2.0 + prompts podem gerar muitos visuais interessantes. Este método também evita algumas das deficiências dos modelos de vídeo, como escrita, que podem ser resolvidas com modelos de imagem. Sem competir diretamente com as capacidades do modelo do Google ou comparar com os sonhos de Hollywood da Runway, o Pika tem sua abordagem única.
O Pika sempre foi um mestre da criatividade, com sua série anterior de efeitos especiais de IA, Pikaffect, se tornando viral em plataformas como RedNote e TikTok, elevando a base de usuários do Pika para mais de 11 milhões.
O Pika atingiu um grupo de usuários com alta demanda por vídeos curtos e divertidos. Mesmo que esses vídeos sejam padronizados e fugazes, contanto que sejam divertidos, as pessoas irão acorrer a eles.
Quem disse que vencer é sobre levar tudo? O mercado de IA é vasto e, embora simular o mundo físico seja um grande sonho, atingir a pequena meta de tornar vídeos curtos de IA divertidos também é uma forma de sucesso.
Retirado de se um
Isenção de responsabilidade: as informações estabelecidas acima são fornecidas por ifanr.com, independentemente do Chovm.com. Chovm.com não faz nenhuma representação e garantia quanto à qualidade e confiabilidade do vendedor e dos produtos. Chovm.com isenta-se expressamente de qualquer responsabilidade por violações relativas aos direitos autorais do conteúdo.
