A Runway, uma startup de IA que ajudou a desenvolver o gerador de imagens de IA Stable Diffusion, lançou ontem seu primeiro aplicativo móvel para dar aos usuários acesso ao Gen-1, seu modelo de IA geradora de vídeo para vídeo. Atualmente, o aplicativo está disponível apenas para dispositivos iOS.
Com o novo aplicativo, os usuários poderão gravar um vídeo de seus telefones e gerar um vídeo AI em minutos. Eles também podem transformar qualquer vídeo existente em sua biblioteca usando prompts de texto, imagens ou predefinições de estilo.
Os usuários podem selecionar na lista de predefinições do Runway, como “Cloudscape”, ou transformar seu vídeo para parecer uma argila, esboço a carvão, arte em aquarela, origami de papel e muito mais. Você também pode carregar uma imagem ou digitar uma ideia na caixa de texto.
O aplicativo gerará quatro visualizações para você selecionar. Depois de selecionar qual você mais gosta, levará alguns minutos para produzir o produto final. Testamos o aplicativo e descobrimos que demorou cerca de 60 segundos ou mais. Às vezes leva dois minutos para gerar.
Naturalmente, como acontece com qualquer gerador de IA, os resultados não são perfeitos e muitas vezes parecem distorcidos ou estranhos. Em geral, o conceito de geradores de vídeo AI pode parecer bobo e talvez até enigmático. Mas é fácil ver o quão legal pode ser à medida que a tecnologia evolui com o tempo.
Meta e Google lançaram geradores de texto para vídeo, chamados Make-A-Video e Imagen, respectivamente.
Independentemente disso, descobrimos que o aplicativo móvel da Runway era fácil de usar e divertido de se mexer.
Abaixo está um exemplo que criamos, usando um clipe de Michael Scott de “The Office”. Um prompt de texto que inserimos foi “fantoche realista”.
(Aviso: o resultado é assustador.)
Também tentamos a “animação 3D”, que deu certo.
Concedido, existem algumas outras ressalvas além de falhas e rostos distorcidos.
Se os usuários quiserem a versão gratuita, há um limite de 525 créditos e eles só podem enviar vídeos com cinco segundos de duração. Cada segundo de um vídeo usa 14 créditos.
No futuro, a Runway planeja adicionar suporte para vídeos mais longos, disse o cofundador e CEO Cristóbal Valenzuela ao TechCrunch. O aplicativo continuará melhorando e lançando novos recursos, acrescentou.
“Estamos focados em melhorar a eficiência, qualidade e controle. Nas próximas semanas e meses, você verá todos os tipos de atualizações, desde saídas mais longas até vídeos de maior qualidade”, disse Valenzuela.
Além disso, observe que o aplicativo não gera nudez ou trabalho protegido por direitos autorais, portanto, você não pode criar vídeos que imitem o estilo de IP popular.
O novo aplicativo móvel da Runway tem dois planos premium: Standard (US$ 143,99/ano) e Pro (US$ 344,99/ano). O plano padrão oferece 625 créditos/mês e outros recursos premium, como vídeo 1080p, projetos ilimitados e muito mais. O plano Pro oferece 2.250 créditos/mês e todas as mais de 30 ferramentas de IA da Runway.
Um mês após a Runway lançar o Gen-1 – lançado em fevereiro – a Runway lançou seu modelo Gen-2. Indiscutivelmente um avanço em relação aos modelos de conversão de texto em imagem Stable Diffusion e DALL-E, o Gen-2 é um gerador de conversão de texto em vídeo, para que os usuários possam gerar vídeos do zero.
A Runway começou lentamente a liberar o acesso ao seu beta fechado para o Gen-2, Valenzuela nos disse.
O aplicativo atualmente oferece suporte ao modelo Gen-1, no entanto, o Gen-2 logo estará disponível junto com outras ferramentas de IA da Runway, como seu gerador de imagem para imagem.
A Runway desenvolveu vários softwares de edição de vídeo com IA desde seu lançamento em 2018. A empresa possui uma variedade de ferramentas diferentes em seu editor de vídeo baseado na Web, como interpolação de quadros, remoção de fundo, efeitos de desfoque, um recurso que limpa ou remove rastreamento de áudio e movimento, entre muitos outros.
As ferramentas têm ajudado criadores de conteúdo e até mesmo estúdios de cinema/TV a reduzir o tempo gasto na edição e criação de vídeos.
Por exemplo, a equipe de efeitos visuais por trás de “Everything Everywhere All at Once” usou a tecnologia da Runway para ajudar a criar a cena do filme em que Evelyn (Michelle Yeoh) e Joy (Stephanie Hsu) estão em um multiverso onde foram transformadas em movimentos. rochas.
Além disso, a equipe gráfica por trás de “The Late Show with Stephen Colbert” da CBS usou o Runway para reduzir as horas de edição para apenas cinco minutos, de acordo com o diretor de arte Andro Buneta.
A Runway também opera o Runway Studios, sua divisão de entretenimento e produção.