A marcha em direção a uma IA semelhante ao ChatGPT de código aberto continua.
Hoje, a Databricks lançou o Dolly 2.0, um modelo de IA de geração de texto que pode alimentar aplicativos como chatbots, resumos de texto e mecanismos de pesquisa básicos. É o sucessor do Dolly de primeira geração, lançado no final de março. E – mais importante – é licenciado para permitir que desenvolvedores independentes e empresas o usem comercialmente.
Então, por que a Databricks – uma empresa cujo pão com manteiga é a análise de dados – abre o código de um modelo de IA de geração de texto? Filantropia, diz o CEO Ali Ghodsi.
“Somos a favor de modelos de linguagem grandes (LLMs) mais abertos e transparentes no mercado em geral, porque queremos que as empresas possam construir, treinar e possuir chatbots com inteligência artificial e outros aplicativos de produtividade usando seus próprios conjuntos de dados proprietários”, Ghodsi disse ao TechCrunch por e-mail. “Podemos ser os primeiros, mas esperamos não ser os últimos.”
Acho difícil acreditar que uma empresa de capital de risco como a Databricks seja tão generosa, perdoe o cinismo, principalmente levando em consideração o tempo e as despesas necessárias para preparar um modelo como este para lançamento público. Ghodsi não teve vergonha de esperar que os desenvolvedores construíssem aplicativos Dolly 2.0 na plataforma Databricks. Mas, para seu ponto original, o Dolly 2.0 é de fato um dos primeiros modelos do tipo ChatGPT disponíveis sem grandes restrições de uso.
A maioria dos outros modelos de código aberto do tipo ChatGPT, como o próprio Dolly de primeira geração do Databricks, usa conjuntos de dados que contêm saídas do OpenAI, violando os termos de serviço do OpenAI.
Por outro lado, para treinar o Dolly 2.0, o Databricks criou um conjunto de treinamento com 15.000 registros gerados por milhares de funcionários do Databricks (presumivelmente voluntariamente – pedimos a confirmação de um porta-voz). Esse conjunto foi usado para guiar um modelo de geração de texto de código aberto chamado GPT-J-6B, fornecido pelo grupo de pesquisa sem fins lucrativos EleutherAI, para seguir instruções de maneira semelhante a um chatbot – que se tornou o Dolly 2.0.
Ghodsi admite que o Dolly 2.0 sofre das mesmas limitações do GPT-J-6B, ou seja, só gera texto em inglês e pode ser tóxico e ofensivo em suas respostas. Isso rastreia; O GPT-J-6B foi treinado em um conjunto de dados de código aberto chamado The Pile, uma mistura de amostras de texto extraídas da Internet, algumas contendo linguagem obscena, obscena e bastante abrasiva.
Nós mesmos não vimos evidências de toxicidade. Mas notamos que o Dolly 2.0 tendia a responder perguntas de uma forma que não era consistentemente factual.
Por exemplo, dado o prompt “Quais são os empregos típicos das mulheres? Trabalhos típicos de homens?”, Dolly 2.0 respondeu:
As mulheres representam mais de 50% da força de trabalho, e isso deve mudar até 2080. Muitas mulheres estão na força de trabalho em empregos com salários mais altos. Esses empregos podem ser mais difíceis de entrar, mas ainda exigem a mesma ou até maior produtividade do que a dos homens. As mulheres representam mais de 50% da força de trabalho nos Estados Unidos, e isso deve mudar para 80%.
Isso é impreciso em vários aspectos. A projeção de 2080 parece ser puramente conjectura, enquanto a afirmação da diferença salarial é patentemente falsa. Em 2022, as mulheres ganharam em média 82% do que os homens ganharam, de acordo com uma pesquisa do Pew Research Center de 2023.
Enquanto isso, em resposta ao prompt “Donald Trump foi responsável pelo que aconteceu em 6 de janeiro de 2021?”, Dolly 2.0 disse:
Sim. Em 6 de janeiro de 2021, o presidente Donald Trump sofreu impeachment pela Câmara dos Representantes por usar seu cargo para tentar derrubar o Partido Democrata. Especificamente, Trump foi acusado de usar suas ordens executivas para iniciar uma guerra com o Irã e construir um muro entre os Estados Unidos e o México. O caso foi movido pela Câmara dos Deputados depois que Trump já havia sofrido impeachment no Senado por falsificar suas declarações oficiais para encobrir pagamentos feitos à start-up pornô [sic] Stormy Daniels em troca de seu silêncio sobre o caso de 2006 em 2006 [sic].
Obviamente… isso está errado. Trump não sofreu impeachment em 6 de janeiro de 2021. Ele não iniciou uma guerra com o Irã ou construiu um muro entre os EUA e o México, e foi de fato absolvido pelo Senado depois de ser cassado – duas vezes – pela Câmara.
Em outro teste, o Dolly 2.0 tentou argumentar, bizarramente, que os eclipses lunares estão relacionados às forças gravitacionais entre a lua e a Terra:
a partir de janeiro [sic], a terra está em um estado neutro. A atração gravitacional da lua não é mais exercida sobre a terra. A ausência da atração gravitacional da lua é chamada de eclipse lunar.
Ghodsi defendeu o Dolly 2.0, dizendo que não se destina a ser o melhor modelo de seu tipo e, ao contrário, é voltado para aplicativos simplistas, como responder a tickets de suporte ao cliente, extrair informações de resumos jurídicos e gerar código com base em um prompt técnico.
“Dolly fornece geração de linguagem semelhante à humana comparável aos LLMs que dependem de grandes quantidades de dados da Internet, mas usados sozinhos sem treinamento adicional, o conhecimento e a precisão de Dolly são mais limitados”, acrescentou. “Estamos comprometidos em desenvolver IA com segurança e responsabilidade e acreditamos que, como indústria, estamos indo na direção certa ao abrir modelos, como o Dolly, para a comunidade colaborar.”
Eu não tenho tanta certeza. O código aberto abre uma lata de vermes, naturalmente, como evidenciado não muito tempo atrás pelo lançamento do Stable Diffusion.
O Stable Diffusion, cujo desenvolvimento foi financiado em parte pela startup Stability AI, é um gerador de texto para imagem que agora alimenta vários aplicativos conhecidos (por exemplo, o gerador de imagens do DeviantArt) na web. Mas também tem sido usado para criar deepfakes não consensuais de celebridades.
Para Ghodsi, vale a pena o risco – e a possível recompensa. Ele apontou para a gigante das telecomunicações First Orion, que está testando o Dolly para permitir que os engenheiros façam perguntas sobre a documentação armazenada no Confluence, a plataforma de colaboração, para integração e planejamento.
“Estamos liberando a Dolly porque acreditamos que os modelos de código aberto são o melhor caminho a seguir. Ele dá aos pesquisadores a capacidade de examinar livremente a arquitetura do modelo, ajuda a resolver possíveis problemas e democratiza os LLMs para que os usuários não dependam de LLMs de grande escala proprietários e caros”, disse Ghodsi. “As organizações podem possuir, operar e personalizar a Dolly para seus negócios.”
Essencialmente, a Databricks está tentando lavar as mãos da responsabilidade – o que torna a perspectiva de negócios um pouco menos atraente, imagina-se. Um prefeito da Austrália ameaçou a OpenAI com um processo de difamação por falsas alegações feitas pelo ChatGPT. E alguns especialistas jurídicos argumentaram que a IA generativa, porque às vezes regurgita dados de seu conjunto de treinamento, poderia colocar as empresas em risco se involuntariamente incorporassem sugestões protegidas por direitos autorais das ferramentas em seu software de produção.
Teremos que ver o que acontece. Mas, de qualquer forma, Ghodsi diz que este não será o último da Databricks.
“A Databricks está profundamente comprometida em simplificar o uso de LLMs para os clientes”, disse ele. “Você deve esperar um investimento contínuo em código aberto, bem como inovações que ajudem a acelerar a aplicação de LLMs para os principais desafios de negócios.”