Edgar Cervantes / Autoridade Android
Chatbots modernos como o ChatGPT podem produzir dezenas de palavras a cada segundo, tornando-os ferramentas inestimáveis para pesquisar e analisar grandes quantidades de informações. Com mais de 500 GB de dados de treinamento e cerca de 300 bilhões de palavras, o modelo de linguagem de IA também pode responder a muitas questões factuais. Mas por mais humanas que possam parecer as respostas do ChatGPT, permanece uma questão crucial: quão precisas são as informações que ele fornece?
Embora o ChatGPT possa ser impressionantemente informativo na maioria das vezes, você provavelmente já ouviu falar de inúmeras controvérsias em torno da IA generativa. De preconceitos raciais a conteúdo prejudicial, há um histórico de controvérsias a serem consideradas antes de confiar em qualquer resultado gerado por IA.
O ChatGPT é preciso?
Robert Triggs / Autoridade Android
Sim, o ChatGPT tem potencial para ser preciso, especialmente para consultas factuais com respostas claras. Ao falar sobre informações estabelecidas há muito tempo, o ChatGPT pode buscar dados relevantes de seu treinamento e fornecer respostas verdadeiras. Para uma pergunta como “Qual é a capital da França?”, é muito provável que você obtenha a resposta correta.
No entanto, chatbots como o ChatGPT muitas vezes fabricam informações quando se deparam com uma pergunta nova ou difícil. Isto ocorre porque os modelos de linguagem generativa são concebidos para imitar a forma como os humanos escrevem, e não a forma como pensamos. Consequentemente, eles têm capacidades limitadas de raciocínio lógico.
ChatGPT tem alucinações com menos frequência do que há um ano, mas você ainda precisa tomar cuidado.
O problema com a precisão do ChatGPT é mais profundo do que você imagina. Freqüentemente, ele tece detalhes inteiramente fictícios e inventa factóides que parecem convincentes em resposta a certas solicitações. O criador do chatbot colocou várias salvaguardas para evitar alucinações, mas como os nossos testes mostrarão mais adiante neste artigo, não é completamente eficaz.
Se você procura dados empíricos, vários estudos testaram extensivamente a precisão do ChatGPT para revelar uma tendência clara. ChatGPT possui uma classificação de precisão surpreendentemente alta para perguntas típicas. Num estudo médico, por exemplo, o chatbot obteve uma classificação média de 5,5 numa escala de 6 pontos.
No entanto, a tendência do ChatGPT de receber atualizações rotineiras também pode prejudicar a sua precisão e utilidade. Outro grupo de pesquisadores da UC Berkeley e da Universidade de Stanford descobriu que a capacidade do chatbot de identificar números primos caiu de uma precisão impressionante de 84% para apenas 51% em três meses. Resumindo, você não pode e não deve confiar nas respostas do ChatGPT, pelo menos não sem antes verificá-las.
Como melhorar a precisão do ChatGPT
Calvin Wankhede / Autoridade Android
Se você é apenas um usuário ocasional do ChatGPT, talvez nunca tenha considerado atualizar para o nível pago do chatbot. No entanto, fazer isso melhorará várias vezes sua precisão e deverá estar no topo de sua lista de prioridades se você confiar nas respostas do chatbot. Isso ocorre porque a assinatura ChatGPT Plus de US$ 20 desbloqueia o acesso ao modelo de linguagem GPT-4 Turbo.
O modelo de linguagem GPT-4 é muito mais capaz do que seu antecessor, GPT-3.5, que alimenta a experiência básica do chatbot até hoje. De acordo com a OpenAI, o modelo mais recente obteve pontuação no 89º percentil do SAT Math, 90º percentil do Uniform Bar Exam e 80º percentil do GRE Quantitative. Quase todos esses resultados são significativamente melhores que os do GPT-3.5.
ChatGPT-4 oferece resultados muito mais precisos, mas ainda fica atrás de alguns especialistas humanos.
Os resultados no percentil 80 a 90 significam que a precisão do GPT-4 não supera os especialistas humanos em suas respectivas áreas. No entanto, o ChatGPT Plus também desbloqueia o suporte à navegação na web, que permite ao chatbot consultar a Wikipedia e outras fontes online. Você pode pensar nisso como uma pesquisa ao vivo, pois é semelhante à forma como encontramos a resposta certa por meio de uma pesquisa no Google. Então, quão preciso é o ChatGPT e vale a pena pagar pelo nível Plus? Vamos descobrir.
Precisão do ChatGPT 4 testada: Comparação entre Gratuito e Plus
Como mencionei anteriormente, o ChatGPT pode fornecer respostas significativamente mais precisas com GPT-4 e navegação habilitadas. Fiz ao chatbot algumas perguntas factuais, algumas particularmente obscuras, para testar se conseguiria ou não obter uma resposta confiável e precisa.
- Questão 1: 17077 é um número primo? Pense passo a passo e depois responda [Yes] ou [No].
Gostaríamos de lhe enviar notificações com novidades, você pode cancelar a qualquer momento.