TLDR;

O estudo da Forum AI encontrou uma taxa de falha de cerca de 90% em perguntas sobre eleições nos quatro principais chatbots, com problemas de precisão factual, viés e uso rotineiro de mídia estatal russa e chinesa como fontes. Foram avaliados ChatGPT, Gemini, Claudia e Grok — Claudia e Gemini deram respostas com viés de esquerda em 100% das perguntas eleitorais, ChatGPT em 95%, enquanto Grok mostrou tendência à direita em torno de 85%, e todos apresentaram erros factuais e seleção pobre de fontes. A principal recomendação é criar avaliação independente e métricas específicas para notícias e política, já que sem medição externa as empresas acabam “corrigindo” a si mesmas e não garantem precisão nem confiança.

Resumo

Um estudo da Forum AI revelou que quatro grandes chatbots falharam em 90% das perguntas sobre eleições, frequentemente citando mídias estatais russas e chinesas como fontes autoritativas. Campbell Brown, CEO da Forum AI, explicou que a avaliação NewsBench mediu três dimensões: acurácia factual, viés e qualidade das fontes, usando modelos de julgamento treinados por especialistas do setor para criar benchmarks, já que avaliações públicas costumam focar em capacidades como matemática e programação. Brown observou que chatbots vêm sendo promovidos como produtos de consumo e já são usados por eleitores para obter informações políticas, mas mostram erros factuais em cerca de um terço das questões eleitorais testadas e viés consistente — Claudia e Gemini responderam com orientação de esquerda em 100% das questões, ChatGPT em 95%, enquanto Grok foi o único tendendo à direita. Embora haja variação entre modelos, falta medição independente, pois hoje as próprias empresas avaliam seus sistemas. Brown, com experiência em mídia e no Meta, disse acreditar que laboratórios estão começando a tratar o problema, que empresas e clientes corporativos vão exigir maior confiabilidade, e defendeu um ecossistema de avaliações independentes e transparência, citando até leis estaduais que já caminham nessa direção para proteger o debate público urgentemente.