TLDR;

Está produzindo informações fabricadas e citações inexistentes, como nos relatórios contratados pela Deote que incluíam autores e trechos falsos. Modelos de IA obtiveram apenas trabalho "minimamente suficiente" em cerca de 65% das tarefas e jamais passaram de 50% na categoria "superior", indo pior em áreas jurídicas, de TI e análise complexa. Esses sistemas funcionam essencialmente como um "autocomplete" que acelera tarefas administrativas, mas não têm entendimento real nem substituem o julgamento humano em atividades qualificadas.

Resumo

O vídeo relata casos em que a consultoria chamada Deote entregou relatórios caros a governos (um de A$290 mil na Austrália e outro de US$1,6 milhão no Canadá) recheados de citações e até autores falsos, ou seja, evidências inventadas, enquanto a empresa afirma que as conclusões continuam válidas; isso evidencia um problema maior: modelos de linguagem e ferramentas de IA que produzem textos convincentes sem compreensão. Cita um estudo do MIT que avaliou modelos em 11.000 tarefas reais e concluiu que, em torno de 65% das vezes, a IA entrega um resultado minimamente aceitável, mas nunca alcança mais de 50% em trabalhos “superiores”; ela se sai melhor em tarefas administrativas repetitivas e pior em funções qualificadas como direito, TI e análises complexas. O autor compara a IA a um “autocompletar” ou a um papagaio que repete palavras sem entender, e adverte contra o discurso de quem promete uma AGI que substitua humanos — é uma estratégia de marketing para obter mais dinheiro. Destaca que humanos, apesar de falíveis, têm dúvidas e arrependimento que os ajudam a corrigir erros, algo que importa na busca pela verdade. Conclui que a IA acelera e auxilia nas tarefas chatas, mas não substitui o julgamento humano.