TLDR;

O modelo que alcançou esse feito foi o GPT‑6 Astra da OpenAI. Ele detectou falhas nas respostas oficiais ao analisar detalhadamente os cálculos, levando os especialistas a corrigir os erros. Com as correções, a IA obteve 49 de 50 pontos, equivalente a 98% de acurácia.

Resumo

A IA está alcançando feitos impressionantes. Pesquisadores criaram o benchmark Theo Phys Eval, com cinquenta problemas inéditos de física teórica, nível de pesquisa, que levariam um especialista mundial um dia para resolver. O modelo GPT‑6 Astra da OpenAI foi testado e inicialmente pareceu errar várias questões, obtendo cerca de 88 % de acerto. Quando os físicos revisaram as respostas oficiais, descobriram erros sutis nas chaves de solução; após a correção, a IA acertou 49 de 50 questões, atingindo 98 % de pontuação. Esse episódio mostrou que a IA pode detectar falhas em avaliações criadas por especialistas, sugerindo que avaliações anteriores subestimaram a qualidade dos modelos. O mesmo fenômeno ocorre em matemática: o teste Frontier Math, desenvolvido pela Epoch AI, reúne problemas extremamente difíceis, e a IA identificou erros fatais em cerca de um terço das questões, indicando que as respostas oficiais também eram inseguras. Esses resultados demonstram que modelos avançados não apenas resolvem problemas complexos, mas também servem como coautores críticos, corrigindo erros humanos em áreas de pesquisa avançada. Apesar das conquistas, ainda há limitações, pois alguns problemas permanecem insolúveis mesmo para os modelos mais avançados, reforçando a necessidade de avaliações contínuas e aprimoramento da IA e impulsionando a inovação científica global.