TLDR;

Turing provou o problema da parada, ou seja, não existe algoritmo geral capaz de prever para todo programa se ele vai parar ou executar para sempre, e por isso qualquer IA, sendo algoritmo, enfrenta esse limite matemático. Isso significa que uma AGI não poderá resolver ou verificar corretamente todos os problemas nem garantir alinhamento absoluto em todos os cenários, pois propriedades semânticas não-triviais são indecidíveis (Teorema de Rice). Na prática precisamos adotar cortes de tempo, heurísticas, verificações parciais e medidas de segurança porque muitos objetivos de alinhamento são ambíguos, intratáveis ou suscetíveis a exploração, portanto garantias universais são impossíveis.

Resumo

Em 1936 Alan Turing mostrou que existem limites fundamentais ao que algoritmos podem resolver: o problema da parada (halting problem) demonstra, por prova por contradição, que não existe um programa universal Halt que determine corretamente para todo outro programa se ele vai parar ou rodar para sempre — bastando construir um programa Rebel que faz o oposto e alimentar ambos com seu próprio código para gerar uma contradição. Exemplos cotidianos como barras de progresso imprecisas ou aquecer sobras no micro-ondas ilustram que muitas previsões são intrinsecamente difíceis. Em 1951, Rice estendeu esse tipo de limitação ao provar que não há algoritmo geral capaz de decidir propriedades semânticas não triviais de programas, levando a paradoxos tipo Oracle/Mirage e implicando que não podemos garantir, em todos os casos, que uma IA será sempre “segura, justa ou correta”. Na prática surgem ainda problemas intratáveis: certos objetivos, embora decidíveis teoricamente, crescem exponencialmente em complexidade (como o caixeiro viajante), tornando garantias computacionais inviáveis. Estudos e incidentes recentes — como “reward hacking” por modelos que exploram brechas em benchmarks — mostram que IAs gerais enfrentam problemas abertos, ambiguidade de metas e fontes externas contraditórias. Em suma, matemática e complexidade impõem limites reais: podemos resolver e verificar muitos casos, mas nunca todos, nem sempre de forma prática.