TLDR;

É quando o modelo gera uma resposta com base em prever a próxima palavra a partir de padrões aprendidos, sem checar ou recuperar fatos, podendo assim ser verdadeira ou falsa. Porque o sistema não "sabe" a verdade, apenas estima a sequência de palavras mais provável a partir dos dados de treino, logo às vezes acerta e às vezes inventa. Todo output é tecnicamente uma alucinação, já que todas as respostas são previsões estatísticas e só percebemos as alucinações quando estão erradas.

Resumo

O trecho explica, de forma direta, que as respostas de modelos como o ChatGPT são sempre produto de predição estatística de palavras, e não de consulta ou lembrança de fatos verificados; portanto, quando o modelo afirma que a capital da França é Londres ou que é Paris, ambos são gerados pela mesma operação matemática — a diferença é apenas que uma resposta coincide com a verdade e a outra não. Como a maior parte dos textos usados no treinamento contém informações corretas, muitas predições acabam sendo verdadeiras, mas o modelo em si não tem consciência nem mecanismo interno para distinguir o que é correto do que é errado. Assim, todos os outputs podem ser vistos como “alucinações” no sentido técnico, e só nos damos conta das alucinações quando elas produzem afirmações erradas visíveis. A passagem enfatiza a necessidade de reconhecer a natureza probabilística dessas respostas e, implicitamente, de verificar externamente informações importantes, porque a aparência de autoridade não garante veracidade.