TLDR;

O NCLT teve sua decisão anulada porque se baseou em citações e fatos fabricados por uma IA sem verificação, sem apoio nos registros do processo. A Suprema Corte advertiu que a apresentação de fatos ou precedentes gerados por IA sem checagem pode configurar má conduta profissional e que decisões fundadas nesses elementos devem ser imediatamente anuladas. O tribunal determinou a criação de um comitê de especialistas e a elaboração de regras rígidas (ordenando providências ao BCI), enfatizando que o controle humano e o juízo crítico são indispensáveis.

Resumo

O Supremo Tribunal emitiu forte advertência sobre o uso de inteligência artificial no âmbito judicial, anulando integralmente uma decisão do National Company Law Tribunal (NCLT) que se apoiara em fatos e exemplos fictícios gerados por IA. Os ministros — entre eles P.S. Narasimha e Alok — qualificaram como má conduta profissional a apresentação, por advogados, de peças processuais ou pareceres baseados em informações produzidas por IA sem a devida verificação, determinando que decisões fundamentadas em tais fatos falsos deverão ser anuladas de pronto. O tribunal comparou a proliferação de informação fabricada por IA a um gás invisível e tóxico capaz de contaminar o sistema jurídico, corroer a justiça e destruir a confiança na adjudicação. Alertou para riscos de erro grave quando advogados confiam cegamente em pesquisas automatizadas, reafirmando que o controle humano, o juízo crítico e a responsabilidade profissional são insubstituíveis. Em resposta, o Supremo ordenou a constituição de um comitê de especialistas para revisar limites, desafios e regulamentações do uso de IA na prática forense e solicitou ao Bar Council of India (BCI) que proponha regras rígidas para coibir o uso indevido de conteúdo gerado por IA em processos judiciais, a fim de preservar a integridade do devido processo.