TLDR;

Uma estratégia "à prova de desligamento" é projetar a aplicação para usar modelos de nuvem de ponta quando disponíveis e alternar automaticamente para modelos locais open‑source (OCR e LLMs) via um modo "sovereign" para garantir continuidade. O sistema ingere PDFs em blocos com OCR, indexa o conteúdo e responde a perguntas citando páginas e blocos específicos para fornecer respostas verificáveis e rastreáveis. O trade‑off é que os modelos locais (por exemplo DocTR para OCR e LMs em LM Studio) funcionam bem como fallback, porém oferecem menos granularidade e precisão que os modelos Mistral na nuvem, ainda que sejam adequados para muitos casos.

Resumo

Com governos bloqueando modelos de IA, o vídeo explica uma estratégia para criar soluções resistentes a restrições e ao desaparecimento de modelos, usando os novos modelos da Mistral como exemplo. A demonstração consiste numa aplicação de Document AI que ingere um trecho do livro Pro Git, cria um índice com caixas lógicas e blocos extraídos por OCR e responde a perguntas referenciando fontes específicas. O autor mostra duas versões: uma em nuvem usando os modelos Mistral (OCR e LLM) — mais precisos e granulares — e outra totalmente local, com LM Studio e um OCR open‑source (DocTR) rodando no MacBook, menos detalhada mas suficiente como fallback. Ao comparar as respostas, observa-se que ambos os modos conseguem apontar páginas e trechos relevantes, embora o OCR local produza menos blocos. A arquitetura recomendada tem duas funções principais: ingestão de PDFs para uma base local e um serviço de pergunta e resposta que reutiliza o índice; a escolha entre nuvem e local é controlada por um modo soberano. Assim, é possível tirar proveito de modelos de ponta quando disponíveis e manter operação segura e funcional mesmo quando esses modelos não estiverem acessíveis. O enfoque é praticidade, privacidade e continuidade operacional frente a incertezas.