TLDR;

O Advanced Voice Mode é oferecido pela Real-Time API da OpenAI para permitir interações por voz em tempo real com reconhecimento, síntese natural e controle de entonação. No tutorial, o autor usa um template no Replit, insere a chave da OpenAI, executa o app e clica em "Connect" para ativar VAD e permitir comandos por voz que chamam funções (ex.: get weather). A demo mostra reconhecimento e síntese de voz, variação de tom/expressão, tradução entre idiomas, chamadas de função para obter o clima e uso para ensino de pronúncia.

Resumo

O vídeo demonstra o novo modo avançado de voz da OpenAI e a API em tempo real que permite incorporar essa funcionalidade em aplicações próprias: o apresentador usa um template no Replit, roda o projeto, insere sua chave da OpenAI e conecta o VAD para conversar com a aplicação apenas por voz. Mostra exemplos práticos — consultas ao tempo (Bend, Oregon; Marbella; Costa Amalfitana) com conversões de unidades, resposta em diferentes idiomas (incluindo pedir a resposta em espanhol), explicação da distância entre Marbella e a Costa Amalfitana e recomendações de viagem — além de pedir uma piada e solicitar entonação e riso para tornar a fala mais natural. Há também uma demo de ensino de idiomas que ilustra capacidades de speech-to-speech e multimodalidade, onde o sistema corrige pronúncia e age como um professor humano. O narrador elogia a naturalidade e expressividade da voz sintetizada, enfatiza que a API em tempo real vai transformar a interação com apps e que é empolgante ver o que será construído sobre essa tecnologia; encerra convidando à inscrição, curtida e comentários.