TLDR;

É possível treinar um LLM do zero localmente em um laptop com memória suficiente (o apresentador recomenda cerca de 16 GB) ou usando Google Colab, porque o workshop treina um modelo muito pequeno sem pesos pré‑treinados. Os pré‑requisitos citados são Python 3.12, PyTorch (com suporte MPS/CUDA/CPU), cerca de 16 GB de RAM e a recomendação de usar um ambiente virtual (o instrutor menciona "UV"), podendo optar por Colab se não tiver GPU local. O processo explicado cobre os quatro blocos principais — tokenizador, arquitetura (decoder‑only estilo GPT‑2), loop de treinamento e inferência — usando PyTorch e bibliotecas básicas com código disponível no repositório e edição em Scratchpad ou Colab.

Resumo

Neste workshop prático, Angelos, líder da equipe de speech-to-text da 11 Labs e engenheiro de pesquisa, apresenta um projeto para treinar um LLM do zero usando principalmente PyTorch e bibliotecas básicas, sem pesos pré-treinados. Ele comenta seu trabalho com modelos de transcrição em tempo real e cita o scribe v2 como referência de mercado, depois explica que o objetivo é guiar os participantes por cerca de 80% do processo real de criação de um modelo pequeno inspirado na arquitetura GPT‑2, abordando os quatro blocos fundamentais: tokenizer, arquitetura do modelo (decoder-only com atenção causal, MLPs e normalizações), loop de treinamento — apontado como diferencial crítico entre versões de grandes modelos — e inferência simples por se tratar de modelo compacto. Angelos recomenda opções para treinar localmente (laptops com ~16 GB) ou via Google Colab, detalha pré‑requisitos como Python 3.12 e compatibilidade com MPS/CUDA/CPU, e sugere ferramentas como venv/virtualenv e Scratchpad para desenvolvimento. Menciona também a inspiração no nanoGPT de Andrej Karpathy e propõe possibilidades de expansão do workshop para desafios mais avançados. Ele disponibiliza um repositório no GitHub com instruções e sugere tokenizers menores quando há pouca disponibilidade de dados, enfatizando que fine-tuning e estratégias de treinamento determinam parte do desempenho.