O alfabeto completo da matemática aplicada a LLMs: cada letra grega, cada letra latina convencional, cada operador e cada índice, com o significado que eles realmente carregam em um paper de aprendizado de máquina.
Quase todo travamento na leitura de um paper de LLM não é de raciocínio, é de vocabulário. Quem reconhece que θ são os parâmetros, que α é a taxa de aprendizado e que o Σ tem um índice embaixo e um limite em cima já lê oitenta por cento das fórmulas sem esforço.
1. Por que a trilha começa aqui
Uma fórmula matemática é uma frase muito comprimida. O autor economiza espaço substituindo palavras por símbolos, e cada símbolo carrega uma convenção que a comunidade aceitou ao longo de décadas. Quando você não conhece a convenção, a frase vira ruído visual e o cérebro desiste antes de tentar.
A boa notícia é que o vocabulário é pequeno e fechado. Aprendizado de máquina usa talvez quarenta símbolos com frequência real. Dominar esses quarenta é um investimento de três semanas que rende pelos oito meses seguintes e pelo resto da sua vida lendo material técnico.
A regra deste módulo é simples: nunca deixe passar um símbolo que você não sabe nomear. Nomear em voz alta é o teste. Se você consegue ler a fórmula da atenção em português corrente, você entendeu a fórmula.
2. O alfabeto grego e o que cada letra faz em aprendizado de máquina
O grego não é decoração. Cada letra ganhou um papel por tradição, e essa tradição é surpreendentemente estável entre papers. A tabela do glossário deste Studio traz as vinte e quatro letras completas, maiúsculas e minúsculas, com nome, pronúncia em português e uso consagrado.
Seis delas respondem pela maior parte do que você vai encontrar em textos sobre LLMs. Teta, θ, é o conjunto de todos os parâmetros do modelo, os bilhões de números que o treino ajusta. Alfa, α, é a taxa de aprendizado, o tamanho do passo que o otimizador dá. Sigma minúsculo, σ, tem dois empregos: desvio padrão em estatística e função sigmoide em redes neurais, e o contexto sempre desfaz a ambiguidade. Sigma maiúsculo, Σ, é o somatório. Lambda, λ, é o peso de um termo de regularização. Épsilon, ε, é o número minúsculo que se soma a um denominador para evitar divisão por zero.
Quatro outras aparecem o tempo todo em textos sobre otimização e probabilidade: mi, μ, para média; delta maiúsculo, Δ, para variação; nabla, ∇, que não é grego mas mora na mesma vizinhança visual e significa gradiente; e pi maiúsculo, Π, para produtório.
Teta novo é igual a teta velho menos alfa vezes o gradiente da perda em relação a teta. Ou seja: os parâmetros novos são os antigos deslocados um passo de tamanho alfa na direção contrária à de maior subida da perda.
3. As letras latinas convencionais
O latim também tem convenção. Letras minúsculas em negrito ou com seta costumam ser vetores, maiúsculas costumam ser matrizes, e minúsculas simples costumam ser escalares, ou seja, números soltos.
O conjunto que você mais verá: x é a entrada, y é a saída verdadeira, ŷ (lê-se y chapéu) é a saída prevista pelo modelo, W é uma matriz de pesos, b é o viés, n é o número de exemplos, d é a dimensão de um vetor, k é uma contagem ou um recorte, i e j são índices de posição, t é o passo de tempo, L é a função de perda e f é uma função genérica.
Em textos de Transformer, três letras ganharam nome próprio: Q de query, ou consulta; K de key, ou chave; V de value, ou valor. Elas são matrizes, e a fórmula da atenção é uma receita de como combiná-las.
4. Operadores, índices e estruturas
O somatório Σ diz some tudo. Embaixo dele vem a variável de contagem e o valor inicial, em cima vem o valor final, e à direita vem a expressão a somar. O produtório Π faz o mesmo com multiplicação, e aparece em verossimilhança, que é a probabilidade de uma sequência inteira.
Índices e subscritos localizam. O símbolo xᵢ é o elemento i do vetor x. O símbolo Wᵢⱼ é o elemento da linha i e coluna j da matriz W. Sobrescritos podem ser potência, como x², ou rótulo de camada, como h⁽³⁾ para a saída da terceira camada, e a distinção vem do contexto e dos parênteses.
Três símbolos de conjunto fecham o essencial: ∈ significa pertence a, ℝ é o conjunto dos números reais, e ℝᵈ é o conjunto dos vetores de d números reais. Escrever x ∈ ℝ⁷⁶⁸ é dizer que x é uma lista de setecentos e sessenta e oito números reais, que é exatamente o que um embedding é.
S é igual ao somatório, com i indo de um até n, de x índice i. Em português: some todos os elementos do vetor x, do primeiro ao último.
A probabilidade de uma sequência de palavras é o produto, para cada posição t, da probabilidade da palavra naquela posição dado tudo que veio antes. Esta é a definição formal do que um modelo de linguagem faz.
5. Protocolo de leitura em voz alta
Toda vez que encontrar uma fórmula nova, siga cinco passos na mesma ordem, sem pular. Primeiro, leia o lado esquerdo e diga o que está sendo definido. Segundo, varra o lado direito e nomeie cada símbolo, um por um, sem tentar entender ainda. Terceiro, identifique a operação principal, aquela que fica por último se você fosse calcular à mão. Quarto, traduza a fórmula inteira para uma frase em português. Quinto, invente um exemplo numérico minúsculo e calcule.
O quinto passo é o que separa reconhecer de entender. Um softmax de três números calculado à mão ensina mais do que dez leituras da definição.
6. Primeira fórmula real: atenção
Você ainda não precisa entender o que a atenção faz. Precisa apenas conseguir nomear cada parte dela, e isso você já consegue.
Q, K e V são matrizes. O sobrescrito T significa transposta, que é a matriz girada trocando linhas por colunas. O d com subscrito k é a dimensão das chaves, um número. A raiz quadrada dele é um divisor de escala. E softmax é uma função que ainda vamos estudar, que transforma uma lista de números quaisquer em uma lista de probabilidades.
Leia em voz alta: atenção de Q, K e V é igual ao softmax de Q vezes K transposta dividido pela raiz de d k, tudo isso multiplicado por V. Se você conseguiu ler, o módulo zero já está fazendo efeito.
Atenção de Q, K e V é o softmax do produto de Q por K transposta, dividido pela raiz quadrada de d k, e o resultado multiplica V.
Exercícios
Tente responder antes de abrir.
1. Leia em voz alta e traduza para português: L(θ) = −Σᵢ yᵢ log ŷᵢ
A perda em função de teta é igual a menos o somatório, sobre i, de y índice i vezes o logaritmo de y chapéu índice i. Em português: a perda é a soma negativa, sobre todas as classes possíveis, do valor verdadeiro multiplicado pelo logaritmo do valor previsto. Esta é a cross-entropy, a perda padrão de um modelo de linguagem.
2. O que significa exatamente x ∈ ℝ⁴?
x pertence ao conjunto dos vetores de quatro números reais. Ou seja, x é uma lista de quatro números, como (1,2; −0,5; 3,0; 0,0).
3. Em h⁽²⁾ e em x², os sobrescritos significam a mesma coisa? Justifique.
Não. Em h⁽²⁾ os parênteses indicam rótulo, é a saída da camada dois. Em x² não há parênteses e o dois é expoente, x multiplicado por si mesmo. A convenção dos parênteses existe exatamente para desfazer essa ambiguidade.
4. Calcule à mão: Σᵢ₌₁³ 2i
São três termos: 2 vezes 1, mais 2 vezes 2, mais 2 vezes 3, ou seja 2 + 4 + 6 = 12.
5. Na fórmula da atenção, quantos objetos são matrizes, quantos são escalares e quantos são funções?
Três matrizes: Q, K e V. Um escalar: d k, que é um número, a dimensão das chaves. Uma função: softmax. A transposta e a raiz quadrada são operações, não objetos.
Preciso decorar as vinte e quatro letras gregas antes de seguir adiante?
Não. O módulo pede reconhecimento, não recitação. Comece pelas seis que respondem pela maior parte do que aparece em textos sobre LLMs: teta, alfa, sigma minúsculo, sigma maiúsculo, lambda e épsilon. As outras você consulta no glossário do Studio quando aparecerem, e a repetição faz o trabalho de fixação sozinha. O teste real é conseguir nomear cada símbolo de uma fórmula em voz alta, sem travar.
Como distingo sigma minúsculo de sigma maiúsculo quando os dois aparecem no mesmo texto?
Pelo formato e pelo contexto. O sigma maiúsculo é o somatório: ele vem com um índice embaixo, um limite em cima e uma expressão à direita, e sempre pede uma soma. O sigma minúsculo nunca carrega limites. Ele aparece ou como desvio padrão, em contexto de estatística, ou como função sigmoide, e nesse caso vem seguido de parênteses com um argumento dentro. Se houver parênteses com argumento, é função. Se houver limites em cima e embaixo, é somatório.
Como sei se um sobrescrito é potência ou rótulo de camada?
Pelos parênteses. Quando o sobrescrito vem entre parênteses, ele é rótulo, e h com três entre parênteses no alto significa a saída da terceira camada. Quando vem sem parênteses, é expoente, e x com dois no alto significa x multiplicado por si mesmo. A convenção foi criada justamente para desfazer essa ambiguidade, e papers sérios a respeitam. Em caso de dúvida, confira a dimensão do objeto: rótulos de camada acompanham vetores e matrizes, expoentes costumam agir sobre escalares.
O que exatamente é teta em um modelo de linguagem?
Teta é o nome coletivo de todos os números que o treino ajusta, ou seja, todos os pesos e vieses do modelo. Em um modelo grande, teta representa bilhões de valores empacotados sob uma única letra. Quando um paper escreve que a perda é função de teta, ele está dizendo que a qualidade do modelo depende inteiramente desse conjunto de números. E quando escreve o passo de atualização, está dizendo como esse conjunto muda a cada iteração de treino.
Por que o passo de atualização tem um sinal de menos na frente do gradiente?
Porque o gradiente aponta para a direção em que a perda cresce mais rápido, e o objetivo do treino é reduzir a perda. Andar no sentido oposto ao gradiente é, por isso, andar ladeira abaixo. O sinal de menos é justamente essa inversão de sentido. Se você trocasse o menos por um mais, o treino subiria a ladeira e a perda pioraria a cada passo, que é exatamente o sintoma clássico de sinal invertido em uma implementação.
O que significa aquele T pequeno no alto da letra K?
Significa transposta, que é a matriz girada com linhas e colunas trocadas de lugar. O que estava na linha dois e coluna cinco passa para a linha cinco e coluna dois. Na fórmula da atenção, a transposta existe para que as dimensões de Q e de K se encaixem na multiplicação. No módulo zero basta reconhecer o símbolo e saber nomeá-lo, porque a mecânica da multiplicação de matrizes é assunto do módulo seguinte da trilha.
Qual a diferença prática entre escalar, vetor e matriz na notação?
Escalar é um número solto e costuma vir em letra minúscula simples, como n, d ou k. Vetor é uma lista de números e costuma vir em letra minúscula em negrito ou com uma seta em cima. Matriz é uma grade de números e costuma vir em letra maiúscula, como W, Q, K ou V. A convenção não é obrigatória, e alguns autores a violam, mas ela acerta na esmagadora maioria dos textos. Quando estiver em dúvida, procure o momento em que o autor define o objeto.
O que quer dizer aquele erre estilizado com um número no alto?
É o conjunto dos números reais, e o número escrito no alto informa quantas coordenadas o objeto tem. Escrever que x pertence a esse conjunto com quatro no alto é dizer que x é uma lista de quatro números reais. Com setecentos e sessenta e oito no alto, é dizer que x é uma lista de setecentos e sessenta e oito números reais, que é exatamente o formato de um embedding. O símbolo que parece um E arredondado, antes do conjunto, lê-se pertence a.
Por que a fórmula da atenção divide pela raiz da dimensão das chaves?
No módulo zero, a resposta suficiente é que aquele divisor existe para controlar a escala dos números que entram no softmax. Sem ele, produtos entre vetores longos ficariam grandes demais e o softmax saturaria, devolvendo quase tudo concentrado em uma posição só. A justificativa quantitativa, que envolve variância de produtos internos, aparece adiante na trilha. Por ora, reconheça o divisor, saiba nomeá-lo e siga.
O nabla é uma letra grega?
Não é letra do alfabeto grego, embora more na mesma vizinhança visual e apareça no mesmo tipo de fórmula. Ele é um operador, escrito como um triângulo apontando para baixo, e significa gradiente. Quando você lê o nabla aplicado à perda em relação a teta, está lendo o vetor que reúne a taxa de variação da perda em cada parâmetro. No módulo zero, nomear já basta, porque o cálculo do gradiente vem depois.
Como leio um somatório em voz alta sem me atrapalhar?
Siga sempre a mesma ordem: diga somatório, depois o índice e o limite de baixo, depois o limite de cima, depois a expressão à direita. Para o somatório com i de um a n de x índice i, a leitura é somatório, com i indo de um até n, de x índice i. Em português corrente isso vira some todos os elementos do vetor x, do primeiro ao último. Falar na mesma ordem toda vez elimina a hesitação em poucas semanas.
As letras Q, K e V foram escolhidas por acaso?
Não. Elas vêm das palavras query, key e value, ou seja, consulta, chave e valor, e ganharam nome próprio na literatura de Transformer. São matrizes, e a fórmula da atenção é a receita de como combiná-las. Guardar a origem das três palavras ajuda porque a metáfora é fiel ao que a operação faz: uma consulta procura chaves parecidas e recolhe os valores associados a elas.
Como se lê e o que significa o y com um chapeuzinho em cima?
Lê-se y chapéu e representa a saída prevista pelo modelo. O y sem chapéu é a saída verdadeira, aquela que consta dos dados. A distinção é central em qualquer função de perda, porque a perda mede exatamente a distância entre o que o modelo previu e o que era verdade. Sempre que encontrar os dois na mesma fórmula, identifique primeiro quem é previsto e quem é verdadeiro antes de tentar entender a conta.
O protocolo de cinco passos serve para qualquer fórmula ou só para as do módulo?
Serve para qualquer fórmula, e é para ser usado fora da trilha também. Leia o lado esquerdo e diga o que está sendo definido. Nomeie cada símbolo do lado direito, sem tentar entender ainda. Identifique a operação principal, aquela que ficaria por último se você fosse calcular à mão. Traduza tudo para uma frase em português. Por fim, invente um exemplo numérico minúsculo e calcule. O quinto passo é o que separa reconhecer de entender.
Índices em fórmulas começam em zero ou em um?
Depende do que estiver escrito embaixo do símbolo, e não de convenção universal. Em textos matemáticos é muito comum começar em um, enquanto em código é comum começar em zero. Por isso o limite inferior vem sempre escrito: ele é a fonte da verdade daquela fórmula específica. Lembre também que os dois limites são inclusivos, ou seja, tanto o valor de baixo quanto o de cima produzem termos, e é daí que vem a maior parte dos erros de contagem.
Por que épsilon aparece somado em denominadores?
Para impedir divisão por zero. Épsilon é um número minúsculo, algo como um décimo de milionésimo, somado ao denominador de uma fração para garantir que ele nunca fique exatamente em zero. O efeito no resultado é desprezível, mas o efeito na estabilidade numérica é decisivo, porque uma única divisão por zero contamina todo o restante do cálculo. Sempre que vir um mais épsilon embaixo de uma fração, leia como uma proteção, e não como parte da matemática do modelo.
Checkpoint
Oitenta por cento de acerto libera o módulo seguinte.
1. Cite o papel convencional de θ, α, σ, Σ, λ e ε.
Parâmetros do modelo, taxa de aprendizado, desvio padrão ou função sigmoide, somatório, peso de regularização e constante minúscula de estabilidade numérica.
2. Qual a diferença entre Σ e Π?
Σ soma os termos, Π multiplica os termos.
3. O que Wᵢⱼ identifica?
O elemento da linha i e da coluna j da matriz W.
4. Traduza: ŷ = f(x; θ)
Y chapéu, a previsão, é a função f aplicada à entrada x, parametrizada por teta.
5. Leia a fórmula da atenção inteira em voz alta sem consultar.
Atenção de Q, K e V é o softmax de Q vezes K transposta dividido pela raiz de d k, multiplicado por V.
Bibliografia
Cálculo, volume 1James Stewart, Daniel Clegg e Saleem Watson, tradução da 9ª edição norte-americana, Cengage, 2022Capítulo de revisão e Capítulo 1, Funções e ModelosLeia apenas para acostumar o olho com a notação de função, domínio, imagem e composição. Não faça os exercícios ainda; eles voltam no M1 e no M3.
Mathematics for Machine LearningMarc Peter Deisenroth, A. Aldo Faisal e Cheng Soon Ong, Cambridge University Press, 2020, livro abertoTabela de símbolos e abreviações, nas páginas iniciaisÉ a tabela de notação mais próxima do vocabulário usado em papers de LLM. Imprima e deixe ao lado do teclado.
Dive into Deep LearningAston Zhang, Zachary Lipton, Mu Li e Alexander Smola, Cambridge University Press, edição aberta e atualizadaCapítulo NotationReferência canônica de notação em aprendizado profundo. Consulta, não leitura linear.
