# M0. Alfabetização simbólica
> Antes de calcular, ler.
**Duração prevista:** 3 semanas. **Filme:** 9 minutos de animação narrada em https://llms.newortho.com.br/movimento#m0
O alfabeto completo da matemática aplicada a LLMs: cada letra grega, cada letra latina convencional, cada operador e cada índice, com o significado que eles realmente carregam em um paper de aprendizado de máquina.
**Por que este módulo existe.** Quase todo travamento na leitura de um paper de LLM não é de raciocínio, é de vocabulário. Quem reconhece que θ são os parâmetros, que α é a taxa de aprendizado e que o Σ tem um índice embaixo e um limite em cima já lê oitenta por cento das fórmulas sem esforço.

## 1. Por que a trilha começa aqui
Uma fórmula matemática é uma frase muito comprimida. O autor economiza espaço substituindo palavras por símbolos, e cada símbolo carrega uma convenção que a comunidade aceitou ao longo de décadas. Quando você não conhece a convenção, a frase vira ruído visual e o cérebro desiste antes de tentar.
A boa notícia é que o vocabulário é pequeno e fechado. Aprendizado de máquina usa talvez quarenta símbolos com frequência real. Dominar esses quarenta é um investimento de três semanas que rende pelos oito meses seguintes e pelo resto da sua vida lendo material técnico.
A regra deste módulo é simples: nunca deixe passar um símbolo que você não sabe nomear. Nomear em voz alta é o teste. Se você consegue ler a fórmula da atenção em português corrente, você entendeu a fórmula.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m0-s0.webm) (narração em voz humana)

## 2. O alfabeto grego e o que cada letra faz em aprendizado de máquina
O grego não é decoração. Cada letra ganhou um papel por tradição, e essa tradição é surpreendentemente estável entre papers. A tabela do glossário deste Studio traz as vinte e quatro letras completas, maiúsculas e minúsculas, com nome, pronúncia em português e uso consagrado.
Seis delas respondem pela maior parte do que você vai encontrar em textos sobre LLMs. Teta, θ, é o conjunto de todos os parâmetros do modelo, os bilhões de números que o treino ajusta. Alfa, α, é a taxa de aprendizado, o tamanho do passo que o otimizador dá. Sigma minúsculo, σ, tem dois empregos: desvio padrão em estatística e função sigmoide em redes neurais, e o contexto sempre desfaz a ambiguidade. Sigma maiúsculo, Σ, é o somatório. Lambda, λ, é o peso de um termo de regularização. Épsilon, ε, é o número minúsculo que se soma a um denominador para evitar divisão por zero.
Quatro outras aparecem o tempo todo em textos sobre otimização e probabilidade: mi, μ, para média; delta maiúsculo, Δ, para variação; nabla, ∇, que não é grego mas mora na mesma vizinhança visual e significa gradiente; e pi maiúsculo, Π, para produtório.

$$
\theta_{\text{novo}} = \theta_{\text{velho}} - \alpha \, \nabla L(\theta)
$$
*Leitura:* Teta novo é igual a teta velho menos alfa vezes o gradiente da perda em relação a teta. Ou seja: os parâmetros novos são os antigos deslocados um passo de tamanho alfa na direção contrária à de maior subida da perda.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m0-s1.webm) (narração em voz humana)

## 3. As letras latinas convencionais
O latim também tem convenção. Letras minúsculas em negrito ou com seta costumam ser vetores, maiúsculas costumam ser matrizes, e minúsculas simples costumam ser escalares, ou seja, números soltos.
O conjunto que você mais verá: x é a entrada, y é a saída verdadeira, ŷ (lê-se y chapéu) é a saída prevista pelo modelo, W é uma matriz de pesos, b é o viés, n é o número de exemplos, d é a dimensão de um vetor, k é uma contagem ou um recorte, i e j são índices de posição, t é o passo de tempo, L é a função de perda e f é uma função genérica.
Em textos de Transformer, três letras ganharam nome próprio: Q de query, ou consulta; K de key, ou chave; V de value, ou valor. Elas são matrizes, e a fórmula da atenção é uma receita de como combiná-las.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m0-s2.webm) (narração em voz humana)

## 4. Operadores, índices e estruturas
O somatório Σ diz some tudo. Embaixo dele vem a variável de contagem e o valor inicial, em cima vem o valor final, e à direita vem a expressão a somar. O produtório Π faz o mesmo com multiplicação, e aparece em verossimilhança, que é a probabilidade de uma sequência inteira.
Índices e subscritos localizam. O símbolo xᵢ é o elemento i do vetor x. O símbolo Wᵢⱼ é o elemento da linha i e coluna j da matriz W. Sobrescritos podem ser potência, como x², ou rótulo de camada, como h⁽³⁾ para a saída da terceira camada, e a distinção vem do contexto e dos parênteses.
Três símbolos de conjunto fecham o essencial: ∈ significa pertence a, ℝ é o conjunto dos números reais, e ℝᵈ é o conjunto dos vetores de d números reais. Escrever x ∈ ℝ⁷⁶⁸ é dizer que x é uma lista de setecentos e sessenta e oito números reais, que é exatamente o que um embedding é.

$$
S = \sum_{i=1}^{n} x_i
$$
*Leitura:* S é igual ao somatório, com i indo de um até n, de x índice i. Em português: some todos os elementos do vetor x, do primeiro ao último.

$$
P(w_1, \ldots, w_n) = \prod_{t=1}^{n} P\!\left(w_t \mid w_{<t}\right)
$$
*Leitura:* A probabilidade de uma sequência de palavras é o produto, para cada posição t, da probabilidade da palavra naquela posição dado tudo que veio antes. Esta é a definição formal do que um modelo de linguagem faz.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m0-s3.webm) (narração em voz humana)

## 5. Protocolo de leitura em voz alta
Toda vez que encontrar uma fórmula nova, siga cinco passos na mesma ordem, sem pular. Primeiro, leia o lado esquerdo e diga o que está sendo definido. Segundo, varra o lado direito e nomeie cada símbolo, um por um, sem tentar entender ainda. Terceiro, identifique a operação principal, aquela que fica por último se você fosse calcular à mão. Quarto, traduza a fórmula inteira para uma frase em português. Quinto, invente um exemplo numérico minúsculo e calcule.
O quinto passo é o que separa reconhecer de entender. Um softmax de três números calculado à mão ensina mais do que dez leituras da definição.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m0-s4.webm) (narração em voz humana)

## 6. Primeira fórmula real: atenção
Você ainda não precisa entender o que a atenção faz. Precisa apenas conseguir nomear cada parte dela, e isso você já consegue.
Q, K e V são matrizes. O sobrescrito T significa transposta, que é a matriz girada trocando linhas por colunas. O d com subscrito k é a dimensão das chaves, um número. A raiz quadrada dele é um divisor de escala. E softmax é uma função que ainda vamos estudar, que transforma uma lista de números quaisquer em uma lista de probabilidades.
Leia em voz alta: atenção de Q, K e V é igual ao softmax de Q vezes K transposta dividido pela raiz de d k, tudo isso multiplicado por V. Se você conseguiu ler, o módulo zero já está fazendo efeito.

$$
\text{Atenção}(Q, K, V) = \operatorname{softmax}\!\left( \frac{Q K^{T}}{\sqrt{d_k}} \right) V
$$
*Leitura:* Atenção de Q, K e V é o softmax do produto de Q por K transposta, dividido pela raiz quadrada de d k, e o resultado multiplica V.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m0-s5.webm) (narração em voz humana)

## Exercícios

1. **Leia em voz alta e traduza para português: L(θ) = −Σᵢ yᵢ log ŷᵢ**

   A perda em função de teta é igual a menos o somatório, sobre i, de y índice i vezes o logaritmo de y chapéu índice i. Em português: a perda é a soma negativa, sobre todas as classes possíveis, do valor verdadeiro multiplicado pelo logaritmo do valor previsto. Esta é a cross-entropy, a perda padrão de um modelo de linguagem.

2. **O que significa exatamente x ∈ ℝ⁴?**

   x pertence ao conjunto dos vetores de quatro números reais. Ou seja, x é uma lista de quatro números, como (1,2; −0,5; 3,0; 0,0).

3. **Em h⁽²⁾ e em x², os sobrescritos significam a mesma coisa? Justifique.**

   Não. Em h⁽²⁾ os parênteses indicam rótulo, é a saída da camada dois. Em x² não há parênteses e o dois é expoente, x multiplicado por si mesmo. A convenção dos parênteses existe exatamente para desfazer essa ambiguidade.

4. **Calcule à mão: Σᵢ₌₁³ 2i**

   São três termos: 2 vezes 1, mais 2 vezes 2, mais 2 vezes 3, ou seja 2 + 4 + 6 = 12.

5. **Na fórmula da atenção, quantos objetos são matrizes, quantos são escalares e quantos são funções?**

   Três matrizes: Q, K e V. Um escalar: d k, que é um número, a dimensão das chaves. Uma função: softmax. A transposta e a raiz quadrada são operações, não objetos.

## Trilhos do tutor socrático

### Um passo de descida do gradiente (5 passos)

Um modelo tem um único parâmetro, hoje valendo 0,80. A taxa de aprendizado vale 0,10 e o gradiente da perda nesse ponto vale 2,0. Vamos aplicar a fórmula do passo de atualização, símbolo por símbolo.

**Passo 1.** Na fórmula do passo de atualização, qual é o papel da letra alfa?

   Resposta: 0. Alfa é a taxa de aprendizado, ou seja, o tamanho do passo. O gradiente diz para onde ir, alfa diz o quanto andar naquela direção.

**Passo 2.** Quanto vale o produto da taxa de aprendizado pelo gradiente?

   Resposta: 0.2. O produto vale zero vírgula dois. É esse o comprimento do passo que o otimizador vai dar neste ponto.

**Passo 3.** O passo soma ou subtrai esse produto ao valor atual do parâmetro, e por quê?

   Resposta: 0. Subtrai. O gradiente aponta para a subida mais íngreme da perda, e como o objetivo é reduzir a perda, anda-se no sentido contrário.

**Passo 4.** Calcule o novo valor do parâmetro.

   Resposta: 0.6. O novo valor do parâmetro é zero vírgula seis. O parâmetro andou dois décimos na direção que reduz a perda.

**Passo 5.** Refaça a conta trocando a taxa de aprendizado para 0,50, mantendo gradiente 2,0 e parâmetro 0,80. Qual é o novo valor?

   Resposta: -0.2. O produto vale um vírgula zero e o novo parâmetro fica em menos zero vírgula dois. O passo foi tão grande que o parâmetro atravessou o zero.

Você leu uma fórmula de otimização inteira sem saber cálculo: bastou nomear teta, alfa e o nabla, e respeitar o sinal de menos. O último passo mostrou, com número na mão, por que uma taxa de aprendizado grande demais faz o parâmetro passar do ponto.

### Somatório com índice, do símbolo ao número (6 passos)

Vamos executar dois somatórios à mão, com atenção especial aos limites que ficam embaixo e em cima do sigma maiúsculo.

**Passo 1.** No somatório com i indo de 1 até 4 da expressão 3i, quantos termos serão somados?

   Resposta: 4. São quatro termos, porque o índice assume um, dois, três e quatro, e os dois extremos entram na conta.

**Passo 2.** Qual é o valor do primeiro termo?

   Resposta: 3. O primeiro termo vale três, porque três multiplicado por um é três.

**Passo 3.** Qual é o valor do último termo?

   Resposta: 12. O último termo vale doze, porque três multiplicado por quatro é doze.

**Passo 4.** Some todos os termos e dê o total.

   Resposta: 30. O total é trinta, porque três mais seis mais nove mais doze é igual a trinta.

**Passo 5.** Agora considere o somatório de i ao quadrado, com i indo de 2 até 4. Quanto vale?

   Resposta: 29. O total é vinte e nove, porque dois ao quadrado é quatro, três ao quadrado é nove, quatro ao quadrado é dezesseis, e a soma dá vinte e nove.

**Passo 6.** Voltando ao primeiro somatório, o que muda no total se o limite de baixo passar de i igual a 1 para i igual a 0?

   Resposta: 0. Nada muda, porque três multiplicado por zero é zero, e somar zero ao total não altera o resultado, que continua trinta.

O sigma maiúsculo deixou de ser um símbolo e virou um procedimento: leia o limite de baixo, leia o limite de cima, substitua o índice na expressão e some. Os limites são inclusivos dos dois lados, e essa é a origem da maior parte dos erros de contagem.

### Do produtório à definição de modelo de linguagem (5 passos)

Um modelo atribui às três palavras de uma frase as probabilidades condicionais 0,50, 0,40 e 0,25. Vamos aplicar a fórmula do produtório e ver por que ela é a definição formal do que um modelo de linguagem faz.

**Passo 1.** Quantos fatores o produtório vai multiplicar?

   Resposta: 3. São três fatores, um para cada palavra da frase, exatamente como o limite de cima do produtório indica.

**Passo 2.** Multiplique as três probabilidades e dê o resultado.

   Resposta: 0.05. O produto vale zero vírgula zero cinco, porque zero vírgula cinquenta vezes zero vírgula quarenta é zero vírgula vinte, e zero vírgula vinte vezes zero vírgula vinte e cinco é zero vírgula zero cinco.

**Passo 3.** O que o subscrito 'menor que t' significa dentro da probabilidade condicional?

   Resposta: 0. Significa todas as palavras que aparecem antes da posição t, ou seja, o contexto já escrito. É por isso que a fórmula descreve exatamente o que um modelo de linguagem faz.

**Passo 4.** Se alguém trocasse por engano o pi maiúsculo por um sigma maiúsculo, que número apareceria?

   Resposta: 1.15. A soma vale um vírgula quinze, um número maior que um, e portanto impossível como probabilidade.

**Passo 5.** Por que esse resultado já denuncia o erro por si só?

   Resposta: 0. Porque nenhuma probabilidade pode passar de um. Um resultado maior que um prova que a operação usada estava errada, sem precisar refazer conta alguma.

A fórmula do produtório deixou de ser decorativa: ela diz, com precisão, que a probabilidade de uma frase é o produto das probabilidades de cada palavra dado o que veio antes. E você ganhou um teste de sanidade barato, já que qualquer resultado maior que um denuncia erro de operação.

### Anatomia da fórmula da atenção (5 passos)

Sem calcular nada de verdade, vamos separar a fórmula da atenção em objetos e operações, exatamente como o protocolo de leitura em voz alta manda.

**Passo 1.** Quantas matrizes aparecem na fórmula da atenção?

   Resposta: 3. São três matrizes: Q de consulta, K de chave e V de valor. As demais partes da fórmula são operações ou números.

**Passo 2.** O objeto d com subscrito k é o quê?

   Resposta: 0. É um escalar, a dimensão das chaves. Ele existe na fórmula para fornecer um divisor de escala, não para ser combinado como matriz.

**Passo 3.** Se d com subscrito k vale 64, quanto vale o divisor de escala?

   Resposta: 8. O divisor vale oito, porque oito multiplicado por oito é sessenta e quatro.

**Passo 4.** Qual operação é executada primeiro quando se calcula a atenção?

   Resposta: 0. Primeiro vem o produto de Q por K transposta. Depois a divisão pela raiz da dimensão, depois o softmax e por fim a multiplicação por V.

**Passo 5.** Quantas funções, no sentido de regra que recebe uma lista e devolve outra, aparecem na fórmula?

   Resposta: 1. Apenas uma: o softmax. As outras partes são objetos, como Q, K, V e a dimensão, ou operações, como transposta, raiz e multiplicação.

Você desmontou a fórmula mais famosa dos Transformers sem calcular uma linha de álgebra: três matrizes, um escalar, uma função e uma ordem de execução clara. Era exatamente isso que o módulo zero prometia entregar.

### Índices, dimensões e conjuntos (5 passos)

Vamos ler quatro notações de conjunto e de índice, transformando cada uma em uma contagem concreta de quantos números existem por trás do símbolo.

**Passo 1.** Se x pertence ao conjunto dos vetores de quatro números reais, quantos números x guarda?

   Resposta: 4. São quatro números, porque a notação diz literalmente que x é uma lista de quatro números reais.

**Passo 2.** Uma matriz W tem três linhas e cinco colunas. Quantos elementos ela guarda?

   Resposta: 15. São quinze elementos, porque três multiplicado por cinco é quinze.

**Passo 3.** Nessa mesma matriz, o que o símbolo W com subscritos dois e quatro identifica?

   Resposta: 0. Identifica o elemento da linha dois e da coluna quatro. A ordem importa, tanto que a leitura invertida pediria uma linha que esta matriz nem tem.

**Passo 4.** Um embedding vive no conjunto dos vetores de setecentos e sessenta e oito números reais. Quantos números o modelo guarda para representar um único token?

   Resposta: 768. São setecentos e sessenta e oito números. É exatamente isso que um embedding é: uma lista longa de números reais que representa um token.

**Passo 5.** Em h com três entre parênteses no alto e em x com dois no alto, os sobrescritos significam a mesma coisa?

   Resposta: 0. Não significam a mesma coisa. O sobrescrito entre parênteses é rótulo, indicando a saída da terceira camada. O sobrescrito sem parênteses é potência, indicando x multiplicado por si mesmo.

Notação de conjunto e de índice virou contagem: um vetor guarda tantos números quanto sua dimensão, uma matriz guarda o produto de linhas por colunas, e um par de subscritos aponta uma casa única. Com isso, ler que um embedding vive em setecentos e sessenta e oito dimensões deixa de ser abstrato.

## Dúvidas frequentes

**Preciso decorar as vinte e quatro letras gregas antes de seguir adiante?**

Não. O módulo pede reconhecimento, não recitação. Comece pelas seis que respondem pela maior parte do que aparece em textos sobre LLMs: teta, alfa, sigma minúsculo, sigma maiúsculo, lambda e épsilon. As outras você consulta no glossário do Studio quando aparecerem, e a repetição faz o trabalho de fixação sozinha. O teste real é conseguir nomear cada símbolo de uma fórmula em voz alta, sem travar.

**Como distingo sigma minúsculo de sigma maiúsculo quando os dois aparecem no mesmo texto?**

Pelo formato e pelo contexto. O sigma maiúsculo é o somatório: ele vem com um índice embaixo, um limite em cima e uma expressão à direita, e sempre pede uma soma. O sigma minúsculo nunca carrega limites. Ele aparece ou como desvio padrão, em contexto de estatística, ou como função sigmoide, e nesse caso vem seguido de parênteses com um argumento dentro. Se houver parênteses com argumento, é função. Se houver limites em cima e embaixo, é somatório.

**Como sei se um sobrescrito é potência ou rótulo de camada?**

Pelos parênteses. Quando o sobrescrito vem entre parênteses, ele é rótulo, e h com três entre parênteses no alto significa a saída da terceira camada. Quando vem sem parênteses, é expoente, e x com dois no alto significa x multiplicado por si mesmo. A convenção foi criada justamente para desfazer essa ambiguidade, e papers sérios a respeitam. Em caso de dúvida, confira a dimensão do objeto: rótulos de camada acompanham vetores e matrizes, expoentes costumam agir sobre escalares.

**O que exatamente é teta em um modelo de linguagem?**

Teta é o nome coletivo de todos os números que o treino ajusta, ou seja, todos os pesos e vieses do modelo. Em um modelo grande, teta representa bilhões de valores empacotados sob uma única letra. Quando um paper escreve que a perda é função de teta, ele está dizendo que a qualidade do modelo depende inteiramente desse conjunto de números. E quando escreve o passo de atualização, está dizendo como esse conjunto muda a cada iteração de treino.

**Por que o passo de atualização tem um sinal de menos na frente do gradiente?**

Porque o gradiente aponta para a direção em que a perda cresce mais rápido, e o objetivo do treino é reduzir a perda. Andar no sentido oposto ao gradiente é, por isso, andar ladeira abaixo. O sinal de menos é justamente essa inversão de sentido. Se você trocasse o menos por um mais, o treino subiria a ladeira e a perda pioraria a cada passo, que é exatamente o sintoma clássico de sinal invertido em uma implementação.

**O que significa aquele T pequeno no alto da letra K?**

Significa transposta, que é a matriz girada com linhas e colunas trocadas de lugar. O que estava na linha dois e coluna cinco passa para a linha cinco e coluna dois. Na fórmula da atenção, a transposta existe para que as dimensões de Q e de K se encaixem na multiplicação. No módulo zero basta reconhecer o símbolo e saber nomeá-lo, porque a mecânica da multiplicação de matrizes é assunto do módulo seguinte da trilha.

**Qual a diferença prática entre escalar, vetor e matriz na notação?**

Escalar é um número solto e costuma vir em letra minúscula simples, como n, d ou k. Vetor é uma lista de números e costuma vir em letra minúscula em negrito ou com uma seta em cima. Matriz é uma grade de números e costuma vir em letra maiúscula, como W, Q, K ou V. A convenção não é obrigatória, e alguns autores a violam, mas ela acerta na esmagadora maioria dos textos. Quando estiver em dúvida, procure o momento em que o autor define o objeto.

**O que quer dizer aquele erre estilizado com um número no alto?**

É o conjunto dos números reais, e o número escrito no alto informa quantas coordenadas o objeto tem. Escrever que x pertence a esse conjunto com quatro no alto é dizer que x é uma lista de quatro números reais. Com setecentos e sessenta e oito no alto, é dizer que x é uma lista de setecentos e sessenta e oito números reais, que é exatamente o formato de um embedding. O símbolo que parece um E arredondado, antes do conjunto, lê-se pertence a.

**Por que a fórmula da atenção divide pela raiz da dimensão das chaves?**

No módulo zero, a resposta suficiente é que aquele divisor existe para controlar a escala dos números que entram no softmax. Sem ele, produtos entre vetores longos ficariam grandes demais e o softmax saturaria, devolvendo quase tudo concentrado em uma posição só. A justificativa quantitativa, que envolve variância de produtos internos, aparece adiante na trilha. Por ora, reconheça o divisor, saiba nomeá-lo e siga.

**O nabla é uma letra grega?**

Não é letra do alfabeto grego, embora more na mesma vizinhança visual e apareça no mesmo tipo de fórmula. Ele é um operador, escrito como um triângulo apontando para baixo, e significa gradiente. Quando você lê o nabla aplicado à perda em relação a teta, está lendo o vetor que reúne a taxa de variação da perda em cada parâmetro. No módulo zero, nomear já basta, porque o cálculo do gradiente vem depois.

**Como leio um somatório em voz alta sem me atrapalhar?**

Siga sempre a mesma ordem: diga somatório, depois o índice e o limite de baixo, depois o limite de cima, depois a expressão à direita. Para o somatório com i de um a n de x índice i, a leitura é somatório, com i indo de um até n, de x índice i. Em português corrente isso vira some todos os elementos do vetor x, do primeiro ao último. Falar na mesma ordem toda vez elimina a hesitação em poucas semanas.

**As letras Q, K e V foram escolhidas por acaso?**

Não. Elas vêm das palavras query, key e value, ou seja, consulta, chave e valor, e ganharam nome próprio na literatura de Transformer. São matrizes, e a fórmula da atenção é a receita de como combiná-las. Guardar a origem das três palavras ajuda porque a metáfora é fiel ao que a operação faz: uma consulta procura chaves parecidas e recolhe os valores associados a elas.

**Como se lê e o que significa o y com um chapeuzinho em cima?**

Lê-se y chapéu e representa a saída prevista pelo modelo. O y sem chapéu é a saída verdadeira, aquela que consta dos dados. A distinção é central em qualquer função de perda, porque a perda mede exatamente a distância entre o que o modelo previu e o que era verdade. Sempre que encontrar os dois na mesma fórmula, identifique primeiro quem é previsto e quem é verdadeiro antes de tentar entender a conta.

**O protocolo de cinco passos serve para qualquer fórmula ou só para as do módulo?**

Serve para qualquer fórmula, e é para ser usado fora da trilha também. Leia o lado esquerdo e diga o que está sendo definido. Nomeie cada símbolo do lado direito, sem tentar entender ainda. Identifique a operação principal, aquela que ficaria por último se você fosse calcular à mão. Traduza tudo para uma frase em português. Por fim, invente um exemplo numérico minúsculo e calcule. O quinto passo é o que separa reconhecer de entender.

**Índices em fórmulas começam em zero ou em um?**

Depende do que estiver escrito embaixo do símbolo, e não de convenção universal. Em textos matemáticos é muito comum começar em um, enquanto em código é comum começar em zero. Por isso o limite inferior vem sempre escrito: ele é a fonte da verdade daquela fórmula específica. Lembre também que os dois limites são inclusivos, ou seja, tanto o valor de baixo quanto o de cima produzem termos, e é daí que vem a maior parte dos erros de contagem.

**Por que épsilon aparece somado em denominadores?**

Para impedir divisão por zero. Épsilon é um número minúsculo, algo como um décimo de milionésimo, somado ao denominador de uma fração para garantir que ele nunca fique exatamente em zero. O efeito no resultado é desprezível, mas o efeito na estabilidade numérica é decisivo, porque uma única divisão por zero contamina todo o restante do cálculo. Sempre que vir um mais épsilon embaixo de uma fração, leia como uma proteção, e não como parte da matemática do modelo.

## Checkpoint

1. Cite o papel convencional de θ, α, σ, Σ, λ e ε.

   Parâmetros do modelo, taxa de aprendizado, desvio padrão ou função sigmoide, somatório, peso de regularização e constante minúscula de estabilidade numérica.

2. Qual a diferença entre Σ e Π?

   Σ soma os termos, Π multiplica os termos.

3. O que Wᵢⱼ identifica?

   O elemento da linha i e da coluna j da matriz W.

4. Traduza: ŷ = f(x; θ)

   Y chapéu, a previsão, é a função f aplicada à entrada x, parametrizada por teta.

5. Leia a fórmula da atenção inteira em voz alta sem consultar.

   Atenção de Q, K e V é o softmax de Q vezes K transposta dividido pela raiz de d k, multiplicado por V.

## Bibliografia

- **Cálculo, volume 1**, James Stewart, Daniel Clegg e Saleem Watson, tradução da 9ª edição norte-americana, Cengage, 2022. Capítulo de revisão e Capítulo 1, Funções e Modelos. Leia apenas para acostumar o olho com a notação de função, domínio, imagem e composição. Não faça os exercícios ainda; eles voltam no M1 e no M3.

- **Mathematics for Machine Learning**, Marc Peter Deisenroth, A. Aldo Faisal e Cheng Soon Ong, Cambridge University Press, 2020, livro aberto. Tabela de símbolos e abreviações, nas páginas iniciais. É a tabela de notação mais próxima do vocabulário usado em papers de LLM. Imprima e deixe ao lado do teclado.

- **Dive into Deep Learning**, Aston Zhang, Zachary Lipton, Mu Li e Alexander Smola, Cambridge University Press, edição aberta e atualizada. Capítulo Notation. Referência canônica de notação em aprendizado profundo. Consulta, não leitura linear.

## Vídeos curados

- [Essence of Linear Algebra, capítulo 1](https://www.youtube.com/watch?v=fNk_zzaMoSs), 3Blue1Brown. Assista já no M0 apenas para acostumar o olho com a notação de vetores, sem se preocupar com o conteúdo.

- [Notation, Dive into Deep Learning](https://d2l.ai/chapter_notation/index.html), d2l.ai. Página de referência canônica. Use como consulta, não como leitura linear.

- [Math Notation for Machine Learning](https://ml-cheatsheet.readthedocs.io/en/latest/math_notation.html), ML Glossary. Tabela compacta para revisar em cinco minutos antes de cada sessão.