# M3. Cálculo essencial
> A derivada é uma bússola, não uma conta.
**Duração prevista:** 4 semanas. **Filme:** 6 minutos de animação narrada em https://llms.newortho.com.br/movimento#m3
Derivada, gradiente, regra da cadeia e descida do gradiente, apresentados como o mecanismo que permite a um modelo com bilhões de parâmetros descobrir em que direção mexer cada um deles.
**Por que este módulo existe.** Treinar um LLM é responder bilhões de vezes à mesma pergunta: se eu aumentar um pouquinho este parâmetro, a perda sobe ou desce. A derivada é a resposta dessa pergunta, e a regra da cadeia é o que torna viável respondê-la para todas as camadas de uma vez.

## 1. Derivada como taxa de variação
A derivada de uma função em um ponto responde: se eu mexer um tiquinho na entrada, quanto muda a saída, e para que lado. É a inclinação da reta tangente ao gráfico naquele ponto.
Três leituras do sinal resolvem a intuição. Derivada positiva significa que a função está subindo naquele ponto. Negativa, descendo. Zero, momentaneamente plana, o que acontece em picos, vales e platôs.
Repare que a derivada não é a função e não é o valor, é uma direção com intensidade. Confundir os três é o erro mais comum de quem está começando.

$$
f'(x) = \lim_{h \to 0} \frac{f(x+h) - f(x)}{h}
$$
*Leitura:* A derivada de f em x é o limite, quando h tende a zero, da variação da saída dividida pela variação da entrada. Em português: a inclinação medida em um intervalo cada vez menor.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m3-s0.webm) (narração em voz humana)

## 2. As regras que você realmente vai usar
Para os fins desta trilha, quatro regras bastam. A derivada de x elevado a n é n vezes x elevado a n menos um. A derivada de e elevado a x é ela mesma. A derivada do logaritmo natural de x é um sobre x. E a derivada de uma soma é a soma das derivadas.
As duas do meio explicam por que exponencial e logaritmo dominam a matemática de redes neurais: elas têm derivadas simples, o que mantém o cálculo de gradientes barato mesmo em escala absurda.

$$
(x^{n})' = n\,x^{n-1} \qquad (e^{x})' = e^{x} \qquad (\ln x)' = \frac{1}{x}
$$
*Leitura:* As três derivadas que aparecem em toda dedução de perda de modelo de linguagem.

**Exemplo, Derivada em um ponto.** Para f de x igual a x ao quadrado, a derivada é dois x. No ponto x igual a três, a derivada vale seis: naquele ponto, aumentar x em uma unidade minúscula aumenta f em aproximadamente seis vezes essa unidade. Em x igual a zero, a derivada é zero: o fundo da parábola.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m3-s1.webm) (narração em voz humana)

## 3. Gradiente: a derivada em muitas dimensões
Quando a função depende de vários parâmetros, não há uma derivada só. Há uma derivada parcial por parâmetro, cada uma medindo o efeito de mexer naquele parâmetro mantendo os outros fixos.
O gradiente, escrito com o símbolo nabla, ∇, é o vetor que junta todas essas derivadas parciais. E ele tem uma propriedade geométrica notável: aponta na direção de maior crescimento da função.
Daí a receita do treino. Para diminuir a perda, ande na direção oposta à do gradiente. Este único fato é o motor de todo aprendizado profundo, e é por isso que a fórmula da atualização de parâmetros tem um sinal de menos.

$$
\nabla L(\theta) = \left( \frac{\partial L}{\partial \theta_1},\; \frac{\partial L}{\partial \theta_2},\; \ldots,\; \frac{\partial L}{\partial \theta_n} \right)
$$
*Leitura:* O gradiente da perda em relação a teta é o vetor de todas as derivadas parciais da perda em relação a cada parâmetro.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m3-s2.webm) (narração em voz humana)

## 4. Regra da cadeia: a ideia inteira do backpropagation
Se uma quantidade depende de outra que depende de uma terceira, a taxa de variação total é o produto das taxas intermediárias. Formalmente, a derivada de uma composição é o produto das derivadas.
Uma rede neural é uma composição gigantesca de funções: a saída da camada um alimenta a dois, que alimenta a três, e assim por diante até a perda. Para saber o efeito de um peso lá na primeira camada sobre a perda no final, a regra da cadeia diz que basta multiplicar as derivadas ao longo do caminho.
Backpropagation é exatamente isso, com uma esperteza de engenharia: em vez de refazer o caminho inteiro para cada peso, o algoritmo percorre a rede uma única vez de trás para frente, reaproveitando os resultados parciais. É por isso que treinar é caro mas viável, e não impossível.

$$
\frac{dz}{dx} = \frac{dz}{dy} \cdot \frac{dy}{dx}
$$
*Leitura:* A derivada de z em relação a x é a derivada de z em relação a y vezes a derivada de y em relação a x. As sensibilidades se multiplicam ao longo da cadeia.

**Exemplo, Cadeia de três elos.** Suponha que dobrar x dobre y, e que dobrar y triplique z. Então dobrar x multiplica z por seis. As taxas se multiplicam, não se somam. É a mesma lógica que governa a propagação de gradientes em uma rede de oitenta camadas.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m3-s3.webm) (narração em voz humana)

## 5. Descida do gradiente e o papel de alfa
O algoritmo de treino, em uma linha: calcule o gradiente da perda, dê um passo na direção contrária, repita. O tamanho do passo é a taxa de aprendizado, α.
Alfa grande demais faz o modelo saltar por cima do vale e oscilar sem convergir. Alfa pequeno demais faz o treino levar tempo inviável. Escolher e agendar alfa é uma das decisões mais consequentes do treino de um modelo, e é a razão de essa letra grega ser tão citada.
A animação do laboratório deste módulo deixa isso visível: ajuste a taxa de aprendizado e observe a bolinha descer suavemente, saltar em zigue-zague ou escapar completamente do vale.

$$
\theta_{t+1} = \theta_t - \alpha\, \nabla L(\theta_t)
$$
*Leitura:* Os parâmetros no passo seguinte são os atuais menos alfa vezes o gradiente da perda nos parâmetros atuais.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m3-s4.webm) (narração em voz humana)

## Exercícios

1. **Calcule a derivada de f(x) = 3x² + 5 e avalie em x = 2.**

   A derivada é seis x, porque a derivada de três x ao quadrado é seis x e a derivada da constante cinco é zero. Em x igual a dois, vale doze.

2. **O gradiente em um ponto é (0; 0). O que isso indica?**

   Que o ponto é estacionário: pode ser um mínimo, um máximo ou um ponto de sela. O treino tende a parar de se mover ali.

3. **Por que a atualização de parâmetros usa menos alfa vezes o gradiente, e não mais?**

   Porque o gradiente aponta para onde a perda cresce mais rápido, e o objetivo é diminuir a perda. Andar no sentido contrário é o que faz a perda cair.

4. **Uma cadeia tem derivadas 0,5, 0,5 e 0,5. Qual a derivada total, e o que isso sugere sobre redes profundas?**

   O produto é 0,125. Em uma rede muito profunda, produtos de derivadas menores que um encolhem exponencialmente, que é o problema clássico do gradiente que desaparece. Conexões residuais e normalização existem em boa parte para atenuar isso.

5. **Descreva em uma frase o que a taxa de aprendizado controla.**

   O tamanho do passo dado a cada atualização na direção contrária ao gradiente.

## Trilhos do tutor socrático

### A derivada por aproximação, com h encolhendo (5 passos)

Seja f de x igual a x ao quadrado, e o ponto x igual a 3. Vamos calcular a inclinação em intervalos cada vez menores e ver o número se estabilizar, que é exatamente o que a definição de derivada descreve.

**Passo 1.** Comece com h igual a 1. Quanto vale f de 3 mais h, ou seja f de 4?

   Resposta: 16. Quatro ao quadrado é dezesseis, então f de quatro vale dezesseis.

**Passo 2.** Ainda com h igual a 1, calcule o quociente da definição: a variação da saída dividida pela variação da entrada.

   Resposta: 7. Dezesseis menos nove é sete, e sete dividido por um é sete. Essa é a inclinação média entre x igual a três e x igual a quatro.

**Passo 3.** Agora encolha o intervalo: com h igual a 0,1, quanto vale o quociente?

   Resposta: 6.1. A diferença é zero vírgula sessenta e um, e dividida por zero vírgula um dá seis vírgula um. Repare que o resultado caiu de sete para seis vírgula um.

**Passo 4.** Encolha mais uma vez: com h igual a 0,01, quanto vale o quociente?

   Resposta: 6.01. A diferença é zero vírgula zero seiscentos e um, e dividida por zero vírgula zero um dá seis vírgula zero um. A sequência sete, seis vírgula um, seis vírgula zero um está claramente indo para algum lugar.

**Passo 5.** Para que número esses quocientes estão convergindo, ou seja, quanto vale a derivada de f em x igual a 3?

   Resposta: 6. A derivada vale seis. Confere com a regra: a derivada de x ao quadrado é dois x, e em x igual a três isso dá seis.

Você viu a definição funcionando: intervalo menor, inclinação mais precisa, até o número parar de mudar. É por isso que a derivada é chamada de taxa de variação instantânea, e é essa a ideia por trás de toda a regra que vem depois.

### Derivar 3x ao quadrado mais 5 e ler o sinal (6 passos)

Seja f de x igual a 3x ao quadrado mais 5. Vamos aplicar a regra da potência termo a termo, avaliar a derivada em um ponto e interpretar o sinal do resultado.

**Passo 1.** Na regra da potência, qual número desce e vira fator multiplicando o termo 3x ao quadrado?

   Resposta: 2. O expoente é dois, e é ele que desce como fator. O três continua sendo apenas o coeficiente que multiplica tudo.

**Passo 2.** Escreva a derivada do termo 3x ao quadrado.

   Resposta: 6x. Dois vezes três é seis, e x elevado a um é o próprio x, então a derivada do termo é seis x.

**Passo 3.** Quanto vale a derivada do termo constante 5?

   Resposta: 0. A derivada de qualquer constante é zero. É por isso que o cinco desaparece completamente na derivada de f.

**Passo 4.** Junte os dois termos e avalie a derivada de f em x igual a 2.

   Resposta: 12. Seis vezes dois é doze. A derivada de f em x igual a dois vale doze.

**Passo 5.** O que o valor doze diz sobre o comportamento da função naquele ponto?

   Resposta: 0. A função está subindo em x igual a dois, e com inclinação acentuada: aumentar x em uma unidade minúscula aumenta f em aproximadamente doze vezes essa unidade.

**Passo 6.** Em qual valor de x a derivada dessa função vale zero?

   Resposta: 0. A derivada se anula em x igual a zero, que é o fundo da parábola. Ali a função está momentaneamente plana.

Três regras bastaram para derivar a função inteira, e o resultado foi lido como direção, não como número solto. Guardar essa leitura evita o erro mais comum de quem começa, que é confundir a derivada com o valor da função.

### Gradiente de uma perda com dois parâmetros (6 passos)

Seja a perda L igual a teta um ao quadrado mais três vezes teta dois ao quadrado, avaliada no ponto em que teta um vale 2 e teta dois vale 1. Vamos montar o gradiente componente por componente e dar um passo de treino.

**Passo 1.** Calcule a derivada parcial de L em relação a teta um, avaliada nesse ponto.

   Resposta: 4. Dois vezes dois é quatro. A derivada parcial em relação a teta um vale quatro nesse ponto.

**Passo 2.** Calcule a derivada parcial de L em relação a teta dois, avaliada no mesmo ponto.

   Resposta: 6. Seis vezes um é seis. A derivada parcial em relação a teta dois vale seis, então o gradiente nesse ponto é o vetor (4; 6).

**Passo 3.** Qual é a norma do vetor gradiente (4; 6), com três casas decimais?

   Resposta: 7.211. A raiz de cinquenta e dois é aproximadamente sete vírgula duzentos e onze. Esse número é a intensidade com que a perda cresce na direção mais íngreme.

**Passo 4.** Para que direção aponta esse vetor (4; 6)?

   Resposta: 0. Ele aponta para a direção de maior crescimento da perda. Por isso o treino anda no sentido contrário, e a fórmula traz teta menos alfa vezes o gradiente.

**Passo 5.** Com taxa de aprendizado igual a 0,1, qual é o novo valor de teta um após uma atualização?

   Resposta: 1.6. Zero vírgula um vezes quatro dá zero vírgula quatro, e dois menos zero vírgula quatro dá um vírgula seis.

**Passo 6.** Em qual valor de teta dois a derivada parcial correspondente se anula?

   Resposta: 0. A derivada parcial se anula em teta dois igual a zero. Como a outra também se anula em teta um igual a zero, a origem é o ponto estacionário dessa perda.

Duas derivadas parciais formaram um vetor, o vetor apontou para o crescimento e o passo foi dado no sentido contrário. Esse ciclo, repetido bilhões de vezes com bilhões de parâmetros, é literalmente o treino de um modelo de linguagem.

### Regra da cadeia com elos que se multiplicam (5 passos)

Uma cadeia de dependências tem três elos, cada um com derivada 0,5. Vamos calcular a derivada total, testar o que acontece quando os elos são maiores que um e depois esticar a cadeia até dez elos.

**Passo 1.** Considere apenas os dois primeiros elos, cada um com derivada 0,5. Qual é a derivada total desse trecho?

   Resposta: 0.25. Zero vírgula cinco vezes zero vírgula cinco dá zero vírgula vinte e cinco. Cada elo cortou o efeito pela metade.

**Passo 2.** Agora inclua o terceiro elo, também com derivada 0,5. Qual é a derivada total da cadeia inteira?

   Resposta: 0.125. Zero vírgula vinte e cinco vezes zero vírgula cinco dá zero vírgula cento e vinte e cinco. Três elos de metade deixaram apenas um oitavo do efeito original.

**Passo 3.** Se cada um dos três elos tivesse derivada 2 em vez de 0,5, qual seria a derivada total?

   Resposta: 8. Dois vezes dois vezes dois dá oito. Com elos maiores que um, o efeito cresce em vez de encolher, e é assim que aparece o gradiente que explode.

**Passo 4.** Volte aos elos de 0,5 e imagine uma cadeia de dez elos. Qual é a derivada total, com quatro casas decimais?

   Resposta: 0.0009765625. Zero vírgula cinco elevado a dez dá aproximadamente zero vírgula zero zero zero nove sete seis. O sinal do gradiente chega quase apagado na primeira camada.

**Passo 5.** Que fenômeno esse encolhimento descreve, e o que existe nas arquiteturas modernas para atenuá-lo?

   Resposta: 0. É o gradiente que desaparece. Conexões residuais e normalização existem em boa parte para atenuar esse encolhimento e permitir treinar redes muito profundas.

A cadeia inteira coube em uma multiplicação, e foi a multiplicação que explicou por que profundidade é difícil. Backpropagation é essa mesma conta, feita de trás para frente uma única vez, reaproveitando os resultados parciais.

### Uma volta completa de descida do gradiente (6 passos)

Seja a perda L de teta igual a teta ao quadrado, com teta partindo de 4 e taxa de aprendizado igual a 0,1. Vamos executar duas atualizações à mão e depois testar o efeito de um alfa grande demais.

**Passo 1.** Quanto vale o gradiente da perda em teta igual a 4?

   Resposta: 8. Dois vezes quatro é oito. O gradiente vale oito, e é positivo porque a perda cresce quando teta cresce a partir de quatro.

**Passo 2.** Com alfa igual a 0,1, qual é o tamanho do passo, ou seja, alfa vezes o gradiente?

   Resposta: 0.8. Zero vírgula um vezes oito dá zero vírgula oito. Esse é o quanto teta vai se mover nesta atualização.

**Passo 3.** Qual é o novo valor de teta após a primeira atualização?

   Resposta: 3.2. Quatro menos zero vírgula oito dá três vírgula dois. O parâmetro andou na direção do fundo do vale.

**Passo 4.** Quanto vale a perda nesse novo teta, com duas casas decimais?

   Resposta: 10.24. Três vírgula dois ao quadrado dá dez vírgula vinte e quatro. A perda caiu de dezesseis para dez vírgula vinte e quatro em um único passo.

**Passo 5.** Execute a segunda atualização, sempre com alfa igual a 0,1. Qual passa a ser o valor de teta?

   Resposta: 2.56. Três vírgula dois menos zero vírgula sessenta e quatro dá dois vírgula cinquenta e seis. Repare que os passos vão encolhendo à medida que o gradiente diminui.

**Passo 6.** Voltando ao ponto de partida, teta igual a 4, o que aconteceria com alfa igual a 1?

   Resposta: 0. Quatro menos oito dá menos quatro, a mesma distância do mínimo, só que do outro lado. O treino oscilaria sem progresso, e com alfa ainda maior a oscilação cresceria até divergir.

Duas voltas do laço bastaram para ver a perda cair e os passos encolherem sozinhos. E o teste final mostrou por que a escolha de alfa é uma das decisões mais consequentes do treino: o mesmo algoritmo converge ou oscila conforme esse único número.

## Dúvidas frequentes

**Derivada e inclinação são a mesma coisa?**

Sim, com um cuidado: a derivada em um ponto é a inclinação da reta tangente ao gráfico naquele ponto, e não a inclinação do gráfico inteiro. Como a inclinação costuma mudar de ponto para ponto, a derivada também muda, e por isso ela é uma função. O que se calcula quando se pede a derivada em x igual a três é o valor dessa função naquele lugar específico. Guarde a leitura do sinal: positiva significa subindo, negativa significa descendo, zero significa momentaneamente plana.

**Se depois eu só uso as regrinhas, para que serve a definição com limite?**

A definição é o que dá sentido às regras. Ela mostra que a derivada nasce de medir a variação em um intervalo e ir encolhendo esse intervalo até o número parar de mudar. Sem essa imagem, a regra da potência vira decoreba e você perde a leitura de que derivada é taxa de variação, que é justamente a leitura que interessa no treino de um modelo. Na prática você vai usar as regras o tempo todo e a definição quase nunca, mas é a definição que explica por que as regras funcionam.

**Qual a diferença entre derivada e derivada parcial?**

A derivada comum existe quando a função depende de uma única variável. Quando a função depende de vários parâmetros, cada um deles tem a sua derivada parcial, que mede o efeito de mexer naquele parâmetro mantendo todos os outros fixos. O símbolo muda para deixar isso explícito, e na prática o cálculo é o mesmo: você trata os outros parâmetros como constantes e deriva normalmente. O conjunto de todas as derivadas parciais forma o gradiente.

**O que é aquele símbolo nabla que aparece na fórmula do gradiente?**

É o triângulo invertido que anuncia gradiente. Escrever nabla L de teta significa o vetor formado por todas as derivadas parciais de L em relação a cada um dos parâmetros. Ele não é uma conta a mais, é uma abreviação: sem esse símbolo, seria preciso escrever bilhões de derivadas parciais uma a uma. Sempre que você o encontrar em um paper, leia como sensibilidade da perda a cada parâmetro, reunida em um vetor.

**Por que a atualização usa menos alfa vezes o gradiente, e não mais?**

Porque o gradiente aponta para onde a perda cresce mais rápido, e o objetivo do treino é fazer a perda cair. Andar no sentido contrário ao do gradiente é, por definição, andar na direção de descida mais íngreme. Se o sinal fosse de mais, o treino subiria a montanha em vez de descer o vale, e a perda aumentaria a cada passo. É um caso raro em que um único sinal na fórmula carrega a intenção inteira do algoritmo.

**Como se escolhe a taxa de aprendizado na prática?**

Por tentativa informada, observando o comportamento da perda. Alfa grande demais faz o modelo saltar por cima do vale, e o sintoma é a perda oscilando ou disparando. Alfa pequeno demais faz a perda cair de forma tão lenta que o treino se torna inviável, e o sintoma é uma curva quase plana. Na prática também se agenda alfa, começando maior e reduzindo ao longo do treino, e essa é uma das decisões mais consequentes de todo o processo.

**O que é o problema do gradiente que desaparece?**

É o efeito de multiplicar muitas derivadas menores que um ao longo de uma cadeia longa. Três elos de zero vírgula cinco já reduzem o efeito a zero vírgula cento e vinte e cinco, e dez elos o reduzem a menos de um milésimo. Em uma rede muito profunda, o sinal que deveria chegar às primeiras camadas chega praticamente apagado, e elas quase não aprendem. Conexões residuais e normalização existem em boa parte para atenuar exatamente esse encolhimento.

**Backpropagation e regra da cadeia são a mesma coisa?**

A regra da cadeia é o fato matemático, e o backpropagation é a maneira eficiente de aplicá-lo. O fato diz que a derivada de uma composição é o produto das derivadas dos elos. A esperteza de engenharia está em não refazer o caminho inteiro para cada peso: o algoritmo percorre a rede uma única vez, de trás para frente, e reaproveita os resultados parciais que já calculou. É essa reutilização que torna o treino caro mas viável, em vez de impossível.

**Se o gradiente deu zero, o treino acabou?**

Não necessariamente. Gradiente zero indica apenas um ponto estacionário, que pode ser um mínimo, um máximo ou um ponto de sela. Em qualquer um deles a atualização deixa de mover os parâmetros, porque o passo é alfa vezes zero. Ou seja, o treino para de se mexer, mas parar não é sinônimo de ter encontrado a melhor configuração possível. É por isso que se olha para o valor da perda, e não apenas para o gradiente.

**Por que importa tanto que a derivada de e elevado a x seja ela mesma?**

Porque essa propriedade mantém o cálculo de gradientes barato. A exponencial e o logaritmo natural aparecem em toda a matemática de redes neurais, sobretudo na função de perda, e derivadas simples significam menos operações repetidas bilhões de vezes. Se essas funções tivessem derivadas complicadas, cada passo de treino custaria muito mais. Aí está boa parte da razão de elas dominarem as fórmulas que você vai encontrar nos papers.

**Por que a derivada de uma constante é zero?**

Porque a derivada mede o quanto a saída muda quando a entrada varia um tiquinho, e um termo constante não muda nunca. O gráfico de uma constante é uma reta horizontal, e a inclinação de uma reta horizontal é zero. Na prática isso significa que constantes somadas desaparecem por completo na derivada, como o cinco em três x ao quadrado mais cinco. Repare que isso vale para constantes somadas, não para coeficientes que multiplicam, que permanecem na conta.

**O que é um ponto de sela?**

É um ponto em que o gradiente se anula sem que ele seja mínimo nem máximo. A imagem que dá nome ao objeto é a de uma sela de cavalo: em uma direção o terreno sobe, em outra ele desce, e no ponto central a inclinação é zero. Para o treino isso é inconveniente, porque a atualização quase não move os parâmetros ali, mesmo havendo direções de descida por perto. Faz parte do grupo dos pontos estacionários, ao lado de mínimos e máximos.

**Preciso calcular gradientes à mão para entender um modelo de linguagem?**

Calcular à mão em escala real, não. Nenhuma biblioteca vai pedir isso de você, e nenhum profissional deriva bilhões de parâmetros no papel. O que este módulo cobra é outra coisa: saber ler a notação, entender o que cada peça significa e conseguir seguir uma volta completa do laço em um exemplo pequeno. Fazer duas ou três contas curtas à mão é o que transforma a fórmula em intuição, e depois disso a máquina cuida do resto.

**Por que a regra da cadeia multiplica em vez de somar?**

Porque as taxas se compõem, e compor taxas é multiplicar. Se dobrar x dobra y, e dobrar y triplica z, então dobrar x multiplica z por seis, não por cinco. Cada elo funciona como um fator de amplificação ou de redução do efeito que veio do elo anterior, e fatores se multiplicam. Somar só faria sentido se os caminhos fossem paralelos e independentes, o que não é o caso de uma composição em cadeia.

**O que é exatamente a perda que aparece nessas fórmulas?**

É a quantidade que o treino tenta diminuir, escrita como L de teta para deixar claro que ela depende dos parâmetros do modelo. Cada configuração de parâmetros produz um valor de perda, e o conjunto de todos esses valores forma a paisagem em que a descida do gradiente caminha. Quando se diz que o modelo está aprendendo, o que se observa é esse número caindo ao longo dos passos. O gradiente é a bússola dessa paisagem, e alfa é o tamanho da passada.

## Checkpoint

1. O que a derivada mede?

   A taxa de variação da saída em relação a uma variação minúscula na entrada, ou seja a inclinação da função naquele ponto.

2. Para que lado aponta o gradiente?

   Para a direção de maior crescimento da função.

3. Enuncie a regra da cadeia e diga onde ela aparece em uma rede neural.

   A derivada de uma composição é o produto das derivadas dos elos. Aparece no backpropagation, que propaga sensibilidades da perda até os pesos de todas as camadas.

4. O que acontece com alfa grande demais?

   O modelo salta por cima do mínimo, oscila e pode divergir em vez de convergir.

5. Escreva a regra de atualização de parâmetros de memória.

   Teta no passo t mais um é igual a teta no passo t menos alfa vezes o gradiente da perda em teta no passo t.

## Bibliografia

- **Cálculo, volume 1**, James Stewart, Daniel Clegg e Saleem Watson, tradução da 9ª edição norte-americana, Cengage, 2022. Capítulos de limites e derivadas, com atenção especial à seção da regra da cadeia. É o núcleo bibliográfico deste módulo. Stewart constrói a derivada a partir da taxa de variação, que é exatamente a leitura que interessa aqui. Resolva os exercícios de regra da cadeia até fazê-los sem pensar.

- **Cálculo, volume 2**, James Stewart, Daniel Clegg e Saleem Watson, tradução da 9ª edição norte-americana, Cengage, 2022. Capítulo de derivadas parciais, seções de derivadas parciais, plano tangente e vetor gradiente. O gradiente aparece aqui com a interpretação geométrica de direção de maior crescimento, que é a peça que falta para entender o treino.

- **Mathematics for Machine Learning**, Deisenroth, Faisal e Ong, Cambridge University Press, 2020, livro aberto. Capítulo 5, Vector Calculus. Traduz o cálculo de Stewart para a notação matricial usada em papers, incluindo a regra da cadeia em forma vetorial.

## Vídeos curados

- [Essence of Calculus, capítulos 1 a 4](https://www.youtube.com/playlist?list=PLZHQObOWTQDMsr9K-rj53DwVRMYO3t5Yr), 3Blue1Brown. Foque na intuição de derivada e regra da cadeia; ignore as técnicas de integração.

- [Gradient descent, how neural networks learn](https://www.youtube.com/watch?v=IHZwWFHWa-w), 3Blue1Brown, Neural Networks cap. 2. Conecta diretamente o cálculo ao treino de redes. Assista ao final do módulo.

- [What is backpropagation really doing?](https://www.youtube.com/watch?v=Ilg3gGewQ5U), 3Blue1Brown, Neural Networks cap. 3. Fecha o módulo e prepara o M6.