# M1. Fundamentos operacionais
> Logaritmo é a moeda corrente dos modelos.
**Duração prevista:** 3 semanas. **Filme:** 7 minutos de animação narrada em https://llms.newortho.com.br/movimento#m1
Potências, exponenciais, logaritmos e funções, tratados não como revisão escolar mas como as três ferramentas que aparecem dentro de toda perda, toda perplexidade e todo softmax.
**Por que este módulo existe.** Um LLM nunca trabalha com probabilidades diretas em produção. Ele trabalha com logaritmos de probabilidade, porque multiplicar milhares de números menores que um estoura a precisão da máquina. Entender o logaritmo é entender por que os logprobs existem.

## 1. Potências, raízes e a notação que economiza espaço
Uma potência é multiplicação repetida: 2⁵ é dois multiplicado por si mesmo cinco vezes, ou seja trinta e dois. Três regras resolvem quase tudo. Multiplicar potências de mesma base soma os expoentes. Dividir subtrai. Elevar uma potência a outra multiplica os expoentes.
Expoente negativo é inverso: 2⁻³ é um sobre 2³, ou seja um oitavo. Expoente fracionário é raiz: x^(1/2) é a raiz quadrada de x. Essa última equivalência é o que permite escrever a divisão por raiz de d k na fórmula da atenção como uma multiplicação por d k elevado a menos um meio, forma que você verá em papers.

$$
a^{m} \cdot a^{n} = a^{m+n} \qquad a^{-n} = \frac{1}{a^{n}} \qquad a^{1/2} = \sqrt{a}
$$
*Leitura:* As três regras que você precisa carregar: soma de expoentes na multiplicação, expoente negativo vira inverso, expoente um meio vira raiz.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m1-s0.webm) (narração em voz humana)

## 2. A exponencial e o número e
O número e vale aproximadamente 2,71828 e não foi escolhido por gosto. Ele é a única base cuja função exponencial tem a propriedade de ser igual à sua própria derivada, o que a torna a escolha natural em qualquer coisa que envolva otimização.
A função eˣ tem três comportamentos que você precisa ter no dedo. Para x igual a zero, ela vale exatamente um. Para x positivo, ela cresce rápido, e o crescimento acelera. Para x negativo, ela cai em direção a zero mas nunca chega a zero, sempre fica positiva.
Essa última propriedade é a razão de o softmax existir na forma que tem. Aplicar exponencial a uma lista de números garante que todos fiquem positivos, o que é pré-requisito para transformá-los em probabilidades.

$$
e^{0} = 1 \qquad e^{1} \approx 2{,}718 \qquad e^{-2} \approx 0{,}135 \qquad e^{x} > 0 \ \text{sempre}
$$
*Leitura:* Valores de referência para calcular softmax de cabeça e a garantia de positividade.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m1-s1.webm) (narração em voz humana)

## 3. Logaritmo: a pergunta invertida
O logaritmo responde a pergunta inversa da potência. Se 2⁵ é trinta e dois, então o logaritmo de trinta e dois na base dois é cinco. A pergunta é: a que expoente preciso elevar a base para chegar neste número.
Em aprendizado de máquina, log sem base escrita significa quase sempre logaritmo natural, base e, também escrito ln. Duas propriedades fazem todo o trabalho pesado. O logaritmo de um produto é a soma dos logaritmos, o que transforma multiplicação em adição. E o logaritmo de um número entre zero e um é negativo, o que explica por que perdas aparecem com um sinal de menos na frente.
Junte as duas: a probabilidade de uma sequência de quinhentos tokens é o produto de quinhentos números menores que um, algo como dez elevado a menos oitocentos, que a máquina simplesmente arredonda para zero. Somando os quinhentos logaritmos, você obtém um número perfeitamente representável, algo como menos mil e duzentos. É por isso que a API devolve logprobs e não probs.

$$
\log(a \cdot b) = \log a + \log b \qquad \log(1) = 0 \qquad \log(0{,}5) \approx -0{,}693
$$
*Leitura:* Produto vira soma, o logaritmo de um é zero, e o logaritmo de qualquer probabilidade real é negativo.

**Exemplo, Por que logprobs.** Três tokens com probabilidades 0,4, 0,3 e 0,5. O produto é 0,06. Os logaritmos naturais são aproximadamente −0,92, −1,20 e −0,69, e a soma é −2,81. Confira: e elevado a −2,81 é aproximadamente 0,06. Com três tokens dá para fazer dos dois jeitos; com quinhentos, só o segundo sobrevive.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m1-s2.webm) (narração em voz humana)

## 4. Funções, domínio e imagem
Uma função é uma regra que aceita uma entrada e devolve exatamente uma saída. O domínio é o conjunto de entradas aceitas, a imagem é o conjunto de saídas possíveis.
Três funções merecem atenção especial porque moram dentro de redes neurais. A sigmoide, σ(x) igual a um sobre um mais e elevado a menos x, aceita qualquer número real e devolve algo entre zero e um, o que a torna um conversor de qualquer coisa em probabilidade. A ReLU, que devolve o próprio x se x for positivo e zero caso contrário, é a não linearidade mais usada em MLPs por ser barata de calcular. E o softmax, que veremos no M4, é a generalização da sigmoide para muitas saídas simultâneas.
Repare que sigmoide e ReLU são funções de um número para um número, enquanto o softmax é de uma lista para uma lista. Essa distinção evita confusão adiante.

$$
\sigma(x) = \frac{1}{1 + e^{-x}} \qquad \operatorname{ReLU}(x) = \max(0,\, x)
$$
*Leitura:* Sigmoide de x é um sobre um mais e elevado a menos x. ReLU de x é o máximo entre zero e x.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m1-s3.webm) (narração em voz humana)

## 5. Ordem de operações em fórmulas compostas
Fórmulas de aprendizado de máquina empilham operações, e a ordem de leitura é sempre de dentro para fora. Comece pelo que está mais aninhado, resolva, e suba um nível.
Na fórmula da atenção, a ordem de cálculo é: primeiro Q vezes K transposta, depois a divisão pela raiz de d k, depois o softmax do resultado inteiro, e só então a multiplicação por V. Ler nessa ordem é ler a fórmula como o computador a executa, e é o hábito que faz qualquer expressão longa parar de intimidar.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m1-s4.webm) (narração em voz humana)

## Exercícios

1. **Sem calculadora, quanto vale log(1) e por quê?**

   Zero, porque qualquer base elevada a zero dá um. Se a pergunta é a que expoente elevo a base para chegar em um, a resposta é sempre zero.

2. **Uma sequência tem probabilidades 0,5 e 0,25. Calcule o log da probabilidade conjunta de duas formas.**

   Primeira forma: 0,5 vezes 0,25 é 0,125, e ln(0,125) é aproximadamente −2,079. Segunda forma: ln(0,5) é −0,693 e ln(0,25) é −1,386, e a soma é −2,079. Iguais, como a propriedade do produto garante.

3. **Por que o softmax aplica exponencial antes de dividir?**

   Porque a exponencial garante que todo valor fique positivo. Sem isso, logits negativos gerariam probabilidades negativas, o que não faz sentido.

4. **Calcule σ(0) e explique o resultado.**

   Sigmoide de zero é um sobre um mais e elevado a zero, ou seja um sobre dois, igual a 0,5. Faz sentido: entrada neutra, probabilidade de cinquenta por cento.

5. **Reescreva a divisão por √dk como uma potência.**

   Multiplicar por dk elevado a menos um meio. É a forma que aparece em vários papers.

## Trilhos do tutor socrático

### As três regras de potência até o divisor da atenção (6 passos)

Cinco contas curtas de potência e, no fim, a reescrita do divisor da fórmula da atenção na forma compacta que aparece em papers.

**Passo 1.** Quanto vale dois elevado a cinco?

   Resposta: 32. Vale trinta e dois, porque cinco fatores dois multiplicados entre si dão trinta e dois.

**Passo 2.** Multiplique dois elevado a três por dois elevado a quatro e dê o resultado numérico.

   Resposta: 128. Vale cento e vinte e oito, porque três mais quatro é sete, e dois elevado a sete é cento e vinte e oito.

**Passo 3.** Quanto vale dois elevado a menos três?

   Resposta: 0.125. Vale zero vírgula cento e vinte e cinco, porque um dividido por oito é um oitavo, ou zero vírgula cento e vinte e cinco.

**Passo 4.** Elevar um número ao expoente um meio equivale a que operação?

   Resposta: 0. Equivale a extrair a raiz quadrada, porque a base elevada a um meio, multiplicada por si mesma, devolve a base.

**Passo 5.** Se a dimensão das chaves vale 64, quanto vale sessenta e quatro elevado a menos um meio?

   Resposta: 0.125. Vale zero vírgula cento e vinte e cinco, porque a raiz de sessenta e quatro é oito e o inverso de oito é um oitavo.

**Passo 6.** Por que os papers escrevem multiplicação por essa potência em vez de divisão por uma raiz?

   Resposta: 0. Porque escrever uma multiplicação por potência é mais compacto que desenhar uma divisão por raiz, e o resultado é exatamente o mesmo.

As três regras deixaram de ser fórmulas de escola e viraram ferramenta de leitura: você reconhece a mesma escala da atenção escrita de dois modos diferentes e sabe que ambos valem um oitavo quando a dimensão é sessenta e quatro.

### A exponencial e a garantia de positividade (6 passos)

Três valores da exponencial, uma soma e a primeira divisão que produz probabilidades. Use as referências da seção: e elevado a um vale aproximadamente 2,718 e e elevado a menos dois vale aproximadamente 0,135.

**Passo 1.** Quanto vale e elevado a zero?

   Resposta: 1. Vale um. É a primeira referência da tabela e vale para qualquer base positiva, não só para e.

**Passo 2.** Quanto vale e elevado a menos dois, com três casas decimais?

   Resposta: 0.135. Vale aproximadamente zero vírgula cento e trinta e cinco, um número pequeno e positivo.

**Passo 3.** A exponencial de um número real pode dar resultado negativo?

   Resposta: 0. Não, ela é sempre estritamente positiva. É exatamente essa propriedade que permite usar a exponencial para transformar números quaisquer em candidatos a probabilidade.

**Passo 4.** Some os três valores: e elevado a zero, e elevado a menos dois e e elevado a um. Dê o total com três casas.

   Resposta: 3.853. O total é aproximadamente três vírgula oitocentos e cinquenta e três.

**Passo 5.** Divida o primeiro valor pela soma que você obteve e dê o resultado com três casas.

   Resposta: 0.26. O resultado é aproximadamente zero vírgula duzentos e sessenta, ou seja, cerca de vinte e seis por cento do total.

**Passo 6.** Se você repetir essa divisão para os três valores, quanto valerá a soma dos três resultados?

   Resposta: 0. Vale exatamente um. É essa propriedade que transforma exponenciais positivas em uma distribuição de probabilidade legítima, mecanismo que a trilha detalha adiante.

Você viu, com números na mão, por que a exponencial é a escolha certa para preparar probabilidades: ela nunca devolve negativo e, depois de dividida pela soma, produz partes que fecham exatamente em um.

### Logprobs de uma sequência de três tokens (6 passos)

Três tokens com probabilidades 0,4, 0,3 e 0,5. Use os logaritmos naturais aproximados que a seção fornece: menos 0,92, menos 1,20 e menos 0,69.

**Passo 1.** Multiplique as três probabilidades e dê o produto.

   Resposta: 0.06. O produto vale zero vírgula zero seis, porque zero vírgula quatro vezes zero vírgula três é zero vírgula doze, e zero vírgula doze vezes zero vírgula cinco é zero vírgula zero seis.

**Passo 2.** Some os três logaritmos naturais fornecidos.

   Resposta: -2.81. A soma vale aproximadamente menos dois vírgula oitenta e um.

**Passo 3.** Por que a soma dos logaritmos deu negativa?

   Resposta: 0. Porque cada probabilidade está entre zero e um, e o logaritmo de qualquer número nesse intervalo é negativo. Somar três negativos mantém o sinal.

**Passo 4.** Se você aplicar a exponencial ao resultado da soma, que número deve reaparecer?

   Resposta: 0. Reaparece aproximadamente zero vírgula zero seis, ou seja, o mesmo produto do primeiro passo. É essa a confirmação de que os dois caminhos levam ao mesmo lugar.

**Passo 5.** Quanto vale o logaritmo de um?

   Resposta: 0. Vale zero, porque qualquer base elevada a zero resulta em um. É a fronteira entre logaritmos negativos, para argumentos abaixo de um, e positivos, para argumentos acima de um.

**Passo 6.** Numa sequência de quinhentos tokens, por que o produto direto das probabilidades não sobrevive na máquina?

   Resposta: 0. Porque o produto fica tão pequeno que a máquina o arredonda para zero. Somando logaritmos, o mesmo dado vira um número da ordem de menos mil e duzentos, perfeitamente representável, e é por isso que a interface devolve logprobs.

Você percorreu os dois caminhos, o do produto e o da soma de logaritmos, e chegou ao mesmo número. Com três tokens os dois funcionam. Com quinhentos, só o segundo, e essa é a razão prática de existirem logprobs.

### Sigmoide e ReLU, valor a valor (6 passos)

Vamos avaliar as duas não linearidades mais comuns em pontos escolhidos, usando a referência de que e elevado a menos dois vale aproximadamente 0,135.

**Passo 1.** Quanto vale a sigmoide de zero?

   Resposta: 0.5. Vale zero vírgula cinco, porque a exponencial de zero é um, o denominador fica dois, e um dividido por dois é meio. Entrada neutra, probabilidade de cinquenta por cento.

**Passo 2.** Calcule o denominador da sigmoide quando a entrada vale dois.

   Resposta: 1.135. O denominador vale aproximadamente um vírgula cento e trinta e cinco.

**Passo 3.** Quanto vale a sigmoide de dois, com três casas?

   Resposta: 0.881. Vale aproximadamente zero vírgula oitocentos e oitenta e um. Entrada positiva empurra a saída para perto de um, sem nunca alcançá-lo.

**Passo 4.** Quanto vale a ReLU de menos três?

   Resposta: 0. Vale zero, porque entre zero e menos três o maior é zero. Toda entrada negativa é zerada pela ReLU.

**Passo 5.** Quanto vale a ReLU de dois vírgula cinco?

   Resposta: 2.5. Vale dois vírgula cinco, porque a entrada é positiva e a ReLU a devolve intacta.

**Passo 6.** Qual é a diferença estrutural entre sigmoide e softmax, segundo a seção?

   Resposta: 0. A sigmoide vai de um número para um número, enquanto o softmax vai de uma lista para uma lista. Por isso o softmax só faz sentido quando existem várias saídas concorrendo entre si.

Duas funções, quatro avaliações e uma distinção estrutural. A sigmoide comprime qualquer real no intervalo entre zero e um sem tocar nos extremos, a ReLU zera negativos e deixa positivos intactos, e o softmax fica reservado para quando houver uma lista inteira em jogo.

### Ordem de operações de dentro para fora (5 passos)

Uma expressão empilhada, resolvida na ordem em que a máquina a executa. Considere a sigmoide aplicada ao resultado de dois multiplicado por 1,5, menos 1.

**Passo 1.** Resolva primeiro o que está mais aninhado: quanto vale dois multiplicado por 1,5, menos 1?

   Resposta: 2. Vale dois, porque dois multiplicado por um vírgula cinco é três, e três menos um é dois.

**Passo 2.** Qual operação fica por último nessa expressão inteira?

   Resposta: 0. A sigmoide fica por último, porque ela só pode ser avaliada depois que todo o argumento interno tiver um valor.

**Passo 3.** Aplique a exponencial ao oposto do resultado do primeiro passo. Quanto dá?

   Resposta: 0.135. Dá aproximadamente zero vírgula cento e trinta e cinco, o valor de e elevado a menos dois.

**Passo 4.** Monte o denominador completo e dê o valor.

   Resposta: 1.135. O denominador vale aproximadamente um vírgula cento e trinta e cinco.

**Passo 5.** Dê o resultado final da expressão, com três casas.

   Resposta: 0.881. O resultado é aproximadamente zero vírgula oitocentos e oitenta e um, o mesmo valor da sigmoide em dois, como esperado.

Resolver de dentro para fora transformou uma expressão empilhada em quatro contas simples encadeadas. É esse mesmo hábito que faz a fórmula da atenção parar de intimidar, porque ela também é apenas uma pilha lida na ordem certa.

## Dúvidas frequentes

**Quando um texto escreve log sem indicar a base, qual base devo assumir?**

Em aprendizado de máquina, log sem base escrita significa quase sempre logaritmo natural, ou seja, base e, também escrito como ln. Essa é a convenção do campo e vale para praticamente todo paper de LLM. Quando um autor precisa de outra base, ele avisa explicitamente, escrevendo a base como subscrito. Se você encontrar um texto ambíguo, procure a primeira definição de perda: ela normalmente revela a convenção adotada.

**Por que a interface de um modelo devolve logprobs em vez das probabilidades diretas?**

Porque a probabilidade de uma sequência longa é o produto de milhares de números menores que um, e esse produto encolhe até um valor que a máquina não consegue representar, sendo então arredondado para zero. Somando os logaritmos em vez de multiplicar as probabilidades, o mesmo dado vira um número de magnitude modesta, algo como menos mil e duzentos, perfeitamente representável. A propriedade que autoriza a troca é a do logaritmo do produto, que vira soma de logaritmos. Logprobs são, portanto, uma decisão de estabilidade numérica, e não de gosto.

**O que acontece com o logaritmo quando a probabilidade é exatamente zero?**

Não existe expoente que faça uma base positiva chegar a zero, portanto o logaritmo de zero não tem valor finito. Na prática ele tende a menos infinito conforme o argumento se aproxima de zero. É exatamente por isso que implementações somam um épsilon minúsculo antes de tomar o logaritmo, protegendo a conta de um valor não representável. Guarde a intuição: quanto menor a probabilidade, mais negativo o logaritmo, e no limite ele despenca sem fundo.

**Por que as funções de perda aparecem com um sinal de menos na frente?**

Porque o logaritmo de uma probabilidade é sempre negativo, já que probabilidades vivem entre zero e um. Se a perda fosse simplesmente a soma dos logaritmos, ela seria um número negativo, e minimizar um número negativo é confuso de acompanhar. Colocando um menos na frente, a perda vira positiva, e quanto melhor o modelo, mais próxima de zero ela fica. O sinal é uma conveniência de leitura que preserva integralmente a matemática.

**O número e foi escolhido por conveniência ou tem um motivo real?**

Tem motivo real. O número e, aproximadamente 2,71828, é a única base cuja função exponencial é igual à sua própria derivada. Isso significa que a taxa de crescimento da função coincide com o valor da função em cada ponto, propriedade que simplifica enormemente qualquer conta de otimização. Como todo treino de rede neural é otimização, a base e acaba sendo a escolha natural em vez de uma preferência estética.

**A equivalência entre expoente fracionário e raiz vale sempre?**

Para bases positivas, sim, e é esse o caso em praticamente tudo que aparece na trilha. Elevar a um meio é extrair a raiz quadrada, elevar a um terço é extrair a raiz cúbica, e assim por diante. Com bases negativas a coisa se complica e sai do escopo do módulo. Na fórmula da atenção, a base é uma dimensão, portanto um número inteiro positivo, e a equivalência vale sem ressalvas.

**Qual a diferença entre e elevado a x e x elevado a e?**

Na primeira, a base é fixa e o expoente varia, e é isso que se chama função exponencial. Na segunda, a base varia e o expoente é fixo, o que caracteriza uma função de potência. Elas crescem de maneiras muito diferentes: a exponencial acelera cada vez mais, enquanto a potência cresce de modo mais comportado. Em redes neurais é quase sempre a primeira que aparece, dentro de sigmoides, softmax e distribuições.

**Por que o softmax usa exponencial em vez de simplesmente tomar o módulo dos valores?**

Porque o módulo destruiria a informação de ordem entre os valores, fazendo um logit muito negativo virar um número grande e positivo. A exponencial também garante positividade, mas preserva a ordenação: valores maiores continuam maiores depois da transformação, e valores muito negativos viram números próximos de zero, que é justamente o comportamento desejado. Positividade e preservação de ordem são os dois requisitos, e a exponencial atende aos dois.

**A sigmoide chega a valer exatamente zero ou exatamente um em algum ponto?**

Não. A imagem da sigmoide é o intervalo aberto entre zero e um, o que significa que ela se aproxima dos dois extremos indefinidamente sem jamais alcançá-los. A razão está no denominador: como a exponencial é sempre estritamente positiva, o denominador nunca vale exatamente um nem cresce ao infinito em tempo finito. Na prática, com entradas muito grandes em módulo, a máquina arredonda o resultado para zero ou um, e é daí que vêm certos problemas numéricos em treino.

**Por que a ReLU é tão usada se ela parece simples demais?**

Justamente por ser simples. A ReLU devolve o próprio valor quando ele é positivo e zero caso contrário, o que exige apenas uma comparação, sem exponencial nem divisão. Isso a torna muito barata de calcular, e em uma rede com bilhões de operações por passo essa economia é decisiva. Ao mesmo tempo, ela introduz não linearidade genuína, que é o requisito para uma rede empilhada representar algo além de uma transformação linear.

**O que domínio e imagem significam na prática, fora do vocabulário formal?**

Domínio é a lista de entradas que a função aceita e imagem é a lista de saídas que ela consegue produzir. Na sigmoide, o domínio é todo o conjunto dos números reais, porque qualquer entrada é aceita, e a imagem é o intervalo aberto entre zero e um. Na ReLU, o domínio também é todo o conjunto dos reais, mas a imagem é o conjunto dos números maiores ou iguais a zero. Saber a imagem é útil por um motivo prático: ela diz se a saída da função pode ou não ser lida como probabilidade.

**Por que a ordem de leitura de uma fórmula é de dentro para fora?**

Porque uma operação externa só pode agir quando o argumento dela já tiver um valor. O softmax não tem o que normalizar antes que a fração exista, e a fração não existe antes que o numerador seja calculado. Ler de dentro para fora é, portanto, ler na mesma ordem em que a máquina executa. Esse hábito converte qualquer expressão longa em uma sequência de contas curtas encadeadas, e é o que faz fórmulas empilhadas pararem de intimidar.

**Perplexidade é citada no resumo do módulo. Já preciso saber calcular?**

Ainda não. Neste módulo basta reter a ligação estrutural: a perplexidade é construída a partir dos mesmos logaritmos de probabilidade que você acabou de somar, e por isso ela depende inteiramente do que foi visto aqui. O cálculo em si, com a exponenciação da média dos logprobs negativos, aparece adiante na trilha, quando o vocabulário de médias e distribuições já estiver assentado. Fixe agora a ideia de que logprob é a matéria-prima e a perplexidade é um produto derivado dela.

**Por que multiplicar milhares de números menores que um estoura a precisão da máquina?**

Porque cada multiplicação por um número menor que um encolhe o resultado, e o encolhimento é cumulativo. Depois de algumas centenas de fatores, o produto atinge uma ordem de grandeza como dez elevado a menos oitocentos, abaixo do menor valor que os formatos numéricos usuais conseguem representar. A máquina então arredonda para zero, e todo o cálculo posterior herda esse zero. A soma de logaritmos evita o problema porque troca uma cadeia de multiplicações por uma cadeia de adições, e adições não encolhem o resultado dessa forma.

**Como leio a fórmula da sigmoide em voz alta sem me perder?**

Leia de fora para dentro na hora de nomear, e de dentro para fora na hora de calcular. Nomeando: sigmoide de x é igual a um sobre um mais e elevado a menos x. Calculando: troque o sinal da entrada, aplique a exponencial, some um e divida um pelo total. Repetir essa dupla leitura em voz alta poucas vezes fixa tanto a forma escrita quanto o procedimento, e é exatamente o protocolo de cinco passos do módulo anterior aplicado a um caso concreto.

**Duas potências de bases diferentes podem ter os expoentes somados?**

Não. A regra que soma expoentes exige que a base seja a mesma nas duas potências. Dois elevado a três vezes dois elevado a quatro dá dois elevado a sete, mas dois elevado a três vezes três elevado a quatro não se simplifica dessa forma, e o único caminho é calcular cada potência e multiplicar os resultados. Esse é um dos erros mais frequentes quando a regra é aplicada no automático, sem conferir a base.

## Checkpoint

1. Enuncie a propriedade do logaritmo do produto e diga por que ela importa para LLMs.

   O logaritmo de um produto é a soma dos logaritmos. Importa porque transforma o produto de milhares de probabilidades pequenas, que causaria underflow, em uma soma estável de logprobs.

2. Qual o sinal do logaritmo de uma probabilidade e por quê?

   Negativo, porque probabilidades ficam entre zero e um e o logaritmo de qualquer número nesse intervalo é negativo. Por isso as perdas têm um menos na frente.

3. O que a exponencial garante quando aplicada a um vetor de logits?

   Que todos os valores fiquem estritamente positivos, pré-requisito para virarem probabilidades.

4. Qual a imagem da função sigmoide?

   O intervalo aberto entre zero e um.

5. Em que ordem se calcula softmax(QKᵀ/√dk)V?

   Q vezes K transposta, divisão pela raiz de dk, softmax do resultado, multiplicação por V.

## Bibliografia

- **Cálculo, volume 1**, James Stewart, Daniel Clegg e Saleem Watson, tradução da 9ª edição norte-americana, Cengage, 2022. Capítulo 1, seções de funções exponenciais e funções logarítmicas. O tratamento de Stewart é o padrão-ouro em português para exponencial e logaritmo. Faça de seis a dez exercícios ímpares de cada seção, com gabarito no final do livro.

- **Mathematics for Machine Learning**, Deisenroth, Faisal e Ong, Cambridge University Press, 2020, livro aberto. Seções introdutórias do capítulo 5. Use para ver a mesma exponencial reaparecer já no vocabulário de aprendizado de máquina.

## Vídeos curados

- [Logarithms, explained](https://pt.khanacademy.org/math/algebra2/x2ec2f6f830c9fb89:logs), Khan Academy Brasil. Trilha alternativa em português, para reforço se a intuição de logaritmo ainda não estiver firme.

- [e (Euler's Number) and the natural logarithm](https://www.youtube.com/watch?v=m2MIpDrF7Es), 3Blue1Brown, Essence of Calculus cap. 5. Explica por que e é a base natural e não uma escolha arbitrária.