Potências, exponenciais, logaritmos e funções, tratados não como revisão escolar mas como as três ferramentas que aparecem dentro de toda perda, toda perplexidade e todo softmax.
Um LLM nunca trabalha com probabilidades diretas em produção. Ele trabalha com logaritmos de probabilidade, porque multiplicar milhares de números menores que um estoura a precisão da máquina. Entender o logaritmo é entender por que os logprobs existem.
1. Potências, raízes e a notação que economiza espaço
Uma potência é multiplicação repetida: 2⁵ é dois multiplicado por si mesmo cinco vezes, ou seja trinta e dois. Três regras resolvem quase tudo. Multiplicar potências de mesma base soma os expoentes. Dividir subtrai. Elevar uma potência a outra multiplica os expoentes.
Expoente negativo é inverso: 2⁻³ é um sobre 2³, ou seja um oitavo. Expoente fracionário é raiz: x^(1/2) é a raiz quadrada de x. Essa última equivalência é o que permite escrever a divisão por raiz de d k na fórmula da atenção como uma multiplicação por d k elevado a menos um meio, forma que você verá em papers.
As três regras que você precisa carregar: soma de expoentes na multiplicação, expoente negativo vira inverso, expoente um meio vira raiz.
2. A exponencial e o número e
O número e vale aproximadamente 2,71828 e não foi escolhido por gosto. Ele é a única base cuja função exponencial tem a propriedade de ser igual à sua própria derivada, o que a torna a escolha natural em qualquer coisa que envolva otimização.
A função eˣ tem três comportamentos que você precisa ter no dedo. Para x igual a zero, ela vale exatamente um. Para x positivo, ela cresce rápido, e o crescimento acelera. Para x negativo, ela cai em direção a zero mas nunca chega a zero, sempre fica positiva.
Essa última propriedade é a razão de o softmax existir na forma que tem. Aplicar exponencial a uma lista de números garante que todos fiquem positivos, o que é pré-requisito para transformá-los em probabilidades.
Valores de referência para calcular softmax de cabeça e a garantia de positividade.
3. Logaritmo: a pergunta invertida
O logaritmo responde a pergunta inversa da potência. Se 2⁵ é trinta e dois, então o logaritmo de trinta e dois na base dois é cinco. A pergunta é: a que expoente preciso elevar a base para chegar neste número.
Em aprendizado de máquina, log sem base escrita significa quase sempre logaritmo natural, base e, também escrito ln. Duas propriedades fazem todo o trabalho pesado. O logaritmo de um produto é a soma dos logaritmos, o que transforma multiplicação em adição. E o logaritmo de um número entre zero e um é negativo, o que explica por que perdas aparecem com um sinal de menos na frente.
Junte as duas: a probabilidade de uma sequência de quinhentos tokens é o produto de quinhentos números menores que um, algo como dez elevado a menos oitocentos, que a máquina simplesmente arredonda para zero. Somando os quinhentos logaritmos, você obtém um número perfeitamente representável, algo como menos mil e duzentos. É por isso que a API devolve logprobs e não probs.
Produto vira soma, o logaritmo de um é zero, e o logaritmo de qualquer probabilidade real é negativo.
Por que logprobs
Três tokens com probabilidades 0,4, 0,3 e 0,5. O produto é 0,06. Os logaritmos naturais são aproximadamente −0,92, −1,20 e −0,69, e a soma é −2,81. Confira: e elevado a −2,81 é aproximadamente 0,06. Com três tokens dá para fazer dos dois jeitos; com quinhentos, só o segundo sobrevive.
4. Funções, domínio e imagem
Uma função é uma regra que aceita uma entrada e devolve exatamente uma saída. O domínio é o conjunto de entradas aceitas, a imagem é o conjunto de saídas possíveis.
Três funções merecem atenção especial porque moram dentro de redes neurais. A sigmoide, σ(x) igual a um sobre um mais e elevado a menos x, aceita qualquer número real e devolve algo entre zero e um, o que a torna um conversor de qualquer coisa em probabilidade. A ReLU, que devolve o próprio x se x for positivo e zero caso contrário, é a não linearidade mais usada em MLPs por ser barata de calcular. E o softmax, que veremos no M4, é a generalização da sigmoide para muitas saídas simultâneas.
Repare que sigmoide e ReLU são funções de um número para um número, enquanto o softmax é de uma lista para uma lista. Essa distinção evita confusão adiante.
Sigmoide de x é um sobre um mais e elevado a menos x. ReLU de x é o máximo entre zero e x.
5. Ordem de operações em fórmulas compostas
Fórmulas de aprendizado de máquina empilham operações, e a ordem de leitura é sempre de dentro para fora. Comece pelo que está mais aninhado, resolva, e suba um nível.
Na fórmula da atenção, a ordem de cálculo é: primeiro Q vezes K transposta, depois a divisão pela raiz de d k, depois o softmax do resultado inteiro, e só então a multiplicação por V. Ler nessa ordem é ler a fórmula como o computador a executa, e é o hábito que faz qualquer expressão longa parar de intimidar.
Exercícios
Tente responder antes de abrir.
1. Sem calculadora, quanto vale log(1) e por quê?
Zero, porque qualquer base elevada a zero dá um. Se a pergunta é a que expoente elevo a base para chegar em um, a resposta é sempre zero.
2. Uma sequência tem probabilidades 0,5 e 0,25. Calcule o log da probabilidade conjunta de duas formas.
Primeira forma: 0,5 vezes 0,25 é 0,125, e ln(0,125) é aproximadamente −2,079. Segunda forma: ln(0,5) é −0,693 e ln(0,25) é −1,386, e a soma é −2,079. Iguais, como a propriedade do produto garante.
3. Por que o softmax aplica exponencial antes de dividir?
Porque a exponencial garante que todo valor fique positivo. Sem isso, logits negativos gerariam probabilidades negativas, o que não faz sentido.
4. Calcule σ(0) e explique o resultado.
Sigmoide de zero é um sobre um mais e elevado a zero, ou seja um sobre dois, igual a 0,5. Faz sentido: entrada neutra, probabilidade de cinquenta por cento.
5. Reescreva a divisão por √dk como uma potência.
Multiplicar por dk elevado a menos um meio. É a forma que aparece em vários papers.
Quando um texto escreve log sem indicar a base, qual base devo assumir?
Em aprendizado de máquina, log sem base escrita significa quase sempre logaritmo natural, ou seja, base e, também escrito como ln. Essa é a convenção do campo e vale para praticamente todo paper de LLM. Quando um autor precisa de outra base, ele avisa explicitamente, escrevendo a base como subscrito. Se você encontrar um texto ambíguo, procure a primeira definição de perda: ela normalmente revela a convenção adotada.
Por que a interface de um modelo devolve logprobs em vez das probabilidades diretas?
Porque a probabilidade de uma sequência longa é o produto de milhares de números menores que um, e esse produto encolhe até um valor que a máquina não consegue representar, sendo então arredondado para zero. Somando os logaritmos em vez de multiplicar as probabilidades, o mesmo dado vira um número de magnitude modesta, algo como menos mil e duzentos, perfeitamente representável. A propriedade que autoriza a troca é a do logaritmo do produto, que vira soma de logaritmos. Logprobs são, portanto, uma decisão de estabilidade numérica, e não de gosto.
O que acontece com o logaritmo quando a probabilidade é exatamente zero?
Não existe expoente que faça uma base positiva chegar a zero, portanto o logaritmo de zero não tem valor finito. Na prática ele tende a menos infinito conforme o argumento se aproxima de zero. É exatamente por isso que implementações somam um épsilon minúsculo antes de tomar o logaritmo, protegendo a conta de um valor não representável. Guarde a intuição: quanto menor a probabilidade, mais negativo o logaritmo, e no limite ele despenca sem fundo.
Por que as funções de perda aparecem com um sinal de menos na frente?
Porque o logaritmo de uma probabilidade é sempre negativo, já que probabilidades vivem entre zero e um. Se a perda fosse simplesmente a soma dos logaritmos, ela seria um número negativo, e minimizar um número negativo é confuso de acompanhar. Colocando um menos na frente, a perda vira positiva, e quanto melhor o modelo, mais próxima de zero ela fica. O sinal é uma conveniência de leitura que preserva integralmente a matemática.
O número e foi escolhido por conveniência ou tem um motivo real?
Tem motivo real. O número e, aproximadamente 2,71828, é a única base cuja função exponencial é igual à sua própria derivada. Isso significa que a taxa de crescimento da função coincide com o valor da função em cada ponto, propriedade que simplifica enormemente qualquer conta de otimização. Como todo treino de rede neural é otimização, a base e acaba sendo a escolha natural em vez de uma preferência estética.
A equivalência entre expoente fracionário e raiz vale sempre?
Para bases positivas, sim, e é esse o caso em praticamente tudo que aparece na trilha. Elevar a um meio é extrair a raiz quadrada, elevar a um terço é extrair a raiz cúbica, e assim por diante. Com bases negativas a coisa se complica e sai do escopo do módulo. Na fórmula da atenção, a base é uma dimensão, portanto um número inteiro positivo, e a equivalência vale sem ressalvas.
Qual a diferença entre e elevado a x e x elevado a e?
Na primeira, a base é fixa e o expoente varia, e é isso que se chama função exponencial. Na segunda, a base varia e o expoente é fixo, o que caracteriza uma função de potência. Elas crescem de maneiras muito diferentes: a exponencial acelera cada vez mais, enquanto a potência cresce de modo mais comportado. Em redes neurais é quase sempre a primeira que aparece, dentro de sigmoides, softmax e distribuições.
Por que o softmax usa exponencial em vez de simplesmente tomar o módulo dos valores?
Porque o módulo destruiria a informação de ordem entre os valores, fazendo um logit muito negativo virar um número grande e positivo. A exponencial também garante positividade, mas preserva a ordenação: valores maiores continuam maiores depois da transformação, e valores muito negativos viram números próximos de zero, que é justamente o comportamento desejado. Positividade e preservação de ordem são os dois requisitos, e a exponencial atende aos dois.
A sigmoide chega a valer exatamente zero ou exatamente um em algum ponto?
Não. A imagem da sigmoide é o intervalo aberto entre zero e um, o que significa que ela se aproxima dos dois extremos indefinidamente sem jamais alcançá-los. A razão está no denominador: como a exponencial é sempre estritamente positiva, o denominador nunca vale exatamente um nem cresce ao infinito em tempo finito. Na prática, com entradas muito grandes em módulo, a máquina arredonda o resultado para zero ou um, e é daí que vêm certos problemas numéricos em treino.
Por que a ReLU é tão usada se ela parece simples demais?
Justamente por ser simples. A ReLU devolve o próprio valor quando ele é positivo e zero caso contrário, o que exige apenas uma comparação, sem exponencial nem divisão. Isso a torna muito barata de calcular, e em uma rede com bilhões de operações por passo essa economia é decisiva. Ao mesmo tempo, ela introduz não linearidade genuína, que é o requisito para uma rede empilhada representar algo além de uma transformação linear.
O que domínio e imagem significam na prática, fora do vocabulário formal?
Domínio é a lista de entradas que a função aceita e imagem é a lista de saídas que ela consegue produzir. Na sigmoide, o domínio é todo o conjunto dos números reais, porque qualquer entrada é aceita, e a imagem é o intervalo aberto entre zero e um. Na ReLU, o domínio também é todo o conjunto dos reais, mas a imagem é o conjunto dos números maiores ou iguais a zero. Saber a imagem é útil por um motivo prático: ela diz se a saída da função pode ou não ser lida como probabilidade.
Por que a ordem de leitura de uma fórmula é de dentro para fora?
Porque uma operação externa só pode agir quando o argumento dela já tiver um valor. O softmax não tem o que normalizar antes que a fração exista, e a fração não existe antes que o numerador seja calculado. Ler de dentro para fora é, portanto, ler na mesma ordem em que a máquina executa. Esse hábito converte qualquer expressão longa em uma sequência de contas curtas encadeadas, e é o que faz fórmulas empilhadas pararem de intimidar.
Perplexidade é citada no resumo do módulo. Já preciso saber calcular?
Ainda não. Neste módulo basta reter a ligação estrutural: a perplexidade é construída a partir dos mesmos logaritmos de probabilidade que você acabou de somar, e por isso ela depende inteiramente do que foi visto aqui. O cálculo em si, com a exponenciação da média dos logprobs negativos, aparece adiante na trilha, quando o vocabulário de médias e distribuições já estiver assentado. Fixe agora a ideia de que logprob é a matéria-prima e a perplexidade é um produto derivado dela.
Por que multiplicar milhares de números menores que um estoura a precisão da máquina?
Porque cada multiplicação por um número menor que um encolhe o resultado, e o encolhimento é cumulativo. Depois de algumas centenas de fatores, o produto atinge uma ordem de grandeza como dez elevado a menos oitocentos, abaixo do menor valor que os formatos numéricos usuais conseguem representar. A máquina então arredonda para zero, e todo o cálculo posterior herda esse zero. A soma de logaritmos evita o problema porque troca uma cadeia de multiplicações por uma cadeia de adições, e adições não encolhem o resultado dessa forma.
Como leio a fórmula da sigmoide em voz alta sem me perder?
Leia de fora para dentro na hora de nomear, e de dentro para fora na hora de calcular. Nomeando: sigmoide de x é igual a um sobre um mais e elevado a menos x. Calculando: troque o sinal da entrada, aplique a exponencial, some um e divida um pelo total. Repetir essa dupla leitura em voz alta poucas vezes fixa tanto a forma escrita quanto o procedimento, e é exatamente o protocolo de cinco passos do módulo anterior aplicado a um caso concreto.
Duas potências de bases diferentes podem ter os expoentes somados?
Não. A regra que soma expoentes exige que a base seja a mesma nas duas potências. Dois elevado a três vezes dois elevado a quatro dá dois elevado a sete, mas dois elevado a três vezes três elevado a quatro não se simplifica dessa forma, e o único caminho é calcular cada potência e multiplicar os resultados. Esse é um dos erros mais frequentes quando a regra é aplicada no automático, sem conferir a base.
Checkpoint
Oitenta por cento de acerto libera o módulo seguinte.
1. Enuncie a propriedade do logaritmo do produto e diga por que ela importa para LLMs.
O logaritmo de um produto é a soma dos logaritmos. Importa porque transforma o produto de milhares de probabilidades pequenas, que causaria underflow, em uma soma estável de logprobs.
2. Qual o sinal do logaritmo de uma probabilidade e por quê?
Negativo, porque probabilidades ficam entre zero e um e o logaritmo de qualquer número nesse intervalo é negativo. Por isso as perdas têm um menos na frente.
3. O que a exponencial garante quando aplicada a um vetor de logits?
Que todos os valores fiquem estritamente positivos, pré-requisito para virarem probabilidades.
4. Qual a imagem da função sigmoide?
O intervalo aberto entre zero e um.
5. Em que ordem se calcula softmax(QKᵀ/√dk)V?
Q vezes K transposta, divisão pela raiz de dk, softmax do resultado, multiplicação por V.
Bibliografia
Cálculo, volume 1James Stewart, Daniel Clegg e Saleem Watson, tradução da 9ª edição norte-americana, Cengage, 2022Capítulo 1, seções de funções exponenciais e funções logarítmicasO tratamento de Stewart é o padrão-ouro em português para exponencial e logaritmo. Faça de seis a dez exercícios ímpares de cada seção, com gabarito no final do livro.
Mathematics for Machine LearningDeisenroth, Faisal e Ong, Cambridge University Press, 2020, livro abertoSeções introdutórias do capítulo 5Use para ver a mesma exponencial reaparecer já no vocabulário de aprendizado de máquina.
