[{"u":"/modulo/m0#s0","t":"Por que a trilha começa aqui","m":"M0","k":"seção","c":"Uma fórmula matemática é uma frase muito comprimida. O autor economiza espaço substituindo palavras por símbolos, e cada símbolo carrega uma convenção que a comunidade aceitou ao longo de décadas. Quando você não conhece a convenção, a frase vira ruído visual e o cérebro desiste antes de tentar. A boa notícia é que o vocabulário é pequeno e fechado. Aprendizado de máquina usa talvez quarenta símbolos com frequência real. Dominar esses quarenta é um investimento de três semanas que rende pelos oito meses seguintes e pelo resto da sua vida lendo material técnico. A regra deste módulo é simples: nunca deixe passar um símbolo que você não sabe nomear. Nomear em voz alta é o teste. Se você consegue ler a fórmula da atenção em português corrente, você entendeu a fórmula."},{"u":"/modulo/m0#s1","t":"O alfabeto grego e o que cada letra faz em aprendizado de máquina","m":"M0","k":"seção","c":"O grego não é decoração. Cada letra ganhou um papel por tradição, e essa tradição é surpreendentemente estável entre papers. A tabela do glossário deste Studio traz as vinte e quatro letras completas, maiúsculas e minúsculas, com nome, pronúncia em português e uso consagrado. Seis delas respondem pela maior parte do que você vai encontrar em textos sobre LLMs. Teta, θ, é o conjunto de todos os parâmetros do modelo, os bilhões de números que o treino ajusta. Alfa, α, é a taxa de aprendizado, o tamanho do passo que o otimizador dá. Sigma minúsculo, σ, tem dois empregos: desvio padrão em estatística e função sigmoide em redes neurais, e o contexto sempre desfaz a ambiguidade. Sigma maiúsculo, Σ, é o somatório. Lambda, λ, é o peso de um termo de regularização. Épsilon, ε, é o número minúsculo que se soma a um denominador para evitar divisão por zero. Quatro outras aparecem o tempo todo em textos sobre otimização e probabilidade: mi, μ, para média; delta maiúsculo, Δ, para variação; nabla, ∇, que não é grego mas mora na mesma vizinhança visual e significa gradiente; e pi maiúsculo, Π, para produtório."},{"u":"/modulo/m0#s1","t":"Leitura da fórmula em O alfabeto grego e o que cada letra faz em aprendizado de máquina","m":"M0","k":"fórmula","c":"Teta novo é igual a teta velho menos alfa vezes o gradiente da perda em relação a teta. Ou seja: os parâmetros novos são os antigos deslocados um passo de tamanho alfa na direção contrária à de maior subida da perda."},{"u":"/modulo/m0#s2","t":"As letras latinas convencionais","m":"M0","k":"seção","c":"O latim também tem convenção. Letras minúsculas em negrito ou com seta costumam ser vetores, maiúsculas costumam ser matrizes, e minúsculas simples costumam ser escalares, ou seja, números soltos. O conjunto que você mais verá: x é a entrada, y é a saída verdadeira, ŷ (lê-se y chapéu) é a saída prevista pelo modelo, W é uma matriz de pesos, b é o viés, n é o número de exemplos, d é a dimensão de um vetor, k é uma contagem ou um recorte, i e j são índices de posição, t é o passo de tempo, L é a função de perda e f é uma função genérica. Em textos de Transformer, três letras ganharam nome próprio: Q de query, ou consulta; K de key, ou chave; V de value, ou valor. Elas são matrizes, e a fórmula da atenção é uma receita de como combiná-las."},{"u":"/modulo/m0#s3","t":"Operadores, índices e estruturas","m":"M0","k":"seção","c":"O somatório Σ diz some tudo. Embaixo dele vem a variável de contagem e o valor inicial, em cima vem o valor final, e à direita vem a expressão a somar. O produtório Π faz o mesmo com multiplicação, e aparece em verossimilhança, que é a probabilidade de uma sequência inteira. Índices e subscritos localizam. O símbolo xᵢ é o elemento i do vetor x. O símbolo Wᵢⱼ é o elemento da linha i e coluna j da matriz W. Sobrescritos podem ser potência, como x², ou rótulo de camada, como h⁽³⁾ para a saída da terceira camada, e a distinção vem do contexto e dos parênteses. Três símbolos de conjunto fecham o essencial: ∈ significa pertence a, ℝ é o conjunto dos números reais, e ℝᵈ é o conjunto dos vetores de d números reais. Escrever x ∈ ℝ⁷⁶⁸ é dizer que x é uma lista de setecentos e sessenta e oito números reais, que é exatamente o que um embedding é."},{"u":"/modulo/m0#s3","t":"Leitura da fórmula em Operadores, índices e estruturas","m":"M0","k":"fórmula","c":"S é igual ao somatório, com i indo de um até n, de x índice i. Em português: some todos os elementos do vetor x, do primeiro ao último."},{"u":"/modulo/m0#s3","t":"Leitura da fórmula em Operadores, índices e estruturas","m":"M0","k":"fórmula","c":"A probabilidade de uma sequência de palavras é o produto, para cada posição t, da probabilidade da palavra naquela posição dado tudo que veio antes. Esta é a definição formal do que um modelo de linguagem faz."},{"u":"/modulo/m0#s4","t":"Protocolo de leitura em voz alta","m":"M0","k":"seção","c":"Toda vez que encontrar uma fórmula nova, siga cinco passos na mesma ordem, sem pular. Primeiro, leia o lado esquerdo e diga o que está sendo definido. Segundo, varra o lado direito e nomeie cada símbolo, um por um, sem tentar entender ainda. Terceiro, identifique a operação principal, aquela que fica por último se você fosse calcular à mão. Quarto, traduza a fórmula inteira para uma frase em português. Quinto, invente um exemplo numérico minúsculo e calcule. O quinto passo é o que separa reconhecer de entender. Um softmax de três números calculado à mão ensina mais do que dez leituras da definição."},{"u":"/modulo/m0#s5","t":"Primeira fórmula real: atenção","m":"M0","k":"seção","c":"Você ainda não precisa entender o que a atenção faz. Precisa apenas conseguir nomear cada parte dela, e isso você já consegue. Q, K e V são matrizes. O sobrescrito T significa transposta, que é a matriz girada trocando linhas por colunas. O d com subscrito k é a dimensão das chaves, um número. A raiz quadrada dele é um divisor de escala. E softmax é uma função que ainda vamos estudar, que transforma uma lista de números quaisquer em uma lista de probabilidades. Leia em voz alta: atenção de Q, K e V é igual ao softmax de Q vezes K transposta dividido pela raiz de d k, tudo isso multiplicado por V. Se você conseguiu ler, o módulo zero já está fazendo efeito."},{"u":"/modulo/m0#s5","t":"Leitura da fórmula em Primeira fórmula real: atenção","m":"M0","k":"fórmula","c":"Atenção de Q, K e V é o softmax do produto de Q por K transposta, dividido pela raiz quadrada de d k, e o resultado multiplica V."},{"u":"/modulo/m0","t":"Preciso decorar as vinte e quatro letras gregas antes de seguir adiante?","m":"M0","k":"dúvida","c":"Não. O módulo pede reconhecimento, não recitação. Comece pelas seis que respondem pela maior parte do que aparece em textos sobre LLMs: teta, alfa, sigma minúsculo, sigma maiúsculo, lambda e épsilon. As outras você consulta no glossário do Studio quando aparecerem, e a repetição faz o trabalho de fixação sozinha. O teste real é conseguir nomear cada símbolo de uma fórmula em voz alta, sem travar."},{"u":"/modulo/m0","t":"Como distingo sigma minúsculo de sigma maiúsculo quando os dois aparecem no mesmo texto?","m":"M0","k":"dúvida","c":"Pelo formato e pelo contexto. O sigma maiúsculo é o somatório: ele vem com um índice embaixo, um limite em cima e uma expressão à direita, e sempre pede uma soma. O sigma minúsculo nunca carrega limites. Ele aparece ou como desvio padrão, em contexto de estatística, ou como função sigmoide, e nesse caso vem seguido de parênteses com um argumento dentro. Se houver parênteses com argumento, é função. Se houver limites em cima e embaixo, é somatório."},{"u":"/modulo/m0","t":"Como sei se um sobrescrito é potência ou rótulo de camada?","m":"M0","k":"dúvida","c":"Pelos parênteses. Quando o sobrescrito vem entre parênteses, ele é rótulo, e h com três entre parênteses no alto significa a saída da terceira camada. Quando vem sem parênteses, é expoente, e x com dois no alto significa x multiplicado por si mesmo. A convenção foi criada justamente para desfazer essa ambiguidade, e papers sérios a respeitam. Em caso de dúvida, confira a dimensão do objeto: rótulos de camada acompanham vetores e matrizes, expoentes costumam agir sobre escalares."},{"u":"/modulo/m0","t":"O que exatamente é teta em um modelo de linguagem?","m":"M0","k":"dúvida","c":"Teta é o nome coletivo de todos os números que o treino ajusta, ou seja, todos os pesos e vieses do modelo. Em um modelo grande, teta representa bilhões de valores empacotados sob uma única letra. Quando um paper escreve que a perda é função de teta, ele está dizendo que a qualidade do modelo depende inteiramente desse conjunto de números. E quando escreve o passo de atualização, está dizendo como esse conjunto muda a cada iteração de treino."},{"u":"/modulo/m0","t":"Por que o passo de atualização tem um sinal de menos na frente do gradiente?","m":"M0","k":"dúvida","c":"Porque o gradiente aponta para a direção em que a perda cresce mais rápido, e o objetivo do treino é reduzir a perda. Andar no sentido oposto ao gradiente é, por isso, andar ladeira abaixo. O sinal de menos é justamente essa inversão de sentido. Se você trocasse o menos por um mais, o treino subiria a ladeira e a perda pioraria a cada passo, que é exatamente o sintoma clássico de sinal invertido em uma implementação."},{"u":"/modulo/m0","t":"O que significa aquele T pequeno no alto da letra K?","m":"M0","k":"dúvida","c":"Significa transposta, que é a matriz girada com linhas e colunas trocadas de lugar. O que estava na linha dois e coluna cinco passa para a linha cinco e coluna dois. Na fórmula da atenção, a transposta existe para que as dimensões de Q e de K se encaixem na multiplicação. No módulo zero basta reconhecer o símbolo e saber nomeá-lo, porque a mecânica da multiplicação de matrizes é assunto do módulo seguinte da trilha."},{"u":"/modulo/m0","t":"Qual a diferença prática entre escalar, vetor e matriz na notação?","m":"M0","k":"dúvida","c":"Escalar é um número solto e costuma vir em letra minúscula simples, como n, d ou k. Vetor é uma lista de números e costuma vir em letra minúscula em negrito ou com uma seta em cima. Matriz é uma grade de números e costuma vir em letra maiúscula, como W, Q, K ou V. A convenção não é obrigatória, e alguns autores a violam, mas ela acerta na esmagadora maioria dos textos. Quando estiver em dúvida, procure o momento em que o autor define o objeto."},{"u":"/modulo/m0","t":"O que quer dizer aquele erre estilizado com um número no alto?","m":"M0","k":"dúvida","c":"É o conjunto dos números reais, e o número escrito no alto informa quantas coordenadas o objeto tem. Escrever que x pertence a esse conjunto com quatro no alto é dizer que x é uma lista de quatro números reais. Com setecentos e sessenta e oito no alto, é dizer que x é uma lista de setecentos e sessenta e oito números reais, que é exatamente o formato de um embedding. O símbolo que parece um E arredondado, antes do conjunto, lê-se pertence a."},{"u":"/modulo/m0","t":"Por que a fórmula da atenção divide pela raiz da dimensão das chaves?","m":"M0","k":"dúvida","c":"No módulo zero, a resposta suficiente é que aquele divisor existe para controlar a escala dos números que entram no softmax. Sem ele, produtos entre vetores longos ficariam grandes demais e o softmax saturaria, devolvendo quase tudo concentrado em uma posição só. A justificativa quantitativa, que envolve variância de produtos internos, aparece adiante na trilha. Por ora, reconheça o divisor, saiba nomeá-lo e siga."},{"u":"/modulo/m0","t":"O nabla é uma letra grega?","m":"M0","k":"dúvida","c":"Não é letra do alfabeto grego, embora more na mesma vizinhança visual e apareça no mesmo tipo de fórmula. Ele é um operador, escrito como um triângulo apontando para baixo, e significa gradiente. Quando você lê o nabla aplicado à perda em relação a teta, está lendo o vetor que reúne a taxa de variação da perda em cada parâmetro. No módulo zero, nomear já basta, porque o cálculo do gradiente vem depois."},{"u":"/modulo/m0","t":"Como leio um somatório em voz alta sem me atrapalhar?","m":"M0","k":"dúvida","c":"Siga sempre a mesma ordem: diga somatório, depois o índice e o limite de baixo, depois o limite de cima, depois a expressão à direita. Para o somatório com i de um a n de x índice i, a leitura é somatório, com i indo de um até n, de x índice i. Em português corrente isso vira some todos os elementos do vetor x, do primeiro ao último. Falar na mesma ordem toda vez elimina a hesitação em poucas semanas."},{"u":"/modulo/m0","t":"As letras Q, K e V foram escolhidas por acaso?","m":"M0","k":"dúvida","c":"Não. Elas vêm das palavras query, key e value, ou seja, consulta, chave e valor, e ganharam nome próprio na literatura de Transformer. São matrizes, e a fórmula da atenção é a receita de como combiná-las. Guardar a origem das três palavras ajuda porque a metáfora é fiel ao que a operação faz: uma consulta procura chaves parecidas e recolhe os valores associados a elas."},{"u":"/modulo/m0","t":"Como se lê e o que significa o y com um chapeuzinho em cima?","m":"M0","k":"dúvida","c":"Lê-se y chapéu e representa a saída prevista pelo modelo. O y sem chapéu é a saída verdadeira, aquela que consta dos dados. A distinção é central em qualquer função de perda, porque a perda mede exatamente a distância entre o que o modelo previu e o que era verdade. Sempre que encontrar os dois na mesma fórmula, identifique primeiro quem é previsto e quem é verdadeiro antes de tentar entender a conta."},{"u":"/modulo/m0","t":"O protocolo de cinco passos serve para qualquer fórmula ou só para as do módulo?","m":"M0","k":"dúvida","c":"Serve para qualquer fórmula, e é para ser usado fora da trilha também. Leia o lado esquerdo e diga o que está sendo definido. Nomeie cada símbolo do lado direito, sem tentar entender ainda. Identifique a operação principal, aquela que ficaria por último se você fosse calcular à mão. Traduza tudo para uma frase em português. Por fim, invente um exemplo numérico minúsculo e calcule. O quinto passo é o que separa reconhecer de entender."},{"u":"/modulo/m0","t":"Índices em fórmulas começam em zero ou em um?","m":"M0","k":"dúvida","c":"Depende do que estiver escrito embaixo do símbolo, e não de convenção universal. Em textos matemáticos é muito comum começar em um, enquanto em código é comum começar em zero. Por isso o limite inferior vem sempre escrito: ele é a fonte da verdade daquela fórmula específica. Lembre também que os dois limites são inclusivos, ou seja, tanto o valor de baixo quanto o de cima produzem termos, e é daí que vem a maior parte dos erros de contagem."},{"u":"/modulo/m0","t":"Por que épsilon aparece somado em denominadores?","m":"M0","k":"dúvida","c":"Para impedir divisão por zero. Épsilon é um número minúsculo, algo como um décimo de milionésimo, somado ao denominador de uma fração para garantir que ele nunca fique exatamente em zero. O efeito no resultado é desprezível, mas o efeito na estabilidade numérica é decisivo, porque uma única divisão por zero contamina todo o restante do cálculo. Sempre que vir um mais épsilon embaixo de uma fração, leia como uma proteção, e não como parte da matemática do modelo."},{"u":"/studio#tutor/m0-t1","t":"Um passo de descida do gradiente","m":"M0","k":"trilho","c":"Um modelo tem um único parâmetro, hoje valendo 0,80. A taxa de aprendizado vale 0,10 e o gradiente da perda nesse ponto vale 2,0. Vamos aplicar a fórmula do passo de atualização, símbolo por símbolo. Você leu uma fórmula de otimização inteira sem saber cálculo: bastou nomear teta, alfa e o nabla, e respeitar o sinal de menos. O último passo mostrou, com número na mão, por que uma taxa de aprendizado grande demais faz o parâmetro passar do ponto."},{"u":"/studio#tutor/m0-t2","t":"Somatório com índice, do símbolo ao número","m":"M0","k":"trilho","c":"Vamos executar dois somatórios à mão, com atenção especial aos limites que ficam embaixo e em cima do sigma maiúsculo. O sigma maiúsculo deixou de ser um símbolo e virou um procedimento: leia o limite de baixo, leia o limite de cima, substitua o índice na expressão e some. Os limites são inclusivos dos dois lados, e essa é a origem da maior parte dos erros de contagem."},{"u":"/studio#tutor/m0-t3","t":"Do produtório à definição de modelo de linguagem","m":"M0","k":"trilho","c":"Um modelo atribui às três palavras de uma frase as probabilidades condicionais 0,50, 0,40 e 0,25. Vamos aplicar a fórmula do produtório e ver por que ela é a definição formal do que um modelo de linguagem faz. A fórmula do produtório deixou de ser decorativa: ela diz, com precisão, que a probabilidade de uma frase é o produto das probabilidades de cada palavra dado o que veio antes. E você ganhou um teste de sanidade barato, já que qualquer resultado maior que um denuncia erro de operação."},{"u":"/studio#tutor/m0-t4","t":"Anatomia da fórmula da atenção","m":"M0","k":"trilho","c":"Sem calcular nada de verdade, vamos separar a fórmula da atenção em objetos e operações, exatamente como o protocolo de leitura em voz alta manda. Você desmontou a fórmula mais famosa dos Transformers sem calcular uma linha de álgebra: três matrizes, um escalar, uma função e uma ordem de execução clara. Era exatamente isso que o módulo zero prometia entregar."},{"u":"/studio#tutor/m0-t5","t":"Índices, dimensões e conjuntos","m":"M0","k":"trilho","c":"Vamos ler quatro notações de conjunto e de índice, transformando cada uma em uma contagem concreta de quantos números existem por trás do símbolo. Notação de conjunto e de índice virou contagem: um vetor guarda tantos números quanto sua dimensão, uma matriz guarda o produto de linhas por colunas, e um par de subscritos aponta uma casa única. Com isso, ler que um embedding vive em setecentos e sessenta e oito dimensões deixa de ser abstrato."},{"u":"/modulo/m1#s0","t":"Potências, raízes e a notação que economiza espaço","m":"M1","k":"seção","c":"Uma potência é multiplicação repetida: 2⁵ é dois multiplicado por si mesmo cinco vezes, ou seja trinta e dois. Três regras resolvem quase tudo. Multiplicar potências de mesma base soma os expoentes. Dividir subtrai. Elevar uma potência a outra multiplica os expoentes. Expoente negativo é inverso: 2⁻³ é um sobre 2³, ou seja um oitavo. Expoente fracionário é raiz: x^(1/2) é a raiz quadrada de x. Essa última equivalência é o que permite escrever a divisão por raiz de d k na fórmula da atenção como uma multiplicação por d k elevado a menos um meio, forma que você verá em papers."},{"u":"/modulo/m1#s0","t":"Leitura da fórmula em Potências, raízes e a notação que economiza espaço","m":"M1","k":"fórmula","c":"As três regras que você precisa carregar: soma de expoentes na multiplicação, expoente negativo vira inverso, expoente um meio vira raiz."},{"u":"/modulo/m1#s1","t":"A exponencial e o número e","m":"M1","k":"seção","c":"O número e vale aproximadamente 2,71828 e não foi escolhido por gosto. Ele é a única base cuja função exponencial tem a propriedade de ser igual à sua própria derivada, o que a torna a escolha natural em qualquer coisa que envolva otimização. A função eˣ tem três comportamentos que você precisa ter no dedo. Para x igual a zero, ela vale exatamente um. Para x positivo, ela cresce rápido, e o crescimento acelera. Para x negativo, ela cai em direção a zero mas nunca chega a zero, sempre fica positiva. Essa última propriedade é a razão de o softmax existir na forma que tem. Aplicar exponencial a uma lista de números garante que todos fiquem positivos, o que é pré-requisito para transformá-los em probabilidades."},{"u":"/modulo/m1#s1","t":"Leitura da fórmula em A exponencial e o número e","m":"M1","k":"fórmula","c":"Valores de referência para calcular softmax de cabeça e a garantia de positividade."},{"u":"/modulo/m1#s2","t":"Logaritmo: a pergunta invertida","m":"M1","k":"seção","c":"O logaritmo responde a pergunta inversa da potência. Se 2⁵ é trinta e dois, então o logaritmo de trinta e dois na base dois é cinco. A pergunta é: a que expoente preciso elevar a base para chegar neste número. Em aprendizado de máquina, log sem base escrita significa quase sempre logaritmo natural, base e, também escrito ln. Duas propriedades fazem todo o trabalho pesado. O logaritmo de um produto é a soma dos logaritmos, o que transforma multiplicação em adição. E o logaritmo de um número entre zero e um é negativo, o que explica por que perdas aparecem com um sinal de menos na frente. Junte as duas: a probabilidade de uma sequência de quinhentos tokens é o produto de quinhentos números menores que um, algo como dez elevado a menos oitocentos, que a máquina simplesmente arredonda para zero. Somando os quinhentos logaritmos, você obtém um número perfeitamente representável, algo como menos mil e duzentos. É por isso que a API devolve logprobs e não probs."},{"u":"/modulo/m1#s2","t":"Leitura da fórmula em Logaritmo: a pergunta invertida","m":"M1","k":"fórmula","c":"Produto vira soma, o logaritmo de um é zero, e o logaritmo de qualquer probabilidade real é negativo."},{"u":"/modulo/m1#s2","t":"Por que logprobs","m":"M1","k":"exemplo","c":"Três tokens com probabilidades 0,4, 0,3 e 0,5. O produto é 0,06. Os logaritmos naturais são aproximadamente −0,92, −1,20 e −0,69, e a soma é −2,81. Confira: e elevado a −2,81 é aproximadamente 0,06. Com três tokens dá para fazer dos dois jeitos; com quinhentos, só o segundo sobrevive."},{"u":"/modulo/m1#s3","t":"Funções, domínio e imagem","m":"M1","k":"seção","c":"Uma função é uma regra que aceita uma entrada e devolve exatamente uma saída. O domínio é o conjunto de entradas aceitas, a imagem é o conjunto de saídas possíveis. Três funções merecem atenção especial porque moram dentro de redes neurais. A sigmoide, σ(x) igual a um sobre um mais e elevado a menos x, aceita qualquer número real e devolve algo entre zero e um, o que a torna um conversor de qualquer coisa em probabilidade. A ReLU, que devolve o próprio x se x for positivo e zero caso contrário, é a não linearidade mais usada em MLPs por ser barata de calcular. E o softmax, que veremos no M4, é a generalização da sigmoide para muitas saídas simultâneas. Repare que sigmoide e ReLU são funções de um número para um número, enquanto o softmax é de uma lista para uma lista. Essa distinção evita confusão adiante."},{"u":"/modulo/m1#s3","t":"Leitura da fórmula em Funções, domínio e imagem","m":"M1","k":"fórmula","c":"Sigmoide de x é um sobre um mais e elevado a menos x. ReLU de x é o máximo entre zero e x."},{"u":"/modulo/m1#s4","t":"Ordem de operações em fórmulas compostas","m":"M1","k":"seção","c":"Fórmulas de aprendizado de máquina empilham operações, e a ordem de leitura é sempre de dentro para fora. Comece pelo que está mais aninhado, resolva, e suba um nível. Na fórmula da atenção, a ordem de cálculo é: primeiro Q vezes K transposta, depois a divisão pela raiz de d k, depois o softmax do resultado inteiro, e só então a multiplicação por V. Ler nessa ordem é ler a fórmula como o computador a executa, e é o hábito que faz qualquer expressão longa parar de intimidar."},{"u":"/modulo/m1","t":"Quando um texto escreve log sem indicar a base, qual base devo assumir?","m":"M1","k":"dúvida","c":"Em aprendizado de máquina, log sem base escrita significa quase sempre logaritmo natural, ou seja, base e, também escrito como ln. Essa é a convenção do campo e vale para praticamente todo paper de LLM. Quando um autor precisa de outra base, ele avisa explicitamente, escrevendo a base como subscrito. Se você encontrar um texto ambíguo, procure a primeira definição de perda: ela normalmente revela a convenção adotada."},{"u":"/modulo/m1","t":"Por que a interface de um modelo devolve logprobs em vez das probabilidades diretas?","m":"M1","k":"dúvida","c":"Porque a probabilidade de uma sequência longa é o produto de milhares de números menores que um, e esse produto encolhe até um valor que a máquina não consegue representar, sendo então arredondado para zero. Somando os logaritmos em vez de multiplicar as probabilidades, o mesmo dado vira um número de magnitude modesta, algo como menos mil e duzentos, perfeitamente representável. A propriedade que autoriza a troca é a do logaritmo do produto, que vira soma de logaritmos. Logprobs são, portanto, uma decisão de estabilidade numérica, e não de gosto."},{"u":"/modulo/m1","t":"O que acontece com o logaritmo quando a probabilidade é exatamente zero?","m":"M1","k":"dúvida","c":"Não existe expoente que faça uma base positiva chegar a zero, portanto o logaritmo de zero não tem valor finito. Na prática ele tende a menos infinito conforme o argumento se aproxima de zero. É exatamente por isso que implementações somam um épsilon minúsculo antes de tomar o logaritmo, protegendo a conta de um valor não representável. Guarde a intuição: quanto menor a probabilidade, mais negativo o logaritmo, e no limite ele despenca sem fundo."},{"u":"/modulo/m1","t":"Por que as funções de perda aparecem com um sinal de menos na frente?","m":"M1","k":"dúvida","c":"Porque o logaritmo de uma probabilidade é sempre negativo, já que probabilidades vivem entre zero e um. Se a perda fosse simplesmente a soma dos logaritmos, ela seria um número negativo, e minimizar um número negativo é confuso de acompanhar. Colocando um menos na frente, a perda vira positiva, e quanto melhor o modelo, mais próxima de zero ela fica. O sinal é uma conveniência de leitura que preserva integralmente a matemática."},{"u":"/modulo/m1","t":"O número e foi escolhido por conveniência ou tem um motivo real?","m":"M1","k":"dúvida","c":"Tem motivo real. O número e, aproximadamente 2,71828, é a única base cuja função exponencial é igual à sua própria derivada. Isso significa que a taxa de crescimento da função coincide com o valor da função em cada ponto, propriedade que simplifica enormemente qualquer conta de otimização. Como todo treino de rede neural é otimização, a base e acaba sendo a escolha natural em vez de uma preferência estética."},{"u":"/modulo/m1","t":"A equivalência entre expoente fracionário e raiz vale sempre?","m":"M1","k":"dúvida","c":"Para bases positivas, sim, e é esse o caso em praticamente tudo que aparece na trilha. Elevar a um meio é extrair a raiz quadrada, elevar a um terço é extrair a raiz cúbica, e assim por diante. Com bases negativas a coisa se complica e sai do escopo do módulo. Na fórmula da atenção, a base é uma dimensão, portanto um número inteiro positivo, e a equivalência vale sem ressalvas."},{"u":"/modulo/m1","t":"Qual a diferença entre e elevado a x e x elevado a e?","m":"M1","k":"dúvida","c":"Na primeira, a base é fixa e o expoente varia, e é isso que se chama função exponencial. Na segunda, a base varia e o expoente é fixo, o que caracteriza uma função de potência. Elas crescem de maneiras muito diferentes: a exponencial acelera cada vez mais, enquanto a potência cresce de modo mais comportado. Em redes neurais é quase sempre a primeira que aparece, dentro de sigmoides, softmax e distribuições."},{"u":"/modulo/m1","t":"Por que o softmax usa exponencial em vez de simplesmente tomar o módulo dos valores?","m":"M1","k":"dúvida","c":"Porque o módulo destruiria a informação de ordem entre os valores, fazendo um logit muito negativo virar um número grande e positivo. A exponencial também garante positividade, mas preserva a ordenação: valores maiores continuam maiores depois da transformação, e valores muito negativos viram números próximos de zero, que é justamente o comportamento desejado. Positividade e preservação de ordem são os dois requisitos, e a exponencial atende aos dois."},{"u":"/modulo/m1","t":"A sigmoide chega a valer exatamente zero ou exatamente um em algum ponto?","m":"M1","k":"dúvida","c":"Não. A imagem da sigmoide é o intervalo aberto entre zero e um, o que significa que ela se aproxima dos dois extremos indefinidamente sem jamais alcançá-los. A razão está no denominador: como a exponencial é sempre estritamente positiva, o denominador nunca vale exatamente um nem cresce ao infinito em tempo finito. Na prática, com entradas muito grandes em módulo, a máquina arredonda o resultado para zero ou um, e é daí que vêm certos problemas numéricos em treino."},{"u":"/modulo/m1","t":"Por que a ReLU é tão usada se ela parece simples demais?","m":"M1","k":"dúvida","c":"Justamente por ser simples. A ReLU devolve o próprio valor quando ele é positivo e zero caso contrário, o que exige apenas uma comparação, sem exponencial nem divisão. Isso a torna muito barata de calcular, e em uma rede com bilhões de operações por passo essa economia é decisiva. Ao mesmo tempo, ela introduz não linearidade genuína, que é o requisito para uma rede empilhada representar algo além de uma transformação linear."},{"u":"/modulo/m1","t":"O que domínio e imagem significam na prática, fora do vocabulário formal?","m":"M1","k":"dúvida","c":"Domínio é a lista de entradas que a função aceita e imagem é a lista de saídas que ela consegue produzir. Na sigmoide, o domínio é todo o conjunto dos números reais, porque qualquer entrada é aceita, e a imagem é o intervalo aberto entre zero e um. Na ReLU, o domínio também é todo o conjunto dos reais, mas a imagem é o conjunto dos números maiores ou iguais a zero. Saber a imagem é útil por um motivo prático: ela diz se a saída da função pode ou não ser lida como probabilidade."},{"u":"/modulo/m1","t":"Por que a ordem de leitura de uma fórmula é de dentro para fora?","m":"M1","k":"dúvida","c":"Porque uma operação externa só pode agir quando o argumento dela já tiver um valor. O softmax não tem o que normalizar antes que a fração exista, e a fração não existe antes que o numerador seja calculado. Ler de dentro para fora é, portanto, ler na mesma ordem em que a máquina executa. Esse hábito converte qualquer expressão longa em uma sequência de contas curtas encadeadas, e é o que faz fórmulas empilhadas pararem de intimidar."},{"u":"/modulo/m1","t":"Perplexidade é citada no resumo do módulo. Já preciso saber calcular?","m":"M1","k":"dúvida","c":"Ainda não. Neste módulo basta reter a ligação estrutural: a perplexidade é construída a partir dos mesmos logaritmos de probabilidade que você acabou de somar, e por isso ela depende inteiramente do que foi visto aqui. O cálculo em si, com a exponenciação da média dos logprobs negativos, aparece adiante na trilha, quando o vocabulário de médias e distribuições já estiver assentado. Fixe agora a ideia de que logprob é a matéria-prima e a perplexidade é um produto derivado dela."},{"u":"/modulo/m1","t":"Por que multiplicar milhares de números menores que um estoura a precisão da máquina?","m":"M1","k":"dúvida","c":"Porque cada multiplicação por um número menor que um encolhe o resultado, e o encolhimento é cumulativo. Depois de algumas centenas de fatores, o produto atinge uma ordem de grandeza como dez elevado a menos oitocentos, abaixo do menor valor que os formatos numéricos usuais conseguem representar. A máquina então arredonda para zero, e todo o cálculo posterior herda esse zero. A soma de logaritmos evita o problema porque troca uma cadeia de multiplicações por uma cadeia de adições, e adições não encolhem o resultado dessa forma."},{"u":"/modulo/m1","t":"Como leio a fórmula da sigmoide em voz alta sem me perder?","m":"M1","k":"dúvida","c":"Leia de fora para dentro na hora de nomear, e de dentro para fora na hora de calcular. Nomeando: sigmoide de x é igual a um sobre um mais e elevado a menos x. Calculando: troque o sinal da entrada, aplique a exponencial, some um e divida um pelo total. Repetir essa dupla leitura em voz alta poucas vezes fixa tanto a forma escrita quanto o procedimento, e é exatamente o protocolo de cinco passos do módulo anterior aplicado a um caso concreto."},{"u":"/modulo/m1","t":"Duas potências de bases diferentes podem ter os expoentes somados?","m":"M1","k":"dúvida","c":"Não. A regra que soma expoentes exige que a base seja a mesma nas duas potências. Dois elevado a três vezes dois elevado a quatro dá dois elevado a sete, mas dois elevado a três vezes três elevado a quatro não se simplifica dessa forma, e o único caminho é calcular cada potência e multiplicar os resultados. Esse é um dos erros mais frequentes quando a regra é aplicada no automático, sem conferir a base."},{"u":"/studio#tutor/m1-t1","t":"As três regras de potência até o divisor da atenção","m":"M1","k":"trilho","c":"Cinco contas curtas de potência e, no fim, a reescrita do divisor da fórmula da atenção na forma compacta que aparece em papers. As três regras deixaram de ser fórmulas de escola e viraram ferramenta de leitura: você reconhece a mesma escala da atenção escrita de dois modos diferentes e sabe que ambos valem um oitavo quando a dimensão é sessenta e quatro."},{"u":"/studio#tutor/m1-t2","t":"A exponencial e a garantia de positividade","m":"M1","k":"trilho","c":"Três valores da exponencial, uma soma e a primeira divisão que produz probabilidades. Use as referências da seção: e elevado a um vale aproximadamente 2,718 e e elevado a menos dois vale aproximadamente 0,135. Você viu, com números na mão, por que a exponencial é a escolha certa para preparar probabilidades: ela nunca devolve negativo e, depois de dividida pela soma, produz partes que fecham exatamente em um."},{"u":"/studio#tutor/m1-t3","t":"Logprobs de uma sequência de três tokens","m":"M1","k":"trilho","c":"Três tokens com probabilidades 0,4, 0,3 e 0,5. Use os logaritmos naturais aproximados que a seção fornece: menos 0,92, menos 1,20 e menos 0,69. Você percorreu os dois caminhos, o do produto e o da soma de logaritmos, e chegou ao mesmo número. Com três tokens os dois funcionam. Com quinhentos, só o segundo, e essa é a razão prática de existirem logprobs."},{"u":"/studio#tutor/m1-t4","t":"Sigmoide e ReLU, valor a valor","m":"M1","k":"trilho","c":"Vamos avaliar as duas não linearidades mais comuns em pontos escolhidos, usando a referência de que e elevado a menos dois vale aproximadamente 0,135. Duas funções, quatro avaliações e uma distinção estrutural. A sigmoide comprime qualquer real no intervalo entre zero e um sem tocar nos extremos, a ReLU zera negativos e deixa positivos intactos, e o softmax fica reservado para quando houver uma lista inteira em jogo."},{"u":"/studio#tutor/m1-t5","t":"Ordem de operações de dentro para fora","m":"M1","k":"trilho","c":"Uma expressão empilhada, resolvida na ordem em que a máquina a executa. Considere a sigmoide aplicada ao resultado de dois multiplicado por 1,5, menos 1. Resolver de dentro para fora transformou uma expressão empilhada em quatro contas simples encadeadas. É esse mesmo hábito que faz a fórmula da atenção parar de intimidar, porque ela também é apenas uma pilha lida na ordem certa."},{"u":"/modulo/m2#s0","t":"Vetor: uma lista e uma seta","m":"M2","k":"seção","c":"Um vetor é uma lista ordenada de números. O vetor (3; 4) tem duas componentes. Um embedding de um token em um modelo moderno é um vetor com centenas ou milhares de componentes, algo como ℝ⁴⁰⁹⁶. A segunda leitura, geométrica, é a que dá intuição: o mesmo vetor (3; 4) é uma seta que sai da origem e chega ao ponto três à direita e quatro acima. Direção e comprimento passam a significar alguma coisa. Nos embeddings, essa geometria é literal. A direção do vetor carrega o significado, e a proximidade angular entre dois vetores é o que o modelo usa como medida de semelhança semântica. Não é metáfora, é a operação que roda."},{"u":"/modulo/m2#s1","t":"Norma: o comprimento do vetor","m":"M2","k":"seção","c":"A norma de um vetor, escrita entre barras duplas, é o seu comprimento. Em duas dimensões é o velho teorema de Pitágoras: raiz da soma dos quadrados das componentes. Em qualquer dimensão a fórmula é idêntica, só com mais termos. Normalizar um vetor é dividi-lo pela própria norma, obtendo um vetor de comprimento um que aponta na mesma direção. Isso separa direção de magnitude, e é exatamente o que a normalização de camada faz dentro de um Transformer para manter as ativações em uma escala estável."},{"u":"/modulo/m2#s1","t":"Leitura da fórmula em Norma: o comprimento do vetor","m":"M2","k":"fórmula","c":"A norma de v é a raiz quadrada da soma dos quadrados de todas as componentes de v."},{"u":"/modulo/m2#s1","t":"Cálculo à mão","m":"M2","k":"exemplo","c":"Para v igual a (3; 4): a norma é a raiz de nove mais dezesseis, ou seja raiz de vinte e cinco, igual a cinco. O vetor normalizado é (0,6; 0,8), que ainda aponta na mesma direção mas tem comprimento um."},{"u":"/modulo/m2#s2","t":"Produto escalar: a medida de concordância","m":"M2","k":"seção","c":"O produto escalar de dois vetores multiplica componente por componente e soma tudo. O resultado é um único número, não um vetor, e por isso o nome escalar. O que esse número significa: ele é positivo e grande quando os dois vetores apontam na mesma direção, próximo de zero quando são perpendiculares, e negativo quando apontam em direções opostas. É uma medida de concordância entre direções, ponderada pelos comprimentos. Esta é a operação central da atenção. Quando um token pergunta quais posições anteriores importam para mim, o cálculo é literalmente o produto escalar entre a consulta desse token e as chaves de todas as outras posições. Concordância alta significa atenção alta."},{"u":"/modulo/m2#s2","t":"Leitura da fórmula em Produto escalar: a medida de concordância","m":"M2","k":"fórmula","c":"O produto escalar de a com b é a soma dos produtos das componentes correspondentes, e equivale ao produto dos comprimentos vezes o cosseno do ângulo entre eles."},{"u":"/modulo/m2#s2","t":"Três casos em números","m":"M2","k":"exemplo","c":"Sejam a igual a (1; 0). Com b igual a (1; 0), o produto escalar é um, concordância máxima. Com b igual a (0; 1), é zero, perpendiculares, nenhuma relação. Com b igual a (−1; 0), é menos um, oposição. Três contas de dez segundos que fixam a intuição para sempre."},{"u":"/modulo/m2#s3","t":"Similaridade do cosseno e o espaço de embeddings","m":"M2","k":"seção","c":"O produto escalar cru mistura duas informações: o ângulo e os comprimentos. Para comparar significado, geralmente queremos só o ângulo, e por isso se divide pelo produto das normas. O resultado é o cosseno do ângulo, um número entre menos um e um. Um cosseno perto de um significa direções quase idênticas, ou seja significados próximos. Perto de zero significa sem relação. Perto de menos um significa oposição. É essa a métrica usada em busca vetorial, em bancos como pgvector e em qualquer sistema de recuperação semântica. Vale registrar o limite honesto da intuição famosa dos vetores de palavras: a ideia de que rei menos homem mais mulher dá rainha funciona em modelos clássicos de embedding e ajuda a construir a imagem mental, mas em modelos de linguagem grandes contemporâneos os embeddings são contextuais, mudam conforme a frase, e as relações não são tão limpas. Use a analogia para entender a geometria, não como descrição exata do que acontece dentro de um LLM."},{"u":"/modulo/m2#s3","t":"Leitura da fórmula em Similaridade do cosseno e o espaço de embeddings","m":"M2","k":"fórmula","c":"A similaridade do cosseno entre a e b é o produto escalar dividido pelo produto das normas."},{"u":"/modulo/m2#s4","t":"Matrizes e multiplicação","m":"M2","k":"seção","c":"Uma matriz é uma tabela retangular de números, com linhas e colunas. A notação padrão diz que uma matriz é m por n quando tem m linhas e n colunas. Multiplicar duas matrizes significa preencher cada célula do resultado com um produto escalar: a célula da linha i e coluna j do produto é o produto escalar entre a linha i da primeira matriz e a coluna j da segunda. Toda multiplicação de matrizes é, portanto, uma coleção organizada de produtos escalares. Isso muda a percepção do que uma camada de rede neural faz. Quando você lê que uma camada multiplica a entrada por W, leia como: cada neurônio da camada calcula o produto escalar entre a entrada e a própria linha de pesos, medindo quanto a entrada concorda com o padrão que aquele neurônio aprendeu a procurar."},{"u":"/modulo/m2#s4","t":"Multiplicação 2 por 2 completa","m":"M2","k":"exemplo","c":"Sejam A com linhas (1, 2) e (3, 4), e B com linhas (5, 6) e (7, 8). A célula superior esquerda do produto é o produto escalar de (1, 2) com a coluna (5, 7), ou seja 1 vezes 5 mais 2 vezes 7, igual a 19. Seguindo o mesmo procedimento, o produto completo tem linhas (19, 22) e (43, 50). Faça esta conta à mão pelo menos três vezes ao longo do módulo."},{"u":"/modulo/m2#s5","t":"Shapes: a álgebra das dimensões","m":"M2","k":"seção","c":"Multiplicação de matrizes só é definida quando o número de colunas da primeira é igual ao número de linhas da segunda. Uma matriz m por n vezes uma n por p resulta em uma m por p. As dimensões internas precisam bater e desaparecem; as externas sobrevivem. Esta regra é a ferramenta de depuração mais útil que existe para ler arquiteturas. Quando um paper diz que a entrada é de shape lote por sequência por dimensão do modelo, e que a projeção de consulta tem shape dimensão do modelo por dimensão da chave, você já sabe, sem ler mais nada, que a saída será lote por sequência por dimensão da chave. Treine o hábito: ao encontrar qualquer multiplicação em um paper, escreva os shapes à margem antes de tentar entender o significado. Metade da compreensão vem daí."},{"u":"/modulo/m2#s5","t":"Leitura da fórmula em Shapes: a álgebra das dimensões","m":"M2","k":"fórmula","c":"Uma matriz m por n multiplicada por uma n por p resulta em uma matriz m por p. O n interno precisa coincidir e é consumido."},{"u":"/modulo/m2#s6","t":"Transformação linear: o que a matriz faz com o espaço","m":"M2","k":"seção","c":"A leitura mais profunda de uma matriz não é tabela de números, é função que transforma o espaço inteiro. Multiplicar todos os pontos de um quadrado por uma matriz produz um paralelogramo: o espaço foi esticado, girado ou espelhado, mas linhas retas continuam retas e a origem fica no lugar. Uma camada de rede neural é exatamente isso, uma transformação do espaço, seguida de uma função não linear que dobra o espaço de um jeito que a matriz sozinha não conseguiria. Empilhar camadas é empilhar transformações, e é dessa composição que sai a capacidade de representar relações complicadas. A animação do laboratório deste módulo mostra a transformação acontecendo. Mexa nos coeficientes e observe o que cada um faz ao quadrado unitário; é a forma mais rápida de transformar a definição em intuição."},{"u":"/modulo/m2","t":"Qual é a diferença real entre produto escalar e similaridade do cosseno?","m":"M2","k":"dúvida","c":"O produto escalar mistura duas informações em um número só: o ângulo entre os vetores e o comprimento de cada um. A similaridade do cosseno é esse mesmo produto escalar dividido pelo produto das normas, o que elimina os comprimentos e deixa apenas o ângulo. Na prática, o produto escalar cresce se você simplesmente alongar um dos vetores, enquanto o cosseno não muda. Por isso o cosseno é a métrica usada quando se quer comparar significado, e o produto escalar cru é o que aparece dentro da atenção, onde a magnitude também carrega informação."},{"u":"/modulo/m2","t":"Por que o produto escalar devolve um número só, e não um vetor?","m":"M2","k":"dúvida","c":"Porque a última operação da fórmula é uma soma. Você multiplica componente por componente, o que ainda produz uma lista, mas em seguida soma todos esses produtos, e uma soma de números é um número. O nome escalar vem exatamente daí: o resultado é uma grandeza sem direção, apenas magnitude e sinal. É por isso que uma célula de uma matriz produto guarda um único valor, mesmo tendo nascido de dois vetores inteiros."},{"u":"/modulo/m2","t":"A norma de um vetor pode dar negativa?","m":"M2","k":"dúvida","c":"Não. Cada componente entra elevada ao quadrado, e quadrado nunca é negativo, então a soma dentro da raiz é sempre maior ou igual a zero. A raiz quadrada dessa soma também é tomada como positiva. O único vetor com norma zero é o vetor de todas as componentes zero. Se você chegou a um número negativo, quase sempre foi por ter somado as componentes cruas em vez de somar os quadrados delas."},{"u":"/modulo/m2","t":"Preciso decorar a fórmula da norma para vetores de milhares de dimensões?","m":"M2","k":"dúvida","c":"A fórmula é a mesma, só com mais termos. Em duas dimensões você soma dois quadrados, em quatro mil e noventa e seis você soma quatro mil e noventa e seis quadrados, e o resto do procedimento não muda em nada. O que vale decorar é a estrutura, quadrados primeiro, soma depois, raiz por último. A conta em si nunca será feita à mão em dimensão alta, mas a leitura da notação sim, e é ela que este módulo cobra."},{"u":"/modulo/m2","t":"Se a similaridade do cosseno entre dois embeddings deu 0,02, isso é bom ou ruim?","m":"M2","k":"dúvida","c":"Não é bom nem ruim, é uma informação: significa que os vetores estão praticamente perpendiculares. Em um espaço de embeddings, isso quer dizer que não há relação semântica detectável entre os dois itens naquele espaço. Se você esperava que fossem parecidos, o valor indica que o modelo não enxerga essa semelhança. Para comparação, proximidade real costuma aparecer como cosseno claramente acima de zero, tendendo a um, e oposição aparece como valor negativo tendendo a menos um."},{"u":"/modulo/m2","t":"Por que a multiplicação de matrizes não é comutativa?","m":"M2","k":"dúvida","c":"Porque a definição não é simétrica: da matriz da esquerda se leem linhas e da matriz da direita se leem colunas. Ao trocar a ordem, você troca quem entra como linha e quem entra como coluna, e os produtos escalares passam a ser entre vetores diferentes. Com A de linhas (2, 0) e (1, 3) e B de linhas (1, 4) e (2, 5), a célula superior esquerda vale dois em uma ordem e seis na outra. Em muitos casos a inversão nem é definida, porque as dimensões internas deixam de bater."},{"u":"/modulo/m2","t":"Como eu sei rapidamente se uma multiplicação de matrizes é possível?","m":"M2","k":"dúvida","c":"Escreva os dois shapes lado a lado, na ordem em que aparecem, e olhe apenas para os dois números do meio. Se eles forem iguais, a operação existe e o resultado tem como shape os dois números das pontas. Se forem diferentes, a operação é indefinida e não há o que calcular. Uma matriz 4 por 8 vezes uma 8 por 2 funciona e devolve 4 por 2, enquanto a mesma 4 por 8 vezes uma 2 por 8 não funciona, porque oito não casa com dois."},{"u":"/modulo/m2","t":"O que quer dizer, na prática, um shape lote por sequência por dimensão do modelo?","m":"M2","k":"dúvida","c":"É a mesma regra de shapes com um eixo a mais na frente. O eixo de lote conta quantos exemplos estão sendo processados juntos, o de sequência conta quantos tokens tem cada exemplo, e o de dimensão do modelo conta quantos números descrevem cada token. Nas multiplicações, o eixo de lote costuma ficar parado enquanto os dois últimos seguem a regra usual, com a dimensão interna sendo consumida. Por isso multiplicar por uma projeção de dimensão do modelo por dimensão da chave produz lote por sequência por dimensão da chave."},{"u":"/modulo/m2","t":"Aquela história de rei menos homem mais mulher dar rainha é verdade?","m":"M2","k":"dúvida","c":"Funciona em modelos clássicos de embedding de palavras e serve muito bem para construir a imagem mental de que direções carregam significado. Em modelos de linguagem grandes contemporâneos, porém, os embeddings são contextuais, ou seja, mudam conforme a frase em que a palavra aparece, e essas relações deixam de ser tão limpas. Use a analogia para entender a geometria e desconfie dela como descrição literal do que acontece dentro de um modelo atual."},{"u":"/modulo/m2","t":"Por que normalizar os vetores antes de compará-los?","m":"M2","k":"dúvida","c":"Porque comprimento e direção carregam informações diferentes, e para comparar significado geralmente interessa só a direção. Um vetor pode ser longo apenas porque o texto era maior ou porque as ativações tinham escala alta, sem que isso diga nada sobre o conteúdo. Ao normalizar, todos os vetores passam a ter comprimento um e a comparação fica sendo puramente angular. Comparar vetores já normalizados por produto escalar é, aliás, exatamente a mesma coisa que calcular a similaridade do cosseno."},{"u":"/modulo/m2","t":"O que é uma transformação linear, em uma frase?","m":"M2","k":"dúvida","c":"É uma função que transforma o espaço inteiro esticando, girando ou espelhando, de modo que retas continuam retas e a origem permanece no lugar. Toda matriz representa uma dessas funções, e aplicar a matriz a um vetor é justamente perguntar para onde aquele ponto foi. A imagem canônica é o quadrado unitário virando um paralelogramo. Se você quiser um teste rápido, verifique se a origem ficou parada: se saiu do lugar, a transformação não é linear."},{"u":"/modulo/m2","t":"Se a matriz já transforma o espaço, para que serve a função não linear?","m":"M2","k":"dúvida","c":"Porque compor transformações lineares devolve outra transformação linear. Sem algo entre elas, empilhar oitenta camadas teria exatamente o mesmo poder de representação de uma única camada, o que tornaria a profundidade inútil. A função não linear dobra o espaço de um jeito que nenhuma matriz consegue sozinha, e é a alternância entre esticar e dobrar que permite representar relações complicadas. É por isso que toda arquitetura intercala multiplicação de matrizes com não linearidade."},{"u":"/modulo/m2","t":"Embedding e vetor são a mesma coisa?","m":"M2","k":"dúvida","c":"Todo embedding é um vetor, mas nem todo vetor é um embedding. Vetor é o objeto matemático, uma lista ordenada de números que também pode ser lida como uma seta. Embedding é o nome que se dá ao vetor quando ele foi produzido para representar alguma coisa, um token, uma frase, uma imagem, de modo que a posição no espaço carregue significado. A matemática é idêntica nos dois casos, o que muda é a interpretação."},{"u":"/modulo/m2","t":"Onde exatamente o produto escalar aparece dentro da atenção?","m":"M2","k":"dúvida","c":"No cálculo dos escores. Quando um token pergunta quais posições anteriores importam para ele, o modelo faz o produto escalar entre a consulta desse token e as chaves de todas as outras posições. Concordância alta entre consulta e chave produz escore alto, que depois vira atenção alta. Como isso é feito para todos os pares de posições de uma vez, o cálculo inteiro é escrito como uma multiplicação de matrizes, que nada mais é do que uma coleção organizada desses produtos escalares."},{"u":"/modulo/m2","t":"Como visualizar um vetor de quatro mil e noventa e seis dimensões?","m":"M2","k":"dúvida","c":"Não tente. Ninguém visualiza mais do que três dimensões, e a boa notícia é que não é preciso. Pense em duas ou três dimensões para construir a intuição de direção, comprimento e ângulo, e confie que todas as fórmulas continuam valendo com mais termos. O que muda em dimensão alta é apenas o número de parcelas nas somas, nunca a lógica da operação. A geometria mental de duas dimensões é uma bengala legítima, desde que você saiba que é uma bengala."},{"u":"/studio#tutor/m2-t1","t":"Norma e normalização do vetor (3; 4)","m":"M2","k":"trilho","c":"Considere o vetor de duas dimensões (3; 4), um embedding minúsculo. Vamos medir o comprimento dele e depois reduzi-lo a comprimento um, que é exatamente o que a normalização de camada faz com as ativações dentro de um Transformer. Este trilho mostrou que norma é comprimento e que normalizar é ficar só com a direção. Guarde a imagem: dentro de um Transformer, a normalização de camada faz esse mesmo movimento milhões de vezes para manter as ativações em escala estável."},{"u":"/studio#tutor/m2-t2","t":"Do produto escalar até a similaridade do cosseno","m":"M2","k":"trilho","c":"Sejam os vetores a igual a (2; −1; 3) e b igual a (0; 4; 1). Vamos calcular o produto escalar, as duas normas e, por fim, o cosseno do ângulo entre eles, que é a medida usada em busca vetorial. Você calculou as três peças da fórmula e viu por que o denominador existe: ele separa ângulo de comprimento. É essa separação que torna a similaridade do cosseno a métrica padrão de busca semântica."},{"u":"/studio#tutor/m2-t3","t":"Multiplicação de matrizes célula por célula","m":"M2","k":"trilho","c":"Seja A a matriz com linhas (2, 0) e (1, 3), e B a matriz com linhas (1, 4) e (2, 5). Vamos preencher as quatro células do produto A vezes B, uma de cada vez, e depois testar se a ordem dos fatores importa. As quatro células saíram de quatro produtos escalares, exatamente como diz a definição. E a última conta provou algo que vale para todo o resto da trilha: trocar a ordem dos fatores muda o resultado."},{"u":"/studio#tutor/m2-t4","t":"Rastrear shapes em uma cabeça de atenção","m":"M2","k":"trilho","c":"Uma sequência de 6 tokens é representada por uma matriz X de shape 6 por 8, com 8 sendo a dimensão do modelo. A projeção de consulta tem shape 8 por 4. Vamos seguir os shapes até a saída da atenção, sem calcular um único número. Você percorreu uma cabeça de atenção inteira sem calcular um número sequer, só com a regra de shapes. É esse o hábito que faz um paper ficar legível: anote os shapes à margem antes de tentar entender o significado."},{"u":"/studio#tutor/m2-t5","t":"O quadrado unitário sob uma matriz","m":"M2","k":"trilho","c":"Seja M a matriz com linhas (2, 0) e (0, 3). Vamos ver o que ela faz com o quadrado de lado um apoiado na origem, que é a forma mais rápida de enxergar uma matriz como transformação do espaço. Duas colunas da matriz bastaram para descrever o destino de todo o plano. Guarde a leitura: matriz não é tabela de números, é função que transforma o espaço inteiro, e a não linearidade é o que impede que empilhar camadas seja inútil."},{"u":"/modulo/m3#s0","t":"Derivada como taxa de variação","m":"M3","k":"seção","c":"A derivada de uma função em um ponto responde: se eu mexer um tiquinho na entrada, quanto muda a saída, e para que lado. É a inclinação da reta tangente ao gráfico naquele ponto. Três leituras do sinal resolvem a intuição. Derivada positiva significa que a função está subindo naquele ponto. Negativa, descendo. Zero, momentaneamente plana, o que acontece em picos, vales e platôs. Repare que a derivada não é a função e não é o valor, é uma direção com intensidade. Confundir os três é o erro mais comum de quem está começando."},{"u":"/modulo/m3#s0","t":"Leitura da fórmula em Derivada como taxa de variação","m":"M3","k":"fórmula","c":"A derivada de f em x é o limite, quando h tende a zero, da variação da saída dividida pela variação da entrada. Em português: a inclinação medida em um intervalo cada vez menor."},{"u":"/modulo/m3#s1","t":"As regras que você realmente vai usar","m":"M3","k":"seção","c":"Para os fins desta trilha, quatro regras bastam. A derivada de x elevado a n é n vezes x elevado a n menos um. A derivada de e elevado a x é ela mesma. A derivada do logaritmo natural de x é um sobre x. E a derivada de uma soma é a soma das derivadas. As duas do meio explicam por que exponencial e logaritmo dominam a matemática de redes neurais: elas têm derivadas simples, o que mantém o cálculo de gradientes barato mesmo em escala absurda."},{"u":"/modulo/m3#s1","t":"Leitura da fórmula em As regras que você realmente vai usar","m":"M3","k":"fórmula","c":"As três derivadas que aparecem em toda dedução de perda de modelo de linguagem."},{"u":"/modulo/m3#s1","t":"Derivada em um ponto","m":"M3","k":"exemplo","c":"Para f de x igual a x ao quadrado, a derivada é dois x. No ponto x igual a três, a derivada vale seis: naquele ponto, aumentar x em uma unidade minúscula aumenta f em aproximadamente seis vezes essa unidade. Em x igual a zero, a derivada é zero: o fundo da parábola."},{"u":"/modulo/m3#s2","t":"Gradiente: a derivada em muitas dimensões","m":"M3","k":"seção","c":"Quando a função depende de vários parâmetros, não há uma derivada só. Há uma derivada parcial por parâmetro, cada uma medindo o efeito de mexer naquele parâmetro mantendo os outros fixos. O gradiente, escrito com o símbolo nabla, ∇, é o vetor que junta todas essas derivadas parciais. E ele tem uma propriedade geométrica notável: aponta na direção de maior crescimento da função. Daí a receita do treino. Para diminuir a perda, ande na direção oposta à do gradiente. Este único fato é o motor de todo aprendizado profundo, e é por isso que a fórmula da atualização de parâmetros tem um sinal de menos."},{"u":"/modulo/m3#s2","t":"Leitura da fórmula em Gradiente: a derivada em muitas dimensões","m":"M3","k":"fórmula","c":"O gradiente da perda em relação a teta é o vetor de todas as derivadas parciais da perda em relação a cada parâmetro."},{"u":"/modulo/m3#s3","t":"Regra da cadeia: a ideia inteira do backpropagation","m":"M3","k":"seção","c":"Se uma quantidade depende de outra que depende de uma terceira, a taxa de variação total é o produto das taxas intermediárias. Formalmente, a derivada de uma composição é o produto das derivadas. Uma rede neural é uma composição gigantesca de funções: a saída da camada um alimenta a dois, que alimenta a três, e assim por diante até a perda. Para saber o efeito de um peso lá na primeira camada sobre a perda no final, a regra da cadeia diz que basta multiplicar as derivadas ao longo do caminho. Backpropagation é exatamente isso, com uma esperteza de engenharia: em vez de refazer o caminho inteiro para cada peso, o algoritmo percorre a rede uma única vez de trás para frente, reaproveitando os resultados parciais. É por isso que treinar é caro mas viável, e não impossível."},{"u":"/modulo/m3#s3","t":"Leitura da fórmula em Regra da cadeia: a ideia inteira do backpropagation","m":"M3","k":"fórmula","c":"A derivada de z em relação a x é a derivada de z em relação a y vezes a derivada de y em relação a x. As sensibilidades se multiplicam ao longo da cadeia."},{"u":"/modulo/m3#s3","t":"Cadeia de três elos","m":"M3","k":"exemplo","c":"Suponha que dobrar x dobre y, e que dobrar y triplique z. Então dobrar x multiplica z por seis. As taxas se multiplicam, não se somam. É a mesma lógica que governa a propagação de gradientes em uma rede de oitenta camadas."},{"u":"/modulo/m3#s4","t":"Descida do gradiente e o papel de alfa","m":"M3","k":"seção","c":"O algoritmo de treino, em uma linha: calcule o gradiente da perda, dê um passo na direção contrária, repita. O tamanho do passo é a taxa de aprendizado, α. Alfa grande demais faz o modelo saltar por cima do vale e oscilar sem convergir. Alfa pequeno demais faz o treino levar tempo inviável. Escolher e agendar alfa é uma das decisões mais consequentes do treino de um modelo, e é a razão de essa letra grega ser tão citada. A animação do laboratório deste módulo deixa isso visível: ajuste a taxa de aprendizado e observe a bolinha descer suavemente, saltar em zigue-zague ou escapar completamente do vale."},{"u":"/modulo/m3#s4","t":"Leitura da fórmula em Descida do gradiente e o papel de alfa","m":"M3","k":"fórmula","c":"Os parâmetros no passo seguinte são os atuais menos alfa vezes o gradiente da perda nos parâmetros atuais."},{"u":"/modulo/m3","t":"Derivada e inclinação são a mesma coisa?","m":"M3","k":"dúvida","c":"Sim, com um cuidado: a derivada em um ponto é a inclinação da reta tangente ao gráfico naquele ponto, e não a inclinação do gráfico inteiro. Como a inclinação costuma mudar de ponto para ponto, a derivada também muda, e por isso ela é uma função. O que se calcula quando se pede a derivada em x igual a três é o valor dessa função naquele lugar específico. Guarde a leitura do sinal: positiva significa subindo, negativa significa descendo, zero significa momentaneamente plana."},{"u":"/modulo/m3","t":"Se depois eu só uso as regrinhas, para que serve a definição com limite?","m":"M3","k":"dúvida","c":"A definição é o que dá sentido às regras. Ela mostra que a derivada nasce de medir a variação em um intervalo e ir encolhendo esse intervalo até o número parar de mudar. Sem essa imagem, a regra da potência vira decoreba e você perde a leitura de que derivada é taxa de variação, que é justamente a leitura que interessa no treino de um modelo. Na prática você vai usar as regras o tempo todo e a definição quase nunca, mas é a definição que explica por que as regras funcionam."},{"u":"/modulo/m3","t":"Qual a diferença entre derivada e derivada parcial?","m":"M3","k":"dúvida","c":"A derivada comum existe quando a função depende de uma única variável. Quando a função depende de vários parâmetros, cada um deles tem a sua derivada parcial, que mede o efeito de mexer naquele parâmetro mantendo todos os outros fixos. O símbolo muda para deixar isso explícito, e na prática o cálculo é o mesmo: você trata os outros parâmetros como constantes e deriva normalmente. O conjunto de todas as derivadas parciais forma o gradiente."},{"u":"/modulo/m3","t":"O que é aquele símbolo nabla que aparece na fórmula do gradiente?","m":"M3","k":"dúvida","c":"É o triângulo invertido que anuncia gradiente. Escrever nabla L de teta significa o vetor formado por todas as derivadas parciais de L em relação a cada um dos parâmetros. Ele não é uma conta a mais, é uma abreviação: sem esse símbolo, seria preciso escrever bilhões de derivadas parciais uma a uma. Sempre que você o encontrar em um paper, leia como sensibilidade da perda a cada parâmetro, reunida em um vetor."},{"u":"/modulo/m3","t":"Por que a atualização usa menos alfa vezes o gradiente, e não mais?","m":"M3","k":"dúvida","c":"Porque o gradiente aponta para onde a perda cresce mais rápido, e o objetivo do treino é fazer a perda cair. Andar no sentido contrário ao do gradiente é, por definição, andar na direção de descida mais íngreme. Se o sinal fosse de mais, o treino subiria a montanha em vez de descer o vale, e a perda aumentaria a cada passo. É um caso raro em que um único sinal na fórmula carrega a intenção inteira do algoritmo."},{"u":"/modulo/m3","t":"Como se escolhe a taxa de aprendizado na prática?","m":"M3","k":"dúvida","c":"Por tentativa informada, observando o comportamento da perda. Alfa grande demais faz o modelo saltar por cima do vale, e o sintoma é a perda oscilando ou disparando. Alfa pequeno demais faz a perda cair de forma tão lenta que o treino se torna inviável, e o sintoma é uma curva quase plana. Na prática também se agenda alfa, começando maior e reduzindo ao longo do treino, e essa é uma das decisões mais consequentes de todo o processo."},{"u":"/modulo/m3","t":"O que é o problema do gradiente que desaparece?","m":"M3","k":"dúvida","c":"É o efeito de multiplicar muitas derivadas menores que um ao longo de uma cadeia longa. Três elos de zero vírgula cinco já reduzem o efeito a zero vírgula cento e vinte e cinco, e dez elos o reduzem a menos de um milésimo. Em uma rede muito profunda, o sinal que deveria chegar às primeiras camadas chega praticamente apagado, e elas quase não aprendem. Conexões residuais e normalização existem em boa parte para atenuar exatamente esse encolhimento."},{"u":"/modulo/m3","t":"Backpropagation e regra da cadeia são a mesma coisa?","m":"M3","k":"dúvida","c":"A regra da cadeia é o fato matemático, e o backpropagation é a maneira eficiente de aplicá-lo. O fato diz que a derivada de uma composição é o produto das derivadas dos elos. A esperteza de engenharia está em não refazer o caminho inteiro para cada peso: o algoritmo percorre a rede uma única vez, de trás para frente, e reaproveita os resultados parciais que já calculou. É essa reutilização que torna o treino caro mas viável, em vez de impossível."},{"u":"/modulo/m3","t":"Se o gradiente deu zero, o treino acabou?","m":"M3","k":"dúvida","c":"Não necessariamente. Gradiente zero indica apenas um ponto estacionário, que pode ser um mínimo, um máximo ou um ponto de sela. Em qualquer um deles a atualização deixa de mover os parâmetros, porque o passo é alfa vezes zero. Ou seja, o treino para de se mexer, mas parar não é sinônimo de ter encontrado a melhor configuração possível. É por isso que se olha para o valor da perda, e não apenas para o gradiente."},{"u":"/modulo/m3","t":"Por que importa tanto que a derivada de e elevado a x seja ela mesma?","m":"M3","k":"dúvida","c":"Porque essa propriedade mantém o cálculo de gradientes barato. A exponencial e o logaritmo natural aparecem em toda a matemática de redes neurais, sobretudo na função de perda, e derivadas simples significam menos operações repetidas bilhões de vezes. Se essas funções tivessem derivadas complicadas, cada passo de treino custaria muito mais. Aí está boa parte da razão de elas dominarem as fórmulas que você vai encontrar nos papers."},{"u":"/modulo/m3","t":"Por que a derivada de uma constante é zero?","m":"M3","k":"dúvida","c":"Porque a derivada mede o quanto a saída muda quando a entrada varia um tiquinho, e um termo constante não muda nunca. O gráfico de uma constante é uma reta horizontal, e a inclinação de uma reta horizontal é zero. Na prática isso significa que constantes somadas desaparecem por completo na derivada, como o cinco em três x ao quadrado mais cinco. Repare que isso vale para constantes somadas, não para coeficientes que multiplicam, que permanecem na conta."},{"u":"/modulo/m3","t":"O que é um ponto de sela?","m":"M3","k":"dúvida","c":"É um ponto em que o gradiente se anula sem que ele seja mínimo nem máximo. A imagem que dá nome ao objeto é a de uma sela de cavalo: em uma direção o terreno sobe, em outra ele desce, e no ponto central a inclinação é zero. Para o treino isso é inconveniente, porque a atualização quase não move os parâmetros ali, mesmo havendo direções de descida por perto. Faz parte do grupo dos pontos estacionários, ao lado de mínimos e máximos."},{"u":"/modulo/m3","t":"Preciso calcular gradientes à mão para entender um modelo de linguagem?","m":"M3","k":"dúvida","c":"Calcular à mão em escala real, não. Nenhuma biblioteca vai pedir isso de você, e nenhum profissional deriva bilhões de parâmetros no papel. O que este módulo cobra é outra coisa: saber ler a notação, entender o que cada peça significa e conseguir seguir uma volta completa do laço em um exemplo pequeno. Fazer duas ou três contas curtas à mão é o que transforma a fórmula em intuição, e depois disso a máquina cuida do resto."},{"u":"/modulo/m3","t":"Por que a regra da cadeia multiplica em vez de somar?","m":"M3","k":"dúvida","c":"Porque as taxas se compõem, e compor taxas é multiplicar. Se dobrar x dobra y, e dobrar y triplica z, então dobrar x multiplica z por seis, não por cinco. Cada elo funciona como um fator de amplificação ou de redução do efeito que veio do elo anterior, e fatores se multiplicam. Somar só faria sentido se os caminhos fossem paralelos e independentes, o que não é o caso de uma composição em cadeia."},{"u":"/modulo/m3","t":"O que é exatamente a perda que aparece nessas fórmulas?","m":"M3","k":"dúvida","c":"É a quantidade que o treino tenta diminuir, escrita como L de teta para deixar claro que ela depende dos parâmetros do modelo. Cada configuração de parâmetros produz um valor de perda, e o conjunto de todos esses valores forma a paisagem em que a descida do gradiente caminha. Quando se diz que o modelo está aprendendo, o que se observa é esse número caindo ao longo dos passos. O gradiente é a bússola dessa paisagem, e alfa é o tamanho da passada."},{"u":"/studio#tutor/m3-t1","t":"A derivada por aproximação, com h encolhendo","m":"M3","k":"trilho","c":"Seja f de x igual a x ao quadrado, e o ponto x igual a 3. Vamos calcular a inclinação em intervalos cada vez menores e ver o número se estabilizar, que é exatamente o que a definição de derivada descreve. Você viu a definição funcionando: intervalo menor, inclinação mais precisa, até o número parar de mudar. É por isso que a derivada é chamada de taxa de variação instantânea, e é essa a ideia por trás de toda a regra que vem depois."},{"u":"/studio#tutor/m3-t2","t":"Derivar 3x ao quadrado mais 5 e ler o sinal","m":"M3","k":"trilho","c":"Seja f de x igual a 3x ao quadrado mais 5. Vamos aplicar a regra da potência termo a termo, avaliar a derivada em um ponto e interpretar o sinal do resultado. Três regras bastaram para derivar a função inteira, e o resultado foi lido como direção, não como número solto. Guardar essa leitura evita o erro mais comum de quem começa, que é confundir a derivada com o valor da função."},{"u":"/studio#tutor/m3-t3","t":"Gradiente de uma perda com dois parâmetros","m":"M3","k":"trilho","c":"Seja a perda L igual a teta um ao quadrado mais três vezes teta dois ao quadrado, avaliada no ponto em que teta um vale 2 e teta dois vale 1. Vamos montar o gradiente componente por componente e dar um passo de treino. Duas derivadas parciais formaram um vetor, o vetor apontou para o crescimento e o passo foi dado no sentido contrário. Esse ciclo, repetido bilhões de vezes com bilhões de parâmetros, é literalmente o treino de um modelo de linguagem."},{"u":"/studio#tutor/m3-t4","t":"Regra da cadeia com elos que se multiplicam","m":"M3","k":"trilho","c":"Uma cadeia de dependências tem três elos, cada um com derivada 0,5. Vamos calcular a derivada total, testar o que acontece quando os elos são maiores que um e depois esticar a cadeia até dez elos. A cadeia inteira coube em uma multiplicação, e foi a multiplicação que explicou por que profundidade é difícil. Backpropagation é essa mesma conta, feita de trás para frente uma única vez, reaproveitando os resultados parciais."},{"u":"/studio#tutor/m3-t5","t":"Uma volta completa de descida do gradiente","m":"M3","k":"trilho","c":"Seja a perda L de teta igual a teta ao quadrado, com teta partindo de 4 e taxa de aprendizado igual a 0,1. Vamos executar duas atualizações à mão e depois testar o efeito de um alfa grande demais. Duas voltas do laço bastaram para ver a perda cair e os passos encolherem sozinhos. E o teste final mostrou por que a escolha de alfa é uma das decisões mais consequentes do treino: o mesmo algoritmo converge ou oscila conforme esse único número."},{"u":"/modulo/m4#s0","t":"Distribuição de probabilidade","m":"M4","k":"seção","c":"Uma distribuição de probabilidade sobre um conjunto de opções é uma lista de números não negativos que soma exatamente um. Cada número diz o quanto aquela opção é provável. Um LLM, a cada passo, produz uma distribuição sobre todo o vocabulário, que costuma ter dezenas ou centenas de milhares de entradas. É essa a saída bruta do modelo: não um token, mas uma opinião completa sobre todos os tokens possíveis. Escolher qual token de fato sai dessa distribuição é uma decisão separada, e é onde temperatura, top-k e top-p entram. O modelo propõe, a estratégia de amostragem dispõe."},{"u":"/modulo/m4#s1","t":"Probabilidade condicional e o que um LLM realmente modela","m":"M4","k":"seção","c":"A notação P de A dado B, escrita com uma barra vertical, é a probabilidade de A acontecer sabendo que B aconteceu. É a operação mais importante do módulo. Um modelo de linguagem é, por definição, um estimador de P do próximo token dado todos os tokens anteriores. Nada mais. Toda a impressão de raciocínio, estilo e conhecimento emerge de repetir essa estimativa token após token. Isso explica um comportamento observado todo dia: mudar as primeiras palavras de um prompt muda tudo o que vem depois, porque tudo o que vem depois está condicionado nelas."},{"u":"/modulo/m4#s1","t":"Leitura da fórmula em Probabilidade condicional e o que um LLM realmente modela","m":"M4","k":"fórmula","c":"A probabilidade do token na posição t dado todos os tokens anteriores. Esta linha é a definição inteira do que um modelo de linguagem faz."},{"u":"/modulo/m4#s2","t":"Softmax: de logits para probabilidades","m":"M4","k":"seção","c":"A última camada do modelo produz logits, que são números reais quaisquer, positivos ou negativos, sem restrição. Eles medem preferência bruta, não probabilidade. O softmax faz a conversão em dois movimentos. Primeiro aplica exponencial a cada logit, o que torna todos positivos e amplifica as diferenças, porque a exponencial cresce muito mais rápido para valores maiores. Depois divide cada resultado pela soma de todos, o que força o total a valer exatamente um. O detalhe crucial é a amplificação. Uma diferença de dois pontos entre logits vira uma razão de aproximadamente sete vezes entre as probabilidades, porque e elevado a dois é cerca de 7,4. O softmax não preserva proporções, ele as exagera de forma controlada."},{"u":"/modulo/m4#s2","t":"Leitura da fórmula em Softmax: de logits para probabilidades","m":"M4","k":"fórmula","c":"O softmax do vetor z na posição i é e elevado a z índice i, dividido pela soma de e elevado a z índice j sobre todos os j."},{"u":"/modulo/m4#s2","t":"Softmax de três logits, à mão","m":"M4","k":"exemplo","c":"Logits 2,0, 1,0 e 0,1. Exponenciais: aproximadamente 7,39, 2,72 e 1,11. Soma: 11,22. Probabilidades: 0,659, 0,242 e 0,099. Confira que somam um. Repare que uma diferença de um ponto nos logits virou quase o triplo de probabilidade."},{"u":"/modulo/m4#s3","t":"Temperatura: dividir antes de exponenciar","m":"M4","k":"seção","c":"A temperatura, T, entra dividindo os logits antes do softmax. É uma única divisão, e ela reorganiza toda a distribuição. Com T menor que um, os logits são multiplicados por um fator maior que um, as diferenças aumentam, e a distribuição fica mais pontuda: o token mais provável domina ainda mais. Com T maior que um, os logits encolhem, as diferenças diminuem, e a distribuição achata: tokens improváveis ganham chance real. No limite de T tendendo a zero, a distribuição vira uma escolha determinística do maior logit. Por isso a palavra criatividade é enganosa. A temperatura não adiciona ideia nenhuma ao modelo. Ela apenas redistribui probabilidade das opções mais prováveis para as menos prováveis, e a impressão de originalidade vem de o modelo passar a escolher com mais frequência caminhos que ele mesmo considera menos prováveis."},{"u":"/modulo/m4#s3","t":"Leitura da fórmula em Temperatura: dividir antes de exponenciar","m":"M4","k":"fórmula","c":"O softmax com temperatura divide cada logit por T antes de exponenciar. T menor que um afia a distribuição, T maior que um a achata."},{"u":"/modulo/m4#s3","t":"Os mesmos logits, três temperaturas","m":"M4","k":"exemplo","c":"Logits 2,0, 1,0 e 0,1. Com T igual a 0,5, as probabilidades ficam aproximadamente 0,84, 0,11 e 0,05. Com T igual a 1, ficam 0,66, 0,24 e 0,10. Com T igual a 2, ficam 0,48, 0,29 e 0,23. O laboratório deste módulo deixa você mexer no controle e ver as barras responderem em tempo real."},{"u":"/modulo/m4#s4","t":"Top-k e top-p: cortar antes de sortear","m":"M4","k":"seção","c":"Temperatura deforma a distribuição inteira. Top-k e top-p fazem outra coisa: eles a truncam, eliminando opções antes do sorteio. Top-k mantém apenas os k tokens de maior probabilidade e renormaliza o que sobrou para somar um. É um corte de tamanho fixo, insensível ao formato da distribuição. Top-p, também chamado de amostragem por núcleo, ordena os tokens do mais para o menos provável e vai acumulando até a soma passar de p. Só esses entram no sorteio. É um corte adaptativo: quando o modelo está confiante, poucos tokens já ultrapassam p e o corte é agressivo; quando está incerto, muitos tokens são necessários e o corte é generoso. É por isso que top-p costuma ser preferido na prática. Ele respeita a confiança do próprio modelo em vez de impor um número fixo."},{"u":"/modulo/m4#s5","t":"Entropia, cross-entropy e perplexidade","m":"M4","k":"seção","c":"A entropia mede a incerteza de uma distribuição. É zero quando uma opção tem probabilidade um e todas as outras zero, e é máxima quando todas são igualmente prováveis. Em termos práticos: entropia alta significa que o modelo não sabe bem o que vem a seguir. A cross-entropy compara duas distribuições, a verdadeira e a prevista, e mede o custo de usar a prevista no lugar da verdadeira. É exatamente a função de perda usada para treinar modelos de linguagem: para cada posição, o modelo é penalizado pelo logaritmo negativo da probabilidade que atribuiu ao token que de fato apareceu. A perplexidade é a exponencial da cross-entropy média, e existe para dar uma leitura intuitiva. Uma perplexidade de dez significa que o modelo está, em média, tão incerto quanto alguém escolhendo entre dez opções igualmente prováveis. Quanto menor, melhor o modelo prevê o texto."},{"u":"/modulo/m4#s5","t":"Leitura da fórmula em Entropia, cross-entropy e perplexidade","m":"M4","k":"fórmula","c":"A entropia de p é menos o somatório de p índice i vezes o logaritmo de p índice i."},{"u":"/modulo/m4#s5","t":"Leitura da fórmula em Entropia, cross-entropy e perplexidade","m":"M4","k":"fórmula","c":"A cross-entropy é menos a soma do valor verdadeiro vezes o log do previsto, e a perplexidade é a exponencial dessa perda média."},{"u":"/modulo/m4","t":"Por que o softmax usa exponencial e não simplesmente divide cada logit pela soma dos logits?","m":"M4","k":"dúvida","c":"Por dois motivos práticos. Primeiro, logits podem ser negativos, e dividir números negativos pela soma produziria probabilidades negativas, o que não existe. Segundo, a exponencial amplifica diferenças de forma controlada, transformando uma vantagem de um ponto em um fator de aproximadamente 2,718 na probabilidade. Uma normalização linear preservaria as proporções originais, e o modelo perderia a capacidade de expressar confiança forte."},{"u":"/modulo/m4","t":"Temperatura zero é a mesma coisa que temperatura 0,01?","m":"M4","k":"dúvida","c":"Na prática quase sempre sim, mas não pela definição. Temperatura zero literal dividiria por zero, o que não está definido, então as bibliotecas tratam esse caso escolhendo diretamente o maior logit, comportamento chamado de greedy. Com 0,01 a fórmula continua valendo, só que as diferenças de logit são multiplicadas por cem e a probabilidade do favorito fica indistinguível de um. O resultado observável é o mesmo em quase todos os casos, mas o caminho matemático é diferente."},{"u":"/modulo/m4","t":"Se eu subir muito a temperatura, o modelo fica criativo mesmo?","m":"M4","k":"dúvida","c":"Ele fica menos previsível, o que não é a mesma coisa. A temperatura não acrescenta nenhuma ideia ao modelo, ela apenas transfere massa de probabilidade das opções que o modelo considera boas para as que ele considera ruins. O texto resultante tende a soar mais surpreendente porque caminhos improváveis passam a ser escolhidos com mais frequência, e a partir de certo ponto isso degrada em incoerência. O lema do módulo resume bem: temperatura não é criatividade, é achatamento."},{"u":"/modulo/m4","t":"Qual a diferença prática entre mexer na temperatura e mexer no top-p?","m":"M4","k":"dúvida","c":"Temperatura deforma a distribuição inteira sem eliminar ninguém: todos os tokens continuam podendo sair, com probabilidades redistribuídas. Top-p trunca, ou seja elimina candidatos antes do sorteio e renormaliza o que sobrou. Por isso os dois se combinam bem: a temperatura ajusta o quanto o modelo se compromete com o favorito, e o top-p garante que a cauda absurda nunca entre no sorteio, independentemente de como a distribuição foi deformada."},{"u":"/modulo/m4","t":"Por que top-p é chamado de amostragem por núcleo?","m":"M4","k":"dúvida","c":"Porque o conjunto de tokens que sobrevive ao corte é chamado de núcleo da distribuição: é o menor grupo de tokens de maior probabilidade cuja massa acumulada já ultrapassa o limiar p. O tamanho desse núcleo varia a cada passo de geração, conforme o modelo esteja mais ou menos confiante. O nome em inglês, nucleus sampling, vem do artigo que propôs a técnica."},{"u":"/modulo/m4","t":"Posso usar top-k e top-p ao mesmo tempo?","m":"M4","k":"dúvida","c":"Pode, e várias APIs aplicam os dois em sequência. O efeito é o de um teto duplo: o corte mais restritivo dos dois é o que vale naquele passo. Na prática, muita gente mantém top-k como uma trava de segurança larga, por exemplo cinquenta, e deixa o top-p fazer o trabalho fino. Vale conferir na documentação da API a ordem em que os cortes são aplicados, porque ela muda o resultado."},{"u":"/modulo/m4","t":"Logit é a mesma coisa que probabilidade?","m":"M4","k":"dúvida","c":"Não. Logit é um número real qualquer, positivo ou negativo, sem limite superior ou inferior, e mede preferência bruta. Probabilidade vive entre zero e um, e o conjunto delas precisa somar exatamente um. O softmax é a ponte entre as duas escalas. Uma consequência útil: somar a mesma constante a todos os logits não muda nenhuma probabilidade, porque a constante se cancela entre numerador e denominador."},{"u":"/modulo/m4","t":"O que significa dizer que o modelo estima a probabilidade do próximo token dado o contexto?","m":"M4","k":"dúvida","c":"Significa que, a cada passo, o modelo recebe a sequência inteira já escrita e devolve uma distribuição sobre todo o vocabulário, dizendo o quanto cada token possível se encaixa como continuação. Nada além disso é produzido pelo modelo. A impressão de raciocínio e estilo emerge de repetir essa estimativa token após token, sempre com a saída anterior incorporada ao condicionamento. É por isso que mudar as primeiras palavras de um prompt muda tudo o que vem depois."},{"u":"/modulo/m4","t":"Entropia alta é ruim?","m":"M4","k":"dúvida","c":"Depende de onde ela aparece. Entropia alta na distribuição de saída significa que o modelo está genuinamente indeciso naquela posição, o que é ruim se o texto exigia uma resposta única e certa, e perfeitamente saudável se a posição admite muitas continuações válidas. O que costuma ser realmente ruim é entropia baixa com o token errado, ou seja confiança alta em uma previsão equivocada, porque é exatamente isso que a perda penaliza com mais força."},{"u":"/modulo/m4","t":"Nats ou bits: qual base de logaritmo eu devo usar?","m":"M4","k":"dúvida","c":"As duas medem a mesma coisa em unidades diferentes, e a conversão é uma divisão por 0,693. Use logaritmo natural, ou nats, quando for calcular perplexidade com a exponencial natural, que é o padrão em modelos de linguagem. Use base dois, ou bits, quando quiser a leitura de quantas perguntas de sim ou não seriam necessárias, tradição mais comum na teoria da informação clássica. O importante é não misturar as duas na mesma conta."},{"u":"/modulo/m4","t":"Como a cross-entropy vira perda de treino na prática?","m":"M4","k":"dúvida","c":"Para cada posição do texto de treino existe um token que realmente apareceu. A distribuição verdadeira é então um vetor com um no lugar desse token e zero em todos os outros, e o somatório da cross-entropy colapsa em um único termo: menos o logaritmo da probabilidade que o modelo atribuiu ao token correto. A perda do lote é a média desses valores. Quanto mais probabilidade o modelo tiver dado ao token certo, menor a perda."},{"u":"/modulo/m4","t":"Perplexidade 20 é melhor ou pior que perplexidade 8?","m":"M4","k":"dúvida","c":"Pior. Perplexidade é a exponencial da cross-entropy média, e ela responde a uma pergunta: entre quantas opções igualmente prováveis o modelo está hesitando, em média. Vinte significa hesitação equivalente a vinte alternativas, oito significa hesitação equivalente a oito. Uma ressalva importante: perplexidade só é comparável entre modelos que usam o mesmo tokenizador e o mesmo conjunto de texto, porque mudar a tokenização muda o número sem que o modelo tenha melhorado."},{"u":"/modulo/m4","t":"Por que somar uma constante a todos os logits não muda nada?","m":"M4","k":"dúvida","c":"Porque a exponencial transforma soma em produto: somar c a cada logit multiplica cada exponencial pelo mesmo fator, e esse fator aparece tanto no numerador quanto no denominador, cancelando-se. Essa propriedade não é curiosidade, ela é usada em toda implementação séria: subtrai-se o maior logit de todos antes de exponenciar, para evitar que a exponencial estoure o limite numérico do computador. O resultado é idêntico e o cálculo fica estável."},{"u":"/modulo/m4","t":"Se dois logits são iguais, o que acontece com as probabilidades deles?","m":"M4","k":"dúvida","c":"Ficam exatamente iguais, porque o softmax depende apenas do valor de cada logit e do denominador comum, que é o mesmo para todos. Se todos os logits do vocabulário forem iguais, a distribuição vira uniforme e a entropia atinge o máximo possível para aquele tamanho de vocabulário. Esse é o estado de um modelo que não aprendeu nada: opinião nula sobre qual token vem a seguir."},{"u":"/modulo/m4","t":"Uma distribuição pode ter probabilidade exatamente zero em algum token?","m":"M4","k":"dúvida","c":"Pelo softmax puro, não. A exponencial de qualquer número real é sempre positiva, então todo token do vocabulário recebe alguma massa, por menor que seja. O zero só aparece de duas formas: por truncamento, quando top-k ou top-p descartam o token antes do sorteio, ou por máscara, quando o logit recebe menos infinito e a exponencial vai a zero. Guarde isso, porque a máscara causal do módulo seguinte usa exatamente esse mecanismo."},{"u":"/modulo/m4","t":"Como eu escolho temperatura e top-p para uma tarefa real?","m":"M4","k":"dúvida","c":"Comece pela pergunta de qual é o custo de uma saída inesperada. Para extração de dados, classificação e código, a saída certa é única, então temperatura baixa, perto de zero, e top-p apertado entregam previsibilidade. Para redação, brainstorm e variação de texto, uma temperatura perto de um com top-p em torno de 0,9 deixa o modelo transitar por caminhos alternativos sem cair na cauda absurda. Mexa em um parâmetro de cada vez, porque os efeitos se sobrepõem e ficam impossíveis de atribuir se mudarem juntos."},{"u":"/studio#tutor/m4-t1","t":"Softmax de três logits, do zero até a soma um","m":"M4","k":"trilho","c":"A última camada devolveu os logits 2,0, 1,0 e 0,1 para três tokens candidatos. Vamos converter esses três números em uma distribuição de probabilidade, uma operação de cada vez. Você transformou três números sem restrição em uma distribuição válida e viu, na razão final, o coração do softmax: diferença de logit vira fator multiplicativo entre probabilidades."},{"u":"/studio#tutor/m4-t2","t":"Os mesmos logits sob temperatura 0,5","m":"M4","k":"trilho","c":"Mantenha os logits 2,0, 1,0 e 0,1 e ligue a temperatura em 0,5. A única mudança é uma divisão antes da exponencial, e ela reorganiza a distribuição inteira. Uma única divisão antes da exponencial deslocou vinte pontos percentuais de massa para o token favorito. Nenhum logit foi alterado, e nenhuma informação nova entrou no modelo."},{"u":"/studio#tutor/m4-t3","t":"Entropia e perplexidade de uma distribuição pequena","m":"M4","k":"trilho","c":"Considere a distribuição 0,50, 0,25 e 0,25 sobre três opções. Vamos medir a incerteza dela em nats e traduzir o resultado para número equivalente de opções. Você mediu incerteza em nats e a traduziu para número de opções equivalentes. A distância entre 1,040 e o teto de 1,099 é exatamente o quanto essa distribuição sabe a mais do que o puro acaso."},{"u":"/studio#tutor/m4-t4","t":"Top-k e top-p sobre a mesma distribuição","m":"M4","k":"trilho","c":"Um modelo produziu, em ordem decrescente, as probabilidades 0,50, 0,25, 0,15, 0,07 e 0,03. Vamos aplicar os dois cortes sobre essa lista e comparar o que cada um deixa passar. Os dois cortes agiram sobre a mesma lista e produziram conjuntos diferentes. Top-k ignorou o formato da distribuição, top-p leu esse formato e ajustou o número de candidatos à confiança do modelo."},{"u":"/modulo/m5#s0","t":"Tokenização e o problema dos números fatiados","m":"M5","k":"seção","c":"Antes de qualquer matemática, o texto vira uma lista de inteiros. O tokenizador quebra a string em pedaços do vocabulário, que podem ser palavras inteiras, pedaços de palavra ou até bytes isolados, e troca cada pedaço pelo seu índice. Essa etapa parece administrativa e não é. Ela explica limitações reais. Um número como 1234 pode virar dois tokens, 12 e 34, ou três, dependendo do tokenizador. O modelo nunca vê o número como quantidade, vê símbolos arbitrários que precisou aprender a relacionar. É uma das raízes concretas de erros aritméticos. Também explica por que contar letras em uma palavra é difícil para um LLM: as letras individuais quase nunca são tokens separados, então a informação que a pergunta exige simplesmente não está disponível na representação de entrada."},{"u":"/modulo/m5#s1","t":"Embeddings e posição","m":"M5","k":"seção","c":"Cada índice de token é usado para buscar uma linha em uma matriz de embeddings. Essa linha é um vetor de dimensão d, tipicamente entre 768 e alguns milhares, e é a primeira representação numérica com significado do token. A operação é uma consulta em tabela, mas equivale matematicamente a multiplicar um vetor one-hot pela matriz de embeddings. Vale conhecer as duas leituras, porque papers usam a segunda. Como a atenção, por construção, não distingue ordem, a posição precisa ser injetada explicitamente. Modelos somam ou combinam uma codificação posicional ao embedding. Sem isso, gato mordeu cachorro e cachorro mordeu gato seriam entradas idênticas para o mecanismo de atenção."},{"u":"/modulo/m5#s1","t":"Leitura da fórmula em Embeddings e posição","m":"M5","k":"fórmula","c":"A representação da posição t é a linha da matriz de embeddings correspondente ao token, somada à codificação posicional daquela posição."},{"u":"/modulo/m5#s2","t":"Consultas, chaves e valores","m":"M5","k":"seção","c":"De cada vetor de entrada o modelo deriva três vetores diferentes, multiplicando por três matrizes de pesos aprendidas: W maiúsculo com subscrito Q, K e V. A analogia que funciona é a de uma busca. A consulta é o que este token está procurando. A chave é o que cada token oferece como rótulo de si mesmo. O valor é a informação que cada token entrega se for selecionado. Três papéis distintos, extraídos do mesmo vetor por três projeções diferentes. Nada disso é imposto por regra. As três matrizes são aprendidas no treino, e o modelo descobre sozinho que projeções tornam a busca útil."},{"u":"/modulo/m5#s2","t":"Leitura da fórmula em Consultas, chaves e valores","m":"M5","k":"fórmula","c":"Q, K e V são obtidos multiplicando a matriz de entradas X por três matrizes de pesos distintas e aprendidas."},{"u":"/modulo/m5#s3","t":"Atenção escalada: a fórmula inteira, agora entendida","m":"M5","k":"seção","c":"Q vezes K transposta calcula, de uma vez, o produto escalar entre toda consulta e toda chave. O resultado é uma matriz de pontuações: a célula da linha i e coluna j diz o quanto a posição i acha a posição j relevante. Você já sabe que produto escalar mede concordância de direção, e é exatamente isso que está sendo medido. A divisão pela raiz de d k existe por uma razão numérica precisa. Em dimensões altas, produtos escalares crescem em magnitude proporcionalmente à raiz da dimensão. Sem a divisão, as pontuações ficariam grandes demais, o softmax saturaria em praticamente zero ou um, e os gradientes desapareceriam. A raiz de d k mantém a escala em uma faixa onde o treino funciona. O softmax é aplicado linha a linha, transformando cada linha de pontuações em uma distribuição que soma um: os pesos de atenção. Por fim, multiplicar por V produz, para cada posição, uma média ponderada dos valores de todas as posições, com os pesos que acabaram de ser calculados. Em modelos causais existe ainda uma máscara: antes do softmax, todas as posições futuras recebem menos infinito, o que faz o softmax lhes atribuir probabilidade zero. É assim que o modelo é impedido de ver o que ainda não foi ger"},{"u":"/modulo/m5#s3","t":"Leitura da fórmula em Atenção escalada: a fórmula inteira, agora entendida","m":"M5","k":"fórmula","c":"Atenção é o softmax das pontuações escaladas, somadas à máscara causal, multiplicado pela matriz de valores."},{"u":"/modulo/m5#s3","t":"Uma linha de atenção, à mão","m":"M5","k":"exemplo","c":"Suponha três posições, com pontuações escaladas iguais a 2,0, 1,0 e 0,1 para a primeira consulta. O softmax dessa linha, que você já calculou no M4, dá 0,659, 0,242 e 0,099. A saída para essa posição é 0,659 vezes o valor da posição um, mais 0,242 vezes o da posição dois, mais 0,099 vezes o da posição três. Atenção é, literalmente, uma média ponderada."},{"u":"/modulo/m5#s4","t":"Múltiplas cabeças","m":"M5","k":"seção","c":"Em vez de uma atenção sobre a dimensão inteira, o modelo divide o espaço em h fatias e roda o mesmo procedimento em paralelo em cada uma, com matrizes Q, K e V próprias. Cada fatia é uma cabeça. A motivação é de capacidade. Uma única atenção precisa comprometer-se com um tipo de relação por posição. Com várias cabeças, uma pode acompanhar concordância gramatical, outra referência de pronomes, outra proximidade posicional, e assim por diante. As descobertas de interpretabilidade mostram que cabeças de fato se especializam, ainda que raramente de forma tão limpa quanto o exemplo sugere. As saídas das cabeças são concatenadas e passam por uma última projeção, W com subscrito O, que devolve o resultado à dimensão original do modelo."},{"u":"/modulo/m5#s5","t":"MLP: onde a informação é processada","m":"M5","k":"seção","c":"Depois da atenção vem um bloco totalmente conectado aplicado a cada posição independentemente: expande o vetor para uma dimensão maior, tipicamente quatro vezes maior, aplica uma não linearidade, e comprime de volta. Se a atenção é a etapa em que as posições conversam entre si, o MLP é a etapa em que cada posição pensa sozinha sobre o que acabou de receber. É também onde mora a maior parte dos parâmetros do modelo, e há evidência de interpretabilidade de que muito do conhecimento factual está armazenado ali."},{"u":"/modulo/m5#s5","t":"Leitura da fórmula em MLP: onde a informação é processada","m":"M5","k":"fórmula","c":"O MLP multiplica por uma matriz que expande, aplica a não linearidade g, e multiplica por outra matriz que comprime de volta."},{"u":"/modulo/m5#s6","t":"Normalização de camada e conexões residuais","m":"M5","k":"seção","c":"A normalização de camada recentra e reescala o vetor de ativações para média zero e desvio padrão um, e depois aplica dois parâmetros aprendidos de ganho e deslocamento. Serve para manter as ativações em uma faixa estável através de dezenas de camadas, sem o que o treino se torna instável. A conexão residual soma a entrada do bloco à sua saída. Parece um detalhe e é estrutural: garante um caminho direto para o gradiente atravessar a rede inteira sem ser multiplicado sucessivamente por derivadas pequenas. É o que torna possível treinar oitenta ou cem camadas empilhadas. Junte as duas e você tem a forma canônica de um bloco: x recebe x mais atenção da versão normalizada de x, e depois x recebe x mais MLP da versão normalizada de x."},{"u":"/modulo/m5#s6","t":"Leitura da fórmula em Normalização de camada e conexões residuais","m":"M5","k":"fórmula","c":"O bloco de Transformer moderno: normaliza, aplica a operação, soma de volta à entrada. Duas vezes, uma para atenção e uma para o MLP."},{"u":"/modulo/m5#s7","t":"Logits e a cabeça de saída","m":"M5","k":"seção","c":"Depois do último bloco, o vetor da última posição é multiplicado por uma matriz de saída de shape dimensão do modelo por tamanho do vocabulário. O resultado é um logit por token possível. Muitos modelos amarram essa matriz à matriz de embeddings de entrada, usando a transposta da mesma tabela. A leitura é bonita: prever o próximo token vira medir o produto escalar entre o estado final e o embedding de cada token candidato, ou seja, perguntar de qual token o estado atual mais se aproxima em direção. Sobre esses logits roda o softmax com temperatura, o corte por top-k ou top-p, e o sorteio. O token escolhido é anexado à sequência e o processo inteiro recomeça. Este é o fluxograma completo, do prompt ao token, que o projeto se propôs a tornar transparente."},{"u":"/modulo/m5#s7","t":"Leitura da fórmula em Logits e a cabeça de saída","m":"M5","k":"fórmula","c":"Os logits são o produto do estado final pela transposta da matriz de embeddings, e as probabilidades saem do softmax com temperatura."},{"u":"/modulo/m5","t":"Por que dividir pela raiz de dk e não pelo próprio dk?","m":"M5","k":"dúvida","c":"Porque o que cresce com a dimensão é o desvio padrão do produto escalar, e não a magnitude bruta dele. Se as coordenadas de q e k forem aproximadamente independentes e de variância um, a soma de d k produtos tem variância d k, logo desvio padrão igual à raiz de d k. Dividir por esse desvio devolve as pontuações a uma faixa de variância um, que é exatamente onde o softmax ainda tem gradiente útil. Dividir pelo próprio d k encolheria demais e achataria a distribuição de atenção."},{"u":"/modulo/m5","t":"A máscara causal é aplicada antes ou depois do softmax?","m":"M5","k":"dúvida","c":"Antes, e isso é essencial. A máscara soma menos infinito às posições futuras enquanto elas ainda são pontuações, e a exponencial de menos infinito vale zero, então o softmax atribui probabilidade zero a elas e ainda assim a linha soma um. Se você zerasse os pesos depois do softmax, a linha deixaria de somar um e seria preciso renormalizar na mão. Somar a máscara antes resolve as duas coisas de uma vez."},{"u":"/modulo/m5","t":"Se atenção é só uma média ponderada, de onde vem a inteligência do modelo?","m":"M5","k":"dúvida","c":"De três lugares que a média ponderada sozinha não mostra. Primeiro, os pesos não são fixos: eles são recalculados a cada posição e a cada entrada, a partir de projeções aprendidas. Segundo, o bloco se repete dezenas de vezes, e cada camada trabalha sobre o resultado da anterior. Terceiro, entre as atenções está o MLP, que é onde a maior parte dos parâmetros mora e onde a informação recolhida é de fato processada. A média ponderada é o mecanismo de transporte, não o modelo inteiro."},{"u":"/modulo/m5","t":"Qual a diferença entre chave e valor? Parecem a mesma informação.","m":"M5","k":"dúvida","c":"São projeções diferentes do mesmo vetor de entrada, e cumprem papéis que não se confundem. A chave existe para ser comparada com as consultas e decide o quanto aquela posição será atendida. O valor existe para ser entregue e decide o que aquela posição contribui quando é atendida. Separar as duas permite que uma posição seja fácil de encontrar por um critério e entregue conteúdo de outra natureza, e o modelo aprende essa separação sozinho durante o treino."},{"u":"/modulo/m5","t":"Cada cabeça de atenção realmente aprende uma coisa diferente?","m":"M5","k":"dúvida","c":"Em parte. Trabalhos de interpretabilidade encontram cabeças com comportamento reconhecível, por exemplo cabeças que acompanham o token anterior ou que ligam pronomes a seus antecedentes. Mas a especialização raramente é limpa: a mesma cabeça costuma participar de vários padrões, e um padrão costuma estar espalhado por várias cabeças. Trate os exemplos didáticos como ilustração do porquê de haver várias cabeças, e não como descrição fiel do que cada uma faz."},{"u":"/modulo/m5","t":"Por que concatenar as cabeças e ainda passar por uma projeção W com subscrito O?","m":"M5","k":"dúvida","c":"Por duas razões. A primeira é de forma: a concatenação devolve um vetor do tamanho da dimensão do modelo, mas ele é apenas a justaposição de fatias independentes, e a projeção final permite que informação de uma cabeça influencie coordenadas associadas a outra. A segunda é de aprendizado: sem essa matriz, o modelo não teria como ponderar a importância relativa das cabeças, e cada fatia entraria na conexão residual com o mesmo peso."},{"u":"/modulo/m5","t":"Por que o MLP expande a dimensão antes de comprimir de volta?","m":"M5","k":"dúvida","c":"Porque a não linearidade precisa de espaço para trabalhar. Em uma dimensão maior é possível separar padrões que ficariam sobrepostos no espaço original, e a compressão seguinte escolhe o que vale a pena manter. A expansão de quatro vezes é convenção empírica, não teorema: valores diferentes funcionam, e arquiteturas recentes ajustam esse fator junto com o tipo de não linearidade usada."},{"u":"/modulo/m5","t":"Normalização de camada e normalização de lote são a mesma coisa?","m":"M5","k":"dúvida","c":"Não. A normalização de camada calcula média e desvio padrão sobre as coordenadas de um único vetor, uma posição por vez, e por isso funciona igual em treino e em inferência e não depende de quantos exemplos há no lote. A normalização de lote calcula essas estatísticas sobre o lote inteiro, o que cria dependência entre exemplos e complica o uso em sequências de comprimento variável. Transformers usam normalização de camada justamente para evitar essa dependência."},{"u":"/modulo/m5","t":"O que muda entre normalizar antes ou depois do bloco?","m":"M5","k":"dúvida","c":"Muda a estabilidade do treino. Na forma que o módulo apresenta, a normalização acontece antes da operação e a soma residual recebe a saída direto, o que deixa um caminho totalmente livre para o gradiente atravessar a rede. Na forma original do artigo de 2017, a normalização vinha depois da soma, e treinar modelos muito profundos exigia aquecimento cuidadoso da taxa de aprendizado. A prática atual prefere normalizar antes, porque o treino fica mais tolerante."},{"u":"/modulo/m5","t":"Por que amarrar a matriz de saída à matriz de embeddings?","m":"M5","k":"dúvida","c":"Por economia e por coerência. Economia porque a tabela de embeddings costuma ser uma das maiores do modelo, e reutilizá-la na saída elimina uma segunda tabela do mesmo tamanho. Coerência porque a leitura fica limpa: prever o próximo token vira medir o produto escalar entre o estado final e o embedding de cada candidato, ou seja perguntar de qual token o estado atual mais se aproxima em direção. Nem todo modelo faz isso, mas é prática comum."},{"u":"/modulo/m5","t":"Por que os modelos erram contas simples se sabem tanta coisa?","m":"M5","k":"dúvida","c":"Uma das raízes está na tokenização. Um número como 1234 pode virar dois ou três tokens conforme o tokenizador, e nenhum desses pedaços carrega a noção de quantidade. O modelo aprendeu a relacionar símbolos que aparecem juntos, e não a executar um algoritmo posicional de soma. Some a isso o fato de que cada passo produz apenas uma distribuição sobre o próximo token, sem memória de trabalho separada, e fica claro por que contas longas quebram com facilidade."},{"u":"/modulo/m5","t":"Por que contar as letras de uma palavra é difícil para um LLM?","m":"M5","k":"dúvida","c":"Porque as letras individuais quase nunca são tokens separados. A palavra chega ao modelo como um ou dois pedaços, e a decomposição em caracteres simplesmente não está presente na representação de entrada. Para responder, o modelo precisa recuperar da memória de treino como aquele pedaço se soletra, o que é indireto e falível. É o mesmo problema de fundo dos erros de aritmética: a pergunta exige uma informação que a tokenização apagou."},{"u":"/modulo/m5","t":"O custo da atenção cresce com o quadrado do contexto. Isso é inevitável?","m":"M5","k":"dúvida","c":"É inevitável na forma exata apresentada no módulo, porque a matriz de pontuações compara todos os pares de posições e o número de pares cresce com o quadrado do comprimento. Existem alternativas que trocam exatidão por custo, por exemplo restringir cada posição a uma janela local, atender a um subconjunto esparso de posições ou aproximar o produto por métodos de baixa dimensão. Todas mudam o que é calculado, então a fórmula deste módulo continua sendo a referência do que está sendo aproximado."},{"u":"/modulo/m5","t":"A conexão residual não estraga o resultado ao somar a entrada crua na saída?","m":"M5","k":"dúvida","c":"Não, e o motivo é que o bloco não precisa produzir a saída inteira: ele produz apenas a correção a ser somada. Isso torna a identidade fácil de representar, porque basta o bloco devolver algo próximo de zero para a informação atravessar intacta. O ganho decisivo aparece no gradiente, que encontra um caminho direto até as camadas iniciais sem ser multiplicado sucessivamente por derivadas pequenas. É essa soma aparentemente ingênua que viabiliza dezenas de camadas empilhadas."},{"u":"/modulo/m5","t":"Onde exatamente entram temperatura e top-p no fluxo do Transformer?","m":"M5","k":"dúvida","c":"Bem no final, depois de tudo o que o módulo descreve. O modelo termina o último bloco, projeta o estado final na matriz de saída e produz um logit por token do vocabulário. Só então a temperatura divide esses logits, o softmax os converte em probabilidades, o corte por top-k ou top-p descarta candidatos e o sorteio escolhe um token. Nada disso faz parte do modelo: são decisões de amostragem aplicadas sobre a saída dele, e é por isso que dá para mudá-las sem retreinar nada."},{"u":"/modulo/m5","t":"Depois de escolher um token, o modelo recalcula tudo do zero?","m":"M5","k":"dúvida","c":"Conceitualmente sim: o token escolhido é anexado à sequência e o processo inteiro recomeça com um contexto uma posição maior. Na prática, as implementações guardam as chaves e os valores já calculados das posições anteriores, porque eles não mudam quando um token novo entra no final. Assim, cada passo novo calcula apenas a consulta, a chave e o valor da posição recém acrescentada, e reaproveita o resto. O resultado é idêntico, só que muito mais barato."},{"u":"/studio#tutor/m5-t1","t":"Uma linha inteira de atenção, calculada à mão","m":"M5","k":"trilho","c":"Três posições, dimensão de chave igual a quatro. A consulta da primeira posição é q igual a (2, 1, 1, 1). As chaves são k1 igual a (1, 2, 0, 0), k2 igual a (0, 1, 1, 0) e k3 igual a (0; 0; 0; 0,2). Os valores são v1 igual a (2, 0), v2 igual a (0, 4) e v3 igual a (1, 1). Vamos percorrer a fórmula inteira, do produto escalar até a média ponderada. Você percorreu a fórmula inteira da atenção sem pular nenhuma etapa: produto escalar, escala pela raiz de d k, softmax e média ponderada dos valores. Tudo o que um Transformer faz nessa camada é repetir esse cálculo para cada linha e para cada cabeça."},{"u":"/studio#tutor/m5-t2","t":"Da string ao vetor de entrada","m":"M5","k":"trilho","c":"Considere um modelo com vocabulário de 50 000 tokens e dimensão d igual a 768. Vamos acompanhar o que acontece antes de o primeiro bloco começar a trabalhar. Antes de qualquer atenção acontecer, o texto já virou uma tabela de números com posição embutida. Duas decisões de projeto, a tabela de embeddings e a codificação posicional, definem tudo o que o modelo pode enxergar."},{"u":"/studio#tutor/m5-t3","t":"Formas e custos de Q, K e V","m":"M5","k":"trilho","c":"Um modelo com d igual a 768 projeta cada posição em consultas, chaves e valores de dimensão d k igual a 64. A sequência tem 12 tokens. Vamos contar parâmetros e células para entender de onde vem o custo da atenção. As três projeções custam parâmetros que não dependem do comprimento do texto, mas a matriz de pontuações cresce com o quadrado desse comprimento. Essa assimetria é a explicação inteira de por que janelas de contexto longas são caras."},{"u":"/studio#tutor/m5-t4","t":"O bloco por dentro: MLP, normalização e residual","m":"M5","k":"trilho","c":"Ainda com d igual a 768 e expansão de quatro vezes no MLP, vamos contar os parâmetros do bloco e depois normalizar um vetor pequeno à mão para ver o que a normalização de camada realmente faz. O bloco tem duas metades com papéis opostos: o MLP concentra a maior parte dos parâmetros e processa cada posição sozinha, enquanto a normalização e a conexão residual não carregam quase nenhum parâmetro e existem só para que o treino continue possível camada após camada."},{"u":"/studio#tutor/m5-t5","t":"Do estado final ao token escolhido","m":"M5","k":"trilho","c":"Um modelo de brinquedo tem dimensão três e vocabulário de três tokens. O estado final da última posição é h igual a (1, 2, menos 1). Os embeddings dos tokens são eA igual a (2, 1, 0), eB igual a (0, 1, 1) e eC igual a (1, 0, 1). Vamos fechar o caminho até o token de saída. Você fechou o caminho completo: do estado final saem logits por produto escalar com os embeddings, do softmax com temperatura sai a distribuição, e do logaritmo dessa distribuição sai o sinal que treinou o modelo em primeiro lugar."},{"u":"/modulo/m6#s0","t":"A função de perda, na prática","m":"M6","k":"seção","c":"Durante o treino, o modelo recebe um trecho de texto real e tenta prever cada token a partir dos anteriores. Para cada posição, compara-se a distribuição prevista com a verdade, que é uma distribuição concentrada inteiramente no token que de fato apareceu. A cross-entropy, nesse caso particular, colapsa em algo muito simples: a perda daquela posição é apenas menos o logaritmo da probabilidade que o modelo deu ao token correto. Se deu 0,9, a perda é 0,105. Se deu 0,01, a perda é 4,6. A perda total é a média sobre todas as posições do lote. É uma métrica honesta e cruel: o modelo é punido pelo logaritmo, então errar com muita confiança custa desproporcionalmente caro."},{"u":"/modulo/m6#s0","t":"Leitura da fórmula em A função de perda, na prática","m":"M6","k":"fórmula","c":"A perda é a média, sobre todas as posições, do logaritmo negativo da probabilidade atribuída ao token correto."},{"u":"/modulo/m6#s1","t":"Backpropagation ponta a ponta","m":"M6","k":"seção","c":"Com a perda calculada, a pergunta passa a ser: qual a sensibilidade da perda em relação a cada um dos parâmetros. A resposta vem da regra da cadeia aplicada da saída para a entrada. O procedimento tem duas passagens. Na passagem para frente, a entrada atravessa todas as camadas e cada resultado intermediário é guardado. Na passagem para trás, começa-se com a derivada da perda em relação à saída e propaga-se camada a camada, multiplicando pelas derivadas locais e reaproveitando os valores guardados. O custo de memória dessa segunda passagem é a razão de treinar exigir muito mais memória do que rodar o modelo. Em inferência, nada precisa ser guardado para trás."},{"u":"/modulo/m6#s2","t":"Otimizador, lote e época","m":"M6","k":"seção","c":"Calcular o gradiente sobre o conjunto inteiro de treino a cada passo seria proibitivo. Na prática usa-se um lote, um subconjunto aleatório, e o gradiente estimado nele. Daí o nome descida estocástica do gradiente: estocástico porque o lote é sorteado. O otimizador usado quase universalmente hoje é o Adam, que mantém médias móveis do gradiente e do seu quadrado para ajustar automaticamente o passo de cada parâmetro. Na prática, parâmetros com gradientes historicamente grandes recebem passos menores, e vice-versa. Uma época é uma passagem completa pelos dados. Modelos de linguagem grandes frequentemente treinam por menos de uma época sobre corpora gigantescos, o que muda a intuição herdada de aprendizado de máquina clássico."},{"u":"/modulo/m6#s3","t":"Inferência: o laço autorregressivo","m":"M6","k":"seção","c":"Quando você manda um prompt, nenhum parâmetro muda. O modelo é uma função fixa, e o que acontece é um laço. Primeiro, todo o prompt passa pelo modelo de uma vez, etapa chamada de preenchimento, e produz um logit para a próxima posição. Escolhido o token, ele é anexado à sequência e o modelo roda de novo, agora com um token a mais. E assim por diante, um token por iteração, até um limite ou até o token de parada. Duas consequências práticas. A geração é sequencial por natureza, e é por isso que respostas longas demoram proporcionalmente ao número de tokens. E o custo de contexto é real: como a atenção compara cada posição com todas as outras, dobrar o contexto mais do que dobra o trabalho da atenção. Uma otimização importante: como as chaves e valores das posições anteriores não mudam, eles são guardados em um cache. Isso evita recalcular tudo a cada token e é a razão de o segundo token sair muito mais rápido que o primeiro."},{"u":"/modulo/m6#s4","t":"O papel do acaso","m":"M6","k":"seção","c":"Com temperatura zero e escolha do maior logit, o modelo é determinístico, e o mesmo prompt tende a produzir a mesma saída, ressalvadas diferenças de hardware e paralelismo que podem alterar arredondamentos. Com temperatura acima de zero, há sorteio, e cada execução pode divergir. Um único token diferente no início muda o condicionamento de tudo que vem depois, e as saídas se separam rapidamente. Isso responde a uma pergunta comum: o modelo não está sendo inconsistente nem mudando de opinião. Ele está amostrando de uma distribuição que ele mesmo considera plausível, e você está vendo amostras diferentes do mesmo objeto."},{"u":"/modulo/m6","t":"A conversa que eu tenho hoje com o modelo treina ele de alguma forma?","m":"M6","k":"dúvida","c":"Não. Inferência não altera parâmetro nenhum: o modelo é uma função fixa enquanto responde. O que muda o comportamento dentro de uma conversa é o contexto, ou seja, o texto que já está na janela e volta a ser lido a cada iteração. Assim que a conversa termina, esse contexto some e o modelo continua exatamente como estava. Treinar é outro procedimento, feito antes, com perda, gradiente e otimizador."},{"u":"/modulo/m6","t":"Por que a mesma pergunta me dá respostas diferentes em execuções diferentes?","m":"M6","k":"dúvida","c":"Porque com temperatura acima de zero o token de cada posição é sorteado, e não simplesmente o mais provável. Um único token diferente logo no início muda o condicionamento de tudo o que vem depois, e as duas trajetórias se afastam de forma composta. O modelo não está sendo inconsistente nem mudando de opinião: você está vendo amostras diferentes da mesma distribuição. Com temperatura zero e escolha do maior logit, a saída tende a se repetir."},{"u":"/modulo/m6","t":"Qual é a diferença prática entre lote e época?","m":"M6","k":"dúvida","c":"O lote é o subconjunto sorteado de exemplos usado em um único passo de atualização dos pesos. A época é uma passagem completa por todo o conjunto de dados. Dividindo o número de exemplos pelo tamanho do lote você obtém quantas atualizações acontecem em uma época. São grandezas de níveis diferentes: uma conta o que o modelo vê por passo, a outra conta quantas voltas ele deu nos dados."},{"u":"/modulo/m6","t":"Por que treinar exige tanta memória de GPU e rodar o modelo não exige?","m":"M6","k":"dúvida","c":"Porque o backpropagation tem duas passagens. Na ida, cada camada produz um resultado intermediário que precisa ficar guardado, já que a volta vai multiplicar pelas derivadas locais e reaproveitar exatamente esses valores. Com dezenas de camadas, essas ativações se acumulam. Em inferência não existe volta, então cada camada descarta o que já usou assim que passa o resultado adiante."},{"u":"/modulo/m6","t":"Por que a perda usa logaritmo em vez de medir simplesmente o quanto errou?","m":"M6","k":"dúvida","c":"Porque o logaritmo pune de forma desproporcional a confiança equivocada. Dar 0,9 ao token correto custa 0,105, dar 0,25 custa 1,386 e dar 0,01 custa 4,605. Uma medida linear trataria esses três casos como quase equivalentes, e o treino não teria pressão para corrigir justamente os erros mais graves. Além disso, o logaritmo transforma produtos de probabilidades ao longo da sequência em somas, o que torna a conta estável."},{"u":"/modulo/m6","t":"Se a perda é uma média, uma única posição muito errada estraga o lote inteiro?","m":"M6","k":"dúvida","c":"Ela domina, e isso é intencional. Como a perda cresce sem limite quando a probabilidade do token correto se aproxima de zero, uma posição catastrófica pode responder sozinha pela maior parte da média. No exemplo do trilho, uma posição de 4,605 pesa mais que as outras duas somadas. O efeito prático é que o gradiente aponta preferencialmente para corrigir os erros confiantes, que é o comportamento desejado."},{"u":"/modulo/m6","t":"O que o Adam faz de diferente da descida do gradiente simples?","m":"M6","k":"dúvida","c":"A descida simples aplica o mesmo passo a todos os parâmetros. O Adam mantém duas médias móveis por parâmetro, uma do gradiente e outra do quadrado do gradiente, e usa a segunda para dimensionar o passo individualmente. Na prática, parâmetros com gradientes historicamente grandes recebem passos menores e parâmetros com gradientes pequenos recebem passos maiores. É por isso que ele exige menos ajuste manual de taxa de aprendizado."},{"u":"/modulo/m6","t":"Por que o primeiro token demora bem mais que os seguintes?","m":"M6","k":"dúvida","c":"Porque o primeiro token vem do preenchimento, a etapa em que o prompt inteiro atravessa o modelo de uma vez. Todos os tokens do prompt precisam ter as suas projeções calculadas nessa rodada. A partir do segundo token, as chaves e valores das posições anteriores já estão no cache e só a posição nova precisa ser processada. Daí a diferença de tempo entre a primeira e as demais iterações."},{"u":"/modulo/m6","t":"O que exatamente o cache de chaves e valores guarda?","m":"M6","k":"dúvida","c":"Guarda as projeções de chave e de valor já calculadas para cada posição anterior da sequência. Como essas projeções não mudam quando um token novo é anexado ao final, recalculá-las a cada iteração seria repetir trabalho idêntico. O cache troca memória por tempo: ocupa espaço proporcional ao comprimento do contexto e economiza a maior parte do cálculo em cada iteração seguinte."},{"u":"/modulo/m6","t":"Dobrar o tamanho do contexto dobra o custo de rodar o modelo?","m":"M6","k":"dúvida","c":"Mais do que dobra, por causa da atenção. Como cada posição é comparada com todas as outras, o número de comparações cresce com o quadrado do número de posições. Dobrar o contexto multiplica por quatro o trabalho dessa parte, e quadruplicar multiplica por dezesseis. As demais partes do bloco crescem de forma linear, então o custo total fica entre o linear e o quadrático, mas a atenção é quem manda quando o contexto é longo."},{"u":"/modulo/m6","t":"Temperatura zero garante que eu receba exatamente a mesma saída sempre?","m":"M6","k":"dúvida","c":"Garante a mesma saída em teoria, porque a escolha do maior logit não envolve sorteio. Na prática existe uma ressalva honesta: diferenças de hardware, de ordem de paralelismo e de arredondamento em ponto flutuante podem alterar qual logit é o maior quando dois estão muito próximos. Isso é raro, mas acontece. Temperatura zero remove o acaso do sorteio, não o ruído numérico da máquina."},{"u":"/modulo/m6","t":"Modelos grandes treinam por quantas épocas?","m":"M6","k":"dúvida","c":"Frequentemente por menos de uma época, o que costuma surpreender quem vem do aprendizado de máquina clássico. Quando o corpus é gigantesco, uma única passagem já consome todo o orçamento de cálculo disponível, e o modelo pode nem ver o mesmo trecho duas vezes. Isso muda a intuição sobre memorização e sobre repetir dados: aqui, o risco de decorar um exemplo específico é diferente do risco em conjuntos pequenos revisitados dezenas de vezes."},{"u":"/modulo/m6","t":"O que são a passagem para frente e a passagem para trás, em uma frase cada?","m":"M6","k":"dúvida","c":"A passagem para frente leva a entrada por todas as camadas até a saída, calculando a perda e guardando cada resultado intermediário. A passagem para trás começa na derivada da perda em relação à saída e caminha camada a camada no sentido inverso, multiplicando pelas derivadas locais até obter a sensibilidade da perda em relação a cada parâmetro. A primeira produz o resultado, a segunda produz o gradiente."},{"u":"/modulo/m6","t":"Se eu corrigir o modelo no meio da conversa, ele guarda essa correção para depois?","m":"M6","k":"dúvida","c":"Dentro da mesma conversa, sim, porque a correção passa a fazer parte do contexto e volta a ser lida a cada iteração do laço. Fora dela, não. Nenhum peso foi alterado, então uma conversa nova começa sem qualquer traço da correção anterior. Se você precisa que um ajuste persista, ele tem que ser reintroduzido no contexto, por instrução de sistema ou por outro mecanismo externo ao modelo."},{"u":"/modulo/m6","t":"Por que respostas longas demoram proporcionalmente ao seu tamanho?","m":"M6","k":"dúvida","c":"Porque a geração é sequencial por natureza. Cada iteração do laço produz um token, esse token é anexado à sequência e só então o modelo roda de novo. Não há como produzir o décimo token sem ter produzido o nono, já que ele condiciona o cálculo. O tempo total é, portanto, o preenchimento somado ao custo por token multiplicado pelo número de tokens gerados."},{"u":"/studio#tutor/m6-t1","t":"Da probabilidade do token correto até a perda do lote","m":"M6","k":"trilho","c":"Um lote minúsculo, de apenas três posições. O modelo atribuiu ao token correto as probabilidades 0,25, depois 0,9 e depois 0,01. Vamos transformar isso em perda. Este trilho mostrou que a perda não é uma medida de acerto ou erro, e sim de confiança calibrada. Uma única posição errada com convicção domina a média de todo um lote."},{"u":"/studio#tutor/m6-t2","t":"Por que treinar pesa mais na memória do que inferir","m":"M6","k":"trilho","c":"Um modelo com 40 camadas, cada uma produzindo uma ativação intermediária de 8 megabytes por exemplo. Vamos comparar o que o treino precisa guardar com o que a inferência precisa guardar. Treinar e inferir usam a mesma rede, mas não o mesmo algoritmo. A memória do treino cresce com a profundidade porque a volta precisa dos valores da ida."},{"u":"/studio#tutor/m6-t3","t":"Lote, época e a contagem de passos de atualização","m":"M6","k":"trilho","c":"Um conjunto de treino com 12.000 exemplos e um lote de 32 exemplos por passo. Vamos contar quantas vezes os pesos mudam. Lote e época contam coisas diferentes: um mede o quanto se vê por atualização, o outro mede quantas voltas se dá nos dados. Confundir os dois desorganiza qualquer leitura de curva de treino."},{"u":"/studio#tutor/m6-t4","t":"O custo real do laço autorregressivo","m":"M6","k":"trilho","c":"Um prompt de 200 tokens e uma resposta de 50 tokens. O preenchimento leva 300 milissegundos e cada token seguinte leva 20 milissegundos. A inferência é um laço, não um cálculo único. Tempo de resposta, custo de contexto e o efeito do cache saem todos dessa mesma estrutura sequencial."},{"u":"/studio#tutor/m6-t5","t":"Por que duas execuções do mesmo prompt se separam","m":"M6","k":"trilho","c":"Suponha que, com a temperatura escolhida, a chance de duas execuções sortearem o mesmo token em uma dada posição seja 0,9. Vamos ver o que acontece ao longo da resposta. A divergência entre execuções é composta: cada sorteio muda o condicionamento de tudo o que vem depois. Determinismo e variação são escolhas de procedimento, não traços de personalidade do modelo."},{"u":"/modulo/m7#s0","t":"O que é interpretabilidade e por que ela é necessária","m":"M7","k":"seção","c":"Conhecer a arquitetura de um Transformer não é o mesmo que saber o que um modelo treinado faz. A arquitetura define o formato do cálculo; o treino preenche bilhões de parâmetros com estratégias que ninguém projetou e que precisam ser descobertas depois, por investigação. A analogia usada pela própria Anthropic é biológica: o modelo é cultivado, não construído, e estudar seus mecanismos internos se parece mais com microscopia do que com leitura de código-fonte. A linha de pesquisa que faz isso é a interpretabilidade, e ela desenvolveu ferramentas para rastrear quais circuitos internos se ativam durante uma resposta específica. Para o seu objetivo como usuário avançado, esse é o material mais valioso que existe. Ele substitui suposições sobre o comportamento do modelo por evidência sobre o mecanismo."},{"u":"/modulo/m7#s1","t":"Caminhos paralelos na aritmética","m":"M7","k":"seção","c":"O caso mais didático documentado pela Anthropic é uma soma simples, 36 mais 59. Rastreando os circuitos internos, os pesquisadores encontraram não um algoritmo, mas dois caminhos rodando ao mesmo tempo. Um caminho é aproximado: estima grosseiramente a magnitude do resultado, algo como perto de noventa e cinco. O outro é preciso e estreito: calcula com exatidão o último dígito da soma. Os dois se combinam no final para produzir a resposta correta. Nada nessa estratégia se parece com o algoritmo escolar de somar coluna por coluna com transporte. O modelo inventou um método próprio, adequado à maquinaria de que dispõe, e ninguém o ensinou a fazer assim."},{"u":"/modulo/m7#s2","t":"A racionalização depois do fato","m":"M7","k":"seção","c":"O achado seguinte é o mais importante para quem usa modelos profissionalmente. Perguntado sobre como chegou ao resultado, o modelo descreve o algoritmo escolar, com unidades, dezenas e transporte. Ou seja, descreve um método que ele demonstravelmente não usou. A explicação não é mentira no sentido intencional. O modelo aprendeu, dos textos humanos, como se explica uma soma, e essa explicação é o que ele produz quando o pedido é explicar. O circuito que calcula e o circuito que explica são diferentes. A consequência prática é direta e vale para muito além de aritmética: a explicação que um modelo dá do próprio raciocínio é uma saída gerada como qualquer outra, não um registro de execução. Ela pode ser fiel, e frequentemente é útil, mas não é auditoria. Trate raciocínio verbalizado como evidência fraca sobre o processo interno, e verifique conclusões pelo resultado, não pela narrativa."},{"u":"/modulo/m7#s3","t":"Planejamento antecipado e espaço conceitual compartilhado","m":"M7","k":"seção","c":"Dois outros achados da mesma linha de pesquisa reorganizam a intuição comum. O primeiro: ao escrever versos com rima, o modelo ativa candidatos de palavra final antes de começar a linha, e depois constrói a frase para chegar até eles. Isso contraria a imagem do modelo como puro previsor míope de um token por vez; há planejamento em algum horizonte. O segundo: os mesmos circuitos internos se ativam para um conceito independentemente do idioma em que a pergunta é feita. Há indício de um espaço conceitual compartilhado entre línguas, com a tradução para o idioma de saída acontecendo em uma etapa posterior. É por isso que conhecimento adquirido em um idioma transfere para outro. Ambos os achados justificam a mesma postura: a previsão do próximo token é a interface de treino, não a descrição completa da computação interna."},{"u":"/modulo/m7#s4","t":"Por que modelos erram contas, em quatro razões concretas","m":"M7","k":"seção","c":"Primeira razão, a tokenização. Números são fatiados em pedaços arbitrários e o modelo nunca vê quantidade, vê símbolos. Já detalhado no M5, e é a raiz mais concreta. Segunda razão, a ausência de laço. Uma passagem pelo modelo tem profundidade fixa, um número fixo de camadas. Algoritmos exatos com muitos passos, como multiplicação longa, exigiriam iteração que a arquitetura não oferece dentro de uma única passagem. É por isso que escrever o raciocínio passo a passo ajuda de verdade: o texto gerado vira a memória de trabalho externa que a arquitetura não tem. Terceira razão, a natureza dos caminhos encontrados. Estratégias aproximadas funcionam bem na faixa de números que apareceu com frequência no treino e degradam fora dela. Números grandes ou incomuns caem justamente nessa borda. Quarta razão, a amostragem. Mesmo com o cálculo interno correto, temperatura acima de zero pode sortear um token de dígito diferente. Para tarefas exatas, temperatura baixa é decisão técnica, não estilística. Regra operacional que decorre disso: para aritmética que importa, peça o passo a passo, use temperatura baixa e prefira que o modelo chame uma ferramenta de cálculo em vez de calcular internamente."},{"u":"/modulo/m7#s5","t":"Síntese: o fluxograma completo","m":"M7","k":"seção","c":"A prova final do projeto é narrar este caminho sem consultar nada. Ele tem onze etapas, e você já viu cada uma delas. O texto entra e é fatiado pelo tokenizador em índices inteiros. Cada índice busca uma linha na matriz de embeddings, produzindo um vetor de dimensão d. A codificação posicional é somada para que a ordem exista. O vetor entra no primeiro bloco, onde é normalizado e projetado em consulta, chave e valor por três matrizes aprendidas. As pontuações de atenção saem do produto escalar entre consultas e chaves, escaladas pela raiz de d k e mascaradas para o futuro. O softmax converte cada linha de pontuações em pesos que somam um, e esses pesos produzem uma média ponderada dos valores. O resultado é somado de volta à entrada pela conexão residual. O MLP processa cada posição isoladamente, expandindo, aplicando não linearidade e comprimindo, com nova conexão residual. Esse bloco se repete dezenas de vezes. Ao final, o estado da última posição é multiplicado pela matriz de saída, produzindo um logit por token do vocabulário. O softmax com temperatura transforma logits em probabilidades, top-k ou top-p corta a cauda, e um token é sorteado. O token é anexado à sequência e tudo "},{"u":"/modulo/m7","t":"Se eu já conheço a arquitetura do Transformer, para que serve a interpretabilidade?","m":"M7","k":"dúvida","c":"Porque a arquitetura define apenas o formato do cálculo, e não as estratégias que o treino colocou dentro dos parâmetros. Saber que existem matrizes de consulta, chave e valor não diz qual método o modelo usa para somar dois números. Essas estratégias emergem do treino, ninguém as projetou, e só aparecem quando alguém vai investigar os circuitos internos de um modelo em funcionamento. A interpretabilidade substitui suposição sobre comportamento por evidência sobre mecanismo."},{"u":"/modulo/m7","t":"Posso confiar na explicação passo a passo que o modelo dá do próprio raciocínio?","m":"M7","k":"dúvida","c":"Como texto útil, muitas vezes sim. Como registro do que aconteceu por dentro, não. A explicação é uma saída gerada pelos mesmos mecanismos de previsão que produzem qualquer outro texto, aprendida de como humanos explicam esse tipo de coisa. Ela pode ser fiel, e frequentemente ajuda a organizar a resposta, mas não é auditoria. Verifique conclusões pelo resultado, não pela narrativa que as acompanha."},{"u":"/modulo/m7","t":"Quando o modelo explica errado como fez a conta, ele está mentindo?","m":"M7","k":"dúvida","c":"Não no sentido intencional. Ele aprendeu, dos textos humanos, como se explica uma soma, e é exatamente isso que produz quando o pedido é explicar. O circuito que calcula e o circuito que explica são distintos, então a descrição pode não corresponder ao processo sem que exista qualquer intenção de enganar. O nome adequado para o fenômeno é racionalização: uma justificativa plausível construída depois do fato."},{"u":"/modulo/m7","t":"Quais são os dois caminhos que a pesquisa encontrou na soma 36 mais 59?","m":"M7","k":"dúvida","c":"Um caminho aproximado, que estima grosseiramente a magnitude do resultado, algo perto de noventa e cinco, e um caminho preciso e estreito, que calcula com exatidão o último dígito da soma. Os dois rodam ao mesmo tempo e se combinam no final para produzir a resposta correta. Nada nisso lembra o algoritmo escolar de somar coluna por coluna com transporte: o modelo montou um método próprio, adequado à maquinaria de que dispõe."},{"u":"/modulo/m7","t":"Se o modelo só prevê o próximo token, como ele pode planejar alguma coisa?","m":"M7","k":"dúvida","c":"A previsão do próximo token é o objetivo de treino, não a descrição completa da computação interna. Ao escrever versos com rima, o modelo ativa candidatos de palavra final antes de começar a linha e constrói a frase em direção a eles. Isso é planejamento em algum horizonte, ainda que a saída seja emitida um token por vez. Objetivo de treino e mecanismo interno são coisas diferentes, e confundir os dois é a origem de boa parte das intuições erradas sobre esses modelos."},{"u":"/modulo/m7","t":"Perguntar em português dá uma resposta pior do que perguntar em inglês?","m":"M7","k":"dúvida","c":"Não pela razão que costumam supor. A pesquisa encontrou indício de um espaço conceitual compartilhado entre línguas: os mesmos circuitos internos se ativam para um conceito independentemente do idioma da pergunta, e a tradução para a língua de saída acontece em uma etapa posterior. É por isso que conhecimento adquirido em um idioma transfere para outro. Diferenças de qualidade, quando existem, vêm da quantidade de material de cada língua no treino, não de o modelo pensar em uma língua específica."},{"u":"/modulo/m7","t":"Por que modelos tão capazes erram contas que uma calculadora de bolso acerta?","m":"M7","k":"dúvida","c":"Por quatro razões concretas. A tokenização fatia números em pedaços arbitrários, então o modelo nunca vê quantidade, vê símbolos. A passagem tem profundidade fixa e não tem laço interno, o que impede algoritmos exatos de muitos passos dentro de uma única passagem. As estratégias internas são aproximadas e degradam fora da faixa de números frequente no treino. E a amostragem pode sortear um dígito diferente mesmo com o cálculo interno correto. As três primeiras são estruturais, a quarta é de procedimento."},{"u":"/modulo/m7","t":"Por que pedir o passo a passo melhora tanto o resultado em contas?","m":"M7","k":"dúvida","c":"Porque a arquitetura não tem laço interno nem memória de trabalho dentro de uma passagem: a profundidade é fixa. Ao escrever o raciocínio, o modelo transforma o próprio texto gerado em memória de trabalho externa, já que ele volta como contexto na iteração seguinte. Cada passo escrito condiciona o próximo, e o algoritmo de muitos passos que não cabia em uma passagem passa a caber ao longo de várias. É por isso que a melhora é real, e não estilística."},{"u":"/modulo/m7","t":"Qual temperatura devo usar quando peço cálculo ao modelo?","m":"M7","k":"dúvida","c":"Baixa, próxima de zero. Dígitos são tokens como quaisquer outros e passam pelo mesmo sorteio da amostragem, de modo que um cálculo interno correto ainda pode ser arruinado na saída. Em tarefas exatas, temperatura baixa é decisão técnica e não escolha de estilo. Em tarefas em que várias saídas são igualmente aceitáveis, como escrita criativa, a lógica se inverte."},{"u":"/modulo/m7","t":"Devo deixar o modelo calcular ou pedir que ele use uma ferramenta?","m":"M7","k":"dúvida","c":"Para aritmética que importa, prefira a ferramenta. A regra operacional que decorre do módulo tem três partes: peça o passo a passo, use temperatura baixa e prefira que o modelo chame uma ferramenta de cálculo em vez de calcular internamente. Cada parte ataca uma razão diferente da lista de erros. A terceira é a mais eficaz, porque simplesmente retira a conta de um mecanismo que não foi construído para fazer aritmética exata."},{"u":"/modulo/m7","t":"O que quer dizer que o modelo é cultivado e não construído?","m":"M7","k":"dúvida","c":"É a analogia usada pela própria linha de pesquisa. A arquitetura é projetada, mas os bilhões de parâmetros são preenchidos pelo treino, com estratégias que ninguém escreveu e que precisam ser descobertas depois. Estudar os mecanismos internos se parece mais com microscopia do que com leitura de código-fonte: você observa um sistema que cresceu, e não um sistema cujas regras alguém redigiu linha a linha."},{"u":"/modulo/m7","t":"Cadeia de pensamento serve como auditoria do que o modelo fez por dentro?","m":"M7","k":"dúvida","c":"Não. Auditoria pressupõe um registro de execução, e o modelo não produz registro nenhum: ele produz texto. A cadeia de pensamento é gerada pelo mesmo mecanismo de previsão que gera a resposta final, e o caso da soma mostra que ela pode descrever com fluência um método que não foi usado. Trate-a como evidência fraca sobre o processo interno, útil para organizar o trabalho e para você encontrar erros de premissa, mas não como prova."},{"u":"/modulo/m7","t":"Quais são as onze etapas do fluxograma completo, na ordem?","m":"M7","k":"dúvida","c":"Tokenização em índices inteiros, busca da linha na matriz de embeddings, soma da codificação posicional, normalização e projeção em consulta, chave e valor, pontuações de atenção por produto escalar escaladas pela raiz de d k e mascaradas, softmax por linha gerando pesos que somam um, média ponderada dos valores, conexão residual, MLP com nova residual, repetição do bloco por dezenas de vezes seguida da projeção final para logits, e por fim softmax com temperatura, corte por top-k ou top-p, sorteio, anexação e recomeço. Conseguir narrar isso sem consultar é a prova final da trilha."},{"u":"/modulo/m7","t":"Qual a diferença entre o softmax da atenção e o softmax do final?","m":"M7","k":"dúvida","c":"São a mesma operação matemática aplicada a coisas diferentes. Na atenção, ele age sobre cada linha da matriz de pontuações e produz pesos que somam um, usados para promediar os vetores de valor das posições. No final, ele age sobre os logits do vocabulário e produz a distribuição de probabilidade da qual o próximo token será sorteado. Só o segundo recebe temperatura, e só o segundo é seguido de corte da cauda e sorteio."},{"u":"/modulo/m7","t":"O que é um circuito interno, nesse contexto de interpretabilidade?","m":"M7","k":"dúvida","c":"É um conjunto identificável de componentes internos que trabalham juntos para cumprir uma função específica durante uma resposta, como estimar a magnitude de uma soma ou representar um conceito antes da escolha do idioma de saída. As ferramentas de interpretabilidade rastreiam quais desses conjuntos se ativam em cada caso concreto. É por isso que se pode afirmar que o circuito que calcula e o circuito que explica são distintos: eles foram observados separadamente."},{"u":"/studio#tutor/m7-t1","t":"Os dois caminhos internos da soma 36 mais 59","m":"M7","k":"trilho","c":"O caso mais didático documentado pela interpretabilidade é uma soma de dois números de dois dígitos. Vamos separar o que a conta pede do que os circuitos internos de fato fizeram. O modelo chega ao resultado certo por um caminho que ninguém projetou e que não corresponde a nenhum algoritmo ensinado. Saber a arquitetura não bastava para prever isso."},{"u":"/studio#tutor/m7-t2","t":"Racionalização: o que o modelo diz que fez","m":"M7","k":"trilho","c":"Feita a soma, pergunta-se ao modelo como ele chegou ao resultado. A resposta que ele dá é o achado mais importante deste módulo para quem usa modelos profissionalmente. O que o modelo faz e o que o modelo diz que faz são coisas diferentes, e o módulo mostra o caso em que isso foi medido. A explicação continua útil, mas mudou de categoria: deixou de ser prova."},{"u":"/studio#tutor/m7-t3","t":"Planejamento, idiomas e as quatro raízes do erro de conta","m":"M7","k":"trilho","c":"Dois achados que reorganizam a intuição comum e, em seguida, as razões concretas pelas quais modelos erram aritmética. Ao final, a regra operacional que decorre de tudo isso. Planejamento e transferência entre idiomas mostram que a previsão do próximo token é a interface de treino, não a descrição da computação. E os erros de conta têm causas nomeáveis, três estruturais e uma de procedimento."},{"u":"/studio#tutor/m7-t4","t":"As onze etapas do fluxograma completo, do texto ao token sorteado","m":"M7","k":"trilho","c":"A prova final do projeto é narrar o caminho inteiro sem consultar nada. São onze etapas, agrupadas aqui em blocos de duas para conferência. Considere um modelo com 32 blocos. Do texto de entrada ao token sorteado, são onze etapas e nenhuma delas é misteriosa. Quando você conseguir narrar isso em voz alta, com suas palavras, o Projeto Axioma cumpriu o que prometeu."},{"u":"/glossario","t":"alfa","m":"M3","k":"símbolo","c":"α Taxa de aprendizado, o tamanho do passo do otimizador. Também nível de significância em estatística."},{"u":"/glossario","t":"beta","m":"M6","k":"símbolo","c":"β Coeficientes de médias móveis no otimizador Adam, escritos como beta um e beta dois. Também coeficientes de regressão."},{"u":"/glossario","t":"gama","m":"M5","k":"símbolo","c":"γ Fator de desconto em aprendizado por reforço e parâmetro de ganho na normalização de camada."},{"u":"/glossario","t":"delta","m":"M3","k":"símbolo","c":"δ Variação pequena de uma quantidade. Em backpropagation, o erro propagado de uma camada."},{"u":"/glossario","t":"delta maiúsculo","m":"M3","k":"símbolo","c":"Δ Variação de uma quantidade entre dois estados, como diferença de perda entre dois passos."},{"u":"/glossario","t":"épsilon","m":"M5","k":"símbolo","c":"ε Constante minúscula somada a denominadores para evitar divisão por zero. Aparece dentro da normalização de camada e do Adam."},{"u":"/glossario","t":"zeta","m":"geral","k":"símbolo","c":"ζ Uso raro em aprendizado de máquina; aparece em funções especiais e em variáveis auxiliares."},{"u":"/glossario","t":"eta","m":"M3","k":"símbolo","c":"η Taxa de aprendizado, alternativa a alfa. Papers de otimização preferem eta."},{"u":"/glossario","t":"teta","m":"M0","k":"símbolo","c":"θ O conjunto de todos os parâmetros do modelo. O símbolo mais importante da trilha."},{"u":"/glossario","t":"iota","m":"geral","k":"símbolo","c":"ι Praticamente não usado, por confundir-se visualmente com o índice i."},{"u":"/glossario","t":"capa","m":"geral","k":"símbolo","c":"κ Número de condição de uma matriz e, ocasionalmente, um parâmetro de concentração."},{"u":"/glossario","t":"lambda","m":"M2","k":"símbolo","c":"λ Peso de um termo de regularização. Também autovalor de uma matriz e taxa de uma distribuição de Poisson."},{"u":"/glossario","t":"mi","m":"M4","k":"símbolo","c":"μ Média de uma distribuição. Aparece na normalização de camada como a média das ativações."},{"u":"/glossario","t":"ni","m":"geral","k":"símbolo","c":"ν Graus de liberdade em estatística. Uso raro em textos de LLM."},{"u":"/glossario","t":"csi","m":"geral","k":"símbolo","c":"ξ Variável auxiliar ou ruído, dependendo da convenção do paper."},{"u":"/glossario","t":"pi","m":"geral","k":"símbolo","c":"π A constante 3,14159 e, em aprendizado por reforço, a política do agente."},{"u":"/glossario","t":"pi maiúsculo","m":"M0","k":"símbolo","c":"Π Produtório: multiplique todos os termos. Aparece na verossimilhança de uma sequência."},{"u":"/glossario","t":"rô","m":"geral","k":"símbolo","c":"ρ Correlação entre duas variáveis e taxa de decaimento em alguns otimizadores."},{"u":"/glossario","t":"sigma","m":"M1","k":"símbolo","c":"σ Desvio padrão em estatística e função sigmoide em redes neurais. O contexto desfaz a ambiguidade."},{"u":"/glossario","t":"sigma maiúsculo","m":"M0","k":"símbolo","c":"Σ Somatório: some todos os termos. Também matriz de covariância, em maiúscula e negrito."},{"u":"/glossario","t":"tau","m":"M4","k":"símbolo","c":"τ Temperatura da distribuição, alternativa a T. Também constante de tempo."},{"u":"/glossario","t":"fi","m":"geral","k":"símbolo","c":"φ Uma função de transformação de atributos, ou o mapa de características de um kernel."},{"u":"/glossario","t":"qui","m":"geral","k":"símbolo","c":"χ Distribuição qui-quadrado, usada em testes estatísticos."},{"u":"/glossario","t":"psi","m":"geral","k":"símbolo","c":"ψ Função auxiliar em derivações matemáticas."},{"u":"/glossario","t":"ômega","m":"M5","k":"símbolo","c":"ω Um peso individual ou uma frequência angular em codificação posicional senoidal."},{"u":"/glossario","t":"ômega maiúsculo","m":"M4","k":"símbolo","c":"Ω O espaço amostral em probabilidade e a notação de complexidade assintótica inferior."},{"u":"/glossario","t":"nabla","m":"M3","k":"símbolo","c":"∇ Gradiente: o vetor de todas as derivadas parciais. Aponta na direção de maior crescimento."},{"u":"/glossario","t":"del","m":"M3","k":"símbolo","c":"∂ Derivada parcial: a variação em relação a uma variável, com as demais mantidas fixas."},{"u":"/glossario","t":"pertence a","m":"M0","k":"símbolo","c":"∈ Indica que um elemento pertence a um conjunto. Ler x ∈ ℝᵈ como x é um vetor de d números reais."},{"u":"/glossario","t":"erre maiúsculo vazado","m":"M0","k":"símbolo","c":"ℝ O conjunto dos números reais. Com expoente, o conjunto dos vetores daquela dimensão."},{"u":"/glossario","t":"norma","m":"M2","k":"símbolo","c":"‖·‖ O comprimento de um vetor, calculado como a raiz da soma dos quadrados das componentes."},{"u":"/glossario","t":"produto escalar","m":"M2","k":"símbolo","c":"· Multiplica componente a componente e soma tudo. Mede concordância de direção entre vetores."},{"u":"/glossario","t":"transposta","m":"M2","k":"símbolo","c":"ᵀ Gira a matriz trocando linhas por colunas. Aparece em QKᵀ na fórmula da atenção."},{"u":"/glossario","t":"barra de condicional","m":"M4","k":"símbolo","c":"| Lê-se dado que. P(A | B) é a probabilidade de A sabendo que B ocorreu."},{"u":"/glossario","t":"argumento do máximo","m":"M4","k":"símbolo","c":"argmax Devolve a posição de maior valor, não o valor. É a escolha determinística de token com temperatura zero."},{"u":"/glossario","t":"x","m":"M0","k":"símbolo","c":"x A entrada do modelo. Em negrito ou com seta, um vetor."},{"u":"/glossario","t":"y","m":"M0","k":"símbolo","c":"y A saída verdadeira, o alvo que o modelo deveria produzir."},{"u":"/glossario","t":"y chapéu","m":"M0","k":"símbolo","c":"ŷ A previsão do modelo. O acento circunflexo sempre marca estimativa."},{"u":"/glossario","t":"W","m":"M2","k":"símbolo","c":"W Uma matriz de pesos aprendida. Com subscritos Q, K, V ou O em textos de Transformer."},{"u":"/glossario","t":"b","m":"M2","k":"símbolo","c":"b O viés, um vetor somado após a multiplicação por pesos."},{"u":"/glossario","t":"h","m":"M5","k":"símbolo","c":"h O estado oculto, a representação interna em alguma camada. Com sobrescrito entre parênteses, indica a camada."},{"u":"/glossario","t":"d","m":"M2","k":"símbolo","c":"d A dimensão de um vetor. Com subscrito k ou model, a dimensão das chaves ou do modelo."},{"u":"/glossario","t":"n","m":"M0","k":"símbolo","c":"n Número de exemplos, ou comprimento da sequência em textos de Transformer."},{"u":"/glossario","t":"k","m":"M4","k":"símbolo","c":"k Uma contagem ou recorte, como em top-k. Também índice de somatório."},{"u":"/glossario","t":"i, j","m":"M0","k":"símbolo","c":"i, j Índices de posição. Em matrizes, i é a linha e j é a coluna."},{"u":"/glossario","t":"t","m":"M4","k":"símbolo","c":"t O passo de tempo, ou a posição na sequência de tokens."},{"u":"/glossario","t":"L","m":"M3","k":"símbolo","c":"L A função de perda. Também o número de camadas, dependendo do contexto."},{"u":"/glossario","t":"T","m":"M4","k":"símbolo","c":"T A temperatura da amostragem. Como sobrescrito, indica transposta."},{"u":"/glossario","t":"Q, K, V","m":"M5","k":"símbolo","c":"Q, K, V Consulta, chave e valor. As três projeções da entrada que alimentam a atenção."},{"u":"/glossario","t":"E","m":"M5","k":"símbolo","c":"E A matriz de embeddings. Também o operador de esperança matemática, em contextos de probabilidade."},{"u":"/glossario","t":"e","m":"M1","k":"símbolo","c":"e O número de Euler, aproximadamente 2,71828, base do logaritmo natural e da exponencial."},{"u":"/glossario","t":"logaritmo","m":"M1","k":"símbolo","c":"log Sem base escrita, significa logaritmo natural em aprendizado de máquina. Transforma produto em soma."}]