# M4. Probabilidade e informação
> Temperatura não é criatividade, é achatamento.
**Duração prevista:** 5 semanas. **Filme:** 9 minutos de animação narrada em https://llms.newortho.com.br/movimento#m4
Distribuições, softmax, temperatura, top-k, top-p, entropia e perplexidade. O módulo que converte parâmetros de API em objetos matemáticos que você entende de verdade.
**Por que este módulo existe.** Este é o módulo de retorno imediato. Ao terminá-lo, todo parâmetro que você mexe em uma chamada de API deixa de ser tentativa e erro e passa a ser uma decisão sobre a forma de uma distribuição de probabilidade.

## 1. Distribuição de probabilidade
Uma distribuição de probabilidade sobre um conjunto de opções é uma lista de números não negativos que soma exatamente um. Cada número diz o quanto aquela opção é provável.
Um LLM, a cada passo, produz uma distribuição sobre todo o vocabulário, que costuma ter dezenas ou centenas de milhares de entradas. É essa a saída bruta do modelo: não um token, mas uma opinião completa sobre todos os tokens possíveis.
Escolher qual token de fato sai dessa distribuição é uma decisão separada, e é onde temperatura, top-k e top-p entram. O modelo propõe, a estratégia de amostragem dispõe.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m4-s0.webm) (narração em voz humana)

## 2. Probabilidade condicional e o que um LLM realmente modela
A notação P de A dado B, escrita com uma barra vertical, é a probabilidade de A acontecer sabendo que B aconteceu. É a operação mais importante do módulo.
Um modelo de linguagem é, por definição, um estimador de P do próximo token dado todos os tokens anteriores. Nada mais. Toda a impressão de raciocínio, estilo e conhecimento emerge de repetir essa estimativa token após token.
Isso explica um comportamento observado todo dia: mudar as primeiras palavras de um prompt muda tudo o que vem depois, porque tudo o que vem depois está condicionado nelas.

$$
P(w_t \mid w_1, w_2, \ldots, w_{t-1})
$$
*Leitura:* A probabilidade do token na posição t dado todos os tokens anteriores. Esta linha é a definição inteira do que um modelo de linguagem faz.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m4-s1.webm) (narração em voz humana)

## 3. Softmax: de logits para probabilidades
A última camada do modelo produz logits, que são números reais quaisquer, positivos ou negativos, sem restrição. Eles medem preferência bruta, não probabilidade.
O softmax faz a conversão em dois movimentos. Primeiro aplica exponencial a cada logit, o que torna todos positivos e amplifica as diferenças, porque a exponencial cresce muito mais rápido para valores maiores. Depois divide cada resultado pela soma de todos, o que força o total a valer exatamente um.
O detalhe crucial é a amplificação. Uma diferença de dois pontos entre logits vira uma razão de aproximadamente sete vezes entre as probabilidades, porque e elevado a dois é cerca de 7,4. O softmax não preserva proporções, ele as exagera de forma controlada.

$$
\operatorname{softmax}(z)_i = \frac{e^{z_i}}{\sum_{j} e^{z_j}}
$$
*Leitura:* O softmax do vetor z na posição i é e elevado a z índice i, dividido pela soma de e elevado a z índice j sobre todos os j.

**Exemplo, Softmax de três logits, à mão.** Logits 2,0, 1,0 e 0,1. Exponenciais: aproximadamente 7,39, 2,72 e 1,11. Soma: 11,22. Probabilidades: 0,659, 0,242 e 0,099. Confira que somam um. Repare que uma diferença de um ponto nos logits virou quase o triplo de probabilidade.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m4-s2.webm) (narração em voz humana)

## 4. Temperatura: dividir antes de exponenciar
A temperatura, T, entra dividindo os logits antes do softmax. É uma única divisão, e ela reorganiza toda a distribuição.
Com T menor que um, os logits são multiplicados por um fator maior que um, as diferenças aumentam, e a distribuição fica mais pontuda: o token mais provável domina ainda mais. Com T maior que um, os logits encolhem, as diferenças diminuem, e a distribuição achata: tokens improváveis ganham chance real. No limite de T tendendo a zero, a distribuição vira uma escolha determinística do maior logit.
Por isso a palavra criatividade é enganosa. A temperatura não adiciona ideia nenhuma ao modelo. Ela apenas redistribui probabilidade das opções mais prováveis para as menos prováveis, e a impressão de originalidade vem de o modelo passar a escolher com mais frequência caminhos que ele mesmo considera menos prováveis.

$$
\operatorname{softmax}\!\left(\frac{z}{T}\right)_i = \frac{e^{z_i/T}}{\sum_{j} e^{z_j/T}}
$$
*Leitura:* O softmax com temperatura divide cada logit por T antes de exponenciar. T menor que um afia a distribuição, T maior que um a achata.

**Exemplo, Os mesmos logits, três temperaturas.** Logits 2,0, 1,0 e 0,1. Com T igual a 0,5, as probabilidades ficam aproximadamente 0,84, 0,11 e 0,05. Com T igual a 1, ficam 0,66, 0,24 e 0,10. Com T igual a 2, ficam 0,48, 0,29 e 0,23. O laboratório deste módulo deixa você mexer no controle e ver as barras responderem em tempo real.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m4-s3.webm) (narração em voz humana)

## 5. Top-k e top-p: cortar antes de sortear
Temperatura deforma a distribuição inteira. Top-k e top-p fazem outra coisa: eles a truncam, eliminando opções antes do sorteio.
Top-k mantém apenas os k tokens de maior probabilidade e renormaliza o que sobrou para somar um. É um corte de tamanho fixo, insensível ao formato da distribuição.
Top-p, também chamado de amostragem por núcleo, ordena os tokens do mais para o menos provável e vai acumulando até a soma passar de p. Só esses entram no sorteio. É um corte adaptativo: quando o modelo está confiante, poucos tokens já ultrapassam p e o corte é agressivo; quando está incerto, muitos tokens são necessários e o corte é generoso.
É por isso que top-p costuma ser preferido na prática. Ele respeita a confiança do próprio modelo em vez de impor um número fixo.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m4-s4.webm) (narração em voz humana)

## 6. Entropia, cross-entropy e perplexidade
A entropia mede a incerteza de uma distribuição. É zero quando uma opção tem probabilidade um e todas as outras zero, e é máxima quando todas são igualmente prováveis. Em termos práticos: entropia alta significa que o modelo não sabe bem o que vem a seguir.
A cross-entropy compara duas distribuições, a verdadeira e a prevista, e mede o custo de usar a prevista no lugar da verdadeira. É exatamente a função de perda usada para treinar modelos de linguagem: para cada posição, o modelo é penalizado pelo logaritmo negativo da probabilidade que atribuiu ao token que de fato apareceu.
A perplexidade é a exponencial da cross-entropy média, e existe para dar uma leitura intuitiva. Uma perplexidade de dez significa que o modelo está, em média, tão incerto quanto alguém escolhendo entre dez opções igualmente prováveis. Quanto menor, melhor o modelo prevê o texto.

$$
H(p) = -\sum_{i} p_i \log p_i
$$
*Leitura:* A entropia de p é menos o somatório de p índice i vezes o logaritmo de p índice i.

$$
L = -\sum_{i} y_i \log \hat{y}_i \qquad \mathrm{PPL} = e^{L}
$$
*Leitura:* A cross-entropy é menos a soma do valor verdadeiro vezes o log do previsto, e a perplexidade é a exponencial dessa perda média.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m4-s5.webm) (narração em voz humana)

## Exercícios

1. **Calcule o softmax de (1,0; 1,0; 1,0) sem fazer contas pesadas.**

   Logits iguais produzem exponenciais iguais, então cada probabilidade é um terço, aproximadamente 0,333. Distribuição uniforme, entropia máxima para três opções.

2. **Com T tendendo a zero, o que acontece com a saída do modelo?**

   A distribuição colapsa em uma escolha determinística: o token de maior logit recebe probabilidade praticamente um. É o comportamento chamado greedy.

3. **Explique a diferença de comportamento entre top-k igual a 50 e top-p igual a 0,9 quando o modelo está muito confiante.**

   Top-k mantém cinquenta candidatos independentemente da confiança, incluindo muitos absurdos com probabilidade quase nula. Top-p percebe que dois ou três tokens já somam noventa por cento e corta o resto, ficando muito mais restritivo justamente onde faz sentido.

4. **Um modelo atribui probabilidade 0,01 ao token que apareceu. Qual a contribuição dessa posição para a perda?**

   Menos o logaritmo natural de 0,01, ou seja aproximadamente 4,6. É uma penalização alta, como deve ser: o modelo estava errado com confiança.

5. **Perplexidade 1 significa o quê?**

   Que a cross-entropy é zero, ou seja o modelo atribuiu probabilidade um ao token correto em todas as posições. É previsão perfeita, algo que na prática só acontece em texto memorizado.

## Trilhos do tutor socrático

### Softmax de três logits, do zero até a soma um (5 passos)

A última camada devolveu os logits 2,0, 1,0 e 0,1 para três tokens candidatos. Vamos converter esses três números em uma distribuição de probabilidade, uma operação de cada vez.

**Passo 1.** Calcule a exponencial do primeiro logit, ou seja e elevado a 2,0. Responda com três casas decimais.

   Resposta: 7.389. O valor de e elevado a 2,0 é 7,389. É o maior dos três porque a exponencial cresce depressa e 2,0 é o maior logit.

**Passo 2.** Some as três exponenciais: e elevado a 2,0 mais e elevado a 1,0 mais e elevado a 0,1. Três casas decimais.

   Resposta: 11.213. A soma vale 11,213. Esse número será o denominador comum das três probabilidades.

**Passo 3.** Qual a probabilidade do primeiro token? Divida a exponencial dele pela soma. Três casas decimais.

   Resposta: 0.659. O resultado é 0,659. O primeiro token leva quase dois terços da massa, embora seu logit seja apenas um ponto maior que o segundo.

**Passo 4.** Qual a probabilidade do terceiro token, o de logit 0,1? Três casas decimais.

   Resposta: 0.099. O resultado é 0,099. Mesmo com logit positivo, o terceiro token fica com menos de dez por cento da massa.

**Passo 5.** Calcule a razão entre a primeira e a segunda probabilidade. Três casas decimais.

   Resposta: 2.718. A razão vale 2,718, exatamente o número e. Um ponto de diferença em logit equivale sempre a um fator e entre as probabilidades.

Você transformou três números sem restrição em uma distribuição válida e viu, na razão final, o coração do softmax: diferença de logit vira fator multiplicativo entre probabilidades.

### Os mesmos logits sob temperatura 0,5 (6 passos)

Mantenha os logits 2,0, 1,0 e 0,1 e ligue a temperatura em 0,5. A única mudança é uma divisão antes da exponencial, e ela reorganiza a distribuição inteira.

**Passo 1.** Qual o valor do primeiro logit depois de dividido pela temperatura 0,5?

   Resposta: 4.0. O resultado é 4,0. Dividir por 0,5 equivale a dobrar, então a distância entre os logits também dobra.

**Passo 2.** Calcule a exponencial desse logit escalado, ou seja e elevado a 4,0. Três casas decimais.

   Resposta: 54.598. O valor é 54,598. Compare com 7,389, que era a exponencial sem temperatura: o mesmo logit passou a pesar mais de sete vezes mais.

**Passo 3.** Some as três exponenciais escaladas. Os expoentes são 4,0, 2,0 e 0,2. Três casas decimais.

   Resposta: 63.209. A soma vale 63,209. Ela será o denominador comum das três probabilidades com temperatura 0,5.

**Passo 4.** Qual a probabilidade do primeiro token com temperatura 0,5? Três casas decimais.

   Resposta: 0.864. O resultado é 0,864. A probabilidade do favorito subiu de 0,659 para 0,864 sem que nenhum logit original mudasse.

**Passo 5.** Calcule a razão entre a primeira e a segunda probabilidade com temperatura 0,5. Três casas decimais.

   Resposta: 7.389. A razão vale 7,389. Era 2,718 com temperatura um: baixar a temperatura pela metade elevou a razão ao quadrado.

**Passo 6.** Comparando a distribuição com temperatura 0,5 e a com temperatura um, o que aconteceu?

   Resposta: 0. A resposta é a primeira alternativa: a distribuição afiou. Temperatura baixa concentra massa no maior logit e torna a saída mais previsível.

Uma única divisão antes da exponencial deslocou vinte pontos percentuais de massa para o token favorito. Nenhum logit foi alterado, e nenhuma informação nova entrou no modelo.

### Entropia e perplexidade de uma distribuição pequena (6 passos)

Considere a distribuição 0,50, 0,25 e 0,25 sobre três opções. Vamos medir a incerteza dela em nats e traduzir o resultado para número equivalente de opções.

**Passo 1.** Calcule menos o logaritmo natural de 0,50. Três casas decimais.

   Resposta: 0.693. O resultado é 0,693. Esse é o custo em nats de uma opção com metade da massa.

**Passo 2.** Calcule a primeira parcela da entropia, ou seja 0,50 vezes o valor que você acabou de obter. Três casas decimais.

   Resposta: 0.347. O resultado é 0,347. Essa é a contribuição da opção mais provável para a incerteza total.

**Passo 3.** Some as duas parcelas das opções de probabilidade 0,25. Três casas decimais.

   Resposta: 0.693. A soma vale 0,693. Duas opções de um quarto contribuem exatamente o mesmo que uma opção de metade.

**Passo 4.** Qual a entropia total da distribuição, em nats? Três casas decimais.

   Resposta: 1.04. A entropia vale 1,040 nats. É menor que a entropia máxima de três opções porque a distribuição não é uniforme.

**Passo 5.** Calcule a perplexidade, ou seja a exponencial da entropia. Três casas decimais.

   Resposta: 2.828. A perplexidade vale 2,828. O modelo hesita como quem escolhe entre pouco menos de três opções iguais, o que faz sentido para uma distribuição de três opções desbalanceada.

**Passo 6.** Qual seria a entropia se as três opções fossem igualmente prováveis? Três casas decimais.

   Resposta: 1.099. A entropia máxima vale 1,099 nats. Como 1,040 é menor, a distribuição original já carregava alguma informação sobre qual opção é favorita.

Você mediu incerteza em nats e a traduziu para número de opções equivalentes. A distância entre 1,040 e o teto de 1,099 é exatamente o quanto essa distribuição sabe a mais do que o puro acaso.

### Top-k e top-p sobre a mesma distribuição (6 passos)

Um modelo produziu, em ordem decrescente, as probabilidades 0,50, 0,25, 0,15, 0,07 e 0,03. Vamos aplicar os dois cortes sobre essa lista e comparar o que cada um deixa passar.

**Passo 1.** Com top-p igual a 0,85, quantos tokens entram no sorteio?

   Resposta: 3. Entram três tokens. O acumulado passa de 0,85 exatamente ao incluir o terceiro, que vale 0,15.

**Passo 2.** Qual a soma das probabilidades dos tokens mantidos por esse corte? Duas casas decimais.

   Resposta: 0.9. A massa mantida vale 0,90. Sobra sempre um excedente sobre o limiar, porque o último token entra inteiro.

**Passo 3.** Depois de renormalizar, qual a probabilidade do token mais provável? Três casas decimais.

   Resposta: 0.556. O resultado é 0,556. O favorito ganha pouco mais de cinco pontos percentuais só por causa do descarte da cauda.

**Passo 4.** Agora aplique top-k com k igual a dois. Depois de renormalizar, qual a probabilidade do token mais provável? Três casas decimais.

   Resposta: 0.667. O resultado é 0,667. Cortar por contagem fixa concentrou mais massa no favorito do que o corte por massa acumulada.

**Passo 5.** Nesta distribuição específica, qual dos dois cortes foi mais restritivo?

   Resposta: 0. A resposta é a primeira alternativa. Nesta distribuição específica, top-k com k igual a dois foi mais restritivo, mas basta a distribuição mudar de formato para a comparação se inverter.

**Passo 6.** Se o limiar caísse para top-p igual a 0,70, quantos tokens entrariam no sorteio?

   Resposta: 2. Entram dois tokens. Baixar o limiar de 0,85 para 0,70 tirou um candidato do sorteio.

Os dois cortes agiram sobre a mesma lista e produziram conjuntos diferentes. Top-k ignorou o formato da distribuição, top-p leu esse formato e ajustou o número de candidatos à confiança do modelo.

## Dúvidas frequentes

**Por que o softmax usa exponencial e não simplesmente divide cada logit pela soma dos logits?**

Por dois motivos práticos. Primeiro, logits podem ser negativos, e dividir números negativos pela soma produziria probabilidades negativas, o que não existe. Segundo, a exponencial amplifica diferenças de forma controlada, transformando uma vantagem de um ponto em um fator de aproximadamente 2,718 na probabilidade. Uma normalização linear preservaria as proporções originais, e o modelo perderia a capacidade de expressar confiança forte.

**Temperatura zero é a mesma coisa que temperatura 0,01?**

Na prática quase sempre sim, mas não pela definição. Temperatura zero literal dividiria por zero, o que não está definido, então as bibliotecas tratam esse caso escolhendo diretamente o maior logit, comportamento chamado de greedy. Com 0,01 a fórmula continua valendo, só que as diferenças de logit são multiplicadas por cem e a probabilidade do favorito fica indistinguível de um. O resultado observável é o mesmo em quase todos os casos, mas o caminho matemático é diferente.

**Se eu subir muito a temperatura, o modelo fica criativo mesmo?**

Ele fica menos previsível, o que não é a mesma coisa. A temperatura não acrescenta nenhuma ideia ao modelo, ela apenas transfere massa de probabilidade das opções que o modelo considera boas para as que ele considera ruins. O texto resultante tende a soar mais surpreendente porque caminhos improváveis passam a ser escolhidos com mais frequência, e a partir de certo ponto isso degrada em incoerência. O lema do módulo resume bem: temperatura não é criatividade, é achatamento.

**Qual a diferença prática entre mexer na temperatura e mexer no top-p?**

Temperatura deforma a distribuição inteira sem eliminar ninguém: todos os tokens continuam podendo sair, com probabilidades redistribuídas. Top-p trunca, ou seja elimina candidatos antes do sorteio e renormaliza o que sobrou. Por isso os dois se combinam bem: a temperatura ajusta o quanto o modelo se compromete com o favorito, e o top-p garante que a cauda absurda nunca entre no sorteio, independentemente de como a distribuição foi deformada.

**Por que top-p é chamado de amostragem por núcleo?**

Porque o conjunto de tokens que sobrevive ao corte é chamado de núcleo da distribuição: é o menor grupo de tokens de maior probabilidade cuja massa acumulada já ultrapassa o limiar p. O tamanho desse núcleo varia a cada passo de geração, conforme o modelo esteja mais ou menos confiante. O nome em inglês, nucleus sampling, vem do artigo que propôs a técnica.

**Posso usar top-k e top-p ao mesmo tempo?**

Pode, e várias APIs aplicam os dois em sequência. O efeito é o de um teto duplo: o corte mais restritivo dos dois é o que vale naquele passo. Na prática, muita gente mantém top-k como uma trava de segurança larga, por exemplo cinquenta, e deixa o top-p fazer o trabalho fino. Vale conferir na documentação da API a ordem em que os cortes são aplicados, porque ela muda o resultado.

**Logit é a mesma coisa que probabilidade?**

Não. Logit é um número real qualquer, positivo ou negativo, sem limite superior ou inferior, e mede preferência bruta. Probabilidade vive entre zero e um, e o conjunto delas precisa somar exatamente um. O softmax é a ponte entre as duas escalas. Uma consequência útil: somar a mesma constante a todos os logits não muda nenhuma probabilidade, porque a constante se cancela entre numerador e denominador.

**O que significa dizer que o modelo estima a probabilidade do próximo token dado o contexto?**

Significa que, a cada passo, o modelo recebe a sequência inteira já escrita e devolve uma distribuição sobre todo o vocabulário, dizendo o quanto cada token possível se encaixa como continuação. Nada além disso é produzido pelo modelo. A impressão de raciocínio e estilo emerge de repetir essa estimativa token após token, sempre com a saída anterior incorporada ao condicionamento. É por isso que mudar as primeiras palavras de um prompt muda tudo o que vem depois.

**Entropia alta é ruim?**

Depende de onde ela aparece. Entropia alta na distribuição de saída significa que o modelo está genuinamente indeciso naquela posição, o que é ruim se o texto exigia uma resposta única e certa, e perfeitamente saudável se a posição admite muitas continuações válidas. O que costuma ser realmente ruim é entropia baixa com o token errado, ou seja confiança alta em uma previsão equivocada, porque é exatamente isso que a perda penaliza com mais força.

**Nats ou bits: qual base de logaritmo eu devo usar?**

As duas medem a mesma coisa em unidades diferentes, e a conversão é uma divisão por 0,693. Use logaritmo natural, ou nats, quando for calcular perplexidade com a exponencial natural, que é o padrão em modelos de linguagem. Use base dois, ou bits, quando quiser a leitura de quantas perguntas de sim ou não seriam necessárias, tradição mais comum na teoria da informação clássica. O importante é não misturar as duas na mesma conta.

**Como a cross-entropy vira perda de treino na prática?**

Para cada posição do texto de treino existe um token que realmente apareceu. A distribuição verdadeira é então um vetor com um no lugar desse token e zero em todos os outros, e o somatório da cross-entropy colapsa em um único termo: menos o logaritmo da probabilidade que o modelo atribuiu ao token correto. A perda do lote é a média desses valores. Quanto mais probabilidade o modelo tiver dado ao token certo, menor a perda.

**Perplexidade 20 é melhor ou pior que perplexidade 8?**

Pior. Perplexidade é a exponencial da cross-entropy média, e ela responde a uma pergunta: entre quantas opções igualmente prováveis o modelo está hesitando, em média. Vinte significa hesitação equivalente a vinte alternativas, oito significa hesitação equivalente a oito. Uma ressalva importante: perplexidade só é comparável entre modelos que usam o mesmo tokenizador e o mesmo conjunto de texto, porque mudar a tokenização muda o número sem que o modelo tenha melhorado.

**Por que somar uma constante a todos os logits não muda nada?**

Porque a exponencial transforma soma em produto: somar c a cada logit multiplica cada exponencial pelo mesmo fator, e esse fator aparece tanto no numerador quanto no denominador, cancelando-se. Essa propriedade não é curiosidade, ela é usada em toda implementação séria: subtrai-se o maior logit de todos antes de exponenciar, para evitar que a exponencial estoure o limite numérico do computador. O resultado é idêntico e o cálculo fica estável.

**Se dois logits são iguais, o que acontece com as probabilidades deles?**

Ficam exatamente iguais, porque o softmax depende apenas do valor de cada logit e do denominador comum, que é o mesmo para todos. Se todos os logits do vocabulário forem iguais, a distribuição vira uniforme e a entropia atinge o máximo possível para aquele tamanho de vocabulário. Esse é o estado de um modelo que não aprendeu nada: opinião nula sobre qual token vem a seguir.

**Uma distribuição pode ter probabilidade exatamente zero em algum token?**

Pelo softmax puro, não. A exponencial de qualquer número real é sempre positiva, então todo token do vocabulário recebe alguma massa, por menor que seja. O zero só aparece de duas formas: por truncamento, quando top-k ou top-p descartam o token antes do sorteio, ou por máscara, quando o logit recebe menos infinito e a exponencial vai a zero. Guarde isso, porque a máscara causal do módulo seguinte usa exatamente esse mecanismo.

**Como eu escolho temperatura e top-p para uma tarefa real?**

Comece pela pergunta de qual é o custo de uma saída inesperada. Para extração de dados, classificação e código, a saída certa é única, então temperatura baixa, perto de zero, e top-p apertado entregam previsibilidade. Para redação, brainstorm e variação de texto, uma temperatura perto de um com top-p em torno de 0,9 deixa o modelo transitar por caminhos alternativos sem cair na cauda absurda. Mexa em um parâmetro de cada vez, porque os efeitos se sobrepõem e ficam impossíveis de atribuir se mudarem juntos.

## Checkpoint

1. O que define uma distribuição de probabilidade válida?

   Todos os valores não negativos e soma exatamente igual a um.

2. Descreva os dois passos do softmax e o que cada um garante.

   Exponenciar garante positividade e amplifica diferenças; dividir pela soma garante que o total seja um.

3. T igual a 0,3 produz que efeito na distribuição?

   Afia a distribuição, concentrando probabilidade nos tokens de maior logit e tornando a saída mais previsível.

4. Por que top-p é adaptativo e top-k não?

   Top-p corta por massa de probabilidade acumulada, então o número de candidatos varia com a confiança do modelo. Top-k corta por contagem fixa, ignorando o formato da distribuição.

5. Relacione cross-entropy e perplexidade.

   A perplexidade é a exponencial da cross-entropy média, e traduz a perda para o número equivalente de opções igualmente prováveis entre as quais o modelo hesita.

## Bibliografia

- **Probabilidade: um curso moderno com aplicações**, Sheldon Ross, edição brasileira, Bookman. Capítulos de axiomas de probabilidade, probabilidade condicional e variáveis aleatórias discretas. Texto clássico e bem escrito, com exercícios resolvidos. Cubra apenas o discreto; o contínuo não é necessário para esta trilha.

- **Elements of Information Theory**, Thomas M. Cover e Joy A. Thomas, 2ª edição, Wiley, 2006. Capítulo 2, Entropy, Relative Entropy and Mutual Information. A fonte primária de entropia e cross-entropy. Leia as primeiras seções do capítulo 2 e pare; o resto é além do escopo.

- **Mathematics for Machine Learning**, Deisenroth, Faisal e Ong, Cambridge University Press, 2020, livro aberto. Capítulo 6, Probability and Distributions. Amarra probabilidade à notação de aprendizado de máquina, com o softmax já no contexto certo.

## Vídeos curados

- [But what is a GPT? Visual intro to Transformers](https://www.youtube.com/watch?v=wjZofJX0v4M), 3Blue1Brown. A parte final, sobre softmax e temperatura, é a melhor explicação visual disponível. Assista no meio deste módulo.

- [Entropy, cross-entropy and KL divergence](https://www.youtube.com/watch?v=6ArSys5qHAU), StatQuest. Fecha a parte de teoria da informação com exemplos numéricos pequenos.