# M7. Como os LLMs calculam de verdade
> O que o modelo faz e o que o modelo diz que faz são coisas diferentes.
**Duração prevista:** 3 semanas. **Filme:** 8 minutos de animação narrada em https://llms.newortho.com.br/movimento#m7
Interpretabilidade aplicada: os caminhos paralelos da aritmética, o planejamento antecipado, a racionalização depois do fato, as raízes concretas dos erros de conta e a síntese final do fluxograma completo.
**Por que este módulo existe.** Este é o módulo que responde à pergunta que originou o projeto. Os módulos anteriores explicam a arquitetura no papel; este mostra o que a pesquisa encontrou quando foi olhar dentro de um modelo em funcionamento, e onde a arquitetura no papel engana.

## 1. O que é interpretabilidade e por que ela é necessária
Conhecer a arquitetura de um Transformer não é o mesmo que saber o que um modelo treinado faz. A arquitetura define o formato do cálculo; o treino preenche bilhões de parâmetros com estratégias que ninguém projetou e que precisam ser descobertas depois, por investigação.
A analogia usada pela própria Anthropic é biológica: o modelo é cultivado, não construído, e estudar seus mecanismos internos se parece mais com microscopia do que com leitura de código-fonte. A linha de pesquisa que faz isso é a interpretabilidade, e ela desenvolveu ferramentas para rastrear quais circuitos internos se ativam durante uma resposta específica.
Para o seu objetivo como usuário avançado, esse é o material mais valioso que existe. Ele substitui suposições sobre o comportamento do modelo por evidência sobre o mecanismo.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m7-s0.webm) (narração em voz humana)

## 2. Caminhos paralelos na aritmética
O caso mais didático documentado pela Anthropic é uma soma simples, 36 mais 59. Rastreando os circuitos internos, os pesquisadores encontraram não um algoritmo, mas dois caminhos rodando ao mesmo tempo.
Um caminho é aproximado: estima grosseiramente a magnitude do resultado, algo como perto de noventa e cinco. O outro é preciso e estreito: calcula com exatidão o último dígito da soma. Os dois se combinam no final para produzir a resposta correta.
Nada nessa estratégia se parece com o algoritmo escolar de somar coluna por coluna com transporte. O modelo inventou um método próprio, adequado à maquinaria de que dispõe, e ninguém o ensinou a fazer assim.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m7-s1.webm) (narração em voz humana)

## 3. A racionalização depois do fato
O achado seguinte é o mais importante para quem usa modelos profissionalmente. Perguntado sobre como chegou ao resultado, o modelo descreve o algoritmo escolar, com unidades, dezenas e transporte. Ou seja, descreve um método que ele demonstravelmente não usou.
A explicação não é mentira no sentido intencional. O modelo aprendeu, dos textos humanos, como se explica uma soma, e essa explicação é o que ele produz quando o pedido é explicar. O circuito que calcula e o circuito que explica são diferentes.
A consequência prática é direta e vale para muito além de aritmética: a explicação que um modelo dá do próprio raciocínio é uma saída gerada como qualquer outra, não um registro de execução. Ela pode ser fiel, e frequentemente é útil, mas não é auditoria. Trate raciocínio verbalizado como evidência fraca sobre o processo interno, e verifique conclusões pelo resultado, não pela narrativa.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m7-s2.webm) (narração em voz humana)

## 4. Planejamento antecipado e espaço conceitual compartilhado
Dois outros achados da mesma linha de pesquisa reorganizam a intuição comum. O primeiro: ao escrever versos com rima, o modelo ativa candidatos de palavra final antes de começar a linha, e depois constrói a frase para chegar até eles. Isso contraria a imagem do modelo como puro previsor míope de um token por vez; há planejamento em algum horizonte.
O segundo: os mesmos circuitos internos se ativam para um conceito independentemente do idioma em que a pergunta é feita. Há indício de um espaço conceitual compartilhado entre línguas, com a tradução para o idioma de saída acontecendo em uma etapa posterior. É por isso que conhecimento adquirido em um idioma transfere para outro.
Ambos os achados justificam a mesma postura: a previsão do próximo token é a interface de treino, não a descrição completa da computação interna.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m7-s3.webm) (narração em voz humana)

## 5. Por que modelos erram contas, em quatro razões concretas
Primeira razão, a tokenização. Números são fatiados em pedaços arbitrários e o modelo nunca vê quantidade, vê símbolos. Já detalhado no M5, e é a raiz mais concreta.
Segunda razão, a ausência de laço. Uma passagem pelo modelo tem profundidade fixa, um número fixo de camadas. Algoritmos exatos com muitos passos, como multiplicação longa, exigiriam iteração que a arquitetura não oferece dentro de uma única passagem. É por isso que escrever o raciocínio passo a passo ajuda de verdade: o texto gerado vira a memória de trabalho externa que a arquitetura não tem.
Terceira razão, a natureza dos caminhos encontrados. Estratégias aproximadas funcionam bem na faixa de números que apareceu com frequência no treino e degradam fora dela. Números grandes ou incomuns caem justamente nessa borda.
Quarta razão, a amostragem. Mesmo com o cálculo interno correto, temperatura acima de zero pode sortear um token de dígito diferente. Para tarefas exatas, temperatura baixa é decisão técnica, não estilística.
Regra operacional que decorre disso: para aritmética que importa, peça o passo a passo, use temperatura baixa e prefira que o modelo chame uma ferramenta de cálculo em vez de calcular internamente.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m7-s4.webm) (narração em voz humana)

## 6. Síntese: o fluxograma completo
A prova final do projeto é narrar este caminho sem consultar nada. Ele tem onze etapas, e você já viu cada uma delas.
O texto entra e é fatiado pelo tokenizador em índices inteiros. Cada índice busca uma linha na matriz de embeddings, produzindo um vetor de dimensão d. A codificação posicional é somada para que a ordem exista. O vetor entra no primeiro bloco, onde é normalizado e projetado em consulta, chave e valor por três matrizes aprendidas. As pontuações de atenção saem do produto escalar entre consultas e chaves, escaladas pela raiz de d k e mascaradas para o futuro. O softmax converte cada linha de pontuações em pesos que somam um, e esses pesos produzem uma média ponderada dos valores. O resultado é somado de volta à entrada pela conexão residual. O MLP processa cada posição isoladamente, expandindo, aplicando não linearidade e comprimindo, com nova conexão residual. Esse bloco se repete dezenas de vezes. Ao final, o estado da última posição é multiplicado pela matriz de saída, produzindo um logit por token do vocabulário. O softmax com temperatura transforma logits em probabilidades, top-k ou top-p corta a cauda, e um token é sorteado. O token é anexado à sequência e tudo recomeça.
Quando você conseguir dizer isso em voz alta, com suas palavras, sabendo o que cada operação faz e por quê, o Projeto Axioma cumpriu o que prometeu.

[Ouvir esta seção](https://llms.newortho.com.br/audio/m7-s5.webm) (narração em voz humana)

## Exercícios

1. **Por que a explicação que um modelo dá do próprio cálculo não serve como auditoria?**

   Porque a explicação é gerada pelos mesmos mecanismos de previsão de texto, a partir de como humanos explicam esse tipo de coisa, e não a partir de um registro do que os circuitos internos fizeram. Circuito que calcula e circuito que explica são distintos.

2. **Descreva os dois caminhos encontrados na soma 36 mais 59.**

   Um caminho aproximado que estima a magnitude do resultado e um caminho preciso que calcula o último dígito. Os dois se combinam para produzir a resposta.

3. **Por que escrever o raciocínio passo a passo melhora o desempenho em contas?**

   Porque a passagem pelo modelo tem profundidade fixa e não tem laço interno. O texto gerado funciona como memória de trabalho externa, permitindo que cada passo condicione o seguinte.

4. **Qual a decisão técnica correta de temperatura para tarefas aritméticas, e por quê?**

   Temperatura baixa, próxima de zero, porque a amostragem pode sortear um dígito diferente mesmo quando o cálculo interno está correto.

5. **O que o achado sobre rimas sugere sobre a ideia de que o modelo só prevê o próximo token?**

   Que a previsão do próximo token é o objetivo de treino, não a descrição completa da computação. O modelo ativa candidatos futuros antes e constrói a frase em direção a eles, o que é uma forma de planejamento.

## Trilhos do tutor socrático

### Os dois caminhos internos da soma 36 mais 59 (5 passos)

O caso mais didático documentado pela interpretabilidade é uma soma de dois números de dois dígitos. Vamos separar o que a conta pede do que os circuitos internos de fato fizeram.

**Passo 1.** Antes de olhar para dentro do modelo, qual é o resultado exato de 36 mais 59?

   Resposta: 95. Três mais cinco mais um dá nove, e a unidade é cinco. O resultado é 95. Guarde este número, porque o interessante vem agora.

**Passo 2.** Segundo o achado da interpretabilidade, um dos dois caminhos internos calcula com exatidão apenas uma coisa. Qual dígito ele produz?

   Resposta: 5. O dígito é 5. O caminho estreito calcula exatamente o último dígito da soma, e nada além disso.

**Passo 3.** E o outro caminho, o aproximado, faz o quê?

   Resposta: 0. A resposta é a primeira: o caminho aproximado estima a magnitude do resultado. Combinado com o dígito exato do outro caminho, ele fecha a resposta correta.

**Passo 4.** Como os dois caminhos se relacionam dentro da mesma passagem?

   Resposta: 0. A resposta é a primeira: os dois rodam ao mesmo tempo e se combinam no final. É essa combinação que produz a resposta correta.

**Passo 5.** Essa estratégia interna se parece com o algoritmo escolar de somar coluna por coluna?

   Resposta: 1. A resposta é a segunda: nada nessa estratégia se parece com o método escolar. O modelo inventou o próprio caminho, e ninguém o ensinou a fazer assim.

O modelo chega ao resultado certo por um caminho que ninguém projetou e que não corresponde a nenhum algoritmo ensinado. Saber a arquitetura não bastava para prever isso.

### Racionalização: o que o modelo diz que fez (5 passos)

Feita a soma, pergunta-se ao modelo como ele chegou ao resultado. A resposta que ele dá é o achado mais importante deste módulo para quem usa modelos profissionalmente.

**Passo 1.** Quando perguntado como somou, o que o modelo descreve?

   Resposta: 1. A resposta é a segunda: o modelo descreve o algoritmo escolar, um método que demonstravelmente não foi o executado por dentro.

**Passo 2.** Por que isso não é mentira no sentido intencional?

   Resposta: 1. A resposta é a segunda: ele produz a explicação que aprendeu a produzir. Não há intenção de enganar, há um circuito de explicação distinto do circuito de cálculo.

**Passo 3.** Em uma palavra, como se chama produzir uma explicação plausível para um processo interno que foi diferente do descrito?

   Resposta: racionalização. A palavra é racionalização. O modelo racionaliza: produz uma justificativa plausível, aprendida de textos humanos, para um processo interno que foi outro.

**Passo 4.** Circuito que calcula e circuito que explica são a mesma coisa?

   Resposta: 1. A resposta é a segunda: são circuitos distintos. Essa separação é o que explica a divergência entre o que o modelo faz e o que ele diz que faz.

**Passo 5.** Qual é a consequência prática correta para o seu trabalho?

   Resposta: 1. A resposta é a segunda: trate raciocínio verbalizado como evidência fraca e verifique conclusões pelo resultado, não pela narrativa.

O que o modelo faz e o que o modelo diz que faz são coisas diferentes, e o módulo mostra o caso em que isso foi medido. A explicação continua útil, mas mudou de categoria: deixou de ser prova.

### Planejamento, idiomas e as quatro raízes do erro de conta (6 passos)

Dois achados que reorganizam a intuição comum e, em seguida, as razões concretas pelas quais modelos erram aritmética. Ao final, a regra operacional que decorre de tudo isso.

**Passo 1.** Ao escrever um verso com rima, o que a pesquisa encontrou?

   Resposta: 0. A resposta é a primeira: o modelo ativa candidatos de palavra final antes e constrói a frase em direção a eles. É planejamento em algum horizonte, e contraria a imagem do previsor míope.

**Passo 2.** O que o espaço conceitual compartilhado entre idiomas implica na prática?

   Resposta: 1. A resposta é a segunda: há uma representação conceitual comum anterior à escolha do idioma de saída, e é por isso que o conhecimento transfere entre línguas.

**Passo 3.** Quantas razões concretas para o erro aritmético a seção lista?

   Resposta: 4. São quatro razões. As três primeiras são estruturais e a quarta é de procedimento, o que a torna a mais fácil de eliminar.

**Passo 4.** Por que escrever o raciocínio passo a passo melhora de verdade o desempenho em contas?

   Resposta: 1. A resposta é a segunda: o texto gerado funciona como memória de trabalho externa, permitindo que cada passo condicione o seguinte, algo que a passagem única de profundidade fixa não oferece.

**Passo 5.** Qual é a decisão técnica de temperatura para tarefas aritméticas, e por quê?

   Resposta: 1. A resposta é a segunda: temperatura baixa, próxima de zero, justamente porque um cálculo interno correto ainda pode ser arruinado por um dígito sorteado.

**Passo 6.** Qual é a regra operacional completa que a seção deriva para aritmética que importa?

   Resposta: 0. A resposta é a primeira: pedir o passo a passo, usar temperatura baixa e preferir que o modelo chame uma ferramenta de cálculo. As três atacam razões diferentes da lista.

Planejamento e transferência entre idiomas mostram que a previsão do próximo token é a interface de treino, não a descrição da computação. E os erros de conta têm causas nomeáveis, três estruturais e uma de procedimento.

### As onze etapas do fluxograma completo, do texto ao token sorteado (7 passos)

A prova final do projeto é narrar o caminho inteiro sem consultar nada. São onze etapas, agrupadas aqui em blocos de duas para conferência. Considere um modelo com 32 blocos.

**Passo 1.** Etapas um e dois. Como o texto entra no modelo e o que acontece logo em seguida?

   Resposta: 0. A resposta é a primeira: tokenização em índices inteiros e, em seguida, busca da linha correspondente na matriz de embeddings.

**Passo 2.** Etapas três e quatro. O que acontece entre o vetor de embedding e o cálculo da atenção?

   Resposta: 2. A resposta é a terceira: soma da codificação posicional e, dentro do bloco, normalização seguida de projeção em consulta, chave e valor.

**Passo 3.** Etapas cinco e seis. Como as pontuações de atenção nascem e o que as transforma em pesos?

   Resposta: 1. A resposta é a segunda: produto escalar entre consultas e chaves, escalado pela raiz de d k, mascarado para o futuro, e softmax por linha produzindo pesos que somam um.

**Passo 4.** Etapas sete e oito. O que os pesos produzem e o que acontece com esse resultado em seguida?

   Resposta: 0. A resposta é a primeira: média ponderada dos valores e soma de volta à entrada pela conexão residual, que preserva o caminho original.

**Passo 5.** Etapa nove, o MLP com a sua própria conexão residual. Em um modelo de 32 blocos, com duas somas residuais por bloco, quantas somas residuais o vetor atravessa da entrada até a projeção final?

   Resposta: 64. 32 vezes dois dá 64 somas residuais. É essa via contínua que permite o gradiente atravessar dezenas de blocos sem se dissolver.

**Passo 6.** Etapa dez. Terminados todos os blocos, o que é feito com o estado da última posição?

   Resposta: 2. A resposta é a terceira: o estado da última posição é multiplicado pela matriz de saída, produzindo um logit por token do vocabulário.

**Passo 7.** Etapa onze, a última. Qual é a sequência correta que fecha o caminho e recomeça o laço?

   Resposta: 0. A resposta é a primeira: softmax com temperatura, corte por top-k ou top-p, sorteio, anexação à sequência e recomeço do laço com um token a mais.

Do texto de entrada ao token sorteado, são onze etapas e nenhuma delas é misteriosa. Quando você conseguir narrar isso em voz alta, com suas palavras, o Projeto Axioma cumpriu o que prometeu.

## Dúvidas frequentes

**Se eu já conheço a arquitetura do Transformer, para que serve a interpretabilidade?**

Porque a arquitetura define apenas o formato do cálculo, e não as estratégias que o treino colocou dentro dos parâmetros. Saber que existem matrizes de consulta, chave e valor não diz qual método o modelo usa para somar dois números. Essas estratégias emergem do treino, ninguém as projetou, e só aparecem quando alguém vai investigar os circuitos internos de um modelo em funcionamento. A interpretabilidade substitui suposição sobre comportamento por evidência sobre mecanismo.

**Posso confiar na explicação passo a passo que o modelo dá do próprio raciocínio?**

Como texto útil, muitas vezes sim. Como registro do que aconteceu por dentro, não. A explicação é uma saída gerada pelos mesmos mecanismos de previsão que produzem qualquer outro texto, aprendida de como humanos explicam esse tipo de coisa. Ela pode ser fiel, e frequentemente ajuda a organizar a resposta, mas não é auditoria. Verifique conclusões pelo resultado, não pela narrativa que as acompanha.

**Quando o modelo explica errado como fez a conta, ele está mentindo?**

Não no sentido intencional. Ele aprendeu, dos textos humanos, como se explica uma soma, e é exatamente isso que produz quando o pedido é explicar. O circuito que calcula e o circuito que explica são distintos, então a descrição pode não corresponder ao processo sem que exista qualquer intenção de enganar. O nome adequado para o fenômeno é racionalização: uma justificativa plausível construída depois do fato.

**Quais são os dois caminhos que a pesquisa encontrou na soma 36 mais 59?**

Um caminho aproximado, que estima grosseiramente a magnitude do resultado, algo perto de noventa e cinco, e um caminho preciso e estreito, que calcula com exatidão o último dígito da soma. Os dois rodam ao mesmo tempo e se combinam no final para produzir a resposta correta. Nada nisso lembra o algoritmo escolar de somar coluna por coluna com transporte: o modelo montou um método próprio, adequado à maquinaria de que dispõe.

**Se o modelo só prevê o próximo token, como ele pode planejar alguma coisa?**

A previsão do próximo token é o objetivo de treino, não a descrição completa da computação interna. Ao escrever versos com rima, o modelo ativa candidatos de palavra final antes de começar a linha e constrói a frase em direção a eles. Isso é planejamento em algum horizonte, ainda que a saída seja emitida um token por vez. Objetivo de treino e mecanismo interno são coisas diferentes, e confundir os dois é a origem de boa parte das intuições erradas sobre esses modelos.

**Perguntar em português dá uma resposta pior do que perguntar em inglês?**

Não pela razão que costumam supor. A pesquisa encontrou indício de um espaço conceitual compartilhado entre línguas: os mesmos circuitos internos se ativam para um conceito independentemente do idioma da pergunta, e a tradução para a língua de saída acontece em uma etapa posterior. É por isso que conhecimento adquirido em um idioma transfere para outro. Diferenças de qualidade, quando existem, vêm da quantidade de material de cada língua no treino, não de o modelo pensar em uma língua específica.

**Por que modelos tão capazes erram contas que uma calculadora de bolso acerta?**

Por quatro razões concretas. A tokenização fatia números em pedaços arbitrários, então o modelo nunca vê quantidade, vê símbolos. A passagem tem profundidade fixa e não tem laço interno, o que impede algoritmos exatos de muitos passos dentro de uma única passagem. As estratégias internas são aproximadas e degradam fora da faixa de números frequente no treino. E a amostragem pode sortear um dígito diferente mesmo com o cálculo interno correto. As três primeiras são estruturais, a quarta é de procedimento.

**Por que pedir o passo a passo melhora tanto o resultado em contas?**

Porque a arquitetura não tem laço interno nem memória de trabalho dentro de uma passagem: a profundidade é fixa. Ao escrever o raciocínio, o modelo transforma o próprio texto gerado em memória de trabalho externa, já que ele volta como contexto na iteração seguinte. Cada passo escrito condiciona o próximo, e o algoritmo de muitos passos que não cabia em uma passagem passa a caber ao longo de várias. É por isso que a melhora é real, e não estilística.

**Qual temperatura devo usar quando peço cálculo ao modelo?**

Baixa, próxima de zero. Dígitos são tokens como quaisquer outros e passam pelo mesmo sorteio da amostragem, de modo que um cálculo interno correto ainda pode ser arruinado na saída. Em tarefas exatas, temperatura baixa é decisão técnica e não escolha de estilo. Em tarefas em que várias saídas são igualmente aceitáveis, como escrita criativa, a lógica se inverte.

**Devo deixar o modelo calcular ou pedir que ele use uma ferramenta?**

Para aritmética que importa, prefira a ferramenta. A regra operacional que decorre do módulo tem três partes: peça o passo a passo, use temperatura baixa e prefira que o modelo chame uma ferramenta de cálculo em vez de calcular internamente. Cada parte ataca uma razão diferente da lista de erros. A terceira é a mais eficaz, porque simplesmente retira a conta de um mecanismo que não foi construído para fazer aritmética exata.

**O que quer dizer que o modelo é cultivado e não construído?**

É a analogia usada pela própria linha de pesquisa. A arquitetura é projetada, mas os bilhões de parâmetros são preenchidos pelo treino, com estratégias que ninguém escreveu e que precisam ser descobertas depois. Estudar os mecanismos internos se parece mais com microscopia do que com leitura de código-fonte: você observa um sistema que cresceu, e não um sistema cujas regras alguém redigiu linha a linha.

**Cadeia de pensamento serve como auditoria do que o modelo fez por dentro?**

Não. Auditoria pressupõe um registro de execução, e o modelo não produz registro nenhum: ele produz texto. A cadeia de pensamento é gerada pelo mesmo mecanismo de previsão que gera a resposta final, e o caso da soma mostra que ela pode descrever com fluência um método que não foi usado. Trate-a como evidência fraca sobre o processo interno, útil para organizar o trabalho e para você encontrar erros de premissa, mas não como prova.

**Quais são as onze etapas do fluxograma completo, na ordem?**

Tokenização em índices inteiros, busca da linha na matriz de embeddings, soma da codificação posicional, normalização e projeção em consulta, chave e valor, pontuações de atenção por produto escalar escaladas pela raiz de d k e mascaradas, softmax por linha gerando pesos que somam um, média ponderada dos valores, conexão residual, MLP com nova residual, repetição do bloco por dezenas de vezes seguida da projeção final para logits, e por fim softmax com temperatura, corte por top-k ou top-p, sorteio, anexação e recomeço. Conseguir narrar isso sem consultar é a prova final da trilha.

**Qual a diferença entre o softmax da atenção e o softmax do final?**

São a mesma operação matemática aplicada a coisas diferentes. Na atenção, ele age sobre cada linha da matriz de pontuações e produz pesos que somam um, usados para promediar os vetores de valor das posições. No final, ele age sobre os logits do vocabulário e produz a distribuição de probabilidade da qual o próximo token será sorteado. Só o segundo recebe temperatura, e só o segundo é seguido de corte da cauda e sorteio.

**O que é um circuito interno, nesse contexto de interpretabilidade?**

É um conjunto identificável de componentes internos que trabalham juntos para cumprir uma função específica durante uma resposta, como estimar a magnitude de uma soma ou representar um conceito antes da escolha do idioma de saída. As ferramentas de interpretabilidade rastreiam quais desses conjuntos se ativam em cada caso concreto. É por isso que se pode afirmar que o circuito que calcula e o circuito que explica são distintos: eles foram observados separadamente.

## Checkpoint

1. O que a interpretabilidade estuda e por que ela é necessária mesmo conhecendo a arquitetura?

   Estuda os mecanismos internos que o treino produziu. É necessária porque a arquitetura define apenas o formato do cálculo; as estratégias específicas emergem do treino e precisam ser descobertas por investigação.

2. Cite três razões concretas para erros aritméticos.

   Tokenização que fatia números, profundidade fixa sem laço interno e estratégias aproximadas que degradam fora da faixa vista no treino. A amostragem com temperatura é uma quarta.

3. O que significa dizer que o modelo racionaliza?

   Que ele produz uma explicação plausível, aprendida de textos humanos, para um processo interno que foi diferente do descrito.

4. O que o espaço conceitual compartilhado entre idiomas implica na prática?

   Que conhecimento adquirido em um idioma transfere para outro, porque os mesmos circuitos internos representam o conceito antes da tradução para a língua de saída.

5. Narre o fluxograma completo, do prompt ao token, sem consultar.

   Tokenização, embeddings, posição, blocos com normalização, projeção em Q K V, pontuações escaladas e mascaradas, softmax, média ponderada de valores, residual, MLP, residual, repetição por dezenas de blocos, projeção final para logits, softmax com temperatura, corte por top-p, sorteio, anexação e recomeço.

## Bibliografia

- **On the Biology of a Large Language Model**, Equipe de interpretabilidade da Anthropic, Transformer Circuits, 2025. Seções de aritmética, planejamento em poesia e multilinguismo. Fonte primária dos achados discutidos no módulo. Leia as seções que despertarem curiosidade, com os grafos de atribuição ao lado.

- **A Mathematical Framework for Transformer Circuits**, Nelson Elhage e outros, Transformer Circuits, 2021. Seções iniciais, sobre modelos de zero e uma camada. Onde a matemática do M5 vira ferramenta de investigação. Denso, mas é a ponte entre arquitetura e interpretabilidade.

- **Mathematics for Machine Learning**, Deisenroth, Faisal e Ong, Cambridge University Press, 2020, livro aberto. Livro inteiro, como consulta. Ao final da trilha, folhear o índice deste livro e reconhecer quase tudo é a melhor medida objetiva de que o Axioma cumpriu o que prometeu.

## Vídeos curados

- [Tracing the thoughts of a large language model](https://www.anthropic.com/news/tracing-thoughts-language-model), Anthropic. Leitura obrigatória do módulo. É a fonte primária dos achados discutidos aqui.

- [On the Biology of a Large Language Model](https://transformer-circuits.pub/2025/attribution-graphs/biology.html), Anthropic, Transformer Circuits. A versão técnica completa, com os grafos de atribuição. Leia as seções que despertarem curiosidade, não o artigo inteiro.

- [Mapping the Mind of a Large Language Model](https://www.anthropic.com/news/mapping-mind-language-model), Anthropic. Contexto sobre características internas e como elas são identificadas.