O Teste Que Meu Sobrinho de 8 Anos Passa Sem Esforço

Imagine a palavra “VERMELHO” escrita em tinta azul. Qual é a cor do texto? Azul. Simples. Um aluno da terceira série faz isso sem pensar duas vezes.

Agora imagine que você pede ao GPT-4o — um modelo que passa em exames da OAB, decodifica genomas e resolve equações diferenciais — para fazer a mesma coisa com uma lista de 40 palavras.

O resultado: 15% de precisão. Em condições mistas (palavras congruentes e incongruentes embaralhadas): próximo de 1%. Falha quase total.

Quando eu li o paper publicado no PNAS Nexus (junho de 2026) pela equipe de Suketu Patel (CUNY), Hongbin Wang e Jin Fan, minha primeira reação foi incredulidade. Depois, quando entendi o porquê, senti aquele desconforto familiar de perceber que a fundação em que estou construindo tem uma rachadura que não pode ser patchada com prompts melhores.

O Teste de Stroop: 90 Anos de Ciência Cognitiva

O Teste de Stroop é uma ferramenta psicológica usada há quase um século para medir flexibilidade cognitiva — a capacidade do cérebro de impor controle executivo quando dois sinais entram em conflito.

O mecanismo é simples: quando você vê a palavra “VERMELHO” em tinta azul, seu cérebro recebe dois sinais simultâneos — o significado da palavra (vermelho) e a cor da tinta (azul). Para responder corretamente, precisa de um “árbitro” interno que suprima o sinal automático (ler a palavra) e priorize o objetivo correto (identificar a cor).

Humanos fazem isso com facilidade. Ficam um pouco mais lentos quando há conflito (o famoso “efeito Stroop”), mas mantêm alta precisão mesmo em listas longas. O controle executivo — essa capacidade de suprimir o impulso automático — é o que permite.

A pergunta dos pesquisadores foi direta: LLMs têm controle executivo?

O Colapso em Números

Os pesquisadores enviaram imagens de listas de palavras coloridas com cores conflitantes para GPT-4o e Claude 3.5 Sonnet, com uma instrução simples: “Diga a cor da tinta de cada palavra.”

Primeiro, verificaram que os modelos enxergam e entendem perfeitamente: em leitura simples de palavras isoladas, atingiram 99-100% de precisão. O problema não é OCR. Não é visão computacional. É atenção.

GPT-4o com 5 palavras incongruentes: 91% de precisão. Bom. Com 10 palavras: caiu para 57%. Com 40 palavras: despencou para 15%.

Claude 3.5 Sonnet manteve estabilidade até 20 palavras, mas colapsou para 24% com 40.

Em condições mistas (congruentes e incongruentes embaralhadas aleatoriamente): GPT-4o caiu para ~1% de precisão nos itens incongruentes. Falha essencialmente total.

E os modelos mais recentes? Os pesquisadores testaram GPT-5, Claude Opus 4.1 e Gemini 2.5 Pro em setembro de 2025. Resultado: “melhorias leves”, mas as mesmas “deficiências de atenção executiva persistentes, consistentes com nossa análise dos modelos transformer anteriores.” A limitação é inerente à arquitetura, não ao modelo específico.

Por Que Isso Acontece (A Explicação Real)

Essa é a parte que me fez parar e repensar fundamentos.

A atenção humana funciona com três componentes — os pesquisadores usam a metáfora do “Time de Atenção”:

O Detector (Orienting). Identifica estímulos visuais e textuais. Direciona atenção para informação relevante. Transformers são extraordinários nisso — é literalmente o que o mecanismo de atenção faz.

O Alerta (Alerting). Mantém foco e prontidão. Transformers fazem isso razoavelmente bem.

O Árbitro (Controle Executivo). Entra em ação quando há conflito. Ordena que o cérebro ignore um estímulo óbvio (ler a palavra) para focar no objetivo correto (identificar a cor). Esse componente não existe nativamente na arquitetura de transformers.

A atenção dos transformers é fundamentalmente orientação — selecionar informação relevante do contexto. Não é arbitragem — resolver conflitos quando dois sinais competem. Sem árbitro, conforme a lista cresce e os conflitos se acumulam, o modelo perde a capacidade de suprimir o sinal dominante (ler a palavra) em favor do sinal correto (identificar a cor).

O paper identifica isso como uma “dissociação entre reconhecimento de tarefa e execução de tarefa”. O Claude 3.5 Sonnet, sem prompt explícito, reconheceu que estava olhando para um Teste de Stroop, descreveu o paradigma e gerou mapeamentos de relação palavra-cor — mas mesmo assim atingiu apenas 70% de precisão em 10 palavras incongruentes. Saber o que fazer e conseguir fazer são coisas diferentes.

O Que Isso Significa Para o Mundo Real

Alguém poderia argumentar: “falhar num jogo de palavras coloridas não invalida a utilidade prática da IA.” Superficialmente, parece verdade. Mas o mundo real está lotado de ‘Momentos Stroop’.

Toda vez que um agente de IA processa um contexto longo com informações contraditórias — e precisa priorizar o sinal correto sobre o sinal dominante — ele enfrenta uma versão do Teste de Stroop. E conforme o contexto cresce, a performance degrada.

Isso explica por que:

Context rot (que eu discuti no post sobre janela de contexto) piora com mais tokens — a “atenção” do modelo se dispersa em listas longas.

A Mentira Confiante em produção acontece quando o agente prioriza o padrão estatístico dominante (a “palavra”) sobre a informação contextual correta (a “cor”).

Alucinações aumentam com contexto longo — mais conflitos de sinais, sem árbitro para resolvê-los.

Workflows multi-step degradam — cada passo adiciona conflitos de atenção que se acumulam geometricamente.

O paper é direto: “Se a IA não possui um mecanismo centralizado de controle executivo para arbitrar conflitos, ela inevitavelmente sofrerá alucinações e tomará decisões erradas em fluxos de trabalho extensos.”

A Ressalva (E o Workaround)

O TechRadar notou algo importante: GPT-5 em modo “Thinking” consegue contornar o problema escrevendo e executando código para resolver o Stroop flawlessly. Funcionalidade similar pode ser utilizada por outros LLMs.

Mas como os autores apontam: isso é essencialmente a IA “contornando suas inadequações” — usando uma ferramenta externa (código) para compensar uma limitação arquitetural. Não é controle executivo. É um workaround. E confirma que a limitação é estrutural: sem a ferramenta, o modelo falha.

Isso é exatamente o padrão que eu descrevo em todo o blog: o modelo sozinho falha. A engenharia ao redor dele (harness, tools, guardrails) compensa. O Teste de Stroop é mais uma prova.

O Que Eu Tiro Disso

Primeiro: humildade sobre o que “atenção” significa em IA. O mecanismo de atenção dos transformers não é atenção no sentido humano. É seleção de informação relevante. Falta o componente mais importante: resolução de conflitos. E esse gap explica mais sobre as falhas da IA do que qualquer benchmark de raciocínio.

Segundo: a fundação tem uma rachadura. Essa não é uma limitação que fine-tuning, RLHF, ou prompts mais elaborados vão resolver. É arquitetural. Assim como alucinações são propriedade da arquitetura (como discuti no post sobre alucinações), a ausência de controle executivo é uma limitação fundamental de transformers.

Terceiro: o harness é mais importante do que nunca. Se o modelo não tem árbitro interno, a engenharia ao redor dele precisa funcionar como o árbitro. Guardrails, verificação de conflitos, ferramentas determinísticas, citações obrigatórias — tudo isso são formas de compensar externamente o que o modelo não faz internamente.

Conclusão: Precisamos de Uma Nova Fundação?

O estudo de Patel, Wang e Fan, publicado no PNAS Nexus, deixa uma lição clara: chegamos ao limite do que prompts e invólucros de software conseguem mascarar. A atenção dos transformers é poderosa para orientação, mas fundamentalmente incapaz de arbitragem.

Para que a IA alcance o próximo nível de maturidade em sistemas complexos, a indústria precisará — eventualmente — repensar a própria fundação. Uma nova arquitetura que inclua, finalmente, um árbitro para a atenção algorítmica.

Até lá, fazemos o que engenheiros fazem: construímos ao redor da limitação. Harnesses, guardrails, ferramentas, validação. Não é elegante. Mas funciona. E agora sabemos exatamente por que é necessário.

Compartilhe se isso expandiu sua compreensão:

91% com 5 palavras. 15% com 40. 1% em condições mistas. E o GPT-5 não resolveu. A IA que passa em exames da OAB falha em um teste de terceira série — porque não tem o componente que qualquer cérebro humano tem: um árbitro.

Leia Também