O Momento Em Que Eu Parei de Acreditar Em Fine-Tuning Como Resposta Padrão

Sempre que um agente de IA performava mal, minha reação era a mesma: “precisa de fine-tuning”. Mais dados. Mais treinamento. Mais compute. Mais dinheiro.

Até que a Microsoft Research publicou o SkillOpt em 22 de maio de 2026 — e provou que eu estava otimizando a coisa errada.

O resultado mais impressionante: o GPT-5.5 saltou de 41,8% para 80,7% no SpreadsheetBench — um benchmark de tarefas reais com planilhas. Sem alterar um único peso do modelo. Sem re-treinamento. Sem fine-tuning. Editando um arquivo Markdown.

O SkillOpt venceu em 52 de 52 combinações de modelo, benchmark e harness testadas. Zero derrotas. Zero empates que favorecessem a competição. Contra Trace2Skill, TextGrad, GEPA, EvoSkill, skills escritas por humanos, e skills geradas por LLM em one-shot. Todas perderam.

E o arquivo final — o best_skill.md que contém toda a “melhoria” — raramente excede 2.000 tokens. Os ganhos vêm de apenas 1 a 4 edições aceitas ao longo de 4 épocas de treinamento. No OfficeQA, o maior ganho veio de uma única alteração.

Quando eu li isso, minha cabeça explodiu. E depois fez sentido — porque é a confirmação definitiva do que eu tenho escrito neste blog há meses.

O Que É um Skills Doc (E Por Que Importa Tanto)

Para entender a inovação, preciso explicar o conceito de Skills Doc — o Procedimento Operacional Padrão da IA.

Em sistemas avançados de agentes, existe um arquivo — geralmente um Markdown simples como skill.md — que funciona exatamente como um POP dentro de uma empresa humana. Ele diz ao agente: como ele deve se comportar, qual sequência de passos seguir, como e quando usar cada ferramenta, e como estruturar o formato da resposta.

Esse conceito não é novo. O Claude Code tem Skills. O Cursor tem instruções de sistema. Todo agente sério tem algum tipo de “manual operacional” em texto. O que é novo é tratar esse manual como um parâmetro treinável — e otimizá-lo com a mesma disciplina com que otimizamos pesos neurais.

Como o site oficial da Microsoft Research descreve: “SkillOpt é o primeiro otimizador sistemático e controlável de skills em linguagem natural para agentes de IA.” A ideia é simples mas difícil de acreditar até você ver os números: em vez de fine-tunar pesos, o otimizador trata uma skill expressa em linguagem natural como parâmetro externo treinável.

Como o SkillOpt Funciona (A Arquitetura)

O loop é elegante e imita fielmente o deep learning clássico — com learning rate, batch, momentum e validação, tudo operando no espaço de texto:

Execução. O agente de IA vai para o ambiente de teste e executa uma série de tarefas usando o skill.md atual.

Supervisão. Uma segunda IA (o “otimizador”) monitora as ações, analisando traces completos de execução — não apenas o resultado final, mas cada passo intermediário.

Análise de falhas. O otimizador identifica com precisão onde o agente errou, onde acertou e onde foi vago. Gera propostas de edição: adicionar uma regra, deletar uma instrução ambígua, refinar um direcionamento.

What-if analysis. Antes de aceitar qualquer edição, o SkillOpt faz uma análise “e se?” — simula o impacto da mudança no conjunto de validação. Edições que pioram a performance são rejeitadas. Esse gating é crucial: uma reescrita não-validada empurrou GPT-5.5 no SpreadsheetBench de 41,8% para baixo, para 41,1%.

Consolidação. No final de cada época, uma atualização lenta consolida os aprendizados de longo prazo. Remover essa consolidação custou mais de 20 pontos no SpreadsheetBench — a maior queda em todo o experimento.

O ciclo se repete. A IA literalmente aprende com seus próprios erros, refinando o manual até atingir eficiência máxima.

Os Números Que Redefinem o Jogo

Os resultados cobriram 6 benchmarks, 7 modelos (de GPT-5.5 frontier ao pequeno open-weight Qwen3.5-4B), e 3 modos de execução (chat direto, Codex, Claude Code):

SpreadsheetBench: 41,8% → 80,7% (GPT-5.5, chat direto). Praticamente dobrou.

OfficeQA: 33,1% → 72,1%. Salto massivo de compreensão de documentos.

LiveMathematicianBench: 37,6% → 66,9%. Raciocínio matemático quase dobrou.

ALFWorld: 83,6% → 95,5%. Navegação em ambiente virtual.

Média geral (GPT-5.5, chat direto): 58,8% → 82,3% (+23,5 pontos absolutos).

No Codex (agentic loop): +24,8 pontos. No Claude Code: +19,1 pontos.

E o achado mais surpreendente, na minha opinião: transferibilidade cross-harness. Um skill otimizado dentro do Codex, transferido para o Claude Code sem nenhuma otimização adicional, elevou o baseline de 22,1% para 81,8% (+59,7 pontos). Acima dos 80,4% de treinar diretamente dentro do Claude Code. Como os dois harnesses expõem superfícies de ferramentas diferentes, isso sugere que o SkillOpt aprende lógica geral de workflow, não receitas específicas de harness.

O Que o SkillOpt Descobre (Que Humanos Não Pensam)

A parte que me fascinou: as regras que o SkillOpt descobre leem como se um praticante experiente tivesse anotado lições após um dia inteiro trabalhando com o benchmark. Mas nenhum humano especificou essas regras — elas emergiram da otimização.

“Workbook Forensics” para planilhas: o SkillOpt aprendeu a mandatar inspeção estrutural e de fórmulas antes de tentar cálculos. Verificar a estrutura do worksheet primeiro. Escrever valores diretamente na faixa inteira em vez de usar fórmulas Excel.

“Evidence Binding” para documentos visuais: vincular cada resposta a elementos visuais específicos do documento. Não “baseado no documento”, mas “baseado na tabela 3, coluna B, linha 7”.

“Search-Frontier Discipline” para navegação: manter um ledger de locais visitados e impedir backtracking sem informação nova.

Cada uma dessas disciplinas é óbvia depois que você a lê. Mas nenhum engenheiro de prompt humano pensou em especificá-las. O SkillOpt as descobriu automaticamente.

A Limitação Que Você Precisa Conhecer

Os pesquisadores são honestos: o loop funciona perfeitamente quando existe uma resposta claramente “certa” ou “errada” para autoavaliação. Fórmulas de planilhas, buscas de dados, matemática, extração de texto — tarefas com validação determinística.

No momento em que você tenta migrar para tarefas puramente criativas ou estratégicas, o loop quebra. Sem métrica binária de sucesso, a IA supervisora não consegue julgar se a alteração melhorou ou piorou. Como o pesquisador Yang disse à VentureBeat: “Os modelos de fronteira são mais fracos zero-shot não em raciocínio, mas em disciplina processual: formato, auto-verificação, política de ferramentas.”

O SkillOpt resolve exatamente isso: disciplina processual. Não criatividade.

A Conexão Com Tudo Que Eu Escrevi

Esse paper é, para mim, a prova definitiva industrial de três teses que eu venho explorando:

Harness > Modelo. Stanford provou com 9.649 experimentos que mudar o harness sem tocar no modelo gera até 6x de variação em performance. O SkillOpt confirma em produção: +23,5 pontos editando um .md. Zero mudanças no modelo.

Context engineering > Prompt engineering. O skill.md é context engineering em estado puro: instruções estruturadas, procedimentos operacionais, regras de uso de ferramentas. Não é “um prompt melhor”. É um sistema de contexto otimizado automaticamente.

O 98% de engenharia do Claude Code. Lembra que 98,4% do Claude Code é engenharia ao redor da IA? O SkillOpt mostra que a parte mais impactante dessa engenharia pode ser um arquivo de texto. Não código. Não infraestrutura. Um Markdown de 2.000 tokens que diz ao agente como se comportar.

Conclusão: O Novo Petróleo É Um Arquivo .md

O SkillOpt prova que o futuro da eficiência em IA pode ser muito mais sustentável e barato do que o mercado imagina. Muitas vezes, o problema não está na falta de capacidade do modelo — está na forma como as instruções estão organizadas.

Otimizar o contexto e dar um bom “guia de sobrevivência” para o seu agente pode render mais resultados do que gastar milhões em treinamento. De 41% para 80% editando um arquivo de texto. Essa frase deveria estar em todo slide de orçamento de IA do planeta.

E a próxima vez que alguém me disser “precisamos de fine-tuning”, minha primeira pergunta vai ser: “Você já otimizou o skill.md?”

Compartilhe se isso mudou sua abordagem:

52 de 52 vitórias. Zero derrotas. 1 a 4 edições em um arquivo Markdown. E a prova de que o segredo da IA em 2026 não são pesos neurais — é um bom manual de instruções.

Leia Também