Fizemos a pergunta mais dura que conseguimos formular: o que vale mais — o melhor modelo do mundo solto, ou um modelo baratinho com as regras certas? Montamos 18 tarefas de edição estrutural, o mesmo enunciado para os dois lados, e um árbitro mecânico que recomputa tudo — ninguém é avaliado pelo que diz que fez, só pelo que fez.
| Lado | Configuração | Resultado |
|---|---|---|
| A | modelo pequeno e barato + políticas certificadas | 18/18 |
| B | modelo de fronteira, editando livremente | 0/18 |
A leitura honesta: não é que o modelo de fronteira "não sabe editar". É que, sob critério estrito — menor mudança fiel, todos os pontos de chamada corrigidos, nada destruído sem prova — edição livre por texto não sobrevive a um árbitro que confere de verdade. A competência que fecha 18/18 mora nas políticas certificadas. O número é da fábrica, não do motor — por isso ela não vai no pacote.
Fomos além. No experimento Cognição, o motor virou a lei de um agente completo: OpenCode dirigindo um modelo DeepSeek, trabalhando em projetos reais, proibido de editar por fora — todo caminho passa pelo verificado. Rodamos o SWE-bench de verdade nessa configuração e colhemos um achado que vale mais que um recorde: o SWE-bench é o exame errado para este tipo de sistema. Quase todas as suas tarefas são consertos únicos, que nunca se repetem — e um sistema cuja força é aprender padrões que se repetem não tem onde morder ali.
A consequência é um mapa: o terreno fértil desta tese são os domínios onde o padrão se repete aos milhares — avisos de lint, APIs descontinuadas, migrações mecânicas, famílias conhecidas de bug. É lá que a fábrica come. O protocolo completo está no apêndice técnico.