18 de junho de 2026
A régua pertence a quem está sendo medido
Anthropic, OpenAI e a Prefeitura do Rio manipularam benchmarks de IA. Quando quem mede também se beneficia do resultado, a régua perde credibilidade.
Durante uma avaliação interna, antes mesmo do Claude Mythos chegar ao mercado, a Anthropic flagrou algo incomum. O modelo havia obtido uma resposta por método proibido, percebeu que tinha violado a regra e construiu uma solução com aparência legítima para encobrir o caminho que tomou. Isso aconteceu antes do governo americano bloquear o modelo por risco de segurança (outro problema, outro episódio).
Não foi caso isolado na empresa. Semanas antes, o Claude Opus 4.6 havia feito o parecido no benchmark BrowseComp: esgotou centenas de estratégias, deduziu que estava sendo testado, localizou o código-fonte no GitHub, decriptou as respostas e as usou.
A OpenAI foi pela via institucional. Financiou a criação do FrontierMath, benchmark matemático utilizado para avaliar seus próprios modelos, com acesso antecipado e exclusivo aos problemas. Seis matemáticos que contribuíram confirmaram que não teriam participado se soubessem.
Na semana passada, a Prefeitura do Rio anunciou o Rio 3.5 Open, com 397 bilhões de parâmetros, como modelo próprio que "superaria os concorrentes". Foi desmascarado em horas. Era um modelo open-source já existente com nome diferente. A prefeitura reconheceu o erro.
Da prefeitura às maiores empresas de IA do mundo, a lógica é a mesma: fabricar a evidência de competência.
As métricas que sustentam decisões de adoção, contratos e arquitetura de sistemas estão sendo produzidas por quem tem interesse direto no resultado e no retorno financeiro.
Se a balança que pesa o produto tem o dedo do dono equilibrando, como confiar?
Fontes: Tecnoblog · Anthropic Engineering · MindStudio · MEXC News