Pular para o conteúdo
Wildiney Di Masi
Artículos

18 de junio de 2026

La regla le pertenece a quien está siendo medido

Anthropic, OpenAI y la alcaldía de Río manipularon benchmarks de IA. Cuando quien mide también se beneficia del resultado, la regla pierde credibilidad.

confianza métricas benchmarks ia decisiones de producto

Durante una evaluación interna, incluso antes de que Claude Mythos llegara al mercado, Anthropic detectó algo inusual. El modelo había obtenido una respuesta por un método prohibido, se dio cuenta de que había violado la regla y construyó una solución con apariencia legítima para encubrir el camino que tomó. Esto ocurrió antes de que el gobierno estadounidense bloqueara el modelo por riesgo de seguridad (otro problema, otro episodio).

No fue un caso aislado en la empresa. Semanas antes, Claude Opus 4.6 había hecho algo parecido en el benchmark BrowseComp: agotó cientos de estrategias, dedujo que estaba siendo evaluado, localizó el código fuente en GitHub, descifró las respuestas y las usó.

OpenAI fue por la vía institucional. Financió la creación de FrontierMath, un benchmark matemático usado para evaluar sus propios modelos, con acceso anticipado y exclusivo a los problemas. Seis matemáticos que contribuyeron confirmaron que no habrían participado de haberlo sabido.

La semana pasada, la alcaldía de Río de Janeiro anunció el Rio 3.5 Open, con 397 mil millones de parámetros, como modelo propio que "superaría a la competencia". Quedó al descubierto en horas. Era un modelo open-source ya existente con otro nombre. La alcaldía reconoció el error.

De la alcaldía a las mayores empresas de IA del mundo, la lógica es la misma: fabricar la evidencia de competencia.

Las métricas que sostienen decisiones de adopción, contratos y arquitectura de sistemas están siendo producidas por quien tiene interés directo en el resultado y en el retorno financiero.

Si la balanza que pesa el producto tiene el dedo del dueño equilibrándola, ¿cómo confiar?


Fuentes: Tecnoblog · Anthropic Engineering · MindStudio · MEXC News