← Volver a Writing

Anthropic tiene un modelo que no quiere que uses

Ha creado una IA que encuentra vulnerabilidades mejor que cualquier humano. Y ha decidido que es demasiado peligrosa para lanzarla.

Esto no había pasado antes — o casi

En 2019, OpenAI dijo que GPT-2 era “demasiado peligroso para publicar”. Podía generar texto tan convincente que temían las consecuencias.

Seis meses después lo publicaron. Los temores no se materializaron. Y la industria aprendió una lección diferente a la esperada: no retengas, asegura y lanza. Red teaming, evaluaciones de seguridad, guardrails. Securiza primero, publica después.

Ese ha sido el modelo desde entonces.

Hasta esta semana.


Miles de fallos que llevaban décadas esperando

Anthropic ha anunciado Claude Mythos, un modelo con capacidades de ciberseguridad que superan a cualquier experto humano.

En pocas semanas ha encontrado miles de vulnerabilidades desconocidas. En todos los sistemas operativos principales. En todos los navegadores web. En infraestructura crítica que lleva décadas funcionando. Fallos que habían sobrevivido 27 años sin ser detectados.

Y ha decidido no publicarlo.

GPT-2 producía texto pasable. Mythos encuentra vulnerabilidades reales en sistemas de producción y desarrolla exploits funcionales para ellas.

No es lo mismo.


Cuando tus rivales se sientan a tu lado

En lugar de lanzar Mythos al mercado, Anthropic ha formado una coalición con sus competidores directos: Google, Microsoft, Apple, Amazon, Nvidia, Cisco, y otros.

Lo llaman Project Glasswing, como la mariposa de alas transparentes.

No recuerdo la última vez que estas empresas trabajaron juntas en algo. Compiten por todo. Pero se han sentado en la misma mesa.

¿Qué tiene que pasar para que eso ocurra?

Que el riesgo sea mayor que la competencia.


La pregunta que nadie quiere hacerse

No voy a entrar en si esta decisión es correcta o suficiente. No sé si Anthropic lo ha hecho bien. No sé si otros seguirán el ejemplo o si esto quedará como nota al pie.

Pero hay algo que este caso pone sobre la mesa:

¿Qué haces cuando lo que puedes construir supera tu capacidad de decidir qué hacer con ello?

La respuesta fácil es publicar y ver qué pasa. Dejar que el mercado decida. Que otros se encarguen de las consecuencias.

La respuesta difícil es detenerte. Preguntar quién debería tener acceso. Bajo qué condiciones. Con qué controles.

Hasta ahora la conversación sobre IA ha girado casi exclusivamente alrededor de lo que los modelos pueden hacer. Más rápido, más barato, más capaz.

Pero hay otra conversación que apenas empieza: qué no deberían hacer. Dónde están los límites. Quién los decide.


Lo que viene después

La capacidad técnica avanza más rápido que nuestra capacidad de decidir qué hacer con ella.

Y en ese desfase —entre lo que podemos hacer y lo que deberíamos hacer— es donde se juega todo.

La tecnología no espera.

Las preguntas, sí.


Estas ideas forman parte de PRAXIS, un marco para diseñar productos con IA que respeten a las personas. Más en www.praxisbook.com


Publicado originalmente en Substack →