El CEO de Anthropic pide frenar la IA y abre sus modelos a auditores externos

El responsable de Anthropic propone un plan de tres pasos para ralentizar el desarrollo sin hablar de pausa. La primera fase ya está en marcha y concede a evaluadores independientes acceso a sus modelos.

Que el CEO de Anthropic pida frenar la IA ya es noticia. Que abra sus modelos a auditores externos es directamente otra cosa. Dario Amodei, cofundador y máximo responsable de la compañía, acaba de publicar un ensayo en el que pide formalmente 'marcar el ritmo' del desarrollo de la IA. No habla de pausa, ojo, pero sí de bajar la velocidad para que las salvaguardas y los reguladores no vayan siempre por detrás.

El objetivo no es una pausa, sino bajar la velocidad para que salvaguardas y reguladores no vayan por detrás. El ensayo propone un plan de tres pasos. Traducido al cristiano: dar acceso a evaluadores externos, que la industria se una y que los gobiernos tengan margen para evaluar. La primera fase ya está en marcha.

Qué propone exactamente Amodei

Anthropic dará a organizaciones como METR acceso a sus modelos para auditar si cumplen con las prácticas de seguridad y los compromisos asumidos por la propia compañía. METR no es un recién llegado: lleva años evaluando modelos de vanguardia con equipos de red team y pruebas de riesgo biológico o químico. Amodei insiste en que este paso lo dan de forma unilateral, sin esperar a nadie.

Publicidad

El plan de tres pasos, contado sin humo

El segundo paso ya no depende solo de Anthropic. Consistiría en que toda la industria se ponga de acuerdo, probablemente con participación gubernamental, para estandarizar esas auditorías y no dejar que solo las empresas bienintencionadas -léase, las que quieren vender confianza- se autoevalúen.

El tercer paso del plan está menos definido en el texto original, pero la lógica es clara: si los evaluadores externos ganan visibilidad, la opinión pública y los reguladores tendrán más información para para decidir. La palabra 'frenar' sobra, decía Amodei, pero 'marcar el ritmo' no.

'Se lo debemos a la humanidad', ha llegado a soltar. Eso, pronunciado por el directivo que compite directamente con OpenAI, Google y una manada de startups que entrenan modelos a toda velocidad, suena o muy coherente o muy rentable para su narrativa de seguridad. La línea entre responsabilidad y marketing en IA es cada vez más fina.

Mientras el resto de la industria compite a ver quién entrena el modelo más grande, Amodei propone que los auditores entren al laboratorio. La verdadera prueba es si deja que miren el siguiente antes de que esté listo.

La seguridad como marca: esto no es una pausa

Esto recuerda a los movimientos de OpenAI con su equipo de 'Superalignment', que se desmanteló con más ruido que resultados. O a las promesas de transparencia de Google DeepMind que se quedaron en papel. La industria de la seguridad en IA lleva años oscilando entre el grito de alarma y el anuncio publicitario.

La diferencia aquí es que Anthropic está haciendo algo tangible: abrir sus modelos a evaluadores externos no es gratis. Revela infraestructura y metodología que normalmente no se comparte. Si METR publica informes independientes, la pelota cambia de tejado: por primera vez tendríamos notarios que no duermen en la cama de la empresa.

Ahora bien, también hay truco. Anthropic fue fundada por ex-OpenAI que se marcharon denunciando que Sam Altman priorizaba el negocio sobre la seguridad. Vender seguridad como bandera es parte de su marca. Si Amodei consigue que la industria acepte auditorías externas, no solo refuerza su reputación: impone un coste a sus rivales.

Queda una pregunta en el aire: ¿y si los evaluadores externos dicen que los modelos de Anthropic tampoco son seguros? Ahí es donde se verá si la transparencia es de verdad o solo una estrategia de poder blando. La próxima movida será ver si OpenAI o Google aceptan el mismo estándar de auditoría independiente. Si lo hacen, habrá nacido un consenso raro. Si no, lo de Amodei será otro ensayo brillante que se queda en Medium.

Publicidad

Hype-O-Meter

Nivel de hype: 7/10. La propuesta tiene sustancia: abrir los modelos a evaluadores externos es lo más parecido a un software verificable en un sector donde todo es secreto. Pero el plan de tres pasos sigue siendo unilateral, y hasta que la industria no firme algo conjunto, es más una declaración de intenciones que una revolución.

El resumen para vagos (TL;DR)

  • 🎯 ¿Qué ha pasado? El CEO de Anthropic, Dario Amodei, quiere frenar el ritmo con un plan de tres pasos.
  • 🔥 ¿Por qué importa? Por primera vez una gran tecnológica abre sus modelos a auditores externos sin esperar a la competencia.
  • 🤔 ¿Nos afecta o es solo un meme? Afecta, porque si el estándar cuaja, el resto tendrá que enseñar sus tripas.