Anthropic se retracta de política que pudo haber 'saboteado' a investigadores de IA que usan Claude
Anthropic se está echando atrás en una política que hubiera limitado encubiertamente a los competidores de usar su nuevo modelo de IA, Claude Fable 5, para desarrollar otros modelos de IA. La empresa cambió de curso después de que el movimiento recibiera una reacción muy negativa de la comunidad investigadora de IA.
"Estamos cambiando las salvaguardas de Fable 5 para el desarrollo de LLM fronterizos para hacerlas visibles", dijo Anthropic en una declaración a WIRED. "Hicimos un compromiso incorrecto y nos disculpamos por no haber equilibrado correctamente".
Anthropıc lanzó Claude Fable 5, una versión de su último modelo de IA con medidas de seguridad adicionales diseñadas para prevenir el mal uso, a principios de esta semana. Algunas de las salvaguardas en las que Anthropic decidió no fueron sorprendentes: la empresa dijo que redireccionaría a los usuarios que hicieran preguntas sobre ciberseguridad, biología o química hacia un modelo de IA menos capaz para reducir las posibilidades de que alguien utilizara la IA avanzada para realizar un ciberataque o construir un arma biológica.
Pero para los investigadores que intentaban usar Claude Fable 5 para el desarrollo fronterizo de IA, Anthropic delineó un enfoque diferente. La empresa degradaría deliberadamente el desempeño del modelo de manera invisible para el usuario. El movimiento sabotearía efectivamente a los investigadores que intentaran usar Claude para entrenar modelos de IA competidores, lo que Anthropic explícitamente prohíbe en sus términos de servicio.
¿Tienes información? ¿Eres un empleado actual o anterior de Anthropic que quiere hablar sobre lo que está sucediendo? Nos gustaría escucharte. Usando un teléfono o computadora que no sea de trabajo, contacta al reportero de forma segura en Signal en mzeff.88.
Anthropic ahora dice que está cambiando de curso, y que las salvaguardas de Claude Fable 5 para el desarrollo de IA serán visibles para los usuarios. Si la empresa sospecha que un usuario intenta usar Claude para construir una IA muy capaz, le alertará que está rechazando la solicitud o redireccionando al usuario a un modelo menos capaz.
Anthropic revirtió la política después de recibir una feroz reacción de la comunidad investigadora de IA. Anthropic ya ha tomado medidas para limitar a los competidores de usar Claude para construir modelos de IA de código cerrado y de código abierto, pero los críticos dicen que degradar silenciosamente el desempeño del modelo para ciertos usuarios fue demasiado lejos. El agente de codificación de Claude se ha convertido en una herramienta favorita entre los desarrolladores, incluidos los que trabajan en proyectos de investigación de IA de código abierto, e investigadores le dicen a WIRED que la última política de la empresa podría haber llevado a un futuro problemático en el que solo un puñado de laboratorios de IA líderes pudieran realizar investigación de IA avanzada.
Dean Ball, becario senior de la Fundación para la Innovación Americana y ex asesor de la Casa Blanca sobre IA, escribió en una publicación en X que "degradar el desempeño en investigación de ML sin decirle al usuario es sorprendentemente hostil y se ve muy mal". Continuó en otra publicación que la política de "sabotaje secreto" socava la postura general de Anthropic, porque limita a los investigadores de IA de colaborar en seguridad de IA.
"Parecía que Anthropic le estaba diciendo al público: 'No confiamos en que nadie más haga investigación de IA. Somos los únicos que tenemos que hacer
