Anthropic bloquea a científicos que intentaron usar su IA en investigaciones sobre armas biológicas
El informe documentó casos en que investigadores buscaron apoyo de Claude para trabajos relacionados con virus, toxinas y proyectos de investigación de doble uso.
Getty Images / SOPA Images
Información de
La empresa de inteligencia artificial Anthropic afirmó este jueves que en los últimos meses había bloqueado varios intentos de investigadores de utilizar versiones de su software Claude en relación con el posible desarrollo de armas biológicas.
La compañía, una de las principales competidoras de OpenAI, creadora de ChatGPT, advirtió de que las intenciones detrás de este tipo de solicitudes pueden ser difíciles de determinar. Ante esa incertidumbre, decidió bloquear determinados usos de sus modelos por el riesgo de que pudieran contribuir al desarrollo de patógenos peligrosos.
Según Anthropic, los casos también mostraron que científicos de regiones donde el acceso a estas tecnologías está restringido, algunos de ellos vinculados a organismos gubernamentales locales, habían tratado de acceder de forma encubierta a sistemas de inteligencia artificial desarrollados por empresas estadounidenses.
No se mencionaron las instituciones de investigación implicadas ni los países en los que tenían su sede.
Más información
Cinco casos documentados en el informe
En un informe detallado sobre intentos de uso indebido de sus modelos de inteligencia artificial, Anthropic enumeró cinco casos relacionados con posibles investigaciones sobre armas biológicas. La empresa afirmó además que, hasta ahora, no tenía constancia de que ninguna compañía privada hubiera presentado públicamente pruebas de un posible uso indebido de sus plataformas para desarrollar este tipo de armas.
Según la empresa, los investigadores no habían solicitado asistencia científica específica, sino apoyo de tipo organizativo, como ayuda para redactar artículos.
La línea difusa entre uso médico y militar
Por lo general, los modelos de inteligencia artificial están diseñados para negarse a prestar asistencia en el desarrollo de armas biológicas. Sin embargo, Anthropic indicó que, cuando una investigación puede tener aplicaciones tanto médicas como militares, a veces puede resultar difícil establecer una línea clara entre una intención inocua y una maliciosa.
La compañía aseguró asimismo haber desarrollado sistemas de detección destinados a identificar y bloquear usos de sus modelos que puedan suponer un riesgo.
El informe se conoce en un contexto de creciente preocupación en el sector tecnológico por el carácter de doble uso de la inteligencia artificial: herramientas capaces de contribuir a investigaciones biológicas legítimas pueden también emplearse en actividades peligrosas.
En uno de los casos bloqueados por la empresa, un investigador intentó utilizar Claude para ayudar a redactar una solicitud de financiación destinada a una investigación sobre un virus. El trabajo propuesto implicaba la denominada investigación de ganancia de función, en la que se aumenta la transmisibilidad de un agente patógeno.
Este enfoque se utiliza habitualmente en laboratorios para contribuir al desarrollo de medidas de protección, pero también puede emplearse en el desarrollo de armas biológicas.
