Un pequeño texto borrado, pero dice mucho. Abierto AI de hecho, ha borrado la referencia al uso de su tecnología de inteligencia artificial o de sus grandes modelos de lenguaje con fines militares. Antes esta modificación se produjo el 10 de eneroLa política de OpenAI prohibió específicamente el uso de sus modelos para el desarrollo de armas, la guerra y el ejército, así como contenido que promueva, fomente o describa actos de autolesión. OpenAI dijo que las políticas actualizadas resumen la lista y hacen que el documento sea más "legible" al tiempo que ofrecen "orientación específica del servicio".

La lista se ha condensado en lo que la empresa llama Políticas Universales, que prohíben a cualquier persona utilizar sus servicios para dañar a otros y prohíben la reutilización o distribución de cualquier contenido de sus modelos para dañar a otros. . Si bien este cambio de políticas se interpreta como un debilitamiento gradual de la posición de la empresa en el trabajo con empresas de defensa o relacionadas con el ejército, varios expertos ya han destacado los "riesgos que plantean los modelos de IA de frontera", incluido el director ejecutivo de OpenAI, Sam Altman.

Índice
  1. Destacando los riesgos que plantea la IA
  2. Preocupaciones recientes por la investigación antrópica

Destacando los riesgos que plantea la IA

En mayo pasado, cientos de ejecutivos de la industria de TI, académicos y otros firmaron una carta abierta advirtiendo sobre el riesgo de extinción vinculado a la evolución de la IA, diciendo que el control de esta tecnología debería ser una máxima prioridad global. "La mitigación del riesgo de extinción relacionado con la IA debería ser una prioridad mundial junto con otros riesgos sociales como las pandemias y la guerra nuclear", se lee en la declaración publicada por el Centro para la Seguridad de la IA, con sede en San Francisco. Paradójicamente, los firmantes más importantes de la carta son Sam Altman y el CTO de Microsoft, Kevin Scott. Ejecutivos, ingenieros y científicos del laboratorio de investigación de inteligencia artificial de Google, DeepMind, también firmaron el documento. La primera carta contra el uso de la IA data de marzo, en la que más de 1.100 personalidades del mundo TI alertaban a los laboratorios que realizan experimentos a gran escala con IA.

En octubre, OpenAI dijo que estaba preparando un equipo para evitar que lo que la compañía llama modelos de IA de "amortiguador de límites" desencadenara una guerra nuclear y otras amenazas. “Creemos que los modelos de amortiguación de IA, que superarán las capacidades actualmente presentes en los modelos más avanzados existentes, pueden beneficiar a toda la humanidad. Pero también plantean riesgos cada vez más graves”, afirmó la empresa en una entrada de blog. En 2017, un grupo internacional de expertos en inteligencia artificial y robótica firmó una carta abierta a las Naciones Unidas para poner fin al uso de armas autónomas que amenazan con una “tercera revolución en asuntos militares”. Aún así, paradójicamente, Elon Musk, que creó una empresa de inteligencia artificial llamada X.AI para competir con OpenAI, se encontraba entre estos expertos.

Preocupaciones recientes por la investigación antrópica

Hay otras razones que deberían preocuparnos más. Algunos investigadores sostienen que los modelos de IA llamados “malos” o “malos” no pueden reducirse ni entrenarse para que sean “buenos” con las técnicas existentes. Un artículo de investigación, dirigido por Anthropic, que quería saber si era posible enseñar a un sistema de inteligencia artificial a engañar a un comportamiento o una estrategia falaz, demostró que se podía hacer que este tipo de comportamiento fuera persistente. "Encontramos que dicho comportamiento puede volverse persistente, de modo que no se elimine mediante técnicas comunes de capacitación en seguridad, incluido el ajuste supervisado, el aprendizaje por refuerzo y el entrenamiento adversario (provocar comportamientos peligrosos y entrenar para eliminarlos)", escribieron los investigadores. .

"Nuestros resultados sugieren que una vez que un modelo muestra un comportamiento engañoso, las técnicas comunes pueden no lograr eliminar este engaño y crear una falsa sensación de seguridad", agregaron. Según los investigadores, lo que es aún más preocupante es que "el uso del entrenamiento adversario para detener el comportamiento engañoso de los modelos puede enseñarles a reconocer mejor el desencadenante de su puerta trasera y así ocultar eficazmente el comportamiento peligroso".