"Como parte de nuestra misión de crear una IA segura, nos tomamos en serio todos los riesgos de seguridad de la IA", dice Abierto AI en el preámbulo. Así, en una entrada de blog publicada ayer, el fundador de ChatGPT anunció la creación de un equipo llamado “Preparedness”. Aleksander Madry, director del Centro de Aprendizaje Automático Implementable del MIT, liderará este equipo. Para que conste, Aleksander Madry se unió a OpenAI en mayo pasado como “jefe de preparación”, según el información proporcionada en su perfil LinkedIn. Este equipo tendrá como objetivo minimizar los riesgos a medida que los modelos de IA sigan mejorando. En detalle, OpenAI indica que el equipo "conectará estrechamente la evaluación de capacidades, las evaluaciones y el equipo rojo interno para modelos de vanguardia, desde modelos que desarrollaremos en un futuro próximo hasta aquellos equipados con capacidades de nivel AGI (sistemas de IA que poseen capacidades a nivel humano en diversas tareas cognitivas, lo que les permite razonar, aprender y generalizar en una amplia gama de dominios).

El equipo contribuirá a monitorear, evaluar, pronosticar y proteger contra riesgos catastróficos que abarcan múltiples categorías. Estos incluyen la persuasión individualizada, la ciberseguridad y las amenazas químicas, biológicas, radiológicas y nucleares. La misión de este grupo también se refiere al desarrollo y mantenimiento de una política de desarrollo que tenga en cuenta los riesgos. Al hacerlo, OpenAI espera que esta política complemente y amplíe su trabajo actual en mitigación de riesgos. Para formar el equipo e “identificar áreas de preocupación menos obvias”, OpenAI está lanzando su AI Readiness Challenge para la prevención del “uso indebido catastrófico”.

Índice
  1. 10 personas seleccionadas para formar el equipo de preparación
  2. Trabajo continuo de seguridad y vigilancia.

10 personas seleccionadas para formar el equipo de preparación

“Ofreceremos $25.000 en créditos API a las 10 mejores propuestas, publicaremos ideas y contribuciones innovadoras y buscaremos candidatos de preparación entre los mejores candidatos para este desafío”, especifica la firma en su página de solicitud. Entre los campos obligatorios a rellenar al presentar la solicitud, uno de ellos llama la atención. “Imagínate que te dimos acceso ilimitado a los modelos Whisper, Voice, texto a voz, GPT-4V y DALLE·3 de OpenAI y que fueras un mal actor. Consideremos el uso indebido del modelo más singular, aunque probable y potencialmente catastrófico. Podría considerar un uso indebido relacionado con las categorías analizadas en la publicación del blog o con otra categoría. Por ejemplo, un actor malicioso podría usar GPT-4, Whisper y Voice para engañar socialmente a los trabajadores de infraestructuras críticas para que instalen malware, apagando así la red eléctrica”, escribe OpenAI.

Siguen las siguientes preguntas: “¿Cuál sería el abuso? Describe este mal uso. ¿Por qué podría causar un daño catastrófico y cuál sería ese daño? ". Aún más curioso, la empresa llega incluso a pedir a los solicitantes que presenten una prueba de concepto con instrucciones detalladas paso a paso de cómo imagina que alguien lleve a cabo tal uso indebido en el mundo real, asumiendo un acceso ilimitado a sus modelos. Otras preguntas más serias se refieren a cómo medir (ética y legalmente) la verdadera viabilidad y la gravedad potencial del escenario de uso indebido y cómo remediarlo. Tenga en cuenta que se aceptarán respuestas hasta el 31 de diciembre de 2023.

Trabajo continuo de seguridad y vigilancia.

Desde el lanzamiento de su chatbot de IA, OpenAI ha demostrado en repetidas ocasiones estar preocupado por cuestiones de seguridad y confianza en la inteligencia artificial. A principios de abril, la empresa lanzó una recompensa por errores en la plataforma Bugcrowd. El alcance de las vulnerabilidades encontradas se refiere, en particular, a las API, ChatGPT o incluso a información confidencial expuesta a través de terceros (Google Workspace, Trello, Zendesk, Tableau, etc.). Con una recompensa de hasta 20.000 dólares, suficiente para motivar a la comunidad global de investigadores de seguridad, hackers éticos y otros entusiastas de la tecnología. En julio, la empresa se unió a otros laboratorios de IA para asumir una serie de compromisos voluntarios para promover esto. "Estos compromisos cubrieron una variedad de áreas de riesgo, incluidos los riesgos extremos que son el tema central de la Cumbre de Seguridad de la IA que tendrá lugar en Bletchley Park, Buckinghamshire, en el centro de Inglaterra", añade OpenAI. Incluso más recientemente, la compañía anunció la creación de un equipo rojo. Por lo tanto, se lanzó una convocatoria de candidaturas para formar una red Red Teaming. Integrado por perfiles más o menos técnicos, este grupo debe centrarse en mejorar la seguridad de los modelos OpenAI.

Si la empresa ha decidido emprender este proyecto de “preparación” es también porque ya se enfrenta a numerosos riesgos. “Creemos que los modelos de IA de vanguardia, que superarán las capacidades actualmente presentes en los modelos más avanzados existentes, tienen el potencial de beneficiar a toda la humanidad. Pero también plantean riesgos cada vez más graves. Gestionar los riesgos catastróficos de esta IA requerirá responder preguntas como: ¿Cuán peligrosos son los sistemas avanzados de IA cuando se utilizan indebidamente, hoy y en el futuro? ¿Cómo podemos establecer un marco sólido para monitorear, evaluar, predecir y proteger contra capacidades peligrosas de los sistemas de IA? Si nuestros modelos de IA fueran robados, ¿cómo podrían los malos actores optar por explotarlos? ". Tantas preguntas que, por el momento, quedan sin respuesta.