Los investigadores deAbierto AI Trabajar en desarrollos en IA, capaces de superar a los humanos. Un problema si este desarrollo se produce sin control y sin ética. "Actualmente, no tenemos ninguna solución para dirigir o controlar una IA potencialmente superinteligente y evitar que se comporte de forma errática", escribieron el investigador de aprendizaje automático Jan Leike e Ilya Sutskever, cofundador y científico jefe de IA. 'OpenAI en una publicación de blog de la empresa. Agregaron que si bien la probabilidad de que surja una IA altamente inteligente puede parecer remota, algunos expertos creen que podría suceder dentro de una década.

Entre las técnicas actuales para restringir la IA, Jan Leike e Ilya Sutskever citan el aprendizaje por refuerzo basado en la retroalimentación humana, un método que ya se utiliza en el contexto de GPT. Pero, dicen, a medida que los sistemas de inteligencia artificial se vuelven más relevantes que los humanos, ya no se puede confiar en que los humanos supervisen la tecnología. “Las técnicas de alineación actuales no lograrán una superinteligencia. Se necesitan nuevos avances científicos y técnicos”, escribieron.

Mitigar los excesos de la súper IA

Ilya Sutskever y Jan Leike codirigirán el nuevo equipo de alineación de OpenAI. Para llevar a cabo su misión, la división tendrá acceso, durante los próximos cuatro años, al 20% de la capacidad de procesamiento de la empresa para desarrollar un "sistema automatizado capaz de alinear la IA con las capacidades humanas", que podrá ampliarse para supervisar super inteligencia. Para ser éticos, los dos expertos recomiendan un enfoque de tres pasos: desarrollar un método de capacitación escalable, validar el modelo resultante y probar todo el proceso de alineación. "Ciertamente, nuestras prioridades de investigación evolucionarán significativamente a medida que comprendamos el problema y trasladaremos nuestra investigación a áreas completamente nuevas", afirman, y añaden que planean proporcionar más detalles sobre la hoja de ruta de la división.

Esta no es la primera vez que OpenAI reconoce públicamente la necesidad de mitigar los riesgos que plantea la IA no regulada. En una carta abierta en mayo, el director ejecutivo de la compañía, Sam Altman, argumentó que controlar la tecnología debería ser una prioridad global porque la evolución de la IA podría conducir a una forma de extinción. humanidad. "Este riesgo de extinción por la IA debería ser una prioridad mundial junto con otros riesgos sociales como las pandemias y las guerras nucleares", se lee en la carta. En una sección específica del sitio web de OpenAI, el público puede acceder a documentos relacionados con lo que la empresa llama el desarrollo de una "IA segura y responsable", así como a una carta que describe los principios a los que se adhiere para llevar a cabo su misión. Sin embargo, estos principios se relacionan principalmente con el concepto de inteligencia artificial general (AGI), es decir, sistemas altamente autónomos que superan a los humanos en la mayoría de las tareas económicamente útiles. “Intentaremos construir AGI que sean seguros y beneficiosos desde el principio, pero también consideraremos que nuestra misión se cumple si nuestro trabajo ayuda a otros a lograr este resultado”, se lee en la carta publicada en 2018.