Anteriormente elogiado por su compromiso con la responsabilidad ética, la compañía recientemente decidió poner sus grandes modelos de idiomas (LLM) en el mercado más rápido, en detrimento de las pruebas de seguridad en profundidad. Esta decisión, motivada por la creciente presión de la competencia y la demanda incesante del mercado, plantea preocupaciones sobre los riesgos potenciales y la seguridad de estas tecnologías.
De acuerdo a información transmitida por el Financial Times, Los equipos internos y los grupos de tercera parte responsables de estas evaluaciones habrían tenido solo unos pocos días para probar ciertos modelos recientes, contra varios meses antes. Una fuente que participó en las pruebas del modelo "O3" expresó su insatisfacción, enfatizando: "Tuvimos muchas más pruebas de seguridad en profundidad cuando era menos importante".
Aceleración del desarrollo a expensas de la seguridad
Bajo la presión de la competencia feroz de Google, Meta, Xai o Mistral, Opadai Acelera considerablemente el desarrollo de sus modelos AI. Esta carrera por la innovación tiene como objetivo mantener su avance, y el contraste es sorprendente: mientras que GPT-4 había sido probado durante seis meses antes de su lanzamiento en 2023, OpenAi habría tenido presión para lanzar su modelo "O3" desde la próxima semana, otorgando así a ciertos evaluadores menos de una semana para realizar sus controles de seguridad, según fuentes cercanas al archivo.
Más allá de los aspectos técnicos, también es la imagen de la empresa la que está en juego. Anteriormente para la organización sin fines de lucro, Operai se acusa regularmente de haberse alejado de su misión inicial, se dirigió hacia el interés general. Una estrategia percibida como promover la velocidad y las ganancias en detrimento de la seguridad podría afectar con duración su credibilidad. Muchos expertos creen que un tiempo de prueba tan corto corre el riesgo de comprometer la calidad del modelo tan pronto como se pone en línea. "Si el modelo genera errores graves o contenido problemático, socavará la confianza del público y reducirá su adopción", advierte Pureekh Jain, CEO y analista principal de Parekh Consulting.
Protocolos de prueba cuestionados
Los críticos también señalan otro problema: las pruebas a menudo se llevan a cabo en versiones preliminares de los modelos, mientras que las versiones finales se pueden modificar después de esta fase de validación. Un ex miembro del equipo de Operai calificó esta práctica como "mala", debido al riesgo de brecha entre lo que se evalúa y lo que realmente se lanza.
Y si la Unión Europea ha adoptado recientemente una regulación más estricta en la IA, todavía no hay un marco mundial armonizado en las pruebas de seguridad del modelo. Muchos expertos exigen una regulación más sólida, lo que impondría estándares claros antes de cualquier colocación en el mercado.
Otras noticias que te pueden interesar