El antiguo Pôle Emploi publica millones de ofertas de empleo en línea cada año. Teniendo en cuenta este volumen, verificar la conformidad de estos anuncios con la legislación francesa es en sí mismo un desafío. Hasta hace poco, esta verificación se basaba en reglas comerciales. “Pero la proporción de falsos positivos superaba el 30%, lo que obligaba a los asesores a dedicar tiempo a volver a verificar los anuncios. De ahí la idea de reemplazar las reglas por IA para mejorar la pertinencia del sistema”, explica Agathe Ravilly, directora de productos del departamento de IA de France Travail, un servicio que emplea a unas 60 personas.

Desarrollado en paralelo con la plataforma de IA de la organización (una tecnología de código abierto que funciona con 28 GPU y con acceso seguro al lago de datos interno), el servicio ya está en producción. "Nuestra aplicación funciona con 6 redes LTSM (Long Short-Term Memory, un tipo de red neuronal recurrente, nota del editor) y realiza 22 comprobaciones de conformidad", explica Agathe Ravilly, que detalló el funcionamiento de este sistema llamado LegO en el Festival Mundial de IA de Cannes (del 8 al 10 de febrero en Cannes). Una arquitectura modular, construida sobre un clúster Kubernetes implementado localmente, permite actualizar un modelo independientemente de toda la aplicación.

Etiquetado de los datos de entrenamiento

Aunque France Travail se ha centrado en desarrollar una plataforma diseñada para la producción (actualmente alberga no menos de 15 aplicaciones de IA diferentes, incluida la prueba de conformidad de las ofertas de empleo), la organización tuvo que considerar seriamente los datos necesarios para entrenar los modelos para esta última. "Realizamos un trabajo importante para preparar los 35 conjuntos de datos necesarios para la fase de aprendizaje", describe Agathe Ravilly. Se seleccionaron 50.000 ofertas de empleo, se desglosaron en frases unitarias y luego los expertos las etiquetaron (a través de una herramienta interna llamada Replay). Este era un paso necesario para enseñar a los modelos lo que constituye un incumplimiento. "Incluso se desarrolló una guía de etiquetado para evitar diferencias de interpretación entre los expertos, así como un seguimiento de estas actividades", explica la directora de producto. Y dos veces al día, una sesión de trabajo permitía a los expertos involucrados discutir las dificultades encontradas. Es una fase un poco aburrida, pero esencial".

Este trabajo preparatorio permitió alcanzar un nivel de precisión del 82%, lo que permitió poner en producción la aplicación en 2021. Hoy, procesa unas 600.000 ofertas de empleo al mes, de las cuales un 20% resultan no conformes (por ejemplo, porque especifican el género esperado de los candidatos, les piden que tengan buena salud, etc.).

Las contribuciones esperadas de la IA generativa

Si bien la aplicación ofrece un rendimiento satisfactorio (con una disponibilidad del 100% desde su lanzamiento y un tiempo de procesamiento medio de 300 ms), el departamento de IA de France Travail está considerando algunas mejoras, como la recopilación de comentarios de los asesores sobre los resultados de la aplicación, con el fin de supervisar mejor el rendimiento de los modelos, que actualmente se controlan mediante datos de supervisión y muestreo cada seis meses.

“Además, corregir los anuncios detectados como no conformes requiere tiempo para los asesores, que deben reformular y adaptar los textos”, subraya Agathe Ravilly. Un ámbito en el que la IA generativa podría aportar cierta ayuda, cree ella. Al igual que en las tareas de etiquetado de los datos de entrenamiento, con el fin de reducir la intervención humana, o en el diseño de nuevas interfaces, facilitando las interacciones con los asesores. “Queremos llevar las capacidades de LLM Open Source a nuestra plataforma de IA”, resume Agathe Ravilly.