Use la IA generativa para comprender mejor los comentarios gratuitos de los jugadores. Este es el truco que el Departamento de Estudios (llamado Global Strategic Insights) está tratando de usar el editor de juegos de Ubisoft (€ 2.3 mil millones en facturación en 2023). Dedicado a comprender los sentimientos de los jugadores y las tendencias del mercado, este Departamento del Grupo Francés con 21,000 empleados tiene en sus filas un pequeño equipo de algunas personas.

Desde 2018, ha utilizado la solución de los modelos de DataKu y AI de editor francés para analizar los comentarios de los jugadores, recopilados como parte de las encuestas y la encuesta. A partir de 2018, el editor utiliza un modelo de tipo LDA (asignación latente de Dirichlet o asignación latente de DiaDrichlet), un enfoque clásico para identificar temas recurrentes en esta masa de datos no estructurados. En 2020, el editor de Montreuil Migre en sus propios modelos de NPL (offsing del lenguaje natural), que actualizó en 2023. En la línea de este trabajo, el equipo global de Insights Strategic está interesado, desde mediados de 2014, en Generation AI, a través de acceso a OpenAI LLM (explotado en la nube de Azure). El prototipo se desarrolló así, que la Compañía presentó durante la Cumbre de Dataku de AI todos los días en París el 26 de septiembre, se acompaña de una evolución de la restitución. En comparación con el archivo de Excel (temas en columnas, con los comentarios asociados a continuación) de las versiones anteriores, la IA generativa permite ofrecer un resumen, al tiempo que propone el enlace a las citas sin procesar de los jugadores.

Falloring las respuestas

Si la tecnología parece ser una extensión del trabajo anterior de Ubisoft sobre el tema, su implementación supone, como en otros sectores, un cierto número de precauciones. "Comenzamos con los límites de los modelos", dice Benoit Damiani, científico de datos de Ubisoft. Por ejemplo, el editor del juego se da cuenta de que el modelo GPT-4O da una ventaja al primer comentario, creando así un problema de representatividad. La compañía también se esfuerza por filtrar las alucinaciones inherentes al Genai tanto como sea posible ", incluso si no me comprometiera a afirmar que es perfecto", reconoce al científico de datos.

"Para crear un modelo más robusto, le pedimos una respuesta varias veces seguidas en diferentes muestras de datos", explica este último. Además, en cada comentario como jugador tomado individualmente, Ubisoft extrae los sujetos y los sentimientos que surgen. Para evitar problemas de representatividad, el equipo de ciencia de datos también filtra los sujetos que no están muy presentes en los comentarios.

Un POC en una hora, un prototipo en dos meses

"Estamos alcanzando una buena representatividad de las tres cuartas partes de los comentarios, que representa en ganancias de aproximadamente el 25% en comparación con el modelo GPT-4O esta base", dice Benoit Damiani. Lo que reconoce que este resultado permanece ligeramente más bajo que el nivel obtenido con los modelos AI más clásicos. El científico de datos también indica que ha alcanzado una tasa de estabilidad de las respuestas de 0.82; "Una gran mejora en comparación con el modelo básico". Todo por un costo considerado "razonable" por el miembro del departamento de investigación (50 centavos por pregunta en promedio, para un tiempo de respuesta de alrededor de 1Min30). Pero, para Ubisoft, el principal beneficio de lo que queda hasta la fecha un prototipo radica en la calidad de las restituciones, con temas considerados más fácilmente interpretables según Benoit Damiani.

Para este último, este primer desarrollo con el Genai le permite tocar los pasajes obligatorios de un proyecto con esta tecnología. "Aplicar un POC nos llevó menos de una hora, implementando un proyecto piloto solicitado dos meses. Tan pronto como entra en detalles, la necesidad de acompañamiento y estructuración se siente de inmediato", resume Benoit Damiani. Además, las pruebas de Ubisoft muestran que, en este caso específico, las indicaciones complejas no necesariamente dan un resultado más preciso. "Debemos medir para darnos cuenta de ello", dijo el científico de datos, que también aconseja ser paciente con el modelo, nutrirlo con ejemplos, explicaciones de expectativas, etc.

Tratando otras fuentes de textos

Probada por analistas, la aplicación que interpreta los comentarios de los jugadores aún debe conocer dos o tres iteraciones antes de la producción de una versión final, según Benoit Damiani. "Ya controlamos la necesidad y teníamos datos listos para usar, lo que hizo posible iterar con bastante rapidez", dijo. El científico de datos ahora planea probar el Genai sobre otras necesidades relacionadas con la interpretación de datos no estructurados, como entrevistas o críticas detalladas de los jugadores, largas pero pocas, o las opiniones que dejan en sitios comunitarios, que están en lo contrario pero breve. Para el científico de datos, queda por ver cómo responderán los modelos OpenAI en estos dos casos de uso que casi todo se opone.