La IA nunca es mejor que los datos con los que se entrena. Esto significa que la selección de datos sesgada y las preferencias de los equipos encargados de entrenar los modelos pueden propagarse a través de la IA y distorsionar los resultados obtenidos.

En Estados Unidos, las autoridades están utilizando nuevas leyes para hacer cumplir los casos de discriminación debido a la IA. Y la Oficina de Protección Financiera del Consumidor está investigando actualmente la discriminación en materia de vivienda debido al sesgo en los algoritmos de préstamo o tasación de viviendas. “Nuestras leyes de derechos civiles no prevén una excepción para las nuevas tecnologías y la inteligencia artificial que implicarían una discriminación ilegal”, declaró recientemente su director Rohit Chopra en CNBC.

Muchos CIO y otros altos ejecutivos son conscientes del problema, según una encuesta internacional encargada por el proveedor sueco de software Progress. En esta investigaciónEl 65% de los ejecutivos encuestados, que utilizan datos para tomar decisiones, declararon que pensaban que existía cierta o probablemente datos discriminatorios en sus operaciones actuales. Y el 78% de los tomadores de decisiones cree que estos sesgos crearán cada vez más dificultades a medida que su empresa utilice más ampliamente la IA y el aprendizaje automático.

“El riesgo siempre estará ahí”

Elisabeth Stjernstoft, CIO del gigante energético sueco Ellevio, reconoce que existe un riesgo al utilizar datos sesgados que no son representativos del grupo de clientes o de la población que se está estudiando. "Esto, por supuesto, puede afectar la capacidad de la IA para hacer predicciones precisas", afirma. “Necesitamos observar los datos con los que se entrena el modelo, pero también cómo se diseñan los algoritmos y la selección de funciones. En última instancia, el riesgo siempre existirá, por lo que debemos monitorear los modelos y corregirlos si es necesario”.

Dicho esto, el departamento de TI no dice estar preocupado por las soluciones de inteligencia artificial que utiliza Ellevio en la actualidad. “Usamos IA principalmente para escribir código más rápido y mejor, así que eso no me preocupa. Una vez desarrollado el código, también se revisa. El aprendizaje automático se utiliza principalmente para aplicaciones técnicas, para realizar análisis predictivos. » Sin embargo, Elisabeth Stjernstoft encontró algunas dificultades a la hora de obtener datos de entrenamiento relevantes para predecir la carga de energía cuando el frío es más intenso. "Es un desafío porque estas situaciones de frío extremo son tan raras que simplemente no hay muchos datos disponibles para el entrenamiento", admite.

Empieza a pensar ahora

Göran Kördel, CIO de la empresa sueca de metales Boliden, está de acuerdo en que comprender los riesgos de sesgo en la IA es fundamental. "Este es probablemente un tema en el que todos los CIO están pensando en este momento, y creo que es importante hacerlo, incluso si no sabemos cómo será la IA dentro de unos años o cómo se utilizará entonces, allí, ”, dice. "Necesitamos pensar en las consecuencias de este desarrollo".

Pero para Boliden no existen grandes riesgos a corto plazo, según su CIO. "Utilizamos el análisis de imágenes principalmente en proyectos piloto con cámaras que examinan objetos", explica Göran Kördel. “Me preocupan más los datos sesgados cuando se trata de aplicaciones relacionadas con humanos y la IA generativa; de IA que produce información orientada al consumidor y utiliza datos del consumidor”. El CIO también cree que la IA corre el riesgo de debilitar las capacidades creativas e impedir que las organizaciones piensen de manera innovadora.

Comience con datos sesgados y control

Johan Clausén, CIO de la aseguradora Skandia, destaca la importancia de evaluar necesidades y riesgos a la hora de introducir nuevas soluciones. Pero, por el momento, al igual que sus homólogos, no ve ningún riesgo en el uso de la IA en su empresa. "Sólo utilizamos la IA de forma muy limitada, por lo que no veo que los datos sesgados sean un desafío en este momento", afirma. “Las fuentes de datos externas que tenemos son confiables. »

Pero para protegerse contra cualquier eventualidad en el futuro, Johan Clausén dice que es importante pensar dónde deben estar seguros los datos y para qué aplicaciones podría ser aceptable comenzar con datos sesgados, implementando controles que rijan este modelo.

Todos los CIO encuestados coinciden en que la falta de habilidades en IA afectaría los riesgos. El CIO de Boliden destaca especialmente que siempre existe una brecha de habilidades cuando llega una nueva tecnología, lo que es un obstáculo para todas las empresas. Al mismo tiempo, cree que las empresas tienen más tiempo del que muchos piensan para adaptarse: “con el debido respeto a la tecnología en desarrollo, la pregunta es qué tan rápido la aplicaremos. Creo que llevará más tiempo de lo que pensamos actualmente hacer esto a gran escala”.