Cómo una IA puede volverse racista o sexista | Diario del friki

Cuando hablamos de IA racista o sexista, ¿de qué estamos hablando exactamente? ¿Qué están haciendo estas inteligencias artificiales?

Stéphane d'Ascoli: Estamos empezando a tener muchos ejemplos. Ha habido casos de reclutamiento, incluida una IA de Amazon que discriminó los CV de mujeres con las mismas habilidades. También contamos con herramientas de reconocimiento facial tipo Face ID que no funcionan tan bien en personas de raza negra. Esto es problemático y puede serlo más si este problema de eficiencia se encuentra en IAs que se suponen, por ejemplo, para hacer un diagnóstico médico. La forma en que algunas IA procesan y traducen oraciones también puede reflejar una concepción muy sesgada. Por ejemplo, pedimos el femenino de "doctor" y obtenemos "enfermera". El hecho de que determinadas IA discriminen a determinadas poblaciones es tanto más problemático cuanto que ahora influyen en decisiones potencialmente sensibles: obtener un préstamo, un puesto, una decisión judicial, etc.

¿Por qué una IA puede volverse racista o sexista?

LotR: Tendemos a pensar en la IA como fría, objetiva y perfectamente racional, pero ese no es el caso. Aprenden de nuestros datos y nuestros datos están sesgados. Si durante diez años las mujeres han estado en desventaja en el proceso de contratación de una empresa y la empresa utiliza estos datos para capacitar a la IA, es probable que la IA infiera que los CV de las mujeres son menores. relevantes para esta empresa y que sigue poniéndoles en desventaja. Las inteligencias artificiales no tienen nuestra mente crítica. Es por eso que cuando los usuarios de Internet se divirtieron probando los límites del robot conversacional Tay tratando de hacer que dijera horrores, rápidamente lo lograron. La IA que aprendió de sus interacciones con otros usuarios de Twitter dedujo rápidamente que la mejor manera de hacer que la comunidad reaccionara era tocar el punto de Godwin. Es importante tener en cuenta que las IA no cuestionan lo que se les enseña. Por eso son, además, muy conservadores: reflejan el mundo tal como es, no el mundo como nos gustaría que fuera. No hay noción de justicia o progreso social con ellos. Otro factor que puede hacer que la inteligencia artificial trate a los usuarios de manera diferente es la falta de datos. Si entrenamos la IA de reconocimiento facial en bases fotográficas donde encontramos principalmente personas blancas, es posible que no funcione tan bien en personas negras. Y no olvidemos que los algoritmos pueden reflejar los sesgos de sus diseñadores.

LotR: No es fácil. Ya debemos identificar el sesgo y lidiar con él. Y puede resultar muy complicado. Antes, teníamos algos perfectamente determinados, sabíamos exactamente lo que estaban haciendo. Pero, cada vez más, las IA seleccionarán las características importantes por sí mismas. Ese es el objetivo del aprendizaje profundo, pero los hace mucho más difíciles de controlar. Un ejemplo bastante divertido sobre el tema es el de dos hospitales que proporcionaron imágenes de rayos X de los pacientes. Una IA tuvo que determinar si la imagen revelaba una fractura. El problema es que los hospitales tenían tasas de casos muy diferentes (el 90% de los pacientes tenían una fractura en el Hospital A y solo el 10% en el Hospital B). Nos dimos cuenta de que para determinar si la imagen mostraba una fractura o no, la IA no la analizaba en absoluto: solo verificaba el logo del hospital. ¡Porque el hospital A tuvo muchos más casos de fracturas! Este tipo de sesgo es difícil de detectar y también muy difícil de corregir: aunque eliminemos el logo, las imágenes de cada hospital ciertamente tienen características específicas (diferentes resoluciones, etc.). Entonces, la inteligencia artificial puede seguir identificando el hospital por otros medios. Es el mismo problema que surge con los prejuicios sexistas o racistas: podemos decirnos a nosotros mismos que estamos retirando los datos de género o etnia. Pero la IA a menudo podrá derivar este parámetro de otros datos. Sin embargo, debemos intentar tanto como sea posible para identificar los sesgos discriminatorios y encontrar una manera de eliminarlos. Para evitar que la IA se vuelva racista o sexista, también es importante asegurarse de que los conjuntos de datos en los que va a entrenar la IA sean equilibrados y diversos. En este caso, eso es factible. Y una vez que la IA está operativa, es imperativo probarla para verificar que trata a los usuarios de la misma manera.

“Entendiendo la revolución de la inteligencia artificial” por Stéphane d'Ascoli (Editions First)