Las lecciones que todos debemos aprender de la debacle del algoritmo de niveles A
hace 4 años
El intento del gobierno de calificar a miles de estudiantes mediante algoritmos ha sido un desastre. Cientos de estudiantes manifestantes, reunidos frente al Departamento de Educación, el 16 de agosto dejaron esto muy claro. "Al diablo con el algoritmo", cantó.
En medio de las consecuencias, los expertos legales, políticos y de datos ahora están pidiendo a los políticos que piensen nuevamente sobre el proceso de desarrollo, la transparencia y los riesgos de tales sistemas algorítmicos para evitar otra falla catastrófica. Si no lo hacen, los sistemas futuros corren el riesgo de introducir más desigualdad. “Realmente ha sacado a la luz los peligros potenciales y la injusticia que este tipo de modelo puede tener para tanta gente”, dice Polly Sanderson, asesora de políticas en la organización sin fines de lucro Future of Privacy Forum.
El "algoritmo" en sí es complejo pero relativamente tonto: es un modelo estadístico, que no funciona con aprendizaje automático o sistemas de inteligencia artificial. El sistema fue diseñado por el regulador de exámenes, Ofqual, para garantizar que los resultados estuvieran estandarizados en todo el país. Pero tenía grandes fallas y limitaba la cantidad de alumnos que podían lograr ciertos grados y basaba sus resultados en una escuela ''. rendimiento anterior, degradando alrededor del 40 por ciento de los resultados previstos.
Las decisiones políticas en el desarrollo del sistema y un malentendido básico de los datos se han atribuido a los problemas de clasificación. En última instancia, el algoritmo funcionó como fue diseñado y fue producto de decisiones dirigidas por humanos. "Se trata más del proceso y las preguntas sobre objetivos, medidas de mitigación de riesgos, escrutinio y rectificación adecuados", dice Jenny Brennan, quien investiga el impacto de la inteligencia artificial y la tecnología en la sociedad en el Instituto Ada Lovelace. En lugar de que el algoritmo se equivocara, Brennan argumenta que fue simplemente el algoritmo incorrecto.
Pero esto es sólo el comienzo. En los próximos años se utilizarán más sistemas algorítmicos de toma de decisiones y de aumento de decisiones. A diferencia del enfoque adoptado para los niveles A, los sistemas futuros pueden incluir una toma de decisiones opaca dirigida por IA. A pesar de estos riesgos, no queda una imagen clara de cómo los organismos del sector público (gobierno, ayuntamientos, fuerzas policiales y más) están utilizando sistemas algorítmicos para la toma de decisiones. Lo que se sabe sobre su uso a menudo es fragmentario o es cumplido por investigadores individuales.
El algoritmo de niveles A no es la primera falla importante del sector público. De hecho, ni siquiera es el primero de este mes. A principios de agosto, el Ministerio del Interior abandonó su algoritmo de decisión de visado "racista" que clasificaba a las personas según sus nacionalidades tras una impugnación legal del grupo sin fines de lucro Foxglove. (La organización había amenazado con un desafío similar al sistema de niveles A). Y ha habido problemas continuos con el sistema que impulsa los resultados del Crédito Universal.
Entonces, ¿qué se puede aprender del último fracaso?
La gente quiere resultados individuales
Es probable que los estudiantes que se reunieron fuera del Departamento de Educación sean algunas de las primeras personas en protestar directamente por las decisiones de un algoritmo. A ellos se unió una gran oleada de ira en línea mientras estudiante tras estudiante contaba su historia personal de injusticia: miles de jóvenes cuyos planes futuros se arruinaron debido a un enfoque político fallido.
"Lo que esto ha demostrado es que la gente realmente se preocupa por la justicia individual", dice Reuben Binns, profesor asociado de computación centrada en el ser humano en la Universidad de Oxford. La gente quiere que las decisiones sobre sus vidas sean personales y no se basen en datos históricos sobre los que no tienen control. Una talla no sirve para todos y la gente se preocupa principalmente por sus propios resultados individuales y la equidad de ellos. Eso significa que cada individuo tiene su potencial reflejado en algo y no es el resultado de un agregado, agrega Binns.
La policía construyó una IA para predecir crímenes violentos. Fue seriamente defectuoso
Debe haber transparencia
Ofqual ha publicado una gran cantidad de información sobre su algoritmo, principalmente a través de un informe de 319 páginas sobre cómo funciona el sistema. El informe detalla la precisión del modelo estadístico, cómo se creó el modelo y los razonamientos de su comportamiento.
Es raro que se publique este nivel de detalle, dice Brennan. Si bien estos detalles son bienvenidos por investigadores y analistas, es posible que no sean útiles para las personas que se han visto afectadas por el algoritmo.
“Lo que faltaba aquí era transparencia y escrutinio en torno a los objetivos del algoritmo, con mucho tiempo (para cambios)”, agrega Brennan. Ella dice que debería haber habido más consideración del impacto del algoritmo como un todo y no solo los aspectos individuales del mismo. “Se puede hacer más para mostrar evidencia de riesgo apropiado y mitigación de impacto”.
La tendencia de la inflación de las calificaciones (los puntajes de las personas aumentan año tras año) ha sido un problema político en el Reino Unido durante años. No se ha aclarado hasta qué punto las decisiones políticas influyeron en el diseño y desarrollo del sistema final. “Dentro de la restricción de detener la inflación de las calificaciones, estaban destinados a terminar con algunos de estos tipos de problemas”, dice Binns.
En última instancia, los problemas relacionados con la falta de transparencia podrían erosionar la confianza futura en los sistemas algorítmicos que pueden tener impactos positivos en la sociedad. “Esto significa que no hay un debate público o conocimiento de las cosas hasta después de que hayan sucedido o hasta que haya rumores”, dice Rachel Coldicutt, experta que trabaja en ética y uso responsable de la tecnología. "La falta de apertura está generando una falta de confianza, lo que está dando lugar a mucha especulación, lo que creo que no ayuda".
Se necesita el asesoramiento de expertos
Los problemas estadísticos dentro del algoritmo, como la capacidad de otorgar solo un cierto número de cada grado por escuela, podrían haberse detectado antes de su implementación. Pero el consejo de expertos externos fue ignorado meses antes del día de los resultados.
Los miembros de la Royal Statistical Society (RSS) se ofrecieron a ayudar a Ofqual en abril, pero se enfrentaron a acuerdos de no divulgación de cinco años si querían participar en el proyecto. Los expertos en RSS dijeron que creían que algunos de los problemas con el algoritmo podrían haberse evitado si se hubiera tomado el asesoramiento de expertos independientes.
Los consejos tampoco tienen que venir en forma de expertos. También es crucial incluir a las personas que se verán afectadas por el sistema en el proceso de diseño y desarrollo, dice Sara Jordan, del Future of Privacy Forum. “Los estudiantes quieren que las cosas se hagan a un nivel micro”, dice.
Debe ser fácil quejarse
Ha habido cierta confusión en torno a las protecciones legales para los afectados por la toma de decisiones algorítmicas. Según el Reglamento general de protección de datos de Europa y la Ley de protección de datos del Reino Unido de 2018, las decisiones sobre la vida de las personas que están únicamente automatizadas reciben una mayor protección para garantizar que no se produzcan injusticias y discriminación.
La declaración de privacidad de Ofqual para su algoritmo dijo que no creía que las decisiones contaran como completamente automatizadas, la línea también fue repetida por el regulador de protección de datos, la Oficina del Comisionado de Información (ICO). Otros no están de acuerdo con esto. Una predicción similar en Noruega se ha enfrentado a un enfrentamiento con el regulador de protección de datos del país. Binns, que solía trabajar en el ICO asesorando sobre inteligencia artificial y aprendizaje automático, dice que las decisiones que se tomaron parecen estar automatizadas.
“Su argumento de que no es una toma de decisiones automatizada simplemente no es plausible”, dice. “Las calificaciones que obtienen las personas están determinadas por lo que dice el algoritmo sobre cuántos estudiantes pueden obtener cada calificación”, agrega. "Ya se tomó una decisión sobre qué calificaciones están disponibles para usted".
Matt Burgess es el editor digital adjunto de Mundo Informático. El tuitea desde @ mattburgess1
Más historias geniales de Mundo Informático
? Los trenes nocturnos son geniales. Entonces, ¿por qué el Reino Unido no tiene ninguno para Europa?
? Ha comenzado la carrera para crear una vacuna. Esta vacuna de ARNm contra el coronavirus es dos avances en uno
? ¿Necesitas un poco de paz? Estos son los mejores auriculares con cancelación de ruido en 2020
? Escuche The Mundo Informático Podcast, la semana de ciencia, tecnología y cultura, que se entrega todos los viernes
? Siga Mundo Informático en Gorjeo, Instagram, Facebook y LinkedIn
Si quieres conocer otros artículos parecidos a Las lecciones que todos debemos aprender de la debacle del algoritmo de niveles A puedes visitar la categoría Otros.
Otras noticias que te pueden interesar