La policía construyó una IA para predecir delitos violentos. Estaba seriamente defectuoso

Un sistema insignia de inteligencia artificial diseñado para predecir la violencia con armas y cuchillos antes de que ocurra tenía serias fallas que lo hacían inutilizable, admitió la policía. El error condujo a grandes caídas en la precisión y el sistema fue finalmente rechazado por todos los expertos que lo revisaron por problemas éticos.

El sistema de predicción, conocido como la violencia más grave (MSV), forma parte del proyecto de solución nacional de análisis de datos (NDAS). El Ministerio del Interior ha financiado NDAS con al menos £ 10 millones durante los últimos dos años con el objetivo de crear sistemas de aprendizaje automático que se puedan utilizar en Inglaterra y Gales.

Como resultado del fracaso del MSV, la policía ha dejado de desarrollar el sistema de predicción en su forma actual. Nunca se ha utilizado para operaciones policiales y no ha podido llegar a una etapa en la que se pueda utilizar. Sin embargo, también se han planteado preguntas sobre el potencial de la herramienta de violencia para estar sesgado hacia los grupos minoritarios y si alguna vez sería útil para la policía.

La herramienta MSV fue diseñada para predecir si las personas cometerían su primer delito violento con una pistola o un cuchillo en los próximos dos años. Las personas que ya habían entrado en contacto con las dos fuerzas policiales involucradas en el desarrollo de la herramienta, la Policía de West Midlands y la policía de West Yorkshire, recibieron puntuaciones de riesgo. Cuanto más alto sea el puntaje, más probable será que cometan uno de los delitos.

Se utilizaron datos históricos sobre 2.4 millones de personas de la base de datos de West Midlands y 1.1 millones de West Yorkshire en el desarrollo del sistema, con datos extraídos de registros de crímenes y custodia, informes de inteligencia y la base de datos informática de la Policía Nacional.

Pero a medida que el NDAS comenzaba a "operacionalizar" el sistema a principios de este año, surgieron problemas. Los documentos publicados por el Comité de Ética de la Policía de West Midlands, que es responsable de examinar el trabajo del NDAS, así como los propios desarrollos técnicos de la fuerza, revelan que el sistema contenía una "falla" de codificación que lo hacía incapaz de predecir con precisión la violencia.

"Se encontró un error de codificación en la definición del conjunto de datos de entrenamiento que ha hecho que la declaración del problema actual de MSV sea inviable", dice un informe de NDAS publicado en marzo. Un portavoz de NDAS dice que el error fue un problema de ingestión de datos que se descubrió durante el proceso de desarrollo. No se ha revelado más información específica sobre la falla. "Se ha demostrado que es inviable con los datos disponibles actualmente, para identificar un punto de intervención antes de que una persona cometa su primer delito de MSV con una pistola o un cuchillo, con algún grado de precisión", indica el documento informativo del NDAS.

Antes de encontrar el error, NDAS afirmó que su sistema tenía una precisión o niveles de precisión de hasta el 75 por ciento. De cada 100 personas que se cree que corren un alto riesgo de cometer violencia grave con una pistola o un cuchillo en West Midlands, se pronostica que 54 de estas personas llevarán a cabo uno de estos crímenes. Para West Yorkshire, se pronosticaba que 74 personas de 100 cometerían violencia grave con una pistola o un cuchillo. "Ahora sabemos que el nivel real de precisión es significativamente menor", dijo NDAS en julio.

"Los eventos raros son mucho más difíciles de predecir que los eventos comunes", dice Melissa Hamilton, una lectora de derecho y justicia penal de la Universidad de Surrey, que actualmente se centra en el uso policial de herramientas de predicción de riesgos. Hamilton no estaba sorprendido de que hubiera problemas de precisión. "Si bien sabemos que las herramientas de riesgo no funcionan igual en diferentes jurisdicciones, nunca he visto un margen de diferencia tan grande, especialmente cuando se habla del mismo país", dice Hamilton, agregando el original. las estimaciones parecían ser demasiado altas basadas en otros sistemas que ella había visto.

Como resultado de la falla, NDAS modificó su sistema de predicción de violencia y sus resultados mostraron una caída significativa en la precisión. Para la violencia grave con una pistola o un cuchillo, la precisión se redujo a entre el 14 y el 19 por ciento para la policía de West Midlands y del 9 al 18 por ciento para West Yorkshire. Estas tasas también fueron similares si la persona había cometido violencia grave antes o si iba a ser su primera vez.

NDAS descubrió que su sistema reelaborado era más preciso cuando se eliminaron todos los criterios iniciales que había definido originalmente para el sistema: ofensa por primera vez, tipo de arma y uso de armas. En resumen, la actuación original había sido exagerada. En el mejor de los casos, el sistema limitado podría ser preciso entre el 25 y el 38 por ciento del tiempo para la Policía de West Midlands y entre el 36 y el 51 por ciento para la Policía de West Yorkshire.

La propuesta de la policía de llevar adelante este sistema fue rechazada por unanimidad. "No hay información suficiente sobre cómo este modelo mejora la situación actual en torno a la toma de decisiones para prevenir la violencia juvenil grave", concluyó el comité de ética en julio al rechazar la propuesta de un mayor desarrollo del sistema. El comité, que es un grupo voluntario compuesto por expertos de diferentes campos, dijo que no entendía por qué las tasas de precisión revisadas eran suficientes y expresó su preocupación sobre cómo se utilizaría el sistema de predicción.

"El Comité ha expresado estas inquietudes anteriormente en más de una ocasión sin proporcionar suficiente claridad y, por lo tanto, en la medida en que el proyecto se mantiene, informa que el proyecto se suspende", dijo el grupo en su acta. Los miembros del comité que se acercaron para esta historia dijeron que no estaban autorizados a hablar en el registro sobre el trabajo.

El superintendente Nick Dale, líder del proyecto NDAS, dice que quienes están detrás del proyecto "están de acuerdo en que el modelo no puede proceder en su forma actual" y señala que hasta ahora ha sido experimental. “No podemos decir, con certeza, cómo se verá el modelo final, si de hecho, somos capaces de crear un modelo adecuado. Todo nuestro trabajo será examinado por el comité de ética y se publicarán sus deliberaciones. "

Pero varias personas que han revisado los informes publicados por el NDAS y el escrutinio del sistema de predicción de violencia por el comité de ética dicen que los problemas de precisión son solo un área de preocupación. Dicen que los tipos de datos que se utilizan probablemente terminen con sesgos de predicciones, tienen preocupaciones con la estandarización de las tecnologías de vigilancia predictivas y citan la falta de evidencia de la efectividad de tales herramientas. Muchos de estos puntos también se reiteran en las preguntas del comité de ética al personal del NDAS que trabaja en los sistemas predictivos.

"El problema central con el programa pasa por cualquier problema de precisión", dice Nuno Guerreiro de Sousa, tecnólogo de Privacy International. “Basar nuestros argumentos en la inexactitud es problemático porque las deficiencias tecnológicas se pueden resolver a través del tiempo. Incluso si el algoritmo se configurara para ser 100 por ciento exacto, todavía habría sesgo en este sistema. "

El sistema de predicción de violencia identificó "más de 20" indicadores que se creían útiles para identificar cuán riesgoso podría ser el comportamiento futuro de una persona. Estos incluyen la edad, los días desde su primer delito, las conexiones con otras personas en los datos utilizados, la gravedad de estos delitos y el número máximo de menciones de "cuchillo" en los informes de inteligencia vinculados a ellos: los datos de ubicación y etnia no se incluyeron. Muchos de estos factores, dice la presentación, fueron ponderados para dar mayor prevalencia a los datos más recientes.

"Hay muchas categorías, que han sido probadas en otras áreas de análisis de datos en el sistema de justicia penal para conducir a resultados desiguales", dice Rashida Richardson, una académica visitante en la Facultad de Derecho de Rutgers que ha estudiado problemas de datos en la vigilancia predictiva. "Cuando usa la edad, eso a menudo sesga la mayoría de las predicciones o resultados en un sistema en el que es más probable que incluya una cohorte de personas que son más jóvenes como resultado de la edad como uno de los indicadores utilizados". Hamilton está de acuerdo. Ella explica que los factores de la historia criminal a menudo están sesgados, lo que significa que cualquier algoritmo que esté capacitado sobre ellos contendrá los mismos problemas si un humano no interviene en el desarrollo.

"Monitoreamos el sesgo y no buscaríamos implementar un modelo que contenga sesgo", dice Dale, el líder del proyecto NDAS. "Estamos comprometidos a garantizar que las intervenciones como resultado de cualquier modelo de este tipo sean positivas, con el objetivo de reducir la criminalidad y mejorar las oportunidades de vida, en lugar de resultados coercitivos o de justicia penal".

"El valor principal en MSV está en probar el arte de lo que es posible en el desarrollo de estas técnicas de vigilancia", agrega Dale. “Al hacerlo, es inevitable que intentemos las cosas por cualquier razón, pero estamos seguros de que a medida que avanzamos, estamos desarrollando técnicas de ciencia de datos que conducirán a una vigilancia policial más eficiente y efectiva y mejores resultados para todas nuestras comunidades. "

El pensamiento actual de NDAS es que la herramienta predictiva de violencia podría usarse para "aumentar" los procesos de toma de decisiones existentes utilizados por los agentes de policía al investigar a las personas que probablemente cometan violencia grave. El NDAS está trabajando en la herramienta de predicción de violencia: también está utilizando el aprendizaje automático para detectar la esclavitud moderna, el movimiento de armas de fuego y los tipos de crimen organizado. Cressida Dick, directora de la Policía Metropolitana de Londres, dijo anteriormente que la policía debería utilizar la "inteligencia aumentada", en lugar de depender completamente de los sistemas de inteligencia artificial.

Sin embargo, los problemas de parcialidad y potencial racismo dentro de los sistemas de IA utilizados para la toma de decisiones no son nuevos. Esta semana, el Ministerio del Interior suspendió su sistema de toma de decisiones sobre la solicitud de visa, que utilizaba la nacionalidad de una persona como una información que determinaba el estado migratorio de las personas, después de las acusaciones de que contenía "racismo arraigado".

El mes pasado, a raíz de las protestas globales de Black Lives Matter, más de 1,400 matemáticos firmaron una carta abierta diciendo que el campo debería dejar de trabajar en el desarrollo de algoritmos de vigilancia predictivos. "Si nos fijamos en la mayoría de las jurisdicciones donde hay algún uso de análisis predictivo en el sector de la justicia penal, no tenemos evidencia de que ninguno de estos tipos de sistemas funcione, pero están proliferando en el uso", dice Richardson.

Estas preocupaciones se destacan en el desarrollo de la herramienta de predicción de violencia. Los documentos del comité de ética muestran a un miembro no identificado del grupo que dice que la falla de codificación fue un "claro recordatorio" sobre el riesgo de IA y tecnología dentro de la policía.

"En el peor de los casos, los modelos inexactos podrían dar lugar a sanciones coercitivas u otras contra personas para las cuales no había una base razonable para haber predicho su criminalidad; esto corría el riesgo de dañar la vida de los jóvenes a pesar de lo claro advertencias, sin embargo, es bueno ver que el equipo ha evaluado su propio trabajo e identifica fallas desde las cuales comenzar de nuevo ", dijeron en marzo.

A pesar de la falla en el sistema de predicción de violencia, quienes lo revisaron dicen que la configuración es más transparente que otros desarrollos de vigilancia predictiva. "El consejo del comité es transparente, robusto y tiene dientes", dice Tom McNeil, asesor estratégico del Comisionado de Policía y Delitos de West Midlands. El hecho de que el comité de ética esté haciendo preguntas urgentes y obteniendo respuestas no se conoce en gran medida en el desarrollo de sistemas de inteligencia artificial dentro de la policía: gran parte del desarrollo generalmente se realiza en secreto con problemas que solo surgen una vez que impactan a las personas en el mundo real.

"El hecho de que algo se pueda hacer computacionalmente no significa necesariamente que siempre sea la mejor manera de hacerlo o que se deba hacer de esa manera", dice Christine Rinik, codirectora del Centro para Derechos de información en la Universidad de Winchester. "Por eso creo que es tan útil tener un proceso en el que se cuestionen estos pasos".

Matt Burgess es editor digital adjunto de Mundo Informático. Él tuitea desde @ mattburgess1

Más grandes historias de Mundo Informático

? La ciudad francesa que creó su propia Amazonía

? Google se enriqueció con sus datos. DuckDuckGo está luchando

? ¿Qué mascarilla debes comprar? La guía CABLEADA

? Escuche The Mundo Informático Podcast, la semana en ciencia, tecnología y cultura, que se entrega todos los viernes

? Siga Mundo Informático en Gorjeo, Instagram, Facebook y LinkedIn