Los deepfakes son cada vez más baratos, fáciles y convincentes

Getty Images / Christopher Polk / Equipo

Hay muchas fotos de Tom Hanks, pero ninguna como las imágenes del líder en la conferencia de seguridad informática de Black Hat el miércoles: fueron hechas con algoritmos de aprendizaje automático, no con una cámara.

Philip Tully, un científico de datos de la empresa de seguridad FireEye, generó el engaño Hankses para probar con qué facilidad el software de código abierto de los laboratorios de inteligencia artificial podría adaptarse a las campañas de desinformación. Su conclusión: “Las personas con poca experiencia pueden tomar estos modelos de aprendizaje automático y hacer cosas bastante poderosas con ellos”, dice.

Vistas a resolución completa, las imágenes falsas de Hanks de FireEye tienen defectos como pliegues del cuello antinaturales y texturas de la piel. Pero reproducen con precisión los detalles familiares del rostro del actor, como el entrecejo fruncido y los ojos gris verdoso, que miran fríamente al espectador. A la escala de una miniatura de red social, las imágenes creadas por IA podrían pasar fácilmente como reales.

Para hacerlos, Tully solo necesitaba reunir unos pocos cientos de imágenes de Hanks en línea y gastar menos de $ 100 para ajustar el software de generación de rostros de código abierto al tema elegido. Armado con el software modificado, pone en marcha a Hanks. Tully también usó otro software de inteligencia artificial de código abierto para intentar imitar la voz del actor de tres clips de YouTube, con resultados menos impresionantes.

Al demostrar cuán barata y fácilmente una persona puede generar fotos falsas aceptables, el proyecto FireEye podría agregar peso a las preocupaciones de que la desinformación en línea podría magnificarse por la tecnología de inteligencia artificial que genera imágenes o discursos aceptables. Esas técnicas y su producción a menudo se denominan deepfakes, un término tomado del nombre de una cuenta de Reddit que a finales de 2017 publicó videos pornográficos modificados para incluir los rostros de actrices de Hollywood.

La mayoría de los deepfakes que se observan en Internet son de baja calidad y están creados con fines pornográficos o de entretenimiento. Hasta ahora, el uso malintencionado mejor documentado de deepfakes es el acoso a las mujeres. Los proyectos corporativos o las producciones de medios pueden crear resultados más hábiles, incluidos videos, con presupuestos más grandes. Los investigadores de FireEye querían mostrar cómo alguien podía aprovechar la investigación sofisticada de IA con recursos mínimos o experiencia en IA. Los miembros del Congreso de ambos partidos han expresado su preocupación de que los deepfakes puedan ser manipulados por interferencia política.

Los experimentos deepfake de Tully aprovecharon la forma en que los grupos de investigación académicos y corporativos de inteligencia artificial publican abiertamente sus últimos avances y, a menudo, publican su código. Usó una técnica conocida como ajuste fino en la que un modelo de aprendizaje automático construido a gran costo con un gran conjunto de datos de ejemplos se adapta a una tarea específica con un grupo de ejemplos mucho más pequeño.

Para hacer los Hanks falsos, Tully adaptó un modelo de generación de rostros lanzado por Nvidia el año pasado. La empresa de chips creó su software procesando millones de caras de ejemplo durante varios días en un grupo de potentes procesadores gráficos. Tully lo adaptó a un generador Hanks en menos de un día en un solo procesador gráfico alquilado en la nube. Por separado, clonó la voz de Hanks en minutos usando solo su computadora portátil, tres clips de audio de 30 segundos y una recreación de código abierto de un estudiante de posgrado de un proyecto de síntesis de voz de Google.

A medida que la competencia entre los laboratorios de IA impulse más avances, y esos resultados se comparten, estos proyectos serán cada vez más convincentes, dice. "Si esto continúa, podría haber consecuencias negativas para la sociedad en general", dice Tully. Anteriormente trabajó con un pasante para demostrar que el software de generación de texto de inteligencia artificial podía crear contenido similar al producido por la Agencia de Investigación de Internet de Rusia, que intentó manipular las elecciones presidenciales de 2016.

Tim Hwang, investigador del Centro de Seguridad y Tecnología Emergente de Georgetown, dice que experimentos como el de FireEye pueden ayudar a anclar el debate sobre la amenaza de las falsificaciones profundas, que a veces roza la histeria. “Gran parte de la discusión sobre la amenaza ha sido impulsada por anécdotas dramáticas”, dice. Un ejemplo recurrente es el de una elección presidencial imaginaria manipulada por un deepfake impecable y oportuno de uno de los candidatos.

El proyecto de FireEye completa algunos detalles prácticos al mostrar lo que se puede lograr con recursos mínimos y los frutos de código abierto de la investigación de IA. Hwang dice que combinar ese tipo de información con lo que se sabe sobre cómo operan las organizaciones de desinformación es una mejor manera de evaluar la amenaza deepfake que considerar los peores escenarios. "Pienso en quién es el gerente intermedio de la Agencia de Investigación de Internet que tiene que presentarse a los altos mandos y decir 'Esto es lo que obtuvieron por su inversión'", dice Hwang.

A pesar de los Hankses falsos de Tully, Hwang dice que parece que la aplicación asesina para la desinformación deepfake aún no ha llegado. El IRA y otros logran mucho con mano de obra barata y una infraestructura tecnológica relativamente simple y probablemente no tengan mucho que ganar ni siquiera con proyectos pequeños de IA. La creación de videos deepfake sofisticados requeriría mucho tiempo y experiencia. Hwang es el autor de un informe publicado el mes pasado que concluye que los deepfakes no representan una amenaza aguda e inminente, pero que la sociedad debería invertir en defensas de todos modos.

El informe recomienda que los laboratorios corporativos y académicos creen "zoológicos deepfake" que recopilen ejemplos hechos con diferentes técnicas de código abierto como las que utiliza FireEye para ayudar a crear detectores deepfake. Algunas empresas ya han comenzado a trabajar en proyectos similares. Nvidia ha publicado resultados sobre cómo detectar rostros sintetizados con su software.

Facebook creó recientemente un tesoro de videos de deepfake y ofreció $ 500,000 por el detector de deepfake de mejor rendimiento entrenado en ellos. El ganador pudo detectar deepfakes que no estaban en la colección de Facebook solo el 65 por ciento del tiempo.

Los investigadores de FireEye también están pensando en cómo los deepfakes podrían encajar con las prácticas existentes en el negocio de la desinformación. La charla de Tully el miércoles es una coproducción con Lee Foster, quien lidera un equipo en la compañía que rastrea las campañas de manipulación en línea. El año pasado, desenmascaró una campaña de desinformación pro-Irán en expansión que utilizó personas falsas en Twitter y Facebook e incluso engañó a expertos en política de Medio Oriente para que dieran entrevistas que luego se usaron para impulsar el mensaje de la operación.

Foster dice que los resultados de Tully y su propia experiencia con los sembradores de desinformación le hacen pensar que pronto podrían convertirse en deepfakes. Las fotos de perfil que se han extraído de otras fuentes son una pista que los investigadores de desinformación utilizan para ayudar a desenmascarar personas falsas. El contenido falso de Hanks no está lejos de la calidad necesaria para proporcionar a los estafadores una alternativa, dice. “No tienen que ser perfectos para que sean convincentes en un mundo en el que consumimos información rápidamente de la forma en que lo hacemos”, dice Foster. "Si te desplazas por tu cuenta de Twitter a gran velocidad, no vas a estar examinando de cerca las imágenes de perfil".

Esta historia se publicó originalmente el NOS CONECTÓ.

Más historias geniales de Mundo Informático

? La ciudad francesa que creó su propia Amazonía

? Google se enriqueció con sus datos. DuckDuckGo está contraatacando

? ¿Qué mascarilla debería comprar? La guía Mundo Informático

? Escuche The Mundo Informático Podcast, la semana de ciencia, tecnología y cultura, que se entrega todos los viernes

? Siga Mundo Informático en Gorjeo, Instagram, Facebook y LinkedIn