Las aplicaciones deepfake están aquí y no podemos dejar que se vuelvan locos

En los últimos cinco años, la IA ha experimentado mejoras rápidas en su capacidad para generar versiones sintéticas de caras y voces de personas, comúnmente conocidas como deepfakes. La generación de los primeros deepfakes requirió computadoras potentes y experiencia técnica, pero la creación de deepfakes ahora se está democratizando cada vez más a través de interfaces intuitivas y procesamiento fuera del dispositivo que no requieren habilidades especiales o potencia informática.

Esto ha llevado al surgimiento de aplicaciones deepfake, donde cualquiera puede crear un deepfake desde su teléfono inteligente. Algunas de estas aplicaciones permiten a los usuarios intercambiar con precisión su rostro con el de una celebridad, mientras que otras recrean los movimientos faciales de un usuario en un video de otra persona. Una aplicación llamada Jiggy incluso genera GIF del usuario haciendo diferentes bailes basados ​​en una sola foto de su cuerpo.

Los deepfakes generados por estas aplicaciones no son muy realistas, pero se han utilizado versiones más sofisticadas de la tecnología para crear imágenes fotorrealistas de personas inexistentes, replicar la voz de Jay Z "rapeando" a Shakespeare y sincronizar los movimientos de los labios de Snoop Dogg con los anuncios de Just Eat. .

La creación de estos deepfakes realistas todavía requiere una gran experiencia y hardware. Los creadores de South Park, Matt Stone y Trey Parker, emplearon a 20 "deepfakers" profesionales y especialistas en efectos visuales para crear un nuevo espectáculo satírico de deepfake. Justicia descarada, que sigue a un reportero de televisión de un pueblo pequeño con la cara de Donald Trump mientras se encuentra con celebridades falsas como Al Gore, Ivanka Trump y Michael Caine. Stone y Parker declararon que producir el primer video de 15 minutos había costado millones.

Pero la experiencia técnica y los recursos financieros pueden no ser barreras para crear deepfakes realistas durante mucho más tiempo, ya que los desarrolladores se apresuran a aprovechar el potencial de deepfakes para definir una nueva generación de contenido social. Una empresa que lidera el camino es Reface, con sede en Ucrania, cuya aplicación de intercambio de rostros se había descargado más de 20 millones de veces a mediados de agosto de 2020, encabezando las tiendas de Apple y Android en 100 países. El director ejecutivo de Reface, Roman Mogylnyi, le dijo recientemente a TechCrunch que se están preparando actualizaciones para mejorar la calidad deepfake de la aplicación e incluir cambios de cuerpo completo. En la mente de Mogylnyi, el futuro de las aplicaciones deepfake representa "una plataforma de personalización donde las personas podrán vivir vidas diferentes durante su vida". Pero la mercantilización de las aplicaciones deepfake avanzadas plantea interrogantes sobre cómo podrían utilizarse de forma indebida.

Ya son visibles destellos de este mal uso. Uno de los coautores de este artículo descubrió recientemente un "bot de pornografía deepfake" en la aplicación de mensajería Telegram, que permitía a los usuarios subir fotos de mujeres vestidas y "desnudarlas" generando sus imágenes desnudas deepfake. Más de 100.000 de imágenes deepfake de mujeres y menores se compartieron en los canales de Telegram que cuentan con más de 100.000 miembros.

Los temores de que las aplicaciones deepfake pudieran alimentar el problema de la desinformación política y el contenido engañoso en línea también se desataron en abril de 2020, cuando Donald Trump retuiteó un video crudamente manipulado de Joe Biden moviendo la lengua y moviendo las cejas. Aunque el video no era realista, escenarios similares en el futuro pueden ser más convincentes. Ambos ejemplos apuntan a un futuro preocupante en el que las aplicaciones deepfake podrían crear falsificaciones dañinas a gran escala, amenazando a cualquiera cuyas imágenes estén en línea.

Muchas aplicaciones deepfake abordan estas preocupaciones "sobre rieles" o restringidas: los usuarios solo pueden intercambiar caras en una selección de escenas de películas o programas previamente aprobados. Pero estas restricciones a menudo son el resultado de limitaciones tecnológicas más que una elección de seguridad deliberada. Para generar rápidamente intercambios de rostros de alta calidad con una o unas pocas imágenes de usuario, las aplicaciones "pre-entrenan" sus modelos generativos en una serie de escenas de películas populares, como los gemelos de El resplandor, o el meme de Sean Bean "uno no entra simplemente en Mordor" de El Señor de los Anillos. A medida que la tecnología se vuelve más poderosa y la capacitación previa es menos restrictiva, los desarrolladores pueden ver una ventaja competitiva al abrir sus aplicaciones al contenido subido por el usuario en un enfoque "fuera de los rieles".

Otras empresas de tecnología que ofrecen servicios potencialmente peligrosos, como sincronización de labios y síntesis de voz, han adoptado políticas para evitar el uso indebido de sus productos, como examinar individualmente a los clientes y obtener el permiso de todas las partes cuya imagen se está alterando. Sin embargo, es difícil imaginar aplicaciones deepfake que impongan protocolos similares, dada su dependencia de una gran cantidad de usuarios deseosos de nuevas capacidades deepfake. A medida que las aplicaciones compiten por la atención de los usuarios en un mercado abarrotado, parece casi inevitable que "se descarrilen".

Claro, tanto Apple como Google han implementado prohibiciones de aplicaciones que crean deepfakes engañosos o maliciosos en sus tiendas de aplicaciones, y los desarrolladores están trabajando en funciones de seguridad para evitar incumplir estas políticas. Estos incluyen herramientas de detección de deepfake específicas de la aplicación, que bloquean automáticamente contenido pornográfico o malicioso y la marca de agua de deepfakes generados por la aplicación.

Si bien la disposición de los desarrolladores para abordar el uso indebido de sus aplicaciones es prometedora, la implementación de estas funciones de seguridad plantea varios desafíos. Uno es cómo los desarrolladores los implementan en primer lugar. Para que las herramientas de detección sean efectivas para detener los deepfakes maliciosos, deberían ser ampliamente adoptadas por las plataformas de redes sociales y las aplicaciones de mensajería, pero ninguna plataforma de redes sociales tiene actualmente detección de deepfakes en sus canales de carga de medios e implementando la detección en aplicaciones de mensajería como WhatsApp. o Telegram requeriría monitorear las conversaciones de los usuarios, un cambio significativo en el modelo actual centrado en la privacidad de estos servicios.

Otro es qué tan confiables serían estas medidas de seguridad. Una marca de agua notificaría a los espectadores que un video es falso, pero los desarrolladores podrían ser reacios a colocar uno donde obstruiría la imagen por completo, lo que significa que simplemente podría recortarse fuera del marco. La detección y el bloqueo preventivo de contenido malicioso también resultaría difícil, dada la amplia gama de posibles daños que podría provocar esta tecnología en ciernes. Actualmente, es imposible automatizar la captura de la variedad casi ilimitada de usos maliciosos, mientras que la moderación manual sería inviable dado el volumen de contenido que se genera en línea.

Dado todo esto, ¿qué se podría hacer plausiblemente para minimizar el uso indebido de las aplicaciones deepfake? Un enfoque podría involucrar la creación de un marco de seguridad de aplicaciones para desarrolladores, que incluya medidas como evaluaciones de amenazas, acceso limitado sin autenticación de usuario o incluso moratorias sobre el lanzamiento de nuevas capacidades que carecen de estrategias de mitigación de daños. Si las tiendas de aplicaciones y otras partes interesadas fundamentales hicieran cumplir este marco para el éxito de una aplicación, podría ayudar a crear un estándar de seguridad para las aplicaciones deepfake que todos los desarrolladores tendrían que seguir para que se publiquen.

Una reacción más fuerte puede involucrar una nueva legislación que permita a las víctimas o autoridades pedir cuentas a los desarrolladores si sus aplicaciones deepfake se consideran abiertas o diseñadas intencionalmente para un uso indebido. Esto podría implicar multas y el pago de daños a las víctimas, la eliminación de aplicaciones ofensivas de las tiendas de aplicaciones o incluso cargos penales contra los desarrolladores. Lo que comparten estos dos enfoques posibles es que apuntan al cambio de las aplicaciones deepfake "fuera de los rieles" ya sea restringiendo quién puede acceder a ellas y qué capacidades se liberan, o castigando a los desarrolladores si este cambio termina causando daño.

Claramente, existe una fricción inherente con el modelo al que se mueven las aplicaciones deepfake: cuanto más abiertas y poderosas se vuelven, más difícil es prevenir los daños que pueden causar. Lograr el equilibrio adecuado entre apertura y seguridad será esencial para el éxito futuro de las aplicaciones deepfake. Si mantienen su rumbo actual y continúan "descarrilados", este equilibrio será difícil de lograr.

Henry Ajder es asesor sobre deepfakes, desinformación y manipulación de los medios. Nina Schick es autora de Deepfakes: The Coming Infocalypse

Más historias geniales de Mundo Informático

🇪🇺 Coágulos de sangre e información errónea. La debacle europea de AstraZeneca tendrá consecuencias devastadoras

📦 Brexit está causando estragos en la legión de dropshippers del Reino Unido

📱 Actualice su dispositivo. Las mejores fundas para iPhone 12 que puedes comprar ahora mismo

🔊 Escuche The Mundo Informático Podcast, la semana de ciencia, tecnología y cultura, que se entrega todos los viernes

👉 Siga Mundo Informático en Gorjeo, Instagram, Facebook y LinkedIn