Esta IA convierte fotos borrosas en impresionantes retratos en HD

hace 4 años

Un equipo de investigadores de la Universidad de Duke, transmitidos por TNW, ha desarrollado un sistema basado en IA para reconstruir retratos realistas en muy alta definición a partir de imágenes de baja definición. Impresionante, pero las aplicaciones potenciales aún no están claras.

© Menon et al., Universidad de Duke

Tomar una foto borrosa les pasa a todos. La mejor cámara con el enfoque automático más eficiente no cambiará eso y, a veces, solo tienes que empezar de nuevo. Al menos por ahora, porque a juzgar por los resultados producidos por la IA de un equipo de investigadores de la Universidad de Duke, ¡eso podría cambiar! El equipo de Sachit Melon ha desarrollado una inteligencia artificial capaz de generar un retrato de alta resolución a partir de una imagen extremadamente pixelada. Esta tecnología llamada PULSE (Upsampling de fotos auto-supervisado a través de la exploración espacial latente de modelos generativos) fue desarrollado como una herramienta de retoque. Parece funcionar bien ya que, según los autores del estudio, permite "Genere imágenes realistas de alta resolución con una resolución nunca antes vista" de una vulgar sopa de píxeles. Las cifras anunciadas son en cualquier caso impresionantes: ¡su sistema podría multiplicar la resolución de una imagen por 64!

La herramienta, disponible en una página dedicada en el sitio web de la Universidad de Duke, teóricamente te permite hacer la prueba tú mismo: solo tienes que ir al Google Colab del equipo. En algunos navegadores, el campo que le permite cargar su foto no aparece de forma predeterminada, y primero tendrá que ejecutar el programa una vez en el vacío para que aparezca. Desafortunadamente, el alojamiento de imágenes funciona gracias a Google Drive, que tiene un límite de tráfico diario. Habiendo alcanzado esto ya hoy, así que no hemos podido probarnos a nosotros mismos por ahora. Pero los resultados son impresionantes, a juzgar por los resultados publicados por la universidad.

Han jugado los autores Sachit Menon, Alex Damian, McCourt Hu, Nikhil Ravi y Cynthia Rudin. Arriba, la foto original. En el medio, una versión pixelada. En la parte inferior, la versión reconstruida a partir de la versión pixelada. © Menon et al., Universidad de Duke

Es cierto que las fotos producidas no se parecen exactamente a las originales: ningún programa podrá reconstruir una imagen completa y perfectamente a partir de datos incompletos y, por lo tanto, estas imágenes son similares a acertijos. La textura del cabello o la forma de la nariz, por ejemplo, son bastante variables. ¡Pero los rostros producidos son, en cualquier caso, un realismo y una consistencia impresionantes!

Para lograr esta hazaña, el equipo se basó en un sistema ya conocido, las Redes Adversarias Generativas (o GAN). Esquemáticamente, se trata de un par de dos inteligencias artificiales ya entrenadas de antemano: un generador y un adversario. El primero, como su nombre indica, generará una gran cantidad de retratos. El segundo servirá como sparring tratando de adivinar si el retrato realizado es una foto real o no. Con cada falla, el generador intentará hacerlo mejor hasta que pueda engañar a su oponente. Una vez que eso sucede, obtenemos un retrato de candidato. Esta misma tecnología ya se ha utilizado en numerosos estudios relacionados con la inteligencia artificial y el arte. Podemos citar a GauGAN, del que les hablamos el año pasado, este proyecto del MIT mucho menos convincente, o incluso GameGAN, la IA generadora de videojuegos con el sello de NVIDIA.

Solo interés artístico por ahora

En la actualidad, las aplicaciones de tal sistema quedan confinadas a lo artístico. Es fácil imaginar que, a largo plazo, un sistema de este tipo se encontrará en cierto software de procesamiento de imágenes como Lightroom o Photoshop. Combinada con máscaras, esta tecnología permitiría realizar importantes retoques en dos etapas, tres movimientos. Sin embargo, con un límite importante: la reconstrucción de la imagen dependerá del banco de datos presente en el adversario. Cuantas más imágenes tenga en stock, más podrá producir retratos variados y “orgánicos”. Por el contrario, con muy pocas imágenes, el resultado podría tener sistemáticamente un aire de déjà vu. Esto tiene algunas implicaciones: por ejemplo, un fotógrafo que quisiera retocar la foto de un cliente sin duda tendría que proporcionar a la IA muchas más fotos de ese mismo cliente si quiere lograr los resultados deseados.

Pero, en teoría, las aplicaciones no se limitarían a los retratos. El sistema GAN es más o menos universal, siempre que se disponga de imágenes y tiempo suficientes para entrenarlo adecuadamente. Por lo tanto, podemos imaginar su uso en ciertos casos en los que la resolución es un gran factor limitante. Este es particularmente el caso de objetos de tamaño muy pequeño o que se encuentran a una distancia muy grande. Por ejemplo, en astronomía, no es raro obtener como única imagen de un cuerpo celeste un grupo simple de alrededor de veinte píxeles apenas perceptibles. El mismo fenómeno existe en la dirección opuesta, por ejemplo cuando buscamos observar lo infinitamente pequeño.

Ultima Thule, un pequeño objeto de 30km ubicado a 1,9 millones de km ... No es fácil sacar una foto. © Laboratorio de Física Aplicada de la Universidad Johns Hopkins

Sobre el papel, estas técnicasmuestreo por tanto, podría ser útil en muchos campos de investigación. Pero es mejor moderar sus expectativas, debido a las limitaciones inherentes a la naturaleza de las GAN. En efecto, esta técnica es difícil de aplicar a disciplinas exploratorias, como la astronomía por ejemplo, porque esto implica tener ya imágenes de un objeto que son muy similares, y otras que son muy diferentes para que eladversario puede hacer su trabajo de comparación. En última instancia, el interés de tales métodos, tal como existen hoy en día, sigue siendo limitado en la ciencia porque son solo extrapolaciones. En resumen, no es posible crear datos precisos desde cero y, por lo tanto, estas GAN juegan con las conjeturas. Incluso si lo juegan mucho mejor que cualquier humano, a menudo es muy poco para servir como prueba rigurosa. Queda por ver en qué forma se podrían utilizar estas tecnologías en la vida diaria del público en general y de los científicos.

Adobe Photoshop |  1 año |  ...
Adobe Photoshop | 1 año | ...

  • Versión completa de Photoshop para descargar para instalar en su computadora en ...
  • Varias docenas de funciones nuevas, incluido el filtro Nitidez optimizada, que analiza imágenes ...
  • Muestreo inteligente para ampliar una imagen de baja resolución para una representación perfecta ...
  • 20 GB de espacio de almacenamiento en la nube a través de Adobe Creative Cloud, con la capacidad de ...

Si quieres conocer otros artículos parecidos a Esta IA convierte fotos borrosas en impresionantes retratos en HD puedes visitar la categoría Artículos.

Otras noticias que te pueden interesar

Subir
Esta web utiliza cookies propias y de terceros para su correcto funcionamiento y para fines analíticos y para mostrarte publicidad relacionada con sus preferencias en base a un perfil elaborado a partir de tus hábitos de navegación. Contiene enlaces a sitios web de terceros con políticas de privacidad ajenas que podrás aceptar o no cuando accedas a ellos. Al hacer clic en el botón Aceptar, acepta el uso de estas tecnologías y el procesamiento de tus datos para estos propósitos.
Privacidad