Llevamos mucho tiempo soportando software defectuoso. Cualquiera que haya criticado el sistema de reservas de viajes de su empresa o haya intentado descifrar la interfaz de la herramienta interna creada para registrar los comentarios de los empleados sabe de lo que estoy hablando. A pesar de estos problemas, seguimos usando (y, seamos honestos, escribiendo) software incorrecto. Por otro lado, nuestro umbral de tolerancia para los modelos de lenguaje grandes, ChatGPT y otros aspectos de la IA generativa (GenAI), parece mucho más bajo. Como señala el desarrollador Simon Willison: "Si normalmente la gente se queja de lo difícil que es utilizar el software, en el caso de la IA generativa, quienes luchan por obtener buenos resultados dicen que "es inútil y lo abandonan por completo". Punto que debemos preguntarnos si lo que esperamos de GenAI no es irreal.

Índice
  1. Expectativas excesivas
  2. Realidad práctica

Expectativas excesivas

La respuesta es claramente sí. ¿Pero a quién debemos culpar? Casi todo el mundo. Para bien o para mal, todos hemos llegado a esperar demasiado de la IA, desde personas que temen que las máquinas impulsadas por IA nos quiten el trabajo hasta vendedores que intentan revitalizar sus productos desgastados rociándolos con IA, medios que buscan temas interesantes, etc. En el caso de GenAI, este contexto ha llevado a sus defensores a pasar por alto o mitigar algunos de sus defectos obvios. Bill Gates, por ejemplo, tiene una visión increíblemente ambiciosa para el futuro de GenAI, que parece muy alejada incluso de la realidad actual más optimista. Semejante exageración no ayuda a nadie y dificulta la solución de algunos de los problemas fundamentales de GenAI. Para empezar, como sostiene Amelia Wattenberger, el chat es una forma extraña y poco intuitiva de descubrir inteligencias GenAI. Como ella señala, herramientas como ChatGPT "saludan" a los usuarios con un cuadro de texto, sin una guía real sobre qué escribir en el cuadro y, esencialmente, sin visibilidad de por qué están respondiendo con un cuadro de texto. cierta manera. "Por supuesto, los usuarios pueden aprender con el tiempo qué indicaciones funcionan bien y cuáles no, pero depende de cada usuario saber qué funciona", continúa.

Para agravar este problema, los investigadores Zamfirescu-Pereira, Wong, Hartmann y Yang sostienen que "incluso para los expertos en procesamiento del lenguaje natural, las indicaciones de ingeniería requieren mucho ensayo y error, y dedican tiempo a experimentar y evaluar de forma iterativa los efectos de varios Impulsar estrategias sobre pares concretos de insumos y productos antes de evaluarlos de manera más sistemática en grandes conjuntos de datos”. Todo el mundo intenta descubrir cómo crear entradas que produzcan buenos resultados, y todo el mundo fracasa la mayor parte del tiempo. El hecho de que la industria haya evolucionado muy rápidamente no ayuda, como señala Benj Edwards: “No importa las técnicas que uses. Si se desarrollan para utilizarlos bien, las indicaciones quedan obsoletas después de tres o cuatro meses. Ciertamente, a los proveedores les gustan. Abierto AI podrían incorporar más barreras de seguridad en sus productos, para facilitar que los no expertos sean productivos y eliminar algunos de estos problemas de interfaz de usuario. Pero las dificultades iniciales encontradas por GenAI no justifican concluir que el revuelo sea injustificado y que la tecnología no funcione.

Realidad práctica

La fricción inherente a ChatGPT y otras herramientas GenAI es real, como explica Sebastian Bensusan en un blog sobre el tema, pero también se puede solucionar. Y parte de la "respuesta" se reduce a la experiencia del usuario. Sí, las herramientas pueden y deben integrar más inteligencia en la interfaz, pero también es cierto que una de las principales formas de obtener más valor de GenAI es seguir practicando hasta que comprendamos dónde están sus aristas. Pocas personas tienen más experiencia en esta área que el Sr. Willison, quien sugiere que "para aprovechar al máximo los grandes modelos de lenguaje - y evitar los muchos obstáculos que plantean al usuario desprevenido - uno debe pasar tiempo con ellos y trabajar construir un modelo mental preciso de cómo funcionan, de qué son capaces y dónde es más probable que salgan mal”. Sí, es necesario mejorar las herramientas, pero eso no exime a los usuarios de volverse también más inteligentes y más inteligentes. A aquellos que tienden a descartar la GenAI porque es difícil, les recomiendo paciencia y práctica, como hace el Sr. Willison: “La GenAI puede. ser imperfecto, mentir y ser propenso a todo tipo de problemas... pero también puede conducir a enormes ganancias de productividad”.