La empresa de diseño y venta de ropa para actividades al aire libre Patagonia ha sido demandada por violar la ley de privacidad de California. La empresa supuestamente utiliza la inteligencia artificial generativa de Talkdesk para interceptar, grabar y analizar conversaciones de clientes sin su permiso. La denuncia, presentada el 15 de julio, afirma que la empresa redirige y almacena todas las conversaciones con clientes y socios comerciales en tiempo real en sus propios servidores y, después de transcribirlas, "utiliza sus modelos de inteligencia artificial para analizar las palabras de las personas que llaman y determinar de qué están hablando y cómo se sienten durante la conversación". También se ha presentado una solicitud para reclasificar la demanda.

La demanda hace referencia a uno de los productos de inteligencia artificial de Talkdesk, Copilot, al que describe como un “asistente GenAI que escucha, guía y asiste a los agentes del call center durante las interacciones con los clientes. Por ejemplo, Copilot sugerirá automáticamente respuestas relevantes a los agentes en chats, correos electrónicos, llamadas y mensajes de texto en función del contenido de la conversación. Talkdesk almacena toda esta información en la nube y crea un historial de interacciones, lo que permite a las empresas realizar un seguimiento de las conversaciones anteriores con los clientes, incluso si tuvieron lugar en un medio diferente. Todos estos datos se almacenan en los servidores de Talkdesk”. Por su parte, Patagonia proporciona una descripción genérica del tipo de intercambio de datos que realiza en general en su política de privacidad, pero no especifica exactamente qué hace Talkdesk.

El litigio involucra a tres actores distintos: la empresa, en este caso Patagonia; un tercero, en este caso Talkdesk, proveedor de soluciones SaaS para call center basadas en IA; y las herramientas de IA utilizadas por uno u otro. La acción judicial apunta directamente a Patagonia y Talkdesk, pero también cuestiona muy claramente la forma en que las IA explotan los datos recopilados.

Migrañas en el horizonte para los CIO

Uno de los problemas planteados reside en una paradoja relacionada con la explotación de la IA generativa. Los CIO de una empresa deben identificar con precisión todos los datos que recoge el SI y la forma en que se utilizan. Sin embargo, con GenAI, ¡simplemente no tienen ni idea! Lo suficiente para poner muy nerviosos a los CIO, pero también a los departamentos jurídicos.

Mark Rasch, abogado especializado en tecnología y privacidad, imagina varios escenarios en una situación como esta. ¿Qué sucedería, por ejemplo, si un consumidor llamara a un minorista y se enzarzara en una acalorada discusión sobre un posible reembolso de un producto? Incluso después de que se resolviera el problema, el análisis de emociones de GenAI podría seguir etiquetando al cliente como difícil y problemático. Si cientos de otros minoristas y empresas utilizaran el mismo software, ¿qué pasaría si este decidiera recomendar a los centros de atención telefónica de esas organizaciones que cortaran las conversaciones con ese cliente si se demoraban demasiado? ¿O qué pasaría si recomendara que se rechazaran todas las solicitudes de reembolso de ese cliente?

La total falta de transparencia de GenAI

"Con la IA, nadie puede decir con certeza cómo se utilizan los datos ni cómo se utilizarán en el futuro", afirma Mark Rasch. "Eso significa que probablemente sea imposible demostrar la relación causa-efecto". Para el abogado, la raíz del problema reside en la imprevisibilidad de la propia IA, especialmente de GenAI. No se trata solo de alucinaciones.

La IA está en constante aprendizaje y ajuste, lo que significa que nadie puede saber con precisión cómo reaccionará, qué datos recopilará, qué información obtendrá de ellos y cómo utilizará esos datos.

Pero, como señala Mark Rasch, “siempre que una empresa recopila datos para cualquier propósito, debe informar al cliente no solo de lo que se está recopilando, sino también de todos los usos previstos. Esto es especialmente cierto cuando los datos se utilizan para fines de inteligencia artificial”. Excepto que, nuevamente, la incertidumbre que rodea a la IA puede hacer que ambas tareas sean casi imposibles.

Dibujar un límite claro

Esto requiere que los CIO distingan claramente entre los datos que su equipo recopila deliberadamente y cómo lo hace, y los datos que recopila la IA y cómo los usará más adelante. Los CIO deben ceñirse estrictamente a lo que saben.

El abogado señala que no solo se trata de las palabras que se utilizan, sino también de cómo se pronuncian, el número de teléfono y la dirección IP utilizados, la hora del día, el ruido de fondo y cualquier otra cosa que la IA pueda detectar para analizar la situación. Los consumidores “ceden voluntariamente a muchas cosas cuando hacen una llamada telefónica”, afirma Rasch. “Cuando la mayoría de las empresas redactan una política de privacidad, no tienen en cuenta realmente la cantidad de información que están recopilando”.

Un campo minado legal

La abogada Shavon Jones, especializada en estrategias de IA para el desarrollo económico, afirma que la legislación actual aún no ha comprendido en profundidad la IA, lo que coloca a los CIO en una posición precaria. “¿Dónde se traza el límite de la responsabilidad por IA? No creo que lo sepamos durante muchos años. Los litigios por IA siguen siendo una subespecialidad emergente del derecho”, añade. “Siempre que surge un campo, solo hay dos formas de decidir dónde está el límite: los legisladores y los reguladores pueden promulgar leyes y normas, y los abogados pueden llevar casos a los tribunales en múltiples jurisdicciones y dejar que esos casos se abran camino hasta llegar a decisiones del Tribunal Supremo, inyectando certidumbre a la ley. Pero eso llevará muchos años de ensayo y error”.

“La inteligencia artificial en los datos de los clientes es un campo minado legal, y las demandas recientes subrayan la necesidad urgente de establecer límites claros”, dijo James E. Wright, abogado de Los Ángeles. “Las empresas que están impulsando la inteligencia artificial deben darse cuenta de que los datos de los clientes no son una cuestión de libertad absoluta. La línea legal debe trazarse firmemente en el nivel de transparencia y consentimiento. Como mínimo, los clientes deben saber exactamente cómo se están utilizando sus datos y dar su consentimiento explícito. Cualquier otra cosa es una violación de la confianza y, francamente, una bomba de tiempo legal”.

“Los tribunales seguirán trabajando para definir este perímetro, pero las empresas deben adelantarse a la situación”, continúa el abogado. “Jugar de forma irresponsable con la IA y los datos solo conducirá a más demandas y erosionará la confianza de los consumidores. Es hora de que las empresas sean inteligentes y respeten las reglas”.