Una historia divertida que da que pensar. Un tribunal civil canadiense condenado Air Canada pagará por un error en el chatbot de atención al cliente, lo que pone de relieve la necesidad de que las empresas capaciten y supervisen mejor sus herramientas de inteligencia artificial. Jake Moffatt, residente de Columbia Británica, visitó el sitio web de Air Canada en noviembre de 2022 para reservar un vuelo al funeral de su abuela en Ontario. El chatbot del sitio le dijo que podía obtener un reembolso parcial del boleto del día siguiente y del boleto de regreso si solicitaba un descuento dentro de los 90 días. Esa información era incorrecta: la política de Air Canada, disponible en su sitio web, es proporcionar descuentos por duelo si los clientes los solicitan con anticipación. Después de que Air Canada se negara a proporcionar el descuento, un tribunal canadiense ordenó a la aerolínea pagar alrededor de $ 600 en reembolso por duelo y costos legales, aproximadamente la mitad de lo que el cliente pagó por sus boletos.
Las empresas que utilizan chatbots y otras herramientas de inteligencia artificial generativa (GenAI) deben invertir en esfuerzos de supervisión “para ahorrar dinero de las ganancias de productividad de los chatbots”, dijo la analista de Gartner Avivah Litan. “De lo contrario, terminarán gastando más en honorarios legales y multas de lo que ganan en ganancias de productividad”. En el caso de Air Canada, Christopher Rivers, miembro del Tribunal de Resolución Civil de Columbia Británica, se puso del lado de Jake Moffatt y rechazó la afirmación de la aerolínea de que el chatbot es “una entidad legal separada que es responsable de sus propias acciones”. En su decisión del 14 de febrero, Rivers dijo que Air Canada no explicó por qué la información sobre descuentos por duelo en su sitio web era más confiable que la que proporcionaba el chatbot. “Air Canada le debía al Sr. Moffatt un deber de cuidado”, agregó. “En general, el estándar de cuidado aplicable requiere que una empresa tome precauciones razonables para garantizar que sus declaraciones sean precisas y no engañosas”.
Los chatbots GenAI aún no están completamente listos
Tres analistas especializados en el mercado de la IA coinciden en que las empresas que utilizan asistentes y otras herramientas de IA deben examinar sus resultados. Alrededor del 30% de las respuestas de GenAI son falsas, conocidas como alucinaciones, dijo Litan. “Las empresas que utilizan chatbots deben tener salvaguardas que resalten anomalías en los resultados, como alucinaciones, información inexacta e ilegal, y tener operaciones de revisión humana que investiguen y bloqueen o aprueben estos resultados antes de que se publiquen”, dijo. “Deben asegurarse de que los resultados, especialmente en las aplicaciones orientadas al cliente, sean precisos y no lleven a los clientes ni a la organización que ejecuta el chatbot por el camino equivocado”. Los asistentes GenAI no están listos para las interacciones de servicio al cliente si las empresas que los utilizan no invierten en controles de confiabilidad, seguridad y protección, dijo. Las empresas que utilizan chatbots deben implementar nuevas operaciones para revisar manualmente las respuestas inesperadas resaltadas por las herramientas de detección de anomalías.
Los casos en los que los chatbots proporcionan información errónea subrayan la necesidad de que las empresas se centren en una IA responsable, dijo Hayley Sutherland, gerente de investigación de descubrimiento de conocimiento e IA conversacional en IDC. Las empresas deberían invertir en probar y entrenar las herramientas de IA que utilizan, recomendó. “Independientemente del formato o la interfaz de usuario, [de l'IA]"Las empresas generalmente son responsables de la información que brindan a los clientes, por lo que es prudente proceder con cautela", afirma. Sutherland recomienda que las empresas que estén considerando usar chatbots y otras herramientas de inteligencia artificial lo hagan primero para casos internos menos sensibles, como el soporte a los empleados, en lugar de pasar directamente al servicio de atención al cliente.
Una confianza todavía ciega
Las alucinaciones de la IA pueden ser plausibles, incluso si proporcionan información errónea, señaló. Para combatir este problema, "los sistemas de IA generativa deben incluir un humano en el circuito y otros mecanismos para vincular, fundamentar y validar el resultado del chatbot durante la fase de entrenamiento, así como durante las pruebas en curso", dijo Sutherland. Otro problema es que los chatbots actuales solo pueden manejar unas pocas tareas simples, dijo David Truog, vicepresidente y analista principal de Forrester. "Desafortunadamente, las empresas que implementan chatbots a menudo confían demasiado en su efectividad. Subestiman la complejidad de construir un bot efectivo; lo que más a menudo, y desastrosamente, pasan por alto es la experiencia necesaria en diseño centrado en el ser humano y diseño conversacional. Las empresas no deben esperar que los asistentes disfruten de un estatus legal especial". Agregó: "Los chatbots son software, al igual que el resto del sitio web o la aplicación de una empresa. Y cualquier organización que implemente software para interactuar con sus clientes en su nombre es responsable de lo que hace ese software. Es común que los clientes antropomorficeen un poco a los chatbots, ya que utilizan lenguajes humanos, pero eso no es excusa para que las empresas hagan lo mismo hasta el punto de desentenderse de la responsabilidad cuando su chatbot se comporta mal”.
Otras noticias que te pueden interesar