Las empresas de abogados ya han utilizado IA durante al menos una década, en particular para encontrar el documento y las trazas electrónicas necesarias para un archivo dentro de una masa de documentos. Pero fue solo con la llegada, hace dos años, de ChatGPT, que la tecnología se ha vuelto bastante fácil de usar para que incluso los socios de primer año dejaran recién la facultad de la ley lo use este tipo.

La firma estadounidense de International Cleary Gottlieb International Large no solo ha reducido considerablemente el número de abogados asignados a estos procedimientos de investigación antes del juicio utilizando IA, incluso creó una división legal de Genai, Clearyx, que ofrece a sus clientes a subcontratar y automatizar esta etapa. El gabinete reconoce que el Genai no es perfecto. Nunca recupera el 100% de los documentos relacionados con un caso y no siempre crea una sinopsis muy precisa a partir de ellos. Pero ... cualquiera de los humanos. Sin embargo, en el estado actual de la tecnología, la mayor parte del tiempo es suficiente para reducir la carga de trabajo y los costos.

Pero en algunos casos, la personalización de una LLM para necesidades específicas es más costosa que unas pocas docenas de abogados que desean demostrar su valía. Nuestros colegas de ComputerWorld hablaron con Christian Mahoney, abogado y gerente mundial del equipo de litigios de descubrimiento electrónico y tecnología de Cleary Gottlieb y Carla Swansburg, CEO de Clearyx, para ofrecer el uso de los Genai dentro del gabinete.

ComputerWorld: ¿Por qué se adopta la IA en la profesión legal?

Christian Mahoney: Durante los últimos veinte años, la profesión ha sido testigo de una explosión de información y datos creados por sus clientes. Y eso solo se acelera. Por lo tanto, se vuelve cada vez más difícil digerir estos datos solo con un equipo de abogados. ¡Me ocupé de un caso para el cual analizamos en unas pocas semanas más de 50 millones de documentos de un total de 15 TB para identificar los elementos que se proporcionarán a la parte contraria! Aprovechamos la oportunidad para ordenar qué, en estos documentos, podría respaldar nuestra súplica. Los métodos tradicionales no son realmente explotables en tales casos. Es absolutamente necesario integrar la IA.

Carla Swansburg: Han sucedido varias cosas desde la explosión de Genai. Para comenzar, los clientes esperan todo más rápido y más barato. Luego, la IA se vuelve más accesible gracias al tratamiento del lenguaje natural. Finalmente, estamos presenciando una explosión de herramientas especialmente diseñadas para la profesión legal, incluso si las soluciones de debida diligencia y automatización de contratos han estado allí durante una década.

¿Cómo había cambiado el abogado con el Genai?

Carla Swansburg : "Cuando comencé como abogado, tuve que cavar en cajas de documentos con banqueros, después de la mano.

¿Pero la IA no reemplaza ciertas funciones?

Christian Mahoney: Por el momento, nos hace más efectivos. Tuve más de 60 abogados este fin de semana solo un caso, para gastar la gran cantidad de datos disponibles para el peine. Pero también utilizamos AI aguas arriba de la encuesta preliminar para facilitar la clasificación de documentos de acuerdo con lo que debemos devolver y reducir la cantidad de contenido que se examinará. Nos ayuda a resumir el contenido incluso antes de verlos, para digerir la información más rápido.

Christian Mahoney, abogado y gerente mundial del equipo de litigios electrónicos y de tecnología de Cleary Gottlieb y Carla Swansburg, CEO de Clearyx. (Foto Cleary Gottlieb. Dr)

Carla Swansburg: Todavía no es realmente una cuestión de reemplazar los trabajos, sino eliminar el trabajo de rutina y repetitivo. Según nuestra experiencia, y hemos probado muchos LLM y herramientas especialmente diseñadas para legal, no son lo suficientemente buenos como para reemplazar a los abogados en la gran mayoría de su trabajo.

¿Cómo parecen los datos que descubren?

Christian Mahoney : La mayoría de los conjuntos de datos no están estructurados. Estos son correos electrónicos y mensajes en una computadora portátil o parte de un documental de documentos en un servidor de archivos. Y hoy, también estamos hablando de gatos en plataformas como equipos o dispositivos móviles. La mayoría de las veces, los buenos abogados se encargarán de ello, pero a veces tienes que analizar cartas completas. Y allí usamos LLM.

Examinamos algunas muestras, algunas al azar y otras con enfoques de capacitación desarrollados para dirigir documentos que, en nuestra opinión, ayudarán al modelo a comprender más rápidamente. Examinamos miles de documentos para liderar el modelo para predecir si un documento responde a las solicitudes de la parte contraria. Luego ejecutamos este modelo en millones de datos. Con estos procesos iterativos para mejorar la capacitación de modelos, nos acercamos al nivel de rendimiento de un equipo de 150 personas. A veces lo superamos ...

¿Has encontrado otros usos del Genai a los que no hubieras pensado al principio?

Christian Mahoney: Sí, para examinar archivos que no contienen texto, sino imágenes o películas, por ejemplo. Hemos creado un proceso Genai utilizando algunos de los nuevos algoritmos de mercado para analizarlos y encontrar información.

La IA tiende a cometer errores y generar alucinaciones. ¿Cómo te acercas a esto?

Carla Swansburg : En Christian, los equipos trabajan con tasas de precisión de alrededor del 80 %. Pero debemos ser 100 %. La mayoría de las veces, en nuestro trabajo, ya sea análisis y gestión de contratos o diligencia transaccional, tenemos documentos contextuales. Por lo tanto, el potencial de alucinaciones es más limitado. Uno de nuestros desfiles principales es pedirle a la IA que fortalezca su respuesta.

Otra parte de nuestro trabajo es pedirle a un modelo que encuentre la fecha de terminación de un NDA [accord de non-divulgation, NDLR]. Estos acuerdos de confidencialidad tienen una fecha de entrada en vigor y una duración que se puede escribir de varias maneras: dos años, tres años, etc. y a menudo se combina con condiciones de prolongación. Entonces, si solo pregunta: "¿Cuándo termina este acuerdo de confidencialidad?" Muchos modelos de IA estarán equivocados. Pero si genera una forma de decir: "Encuentre la fecha de entrada en vigor, encuentre una cláusula correspondiente, encuentre el período durante el cual se extienden las obligaciones", esto generalmente es exacto al 100 %. Combinamos documentos contextuales específicos, ingeniería rápida específica y un proceso de validación.

Usas trapo [retrieval augmented generation] Para refinar estos modelos y con qué nivel de eficiencia?

Christian Mahoney : "Utilizamos el trapo para configurar salvaguardas de la forma en que reacciona el LLM. Y en lo que a nosotros respecta, a diferencia de los equipos de Carla, la tasa de éxito solicitada es más baja, porque la comparamos con los resultados proporcionados por los humanos. Hemos acumulado datos sobre tareas de descubrimiento electrónico durante varias décadas, los humanos generalmente trabajan bien en aproximadamente el 75% del tiempo. También quiero tener cuidado de no mantenerlos a estándares demasiado altos.

Si escribe un breve, una precisión del 75 % es inaceptable. Pero cuando navegas dos millones de documentos, es perfectamente. Es por eso que el proceso es un poco diferente, incluso si su estructura es la misma en términos de etapas.

¿Estás interesado en modelos de idiomas pequeños, cada vez más popular?

Christian Mahoney: Hemos estado usando LLMS abiertos durante cinco años. Comenzamos con Bert, quien sin duda era lo que estaba más cerca en ese momento, pero probablemente más como un SLM hoy. Siempre lo usamos para el aprendizaje supervisado.

Somos muy agnósticos en términos de LLM, en el sentido de que podemos examinar los diferentes algoritmos y ver qué mejor se adapta a una tarea en particular. Para el análisis de imágenes, o el análisis multimedia, utilizamos el más reciente y eficiente, como el OMNI CHATGPT. Es único en el sentido de que tiene capacidades para escribir líneas de periódicos.

¿Tiene en cuenta los precios al adoptar un modelo?

Christian Mahoney : LLM tiene niveles de precios muy diferentes. Y precisamente, para algunos de nuestros conjuntos de datos, la forma en que GPT 3.5 Turbo realiza las líneas de periódicos, por ejemplo, es bastante suficiente. Por lo tanto, no querríamos gastar dinero adicional en GPT-4 en este caso. Con respecto a SLMS, ajustamos en lugar de recrear un SLM separado para cada aplicación. Tomamos un modelo existente y hacemos algunas adaptaciones para ejecutarlo en un conjunto de datos diferente antes de que comience a hacer predicciones en él.

¿Crees que algunos LLM son mejores en ciertas tareas que en otras?

Christian Mahoney: Algunos modelos de idiomas son mejores cuando se trata de resumir o identificar algo, por ejemplo. Idealmente, si tiene un flujo de trabajo de seis pasos, usa un LLM diferente en cada etapa. Nunca se sabe quién emergerá mañana y será mejor para esta o aquella tarea. Utilizamos el de OpenAi antes de que se lanzara públicamente. Y probamos Meta y Claude.

Científicos y analistas de datos, ingenieros rápidos: ¿se ha unido a nuevas habilidades para satisfacer sus necesidades de LLM?

Carla Swansburg: Para nosotros, cuanto más importante sea el conjunto de datos, más necesidad de los científicos de datos. Por lo tanto, Christian trabaja con científicos de datos. Este aún no es nuestro caso, porque usamos conjuntos de datos discretos. Por lo tanto, es más una cuestión de concebir el aviso, lo que hacen nuestros desarrolladores. Pero eso está evolucionando continuamente. También tenemos roles intermedios, "tecnólogos legales", que recopilan los requisitos de los clientes y abogados, los reinvieran y los personalizan en las plataformas que construimos