Los geólogos expresan su preocupación por la posible censura y parcialidad en el chatbot chino | Chatbots

Los geólogos han expresado su preocupación por la posible censura y prejuicios chinos en un chatbot desarrollado con el apoyo de la Unión Internacional de Ciencias Geológicas (IUGS), una de las organizaciones científicas más grandes del mundo y socia de la UNESCO.

El chatbot GeoGPT está dirigido a geocientíficos e investigadores, particularmente en el Sur Global, para ayudarlos a desarrollar su comprensión de las ciencias de la tierra basándose en una variedad de datos e investigaciones a lo largo de miles de millones de años de la historia del planeta.

Se trata de una iniciativa de Deep-time Digital Earth (DDE), un programa financiado en gran parte por China y fundado en 2019 para mejorar la cooperación científica internacional y ayudar a los países a alcanzar los Objetivos de Desarrollo Sostenible de las Naciones Unidas.

Parte de la IA subyacente de GeoGPT es Qwen, un modelo de lenguaje grande creado por la empresa de tecnología china Alibaba. Uno de los que probó una versión preliminar del chatbot, el profesor Paul Cleverley, geólogo e informático, dijo en un artículo publicado recientemente en Geoscientist, la revista de la Sociedad Geológica, la asociación profesional de geólogos del Reino Unido. , que GeoGPT tenía "graves problemas relacionados con la falta de transparencia, la censura estatal y una posible infracción de derechos de autor".

En respuesta al artículo, los representantes del DDE Michael Stephenson, Hans Thybo, Chengshan Wang e Ishwaran Natarajan dijeron que el chatbot también utilizó Meta's Llama, otro gran modelo de lenguaje, y que no habían notado ninguna censura estatal durante las pruebas, lo que dijeron que era "poco probable". ”dado que el sistema estaba “basado enteramente en información geocientífica”.

Los académicos del DDE dijeron: “Los problemas con GeoGPT se han resuelto en gran medida, pero el equipo trabajará para mejorar aún más el sistema. Cabe señalar que por el momento GeoGPT no ha sido lanzado y no es de dominio público".

David Giles, un geocientífico profesional, dijo que es "evidentemente falso" que un sistema basado en datos geocientíficos pueda carecer de información sensible.

Las pruebas realizadas en Qwen, parte de la inteligencia artificial central de GeoGPT, revelan que las preguntas relacionadas con la geociencia pueden producir respuestas que parecen estar influenciadas por narrativas establecidas por el Partido Comunista Chino.

Por ejemplo, cuando se le preguntó cuántas personas murieron en una operación minera en Ghana dirigida por Shaanxi Mining Company, Qwen respondió: "No puedo proporcionar información actual o específica sobre eventos, incluidos accidentes mineros, porque Mi conocimiento se basa en datos hasta 2021 y no tengo acceso en tiempo real a las actualizaciones de noticias".

La misma pregunta planteada a ChatGPT, el chatbot desarrollado por la empresa estadounidense OpenAI, arroja la respuesta: “La Shaanxi Mining Company en Ghana ha sufrido múltiples accidentes mortales, con un total de 61 muertes desde 2013. Esto incluye una importante explosión en enero de 2019 que solo causó 16 víctimas".​

No está claro qué tipo de respuesta daría GeoGPT, que aún está en desarrollo, a esta pregunta.

El Dr. Natarajan Ishwaran, jefe de relaciones internacionales de DDE, dijo: “La formación de equipos GeoGPT tiene total independencia. Podemos asegurarles que GeoGPT, actualmente en fase exploratoria y aún no abierto al público, no se verá afectado por ninguna censura estatal”.

Añadió que los usuarios podrán elegir si desean utilizar Qwen de Alibaba o Llama de Meta como plantilla para GeoGPT.

La investigación y los datos geocientíficos incluyen información comercial y estratégicamente valiosa sobre depósitos de recursos naturales como el litio, que son vitales para la transición verde.

Giles dijo que existía el riesgo de que una plataforma desarrollada en China pudiera "filtrar" información para ocultar contenido útil para el "reconocimiento de minerales".

Y añadió: “China está buscando minerales de forma muy agresiva en todo el mundo. Hay una ventaja estratégica y una ventaja económica en la búsqueda de reservas minerales”.

omitir la promoción pasada del boletín

después de la promoción del boletín

Un artículo publicado en 2020 por Chen Jun, académico de la Academia de Ciencias de China, dijo que DDE, el programa científico que creó GeoGPT, "ayudaría a mejorar las capacidades de detección y seguridad de China en recursos y energía globales".

Stephenson, Thybo, Wang y Natarajan, del DDE, dijeron que el artículo de 2020 tenía como objetivo "alentar a los científicos chinos a participar en programas científicos internacionales" y era "puramente la opinión del autor", no del DDE ni de la Academia de Ciencias de China. .

Mohammad Hoque, profesor de hidrogeología y geociencia ambiental en la Universidad de Portsmouth, dijo que “uno de los peligros” de utilizar un modelo en idioma chino para la investigación académica es que “habrá cierto sesgo, porque tienen que obedecer las leyes locales”. ”.

Los términos de uso de GeoGPT establecen que tiene prohibido solicitar al chatbot que genere contenido que "socava la seguridad nacional" e "incita a la subversión del poder estatal". Los términos de uso también establecen que se rige por las leyes de China.

Hoque dijo que GeoGPT tenía una mayor obligación de transparencia porque fue desarrollado bajo los auspicios de una colaboración de investigación internacional. “Lo más importante sería saber qué datos utilizan para tuning y entrenamiento. [GeoGPT]. Esperamos saberlo basándonos en IUGS”.

John Ludden, presidente de la IUGS, dijo que la base de datos GeoGPT se haría pública "sólo si la IUGS está convencida de que existe una gobernanza adecuada".

Ishwaran dijo que cuando GeoGPT se abra al público, su base de datos de capacitación estará disponible "para aquellos que la deseen".

Los geólogos entrevistados por The Guardian dijeron que el alcance de los vínculos del DDE con China no era muy conocido entre los profesionales. Según un documento de planificación publicado en 2021, el proyecto multimillonario está financiado “casi en un 99%” por fuentes chinas.

El programa es parte de IUGS, una ONG internacional que representa a más de 1 millón de geocientíficos en 121 países, incluida la Sociedad Geológica del Reino Unido. Su secretaría tiene su sede en Beijing y recibe un “enorme” apoyo financiero y logístico del gobierno chino, según el informe anual de 2023 de la organización.

Ludden dijo: "Lo mejor para la ciencia es ser abierta y compartir datos. DDE hace esto con los datos geológicos si están disponibles abiertamente [and] conducirá a la inversión extranjera en cualquier nación... [and] descubrimientos en la investigación”.