Le pidieron al ChatGPT que escribiera un paper científico: por qué hizo un papelón

Científicos israelíes le ordenaron que procesara datos de una investigación sobre salud. Lo hizo en tiempo récord, pero las conclusiones decepcionaron.

“Pusieron en marcha el sistema y se fueron a almorzar”. Así resume la revista Nature, en una nota publicada los últimos días, la experiencia de dos científicos israelíes que pusieron a prueba la capacidad de ChatGPT para escribir un paper científico. Crearon un software que le fue dosificando a esta inteligencia artificial (IA) información de base sobre un tema de salud, se fueron a comer y, promediando la digestión, el trabajo estaba hecho. Pero, como se verá, no todo lo que brilla es oro.

Aunque los resultados fueron generados con una velocidad inalcanzable para un ser humano (se procesó y analizó una base de datos de 250.000 personas consultadas sobre diabetes, su consumo de frutas y verduras y su nivel de actividad física), estuvieron lejos de ser brillantes.

Sin embargo, inquietan. Es un contexto de gran preocupación, no solo por el avance -vendido como irrefrenable- de la inteligencia artificial sino por los riesgos de la desinformación y las fake news en todos los órdenes de la realidad.

O sea, no solo en la política sino también en el ámbito científico. Y de hecho (informaba este medio hace unos meses), la punta de ese iceberg son los cientos de papers retractados cada año por las propias revistas científicas que los habían revisado y publicado.

La pregunta es por las implicancias de que un par de científicos hayan probado confeccionar un paper con ChatGPT y si podrían multiplicarse aquellos con información cuestionable o floja. Y, lo más importante (precisamente el título de Nature): ¿Fue bueno el resultado de este paper en particular?

El logo de OpenAI, responsable del ChatGPT. Foto: AP

La calidad del paper de ChatGPT

La respuesta a lo último es “más o menos”. El texto está online y lleva fecha del 23 de junio. Desde ya, no tiene autoría, si bien la dupla impulsora fueron los israelíes Roy Kishony (biólogo y experto en ciencia de datos) y su alumno Tal Ifargan, ambos del Technion, el instituto de Tecnología de Israel en Haifa.

Crearon un software que pudiera interactuar con ChatGPT. Máquina vs. máquina. Ellos se fueron a comer. Luego de compartirle la base de datos de 250.000 encuestas telefónicas, el sistema creado por los humanos le pidió a la IA que determinara un objetivo de estudio. ChatGPT obedeció.

Además, se le ordenó generar una plan de análisis de datos y “código”, término clave en el mundo informático, que podría definirse como un alfabeto que incluye las instrucciones, algoritmos o fórmulas (lo que importa es el trazo grueso de la idea) con el que se podrá -entre otros- extraer patrones de comportamiento.

Dicho de otro modo, se le pidió a ChatGPT la ambiciosa tarea de ser humano programador, analista de datos, científico y, además, encontrar algo nuevo.

El resultado fue algo trivial: la determinación de que comer más frutas y verduras y hacer ejercicio está relacionado con un menor riesgo de desarrollar diabetes.

ChatGPT, ¿un copiloto en apuros?

Nature describe el uso que los científicos le dieron a ChatGPT como el de quien apela a un “copiloto”, concepto también usual en este mundillo. Es, no obstante, un término discutible: un copiloto asiste, pero también debe estar en condiciones de tomar el mando. ¿Podría ChatGPT asumir ese rol más allá de lo formal?

Porque Nature apunta que “el artículo fue fluido, perspicaz y se presentó en la estructura esperada de un artículo científico”, pero admite, citando a los propios investigadores, que “hay muchos obstáculos que superar antes de que la herramienta pueda ser realmente útil”.

Para comprender la gran falla de este trabajo hay que explicar un concepto: la “alucinación”, un problema común de la IA llamada “generativa” (productiva por sí misma, como el cerebro humano).

ChatGPT alucinante

Juan Gustavo Corvalán es director y cofundador del Laboratorio de Innovación e Inteligencia Artificial de la UBA (IALAB). Según explicó, “se dice que ‘alucina’ cuando, ante cierta solicitud, orden o prompt (el nombre técnico que se usa), la IA genera contenido falso o sin sentido. Esto ocurre porque el sistema no razona en términos humanos; no puede contestar ‘no sé‘ porque fue creada para intentar analizar el contexto de la solicitud humana y, en base a su aprendizaje, construir una respuesta”.

“Antes, si un chatbot conversacional agotaba su fuente de conocimiento, liberaba una respuesta por defecto del estilo de ‘disculpa, no tengo información sobre lo que estás preguntando‘, lo que no significaba que contara con la inteligencia humana como para identificar aquello que no sabía. Era código de programación que determinaba una respuesta por defecto ante ciertos casos”, recordó, y agregó que “estos nuevos sistemas intentan, en todos los casos, brindar alguna respuesta”.

Se ve que, al costo que sea. Porque, volviendo al paper sobre diabetes, los investigadores intentaron evitar esos vacíos llenados psicodélicamente y le permitieron al chat acceder a los motores de búsqueda de la literatura sobre el tema. O sea, consultar otros papers.

Aun así, el resultado derivó en un gran error de ponderación.

Lugares comunes (aun para ChatGPT)

ChatGPT consideró que había arribado a un hallazgo cuando en realidad enunciaba un saber vox populi. Con grandilocuencia, el paper anuncia que “este estudio aborda un vacío en la literatura al proporcionar evidencia sobre los efectos protectores de consumo de frutas y verduras y actividad física en relación con el riesgo de diabetes”.

Lo más llamativo es que (cuenta el artículo de Nature), el software de los investigadores israelíes incluso había abierto dos conversaciones de ChatGPT para recrear un virtual sistema de revisión por pares (lo que se conoce como arbitraje, referato o “peer review”).

Así, se le indicó al chatbot actuar como científico y escribir el artículo, y en una segunda caja de diálogo, hacer las veces de “revisor” y compartirle al “científico” comentarios constructivos. Pero el trabajo en tándem no ayudó.

Lapidario, el científico informático de la Universidad Hebrea de Jerusalén Tom Hope (citado por Nature) resume que los resultados no podrían sorprender a nadie y que el paper “no está ni cerca de ser novedoso”.

Inteligencia artificial y desinformación

Nada de esto sería tan problemático sino fuera porque (por información falsa, errónea, mal calculada, copiada…) cada año, cientos de revistas científicas pasan por el papelón de retractar el aval que le habían dado a papers revisados y publicados en sus propias páginas. Cabe preguntarse si esta herramienta informática representa una amenaza de mayor proliferación de papers retractados.

El tema preocupa, ya que casi 4.000 trabajos son “echados para atrás” cada año, y la cifra crece porcentualmente sobre el total de publicaciones, informó a Clarín Ivan Oransky, uno de los creadores del famoso observatorio con sede en Estados Unidos llamado Retraction Watch, del que se destaca una jugosa base de datos histórica.

Consultado por este tema, Oransky se mostró indignado: “No es que ChatGPT sea una amenaza ahora. Hace años que muchos de los papers que luego son retractados fueron creados por herramientas de inteligencia artificial”.

Sin embargo, para Oransky “el problema no es tanto éste sino la presión que tienen los científicos de muchos países por publicar, si quieren sostener sus sueldos y puestos de trabajo”.

Un poco de contexto en IA

La resonante carta firmada por celebrities de la informática (más de 1.000 expertos; entre ellos, Elon Musk y el cofundador de Apple, Steve Wozniak) que en marzo planteó un escenario apocalíptico si se seguían lanzando nuevas versiones del programa, contrasta con las noticias sobre los errores del chat.

Ahora bien, cualquier relativización tranquiliza frente a las amenazas de que la IA generativa nos llevará a prescindir de nosotros mismos, al punto de sufrir un recorte mundial de 300 millones de empleos full time, si ChatGPT avanza sin freno.

¿Es posible que ese recorte incluya a los propios científicos? O, por lo pronto, ¿les vendría bien relegar la escritura de papers a la IA?

La IA, según dos científicos argentinos

Clarín habló con dos virólogos investigadores del Conicet: Andrea Gamarnik, de la Fundación Instituto-Leloir, y Jorge Quarleri, del Instituto de Investigaciones Biomédicas en Retrovirus y Sida (INBIRS). Coincidieron en que la instancia de redacción de un paper es una parte irrenunciable en el proceso de investigación.

“Una vez que tenés los resultados científicos, la escritura de un trabajo demora meses. Depende del tipo de trabajo, pero es un proceso de mucho aprendizaje y de elaboración de los resultados científicos. Comunicar el hallazgo al sistema científico es parte clave de la investigación”, resumió Gamarnik.

Quarleri desconfía de la idea de que un algoritmo reemplace la escritura de un paper, que “es mucho más que metodología y experimentos”.

“La generación de conocimientos plasmada en una publicación para que luego pueda ser tomada por la comunidad incluye muchos factores, más allá de lo estrictamente científico”, apuntó.

En concreto, “se arranca con una pregunta y se termina con alguna o varias respuestas, pero en el medio hay muchas instancias: idas y vueltas que son registradas en documentos del equipo de trabajo. Todo eso se saca a la luz, pero no de cualquier modo: debe ser de una manera seductora, apetecible, que invite a la lectura”.

Ciencia y corazón: el punto ciego de ChatGPT

Para Quarleri, la IA difícilmente pueda dar cuenta del “componente emocional que incluye la redacción de un trabajo científico”.

“ChatGPT puede ser muy útil para responder algunas preguntas, pero no parece ser la solución frente al desconocimiento”.

Corvalán es de la idea de que hay un futuro concreto en ChatGPT como herramienta de redacción de papers. Sin embargo, en línea con Quarleri, remarca que la clave es “tomar conciencia de las limitaciones de la IA”.

En este sentido, se da una paradoja: “Hoy, ChatGPT es más útil para quienes cuentan con un conocimiento técnico en cierta temática y lo emplean como asistente que para quienes no cuentan con conocimiento y desean explorar un área”.

La creatividad y la calidad, reconoció, son dos cuentas, en muchos casos, pendientes. El entorno de trabajo debe ser, sin dudas, en tándem (IA-humanos), enfatizó.

Pero cómo quitarle la pasión a científicos como Quarleri: “La escritura de un trabajo es como ser examinado por alguien. Ese alguien es uno mismo”.