Hace unos días se produjo una polémica en torno a una novela francesa supuestamente escrita mediante inteligencia artificial. No me interesa demasiado entrar en el caso concreto, entre otras cosas porque no tengo elementos suficientes para saber cómo se escribió realmente esa novela[1].
Pero sí me parece pertinente centrarme en uno de los instrumentos utilizados para sostener la acusación: Pangram, un analizador de textos que es capaz de discriminar si estos han sido escritos por un humano o generados mediante IA. La propia empresa lo presenta no solo como el detector más fiable del mercado, sino como muy superior a las demás herramientas de este tipo. Al margen de lo que afirma su publicidad, parece existir también entre quienes utilizan detectores de IA cierta percepción de que Pangram se encuentra entre los mejores disponibles, cuando no directamente por encima de sus competidores.
Es posible que sea así. No tengo datos suficientes para afirmarlo ni para negarlo. Podría incluso ser muchísimo mejor que todos sus competidores. Pero hay algo que sí sabemos: no es infalible.
Pedro Torrijos (@Pedro_Torrijos en x.com) realizó una prueba bastante reveladora cuyo proceso detalló en las redes sociales[2]. Tomó un texto escrito por un ser humano y comprobó cómo lo clasificaba Pangram. Después introdujo modificaciones mínimas y volvió a analizarlo. En una de sus pruebas, añadir apenas catorce palabras a un texto de varios centenares bastó para que el detector pasara a considerarlo generado por IA. Más llamativo todavía resulta otro experimento: una modificación tan insignificante como sustituir un punto por una coma provocó que Pangram atribuyera a la inteligencia artificial una parte considerable de un texto humano y además localizase esa supuesta intervención en una zona que no había sido modificada.
Yo mismo he hecho algunas pruebas, mucho menos sistemáticas que las de Torrijos, con varios textos cuyo origen conocía perfectamente. He utilizado material escrito íntegramente por una persona, material generado mediante inteligencia artificial y documentos en los que se mezclaban ambas cosas. Los resultados no me han inspirado precisamente una confianza ciega. En algún caso, el detector acertaba al considerar que existía una mezcla de material humano y generado, pero fallaba al identificar cuál era cuál. Fragmentos que yo sabía humanos eran señalados como artificiales y viceversa.
Nada de esto demuestra que Pangram sea inútil. Ni siquiera demuestra que sea un mal detector. Para llegar a una conclusión de ese tipo habría que realizar pruebas mucho más extensas, controladas y sistemáticas que las que hemos hecho Torrijos o yo. Quizá un estudio suficientemente amplio demostrase que Pangram es extraordinariamente fiable. Supongamos incluso, para concederle todas las ventajas, que acertase el 99,999999999 % de las veces.
Seguiría sin ser infalible. Y seguiría sin constituir una prueba de nada. No estamos hablando de discutir si Pangram acierta el 20, el 70, el 90 o el 99 % de las veces. Estamos hablando de algo mucho más sencillo: tiene un porcentaje de diagnósticos erróneos superior a cero. Si sus fallos consistiesen siempre en identificar como humano algo producido por IA, no me parecería especialmente grave, pero no es así. Lo verdaderamente aterrador, y el término no es una exageración, es que puede producir falsos positivos e identificar como generado por IA algo escrito por un humano.
Por si eso fuera poco, la forma de presentar los resultados es, como poco, discutible. Cuando muestra en pantalla «100 % IA», es muy fácil interpretar que está diciendo que ha demostrado que el 100 % de ese texto ha sido escrito por una inteligencia artificial. Se podrá argumentar que, atendiendo a la definición técnica de la puntuación, a las condiciones de uso de la herramienta o a cualquier otra precisión metodológica, ese porcentaje significa en realidad algo distinto. Lo cual quizá es cierto, pero importa bastante poco a efectos prácticos. El común de los mortales ve «100 % IA» y entiende que el detector ha determinado que ese texto está completa, total y absolutamente generado por una inteligencia artificial.
Y Pangram no ha demostrado semejante cosa. Lo que tenemos es la clasificación producida por un algoritmo a partir de determinados rasgos estadísticos del texto. Y sabemos que ese algoritmo puede equivocarse: podemos proporcionarle un texto escrito por una persona y conseguir que lo clasifique como generado por IA.
Por tanto, ese «100 %» no convierte el resultado en una certeza matemática sobre el origen del texto. No significa que alguien haya encontrado una especie de huella digital de ChatGPT escondida entre sus palabras. Significa que, según el modelo empleado por Pangram, el texto encaja con enorme fuerza en la categoría que el sistema identifica como generada por IA. La diferencia no es precisamente pequeña.
Por eso me parece engañosa la presentación del resultado. Podemos discutir si lo es deliberadamente o si simplemente se ha optado por una interfaz sencilla, contundente y efectista sin valorar suficientemente cómo va a interpretarla la gente. No tengo elementos para decidirlo y tampoco necesito hacerlo. El problema existe con independencia de las intenciones de quienes han diseñado el producto: «100 % IA» parece expresar una certeza sobre la autoría que el detector no está en condiciones de proporcionar.
Vivimos un momento de enorme crispación en torno a la inteligencia artificial. Basta una acusación, una captura de pantalla y unos cuantos mensajes indignados para desencadenar una campaña en redes sociales. Después resulta muy difícil recoger los pedazos. Un falso positivo no es simplemente una estadística dentro de una tabla de resultados: al otro lado puede haber una persona cuya reputación profesional quede dañada porque alguien ha decidido convertir el dictamen probabilístico de una máquina en una prueba[3].
Por eso también sería buena cosa que hubiese más prudencia y menos búsqueda del clickbait sensacionalista en cierta información periodística sobre estos casos. Un periodista puede contar que Pangram ha clasificado un texto como generado por IA. Puede explicar que la empresa asegura que su detector alcanza determinada fiabilidad, si es eso lo que asegura, y puede contrastar esa afirmación con estudios independientes y con las limitaciones conocidas de este tipo de herramientas. Lo que no debería hacer es transformar sin más «un detector lo considera IA» en «este texto ha sido escrito por IA»[4]. Entre ambas afirmaciones cabe con holgura todo el trabajo que se supone que debe hacer el periodismo.
Estoy seguro de que más de uno pensará que mi criterio parece exageradamente garantista pero, si es así, la idea no me causa el menor problema. Prefiero que cien mil personas consigan hacer pasar por propia una novela escrita por una máquina antes que contribuir a destrozar la reputación de una sola persona que haya escrito realmente la suya porque un puñetero detector de IA haya dado un falso positivo. Y me da igual que falle una vez de cada cien, de cada millón o de cada cincuenta millones.
Notas:
[1] Aunque, si hacemos caso a las afirmaciones del autor, existe al menos un dato que obliga a ser prudentes: el primer borrador data de 2019, varios años antes de la aparición de ChatGPT, herramienta con la que se le acusa de haberla escrito.
[2] Recomiendo que lo leáis entero porque no tiene desperdicio:
[3] Me apresuro a añadir que los responsables del linchamiento en las redes son las personas que lo han promovido y, sobre todo, aquellas que han aceptado la propuesta y se han unido entusiásticamente a ella. Lo que no significa que sea buena idea mostrar unos resultados simplistas y engañosos que pongan fácil ese comportamiento.
[4] Y menos aún añadir expresiones del estilo de «además, basta leer un poco el texto para ver que apesta a generado por IA». El «no tengo pruebas pero tampoco dudas» puede estar bien en una discusión de bar, pero nunca puede ser un argumento periodístico.