Un estudio de Copyleaks descubrió que la asombrosa cifra de 60% de los resultados del GPT-3.5 de OpenAI presentaban signos de plagio.
Copyleaks, que desarrolla herramientas de análisis de contenidos sobre plagio e IA, pone de relieve la dudosa originalidad y fiabilidad de los textos generados por IA, sobre todo a la luz de la reciente infracción de los derechos de autor y las polémicas por plagio.
El estudio analizó 1.045 resultados de GPT-3.5, que abarcaban 26 materias académicas y creativas, entre ellas física, química, informática, psicología, derecho y humanidades, con una media de 412 palabras por resultado.
Las conclusiones del Informe Copyleaks incluyen lo siguiente:
- Aproximadamente el 59,7% de todos los textos generados por GPT-3.5 contenían algún grado de plagio.
- El 45,7% de los resultados contenían coincidencias exactas de texto, el 27,4% incluían ligeras modificaciones y el 46,5% implicaban paráfrasis de fuentes preexistentes.
- En particular, la asignatura de informática registró la "puntuación de similitud" individual más alta, con unos 100%, lo que pone de manifiesto una preocupación significativa en campos que dependen en gran medida de un lenguaje técnico y especializado.
La "puntuación de similitud" del estudio es una métrica patentada diseñada por Copyleaks para cuantificar el grado de originalidad de los contenidos. Se puede consultar en amalgama varios factores, como el texto idéntico y la paráfrasis.
Física registró la puntuación media de similitud más alta, con 31,3%, seguida de Psicología, con 27,7%, y Ciencias Generales, con 26,7%. En el extremo opuesto, Teatro obtuvo la puntuación media más baja, con sólo 0,9%, seguido de Humanidades, con 2,8%, y Lengua Inglesa, con 5,4%.
La dispersión de las puntuaciones de similitud entre temas no es especialmente sorprendente. Hay casi infinitas formas de interpretar una obra de Shakespeare y muchas menos de analizar un teorema matemático bien establecido, por ejemplo.
Alon Yamin, director general y cofundador de Copyleaks, dijo que asignaturas como física, química, informática y psicología merecen un examen más minucioso del plagio debido a sus puntuaciones más altas.
"Por ejemplo, Física, Química, Matemáticas y Psicología pueden requerir un examen más profundo para identificar un texto plagiado, mientras que otras asignaturas, como Teatro y Humanidades, pueden requerir menos escrutinio", explica Yamin.
Sin embargo, los educadores deben reconocer cómo algunas asignaturas se prestan naturalmente a puntuaciones altas de similitud.
Yamin también declaró: "Además, los datos subrayan la necesidad de que las organizaciones adopten soluciones que detecten la presencia de contenidos generados por IA y proporcionen la transparencia necesaria en torno al plagio potencial dentro de los contenidos de IA."
Es una buena observación. Si las organizaciones educativas permiten que la IA redacte y genere contenidos (y algunos ya lo son), los estudiantes podrían seguir estando expuestos al plagio.
También hay que decir que las puntuaciones de los contenidos generados por GPT-4 habrían mostrado puntuaciones de plagio más bajas.
Aunque es probable que la mayor parte de los contenidos generados por IA se sigan creando con GPT-3.5 (porque es gratuito), GPT-4 es sin duda más eficaz a la hora de generar trabajos originales.
Sin embargo, esto introduce otra capa de complejidad.
Dado que GPT-4 forma parte de la versión de pago de ChatGPT, aceptar o fomentar los usos de la IA en la educación podría discriminar a los usuarios de GPT-3.5, a menos que se subvencionen las suscripciones.
Un delicado equilibrio
A medida que las herramientas de IA generativa se van incorporando a los entornos académicos, tanto los educadores como los estudiantes se muestran confusos sobre su uso.
Empresas de análisis de contenidos como Copyleaks y Turnitin han desarrollado herramientas de detección de IA que predicen cuándo es probable que una cadena de palabras esté generada por IA. Sin embargo, tienen puntos débiles evidentes y corren el riesgo de dar falsos positivos.
Además, se ha demostrado que el software de detección de IA favorecen en gran medida la escritura en inglés nativoya que a menudo contiene una mayor concentración de vocabulario diverso y modismos para influir en los detectores de IA a la hora de etiquetar el texto como "escrito por humanos".
Frenar el uso de la tecnología de IA en el mundo académico no será fácil. La IA generativa se anuncia como la herramienta de productividad definitiva, y muchos sostienen que si se puede usar, se debe.
Los estudiantes suelen argumentar que si estas herramientas son omnipresentes en el mundo real, también deberían estar permitidas en los entornos educativos.
Además, como muchos podrían atestiguar, la educación consiste a veces en encontrar atajos ingeniosos para hacer las cosas.
¿De verdad se puede esperar que los estudiantes dejen la IA generativa intacta sobre la mesa?
