DETEL Identificación de textos elaborados por LLM

Abstract

Generative language models have instigated a disruptive shift spanning across various sectors (OpenAI, 2022). These changes concurrently pose a challenge to the study of authorship, as generative models do not hold copyright, for two reasons. Firstly, they are not human entities to assume responsibility, and secondly, due to the nature of their training corpus (OpenAI, 2022), raising special significance within the academic context. In this study, we explore two experimental approaches for the binary classification of text generated by a Language Model (LM) and a human. These approaches are based on the field of stylometry and the feature extraction techniques employed in Natural Language Processing (NLP). To this end, a silver standard corpus or dataset was compiled from various sources, ensuring class balance. The dataset is composed of documents with distinct linguistic structures (fables, stories, essays, news reports, tweets, and poems) to diversify the vocabulary and the grammatical structure therein. The experimental approaches involve text classification via parameterization using TF-IDF, embedding, and feature extraction, proposing a taxonomy for the classification of linguistic features used in the classification process. These experimental approaches corroborate the findings of the existing literature (Fröhling y Zubiaga, 2021) (Dou y cols., 2021). Classification models such as decision trees, random forests, adaboost, and support vector classifiers (SVC), employed in LMs, and taking lexicogrammatical features as input, tend to outperform those based on statistical distributions like TF-IDF and vectorization approaches such as embedding. This superiority is likely due to their resistance to overfitting in the presence of exclusionary vocabulary within the corpus.

Los modelos generativos de lenguaje han planteado un cambio disruptivo en áreas que abarcan diferentes sectores (OpenAI, 2022), estos cambios a su vez suponen un reto en el estudio de la autoría, pues los modelos de generación no tienen derechos de autor, ya que, no es un ser humano para asumir la responsabilidad y segundo por la naturaleza del corpus de su entrenamiento (OpenAI, 2022), lo que supone una especial relevancia en el contexto académico. En este trabajo se abordan dos líneas experimentales para la clasificación binaria de texto generado por un LLM y un humano, líneas que son abordadas desde el área de la estilometría y la extracción de características utilizadas en NLP. Para esto se recopila un corpus o data set silver standar de diferentes fuentes y clases balanceadas. Este data set es compuesto por documentos con estructuras lingüísticas distintas (fábulas, cuentos, ensayos, noticias, tweets y poemas) para diversificar el vocabulario, y la estructura gramatical de los mismos. Como líneas experimentales se toma la clasificación por parametrización del texto con tf-idf, embedding y extracción de características, proponiendo una taxonomía para la clasificación de las características lingüísticas usadas en la categorización. Estas líneas experimentales corroboran resultados de la literatura (Fröhling y Zubiaga, 2021) (Dou, Forbes,Koncel-Kedziorski, Smith, y Choi, 2021), en los cuales modelos de clasificación como decision tree, random forest, adaboost, svc, usados en llm, y cuyo input son características lexo gramaticales, funcionan mejor que los basados en distribuciones estadísticas como tf-idf y de vectorización, como el embedding, pues son propensos a un sobre ajuste, dada la presencia de vocabulario excluyente en el corpus.