Published July 24, 2025 | Version v1
Journal article Open

Capacidades de la IA en la Evaluación Formativa de TFG: Expertos Humanos vs GPT

Authors/Creators

  • 1. Director de Investigaciones, Universidad El Bosque, Colombia. Email: velandiacristian@unbosque.edu.co
  • 2. Profesora Titular de la Universidad El Bosque, Colombia. Email: chaconruth@unbosque.edu.co
  • 3. Profesora Titular de la Universidad El Bosque, Colombia. Email: corteserika@unbosque.edu.co
  • 4. Profesor Investigador de la Universidad El Bosque, Colombia. Email: cerodriguezm@unbosque.edu.co

Description

RESUMEN

El acelerado desarrollo de la inteligencia artificial (IA) en contextos educativos plantea desafíos sustantivos para los modelos tradicionales de evaluación formativa en la Educación Superior. Este estudio tuvo como propósito examinar la capacidad de los modelos Generative Pretrained Transformers (GPT) para desempeñar funciones evaluativas en Trabajos de Fin de Grado (TFG), contrastando sus valoraciones con las emitidas por evaluadores humanos expertos. Se implementó un enfoque mixto de tipo no integrado, articulando un diseño cuasiexperimental de series cronológicas con grupo control, complementado con un análisis cualitativo del corpus de retroalimentaciones. Se seleccionaron intencionalmente 16 TFG como casos de estudio, evaluados en tres momentos sucesivos del proceso formativo. Desde el componente cuantitativo, se analizaron la evolución, consistencia y alineación de las calificaciones; mientras que el componente cualitativo exploró la profundidad crítica, estructura argumentativa y orientación pedagógica del feedback. Los hallazgos evidencian una progresiva convergencia entre las evaluaciones emitidas por GPT y las de los expertos, con altos niveles de correlación y concordancia en la fase final. Asimismo, se observó una mejora sostenida en la riqueza semántica, la precisión argumentativa y la adaptabilidad de la retroalimentación generada por la IA. Se concluye que, bajo condiciones controladas y criterios normativos claramente definidos, los modelos GPT presentan un potencial significativo como agentes complementarios en la evaluación formativa universitaria, aportando eficiencia, coherencia y escalabilidad, aunque con limitaciones en la personalización y el fomento de la reflexión crítica.

Abstract (English)

ABSTRACT

The accelerated development of artificial intelligence (AI) in educational contexts poses significant challenges to traditional models of formative assessment in Higher Education. This study aimed to examine the capacity of Generative Pretrained Transformer (GPT) models to perform evaluative functions in undergraduate thesis assessment, comparing their judgments with those issued by expert human evaluators. A non-integrated mixed-methods approach was employed, combining a quasi-experimental time-series design with a control group and a qualitative corpus analysis of feedback content. Sixteen undergraduate theses were intentionally selected as case studies and assessed at three successive stages of the formative process. The quantitative component analyzed the evolution, consistency, and alignment of scores, while the qualitative analysis explored the critical depth, argumentative structure, and pedagogical orientation of the feedback. The findings reveal a progressive convergence between GPT and expert evaluations, with high levels of correlation and agreement in the final stage. Additionally, GPT-generated feedback showed sustained improvement in semantic richness, argumentative precision, and adaptive capacity. It is concluded that, under controlled conditions and clearly defined evaluative criteria, GPT models exhibit significant potential as complementary agents in formative assessment within Higher Education, offering efficiency, consistency, and scalability. However, limitations remain regarding the personalization of feedback and the promotion of critical reflection, highlighting the need to enhance their pedagogical and metacognitive capabilities.

Files

9-Comunicar 33(82)2025 Comunicar_116295 _spanish_Readyto print (Final).pdf

Files (1.7 MB)

Additional details

Additional titles

Translated title (English)
AI Capabilities in Formative Assessment of Undergraduate Theses: Human Experts vs GPT