Rúbrica para la evaluación de definiciones terminológicas generadas por modelos de lenguaje: diseño, aplicación y transferibilidad a otros ámbitos especializados

Este artículo metodológico presenta una rúbrica de evaluación diseñada para valorar la calidad de definiciones terminológicas generadas por modelos de lenguaje. El instrumento surge de la experiencia de elaboración y revisión del Vocabulario de Reproducción Asistida, en el que se compararon definiciones producidas por distintos sistemas de inteligencia artificial con definiciones humanas de referencia. La rúbrica propone una evaluación analítica de la definición en función de su categoría conceptual o hiperónimo, sus rasgos distintivos esenciales, su forma definitoria, su precisión léxica y especialización, su compatibilidad con una definición de referencia y su adecuación al destinatario. Aunque el instrumento se ha desarrollado a partir de un dominio médico concreto, su estructura responde a principios generales de la terminología y de la redacción lexicográfica, por lo que puede replicarse en otros ámbitos de especialidad mediante la adaptación del campo temático, del perfil de usuario y de las definiciones de referencia. El artículo describe el diseño de la rúbrica, el procedimiento de aplicación, las condiciones de replicabilidad y las posibles utilidades del instrumento para la evaluación de recursos terminológicos, la comparación de modelos de lenguaje y la mejora de prompts orientados a la generación de definiciones especializadas.

Este trabajo se enmarca en el proyecto Neotermed4All: Terminología y comunicación biomédica para la inclusión y digitalización en salud (CIAICO/2024/081), financiado por la Conselleria de Educación, Cultura, Universidades y Empleo de la Generalitat Valenciana.