Reproducibilidad en las Tareas de Evaluación

[Plan TL/General/Estudio/Reproducibilidad en las Tareas de Evaluación]

Este estudio manifiesta el interés de la comunidad científica acerca del tema de la reproducibilidad así como demuestra la organización del laboratorio CENTRE sobre reproducibilidad en los tres foros de evaluación más importantes de Europa (CLEF), EE.UU. (TREC) y Japón (NTCIR).

El objetivo de CENTRE es, dada una tarea, poder reproducir los resultados hechos públicos por los participantes, usando los componentes desarrollados anteriormente. En este sentido, en el futuro CENTRE se plantea abordar más en profundidad la reproducibilidad a nivel de componentes de sistemas.

Este estudio quiere ser también un marco de referencia para poder ayudar a los investigadores en la organización futura de tareas de evaluación. Para facilitar la reproducibilidad de los ejercicios de evaluación es importante que en el momento de organizar una tarea de evaluación el investigador considere:
 Un marco común de evaluación (herramienta de evaluación)
 Una evaluación como servicio (plataforma de evaluación)
 Una herramienta para poder compartir el código