Entre métricas y narraciones: definición y aplicaciones de la "Bibliometría Narrativa"

Torres-Salinas, Daniel (2023). "Entre métricas y narraciones: definición y aplicaciones de la Bibliometría Narrativa". Anuario ThinkEPI, v. 17, e17a30. https://doi.org/10.3145/thinkepi.2023.e17a30

1. Definición y marco de la Bibliometría Narrativa

Todos somos ya conscientes de los cambios en los diferentes sistemas de evaluación que se avecinan con la implantación de los principios de COARA, la asimilación de estos en la LOSU y la aprobación del Real Decreto 678/2023. A nivel general, una de las herramientas más interesantes que se han propuesto para evitar un mal uso de los indicadores es el Currículum Narrativo, donde se tiene libertad para explicar y detallar los méritos. De esta forma, se evita la exposición infinita de una sucesión de méritos poco entrelazada y habitualmente basada en las publicaciones en revistas. En principio, este tipo de CV debería ser de utilidad para los evaluadores. Entendemos que, dentro de este formato basado en relatos, tienen cabida diferentes tipos de narrativas, entre las cuales, evidentemente, se podría incluir una narrativa sostenida en indicadores objetivos, en indicadores bibliométricos.

Es decir, una narrativa que inste al investigador a desglosar el indicador, evitando que se presente de manera burda (bean counting) y dotándole de sentido. Por tanto, la narrativa bibliométrica actúa como un puente entre cifras y contextos, permitiendo articular la historia, el relato detrás de los datos. Con lo expuesto hasta el momento y dada su simplicidad conceptual, creo que ya podemos acercarnos a una definición de Bibliometría Narrativa. Esta sería: la utilización de indicadores bibliométricos para generar relatos y narrativas que permitan la defensa y exposición de un currículo científico y/o de sus aportaciones individuales en el marco de las nuevas políticas de evaluación fomentadas por COARA. Por tanto, la Bibliometría Narrativa actúa esencialmente como un soporte para la redacción y exposición detallada de evidencias e indicios relacionados con la atención, difusión o influencia que tienen los resultados científicos, especialmente las publicaciones. La Bibliometría Narrativa se inscribe en la Bibliometría Evaluativa, pues las diferentes narrativas bibliométricas tienen como objetivo principal ayudar a expertos y evaluadores en la toma de decisiones. Además, obligatoriamente deben respetar sus principios básicos, ya que la información siempre debe ser de carácter contextual, multidimensional y verificable.

2 Aplicaciones básicas de diferentes narrativas

A continuación, ilustraremos de forma concisa y gráfica cómo aplicar los indicadores adecuadamente para defender publicaciones en los currículos narrativos. Todos los ejemplos buscan evitar el "Bean Counting" y esbozar narrativas objetivas derivadas de los indicadores:

Narrativa de Posición: nos permite situar y comparar las aportaciones en un conjunto más amplio. Puede consistir en el uso de indicadores normalizados, como el Category Normalized Citation Impact o el Field Weight Citation Impact. También se puede usar la posición cuartílica (¡no me refiero a IF, eh!) o percentílica de la publicación en función de un indicador concreto dentro de una base de datos. Por ejemplo, en Altmetric.com nos ofrece una frase del tipo "In the top 5% of all research outputs scored by Altmetric" para indicar la posición.

Narrativa de Contexto: Indicar dónde se mencionan o citan nuestras publicaciones puede ayudarnos a construir una narrativa sobre la posible utilidad y aplicación que otros investigadores les han dado. La idea es generar un contexto en el cual las menciones se clasifiquen según, por ejemplo, la sección del artículo en la que aparecen. Así, para un evaluador podría ser útil saber si un artículo se cita predominantemente en la introducción, metodología o discusión. Esta información puede revelar si estamos influyendo en debates teóricos o en desarrollos metodológicos. Estas métricas contextuales han sido incorporadas en Web of Science, como describía Orduña-Malea (2022).

Narrativa de los Agentes: Indicar quienes son los agentes (autores, grupos, instituciones, etc.) que usan, leen y referencian nuestras aportaciones es una información objetiva que ayudan al evaluador a aproximarse al alcance que tiene una determinada contribución científica. Sin duda, esto podría ayudarnos a cualificar el tipo de impacto (educativo, social, económico, …).  Actualmente, muchas plataformas nos permiten acceder a estos datos; por ejemplo, con Overton podríamos determinar si nuestra publicación ha sido usada en un situation Report de la OMS, en un White Paper de la UE o el último informe PISA. Es solo un ejemplo, aquí las posibilidades y fuentes son infinitas

Narrativa de la Audiencia:  El alcance potencial de los hallazgos es crucial para determinar su impacto entre públicos con intereses compartidos. Es esencial cuantificar y posteriormente cualificar a los grupos destinatarios de nuestro mensaje. Por ejemplo, al evaluar la influencia en la prensa, se deben considerar no solo los medios sino también los lectores potenciales y su ámbito (local, nacional o internacional). En plataformas como Twitter, no solo es relevante la cantidad de menciones, sino también el alcance potencial, considerando el número de seguidores de quienes retuitean. La descripción del perfil de la audiencia ya sea científica o mediática, enriquece el análisis. Este enfoque ha sido discutido por Arroyo-Machado y Torres-Salinas en 2023, especialmente en contextos como Twitter, Wikipedia y medios de comunicación.

Otros aspectos que deben indicarse en estas narrativas buscan garantizar que la información proporcionada sea replicable. Por ejemplo, es esencial incluir una nota sobre las fuentes y hacer referencia a sus limitaciones y alcance. También es imprescindible señalar la fecha en que se descargaron o consultaron las fuentes de información para evitar discrepancias dependiendo de la fecha de consulta. Se debe evitar hacer comparaciones con otros colegas y sus trabajos, así como el uso de listas autoelaboradas.

3. Reflexión final

La intención de esta propuesta conceptual es delimitar, al menos en términos generales, el marco de trabajo que adoptaremos en el futuro cercano. Siempre hemos llevado a cabo el desglose de indicadores y la redacción de indicios, aunque de manera invisible y poco sistemática. Una mejora, estandarización y apertura de estos procesos puede ser de gran utilidad para los currículos narrativos. Además, la Bibliometría Narrativa, si se sistematiza adecuadamente en su método y descripciones, permite explicar nuestro trabajo de forma clara a los gestores, eliminando cualquier suspicacia hacia la Bibliometría.

A medida que el ámbito académico se desplaza de métricas estáticas hacia enfoques más holísticos y significativos en evaluación, la Bibliometría Narrativa podría emerger como una solución narrativa que sirva de punto de partida para investigadores de todas las disciplinas. Es fundamental proporcionar la formación, herramientas y apoyo necesarios para asegurar su uso efectivo y coherente. En documentos futuros, expandiré el catálogo de ejemplos y, especialmente, presentaré narrativas específicas y ejemplos concretos para que la comunidad pueda utilizarlos. En definitiva, podemos resumir este thinkepi en tres puntos:

La Bibliometría Narrativa debe configurarse como una labor dedicada a la exposición detallada y a la contextualización de los indicadores bibliométricos para su uso en la defensa y exposición de currículos científicos narrativos.

La Bibliometría Narrativa no solo aporta transparencia y reconocimiento a una labor previamente invisible, sino que tiene como misión establecer estándares, ofrecer casos prácticos y soluciones para el desglose de datos bibliométricos.

La Bibliometría Narrativa es una herramienta que se alinea con la Bibliometría Evaluativa, permitiendo defender y exponer currículos en sintonía con el resto de los relatos que exigen los nuevos criterios evaluativos.

4. Bibliografía

Arroyo-Machado, W., & Torres-Salinas, D. (2023). Evaluative altmetrics: Is there evidence for its application to research evaluation? Frontiers in Research Metrics and Analytics, 8. https://www.frontiersin.org/articles/10.3389/frma.2023.1188131

Orduña-Malea, E. (2022). Hacia las métricas de contexto: Clasificación de citas en Web of Science. Anuario ThinkEPI, e16a32. https://doi.org/10.3145/thinkepi.2022.e16a32