<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE article PUBLIC "-//NLM//DTD Journal Publishing DTD v3.0 20080202//EN" "http://dtd.nlm.nih.gov/publishing/3.0/journalpublishing3.dtd">
<article article-type="research-article" dtd-version="3.0" xml:lang="es" xmlns:mml="http://www.w3.org/1998/Math/MathML" xmlns:xlink="http://www.w3.org/1999/xlink">
	
	<front>
		
		<journal-meta>
			<journal-id journal-id-type="publisher-id">REDC</journal-id>
			<journal-title-group>
				<journal-title>Revista Espa&#x00F1;ola de Documentaci&#x00F3;n Cient&#x00ED;fica</journal-title>
				<abbrev-journal-title>Rev. Esp. Doc. Cient.</abbrev-journal-title>
			</journal-title-group>
			<issn pub-type="ppub">0210-0614</issn>
			<issn pub-type="epub">1988-4621</issn>
			<publisher>
				<publisher-name>Consejo Superior de Investigaciones Cient&#x00ED;ficas</publisher-name>
			</publisher>
		</journal-meta>
		
		<article-meta>
			<article-id pub-id-type="publisher-id">redc.2018.3.1552</article-id>
			<article-id pub-id-type="doi">10.3989/redc.2018.3.1552</article-id>
			
			<article-categories>
				<subj-group subj-group-type="heading">
				<subject>ESTUDIOS / RESEARCH STUDIES</subject>
				</subj-group>
			</article-categories>
			
			<title-group>
				<article-title>La evaluaci&#x00F3;n de las Humanidades y de las Ciencias Sociales en revisi&#x00F3;n</article-title>
				<trans-title-group xml:lang="en">
				<trans-title>Research assessment in Humanities and Social Sciences in review</trans-title>
				</trans-title-group>
				<alt-title alt-title-type="running-head">La evaluaci&#x00F3;n de las Humanidades y de las Ciencias Sociales en revisi&#x00F3;n</alt-title>
			</title-group>
			
			<contrib-group>
		
				<contrib contrib-type="author" corresp="yes">
					<name>
					 <surname>Gim&#x00E9;nez Toledo</surname>
					 <given-names>Elea</given-names>
					</name>
					<xref ref-type="aff" rid="U1"/>
					<xref ref-type="corresp" rid="cor1"/>
				</contrib>
			</contrib-group>
					
			<aff id="U1">Grupo de Investigaci&#x00F3;n sobre el Libro Acad&#x00E9;mico (ILIA), Instituto de Filosof&#x00ED;a (IFS), Consejo Superior de Investigaciones Cient&#x00ED;ficas (CSIC)</aff>
			
			<author-notes>
				<corresp id="cor1">Correo-e: <email xlink:href="elea.gimenez@cchs.csic.es">elea.gimenez@cchs.csic.es</email>
					ORCID iD: <ext-link ext-link-type="uri" xlink:href="https://orcid.org/0000-0001-5425-0003">https://orcid.org/0000-0001-5425-0003</ext-link>
				</corresp>
			</author-notes>
			
			<pub-date pub-type="epub">
				<day>30</day>
				<month>09</month>
				<year>2018</year>
			</pub-date>
			
			<pub-date pub-type="collection">
			<year>2018</year>
			</pub-date>
			
			<volume>41</volume>
			<issue>3</issue>
		
			<elocation-id>e208</elocation-id>
		
			<history>
			
				<date date-type="received">
					<day>10</day>
					<month>01</month>
					<year>2018</year>
				</date>
				<date date-type="rev-recd1">
					<day>16</day>
					<month>02</month>
					<year>2018</year>
				</date>
				<date date-type="accepted">
					<day>20</day>
					<month>02</month>
					<year>2018</year>
				</date>
			</history>
		 
			<permissions>
				<copyright-statement>&#x00A9; 2018 CSIC</copyright-statement>
				<copyright-year>2018</copyright-year>
				<license license-type="open-access" xlink:href="https://creativecommons.org/licenses/by/4.0/">
					<license-p>Este es un art&#x00ED;culo de acceso abierto distribuido bajo los t&#x00E9;rminos de la licencia de uso y distribuci&#x00F3;n Creative Commons Reconocimiento 4.0 Internacional (CC BY 4.0).</license-p>
				</license>
			</permissions>
		
			
			<abstract xml:lang="es">
			<title>RESUMEN</title>
			<p>La evaluaci&#x00F3;n de las Humanidades y las Ciencias Sociales ha resultado siempre controvertida. En este art&#x00ED;culo se revisan los cambios que se est&#x00E1;n produciendo en las metodolog&#x00ED;as y enfoques de la evaluaci&#x00F3;n, as&#x00ED; como las l&#x00ED;neas de trabajo que est&#x00E1;n marcando estos procesos de evaluaci&#x00F3;n en Europa. Las claves de la evaluaci&#x00F3;n cient&#x00ED;fica en la actualidad pueden resumirse en: 1. Utilizaci&#x00F3;n de datos completos sobre producci&#x00F3;n cient&#x00ED;fica y desarrollo de fuentes de indicadores para revistas y libros acad&#x00E9;micos, al margen de las bases de datos comerciales; 2. Evaluaci&#x00F3;n m&#x00E1;s cualitativa y/o con enfoques <italic>bottom up</italic>; 3. El acceso abierto y su implicaci&#x00F3;n en la evaluaci&#x00F3;n cient&#x00ED;fica; 4. M&#x00E9;tricas alternativas y citas abiertas; 5. M&#x00E9;tricas responsables; 6. Impacto social de la investigaci&#x00F3;n.</p>
			</abstract>
						
			<trans-abstract xml:lang="en">
			<title>ABSTRACT</title>
			<p>Research assessment in Humanities and Social Sciences has been always controversial. This paper aims at reviewing the changes that are taking place in the methodologies and approaches of research assessment, as well as the specific actions that can be identified in Europe. The keys of the current research assessment practices can be summarized in six points: 1. Use of complete data on scholarly outputs and development of indicators sources for journals and academic books, other than commercial databases; 2. More qualitative evaluation and / or using bottom-up approaches; 3. Open access and its involvement in scientific evaluation; 4. Alternative metrics and open citations; 5. Responsible metrics; 6. Societal impact of research.</p>
			</trans-abstract>
			
			<kwd-group xml:lang="es">
				<title>PALABRAS CLAVE</title> 
				<kwd>evaluaci&#x00F3;n de la investigaci&#x00F3;n</kwd>
				<kwd>Humanidades y Ciencias Sociales</kwd>
				<kwd>evaluaci&#x00F3;n cualitativa</kwd>
				<kwd>evaluaci&#x00F3;n cuantitativa</kwd>
				<kwd>acceso abierto</kwd>
				<kwd>m&#x00E9;tricas alternativas</kwd>
				<kwd>m&#x00E9;tricas responsables</kwd>
				<kwd>impacto social de la investigaci&#x00F3;n</kwd>
				<kwd>libros acad&#x00E9;micos</kwd>
				<kwd>revistas acad&#x00E9;micas</kwd>
			</kwd-group>
			
			<kwd-group xml:lang="en"> 
				<title>KEYWORDS</title> 
				<kwd>research assessment</kwd>
				<kwd>Humanities and Social Sciences</kwd>
				<kwd>qualitative evaluation</kwd>
				<kwd>quantitative evaluation</kwd>
				<kwd>open access</kwd>
				<kwd>altmetrics</kwd>
				<kwd>responsible metrics</kwd>
				<kwd>societal impact of research</kwd>
				<kwd>academic books</kwd>
				<kwd>academic journals</kwd>
			</kwd-group>
		
		</article-meta>
	</front>
	
	<body>

		<sec id="S1">
			<title>1. INTRODUCCI&#x00D3;N</title>

			<p>La evaluaci&#x00F3;n de la actividad cient&#x00ED;fica es siempre un ejercicio controvertido y complejo, especialmente la que afecta a los individuos pero tambi&#x00E9;n las que se realizan a nivel de grupos, departamentos o instituciones. Las cr&#x00ED;ticas a los procedimientos de evaluaci&#x00F3;n se dan en el seno de los diferentes pa&#x00ED;ses con entornos de investigaci&#x00F3;n distintos (Matthews, <xref ref-type="bibr" rid="CIT32">2015</xref>; Kulczycki, <xref ref-type="bibr" rid="CIT30">2017</xref>; Alperin y Rozemblum, <xref ref-type="bibr" rid="CIT01">2017</xref>) pero tambi&#x00E9;n en el &#x00E1;mbito internacional, tal y como muestran la <italic>Declaraci&#x00F3;n de San Francisco</italic> (DORA, <xref ref-type="bibr" rid="CIT09">2013</xref>) o el <italic>Manifiesto de Leiden</italic> (Hicks y otros, <xref ref-type="bibr" rid="CIT24">2015</xref>). Tambi&#x00E9;n se registran en el seno de distintas disciplinas pero, sin duda, es en las Humanidades y Ciencias Sociales donde se producen las mayores tensiones y donde la comunidad acad&#x00E9;mica no acepta o es muy cr&#x00ED;tica con los procedimientos empleados (Hug y Ochsner, <xref ref-type="bibr" rid="CIT26">2014</xref>; Gim&#x00E9;nez-Toledo, <xref ref-type="bibr" rid="CIT17">2016</xref>; McCulloch , <xref ref-type="bibr" rid="CIT33">2017</xref>).</p>

			<p>La mayor parte de las cr&#x00ED;ticas que se hacen sobre la evaluaci&#x00F3;n en estas &#x00E1;reas, referidas espec&#x00ED;ficamente a las publicaciones como resultados de investigaci&#x00F3;n, podr&#x00ED;an resumirse en dos puntos: a) los procedimientos de evaluaci&#x00F3;n se adec&#x00FA;an poco a las pr&#x00E1;cticas de investigaci&#x00F3;n y de comunicaci&#x00F3;n cient&#x00ED;fica que son consustanciales a las Humanidades y a las Ciencias Sociales. Por poner solo dos ejemplos ampliamente documentados: los libros, cap&#x00ED;tulos de libros y revistas cient&#x00ED;ficas nacionales son m&#x00E1;s relevantes en Humanidades y Ciencias Sociales que en Ciencia, Tecnolog&#x00ED;a y Medicina y los patrones de citaci&#x00F3;n son claramente diferentes (Hicks, <xref ref-type="bibr" rid="CIT25">2004</xref>); y b) las fuentes que se han utilizado tradicionalmente en la evaluaci&#x00F3;n de las publicaciones cient&#x00ED;ficas y/o que tienen m&#x00E1;s peso en las pol&#x00ED;ticas cient&#x00ED;ficas son limitadas; no cubren bien la diversidad de revistas cient&#x00ED;ficas que existen y que son relevantes para estas disciplinas, pero tampoco cubren suficientemente bien otros canales de comunicaci&#x00F3;n cient&#x00ED;fica, ya sean libros, actas de congresos o informes; en consecuencia, la cobertura es pobre en temas de investigaci&#x00F3;n, en los idiomas y en los enfoques locales o nacionales que se dan en la investigaci&#x00F3;n en estas &#x00E1;reas. Este hecho es especialmente notorio si se tiene en cuenta que todos los estudios que caracterizan a las Humanidades y, en cierta medida, a las Ciencias Sociales, concluyen sistem&#x00E1;ticamente que en estas disciplinas se realiza una investigaci&#x00F3;n m&#x00E1;s apegada al territorio y se trabaja en objetos de investigaci&#x00F3;n locales; que, en relaci&#x00F3;n con el punto anterior, se publican los resultados de investigaci&#x00F3;n en una gran diversidad de idiomas porque van destinados a esa &#x00E1;rea geogr&#x00E1;fica que estudian y se utilizan m&#x00E1;s las revistas cient&#x00ED;ficas nacionales por la misma raz&#x00F3;n; y, finalmente, que los libros y cap&#x00ED;tulos de libros son mucho m&#x00E1;s relevantes que en otras disciplinas para comunicar resultados de investigaci&#x00F3;n. De hecho, predominan en la producci&#x00F3;n cient&#x00ED;fica de muchas de las disciplinas de Humanidades (Ochsner y otros, <xref ref-type="bibr" rid="CIT37">2017a</xref>; Tanner, <xref ref-type="bibr" rid="CIT50">2016</xref>; Gim&#x00E9;nez-Toledo, <xref ref-type="bibr" rid="CIT17">2016</xref>).</p>

			<p>A todo ello hay que a&#x00F1;adir otro cuestionamiento de fondo. Las publicaciones cient&#x00ED;ficas son el resultado materializado, tangible y mensurable de la investigaci&#x00F3;n. Desde ese punto de vista, las publicaciones son elementos fundamentales para juzgar la actividad investigadora. Sin embargo, hoy se reivindica no solo la generaci&#x00F3;n de ese conocimiento cient&#x00ED;fico y su publicaci&#x00F3;n, sino tambi&#x00E9;n su impacto e influencia en la sociedad. Por tanto, la evaluaci&#x00F3;n de las publicaciones en el curr&#x00ED;culo acad&#x00E9;mico resulta insuficiente y es necesario atender a otras facetas de la actividad investigadora.</p>

			<p>Todas estas cuestiones est&#x00E1;n siendo analizadas cada vez con m&#x00E1;s atenci&#x00F3;n. La investigaci&#x00F3;n sobre las formas de comunicaci&#x00F3;n e impacto cient&#x00ED;fico y social en las Humanidades y en las Ciencias Sociales es creciente. Los principales congresos internacionales del &#x00E1;mbito de la evaluaci&#x00F3;n de la ciencia, la Bibliometr&#x00ED;a y la Cienciometr&#x00ED;a dedican secciones espec&#x00ED;ficas de su programaci&#x00F3;n a los diferentes avances en estas cuestiones. Es el caso de los congresos de la <italic>International Society for Informetrics and Scientometrics</italic> (ISSI)<xref ref-type="fn" rid="NOTE1">1</xref> o de <italic>Science, Technology &amp; Innovation Indicators</italic> (STI)<xref ref-type="fn" rid="NOTE2">2</xref>. Pero adem&#x00E1;s, la evaluaci&#x00F3;n de las Humanidades y de las Ciencias Sociales es el objeto principal de la investigaci&#x00F3;n en el marco de la acci&#x00F3;n COST <italic>European Network for Research Evaluation in the Social Sciences</italic> (ENRESSH)<xref ref-type="fn" rid="NOTE3">3</xref>, de la iniciativa <italic>EvalHum</italic><xref ref-type="fn" rid="NOTE4">4</xref> y del congreso internacional que organiza: <italic>Research Evaluation in the Social Sciences and the Humanities</italic> (RESSH)<xref ref-type="fn" rid="NOTE5">5</xref>. En estas iniciativas, a diferencia de la investigaci&#x00F3;n m&#x00E1;s tradicional, se hace hincapi&#x00E9; en los aspectos no bibliom&#x00E9;tricos de estas disciplinas, aunque los bibliom&#x00E9;tricos tambi&#x00E9;n forman parte de la agenda, especialmente los que abarcan metodolog&#x00ED;as novedosas.</p>

		</sec>
		
		<sec id="S2">
			<title>2. OBJETIVOS</title>

			<p>Este trabajo se plantea como principal objetivo revisar las tendencias m&#x00E1;s sobresalientes en la evaluaci&#x00F3;n de las Humanidades y de las Ciencias Sociales en el &#x00E1;mbito internacional, especialmente en Europa. En este proceso de revisi&#x00F3;n se tratan de identificar las caracter&#x00ED;sticas y los cambios m&#x00E1;s destacados que se est&#x00E1;n produciendo en las pr&#x00E1;cticas de evaluaci&#x00F3;n. Si bien no podr&#x00E1;n tratarse todos los aspectos sistem&#x00E1;tica y detalladamente por la propia naturaleza del art&#x00ED;culo de revisi&#x00F3;n, se pretende que la exposici&#x00F3;n de algunas de las claves que rigen hoy los procesos de evaluaci&#x00F3;n permita ver los cambios sustanciales que se est&#x00E1;n dando y el sentido de la evoluci&#x00F3;n.</p>

			<p>Asimismo, este estado de la cuesti&#x00F3;n pretende mostrar el dinamismo que se registra en la investigaci&#x00F3;n sobre evaluaci&#x00F3;n en estas disciplinas y que responde a la necesidad de evaluar mejor. Por otra parte, este art&#x00ED;culo pretende servir de base para conocer las distintas rutas que pueden seguirse en la evaluaci&#x00F3;n de las Humanidades y Ciencias Sociales, alejadas de los m&#x00E9;todos bibliom&#x00E9;tricos tradicionales y m&#x00E1;s ajustadas a las pr&#x00E1;cticas de investigaci&#x00F3;n de estas disciplinas.</p>

		</sec>
		
		<sec id="S3">
			<title>3. METODOLOG&#x00CD;A</title>

			<p>Las tendencias y rasgos distintivos que se describen en este art&#x00ED;culo, y que pretenden mostrar las pr&#x00E1;cticas de evaluaci&#x00F3;n en las Humanidades y en las Ciencias Sociales, son una s&#x00ED;ntesis de la investigaci&#x00F3;n continuada en este campo. M&#x00E1;s concretamente, los contenidos de este art&#x00ED;culo se derivan de a) la revisi&#x00F3;n de la literatura cient&#x00ED;fica publicada en canales especializados; b) la participaci&#x00F3;n activa en la acci&#x00F3;n COST <italic>European Network for Research Evaluation in the Social Sciences</italic> (ENRESSH CA-15137), en sus grupos de trabajo, en sus congresos y en publicaciones conjuntas especializadas en este tema; c) la interacci&#x00F3;n con acad&#x00E9;micos, editores de libros y de revistas y agencias de evaluaci&#x00F3;n en torno a la evaluaci&#x00F3;n de la producci&#x00F3;n cient&#x00ED;fica, en actividades acad&#x00E9;micas.</p>

		</sec>
		
		<sec id="S4">
			<title>4. CLAVES DE LA EVALUACI&#x00D3;N DE LAS HUMANIDADES Y CIENCIAS SOCIALES HOY</title>
			
			<sec id="S4.1">
			<title>4.1. Datos completos y fuentes de indicadores para los canales de publicaci&#x00F3;n</title>

			<p>Las investigaciones recientes muestran la diversidad de modelos de evaluaci&#x00F3;n que se identifican en Europa en estos momentos (Ochsner y otros, <xref ref-type="bibr" rid="CIT38">2017b</xref>). Esa diversidad viene dada por distintas variables como la centralizaci&#x00F3;n o descentralizaci&#x00F3;n de los modelos, la disponibilidad de informaci&#x00F3;n sobre producci&#x00F3;n cient&#x00ED;fica a nivel institucional, regional o de pa&#x00ED;s, la mayor o menor consideraci&#x00F3;n de las pr&#x00E1;cticas de investigaci&#x00F3;n en las distintas disciplinas o la inclusi&#x00F3;n de una o m&#x00E1;s dimensiones de la investigaci&#x00F3;n en esos procesos de evaluaci&#x00F3;n. Lo cierto es que muchos de ellos tienen como objeto principal de evaluaci&#x00F3;n las publicaciones cient&#x00ED;ficas. No solo son el resultado m&#x00E1;s tangible y mensurable de la actividad cient&#x00ED;fica. Tambi&#x00E9;n pueden considerarse la punta del iceberg: donde hay publicaciones, hay investigaci&#x00F3;n, difusi&#x00F3;n, innovaci&#x00F3;n o redes de colaboraci&#x00F3;n.</p>

			<p>Quiz&#x00E1; pueda hacerse una primera distinci&#x00F3;n en los modelos, entre aquellos pa&#x00ED;ses que tienen sistemas de informaci&#x00F3;n cient&#x00ED;fica nacionales (<italic>Current Research Information Systems</italic>) que re&#x00FA;nen el conjunto de la producci&#x00F3;n cient&#x00ED;fica y aquellos que no lo tienen. Pa&#x00ED;ses como Noruega, Finlandia, Dinamarca o la regi&#x00F3;n de Flandes (B&#x00E9;lgica) han construido CRIS que les permiten tener recogida la totalidad de la producci&#x00F3;n cient&#x00ED;fica del pa&#x00ED;s/regi&#x00F3;n. Tambi&#x00E9;n la plataforma Lattes<xref ref-type="fn" rid="NOTE6">6</xref> de Brasil puede considerarse un sistema de informaci&#x00F3;n cient&#x00ED;fica a nivel nacional. Al tener datos completos de la producci&#x00F3;n cient&#x00ED;fica es posible realizar evaluaciones en contexto. El punto de partida del sistema de evaluaci&#x00F3;n es lo producido por un pa&#x00ED;s; a partir de ah&#x00ED; se pueden identificar patrones de publicaci&#x00F3;n de las distintas disciplinas y aplicar valoraciones y/o ponderaciones de los canales de publicaci&#x00F3;n, b&#x00E1;sicamente revistas y editoriales acad&#x00E9;micas de libros (Gim&#x00E9;nez-Toledo y otros, <xref ref-type="bibr" rid="CIT20">2016</xref>). Las categorizaciones o niveles que se asignan a la producci&#x00F3;n cient&#x00ED;fica son elaboradas por paneles de expertos a partir de informaci&#x00F3;n generada por grupos de investigaci&#x00F3;n y asociaciones de editores.</p>

			<p>Es importante recalcar que, de partida, se tiene en cuenta toda la producci&#x00F3;n cient&#x00ED;fica y no se valora solo una peque&#x00F1;a fracci&#x00F3;n visible en bases de datos internacionales como <italic>Web of Science</italic> (Clarivate Analytics) o <italic>Scopus</italic> (Elsevier). Esto marca una diferencia fundamental. En muchos otros pa&#x00ED;ses, el modelo ha sido (o es) a la inversa: no existen bases de datos nacionales, los investigadores env&#x00ED;an a las agencias de evaluaci&#x00F3;n sus curr&#x00ED;culos para ser valorados y entonces pueden darse dos situaciones.</p>

			<p>La primera de ellas, bastante extendida hasta hace poco tiempo, reconoce prioritariamente la producci&#x00F3;n cient&#x00ED;fica recogida en las grandes bases de datos comerciales <italic>Web of Science</italic> y <italic>Scopus</italic>. Esa producci&#x00F3;n cient&#x00ED;fica est&#x00E1; limitada a la selecci&#x00F3;n de fuentes que hacen los productores y fundamentalmente son art&#x00ED;culos de revistas cient&#x00ED;ficas y libros de un conjunto muy acotado de editoriales acad&#x00E9;micas. Resulta necesario recordar aqu&#x00ED; las limitaciones que produce la evaluaci&#x00F3;n realizada con estas fuentes. Son innumerables los estudios que muestran los sesgos de estas bases de datos y las consecuentes dificultades para evaluar la producci&#x00F3;n en Humanidades y Ciencias Sociales. Uno de los &#x00FA;ltimos (Gingras y Khelfaoui, <xref ref-type="bibr" rid="CIT22">2017</xref>) muestra c&#x00F3;mo las citas favorecen a los pa&#x00ED;ses con una relaci&#x00F3;n m&#x00E1;s cercana a Estados Unidos. Pero ya solo en la distribuci&#x00F3;n geogr&#x00E1;fica de las revistas y editoriales que se seleccionan se aprecia lo incompletas que resultan las fuentes para evaluar la producci&#x00F3;n cient&#x00ED;fica de un pa&#x00ED;s. Solo por poner un ejemplo: un reciente estudio de la producci&#x00F3;n cient&#x00ED;fica dominicana revela que la producci&#x00F3;n cient&#x00ED;fica del pa&#x00ED;s visible en las bases de datos internacionales representa solo el 49% de lo producido. Es decir, que un 51% permanece invisible si no se consideran otras fuentes (Riggio, <xref ref-type="bibr" rid="CIT45">2017</xref>). En consecuencia, cuando se decide evaluar utilizando &#x00FA;nica y exclusivamente estas fuentes de informaci&#x00F3;n, no solo se est&#x00E1; minusvalorando gran parte de la actividad desarrollada por los investigadores del pa&#x00ED;s, sino que se le quita importancia a la investigaci&#x00F3;n que puede ser m&#x00E1;s &#x00FA;til para la regi&#x00F3;n o el pa&#x00ED;s, que es normalmente la que queda fuera de las bases de datos internacionales.</p>

			<p>La segunda de ellas se refiere a procesos de evaluaci&#x00F3;n no respaldados por un CRIS pero sin que ello implique una evaluaci&#x00F3;n pobre o limitada de las publicaciones. De hecho, en los &#x00FA;ltimos a&#x00F1;os puede constatarse c&#x00F3;mo algunos ejercicios de evaluaci&#x00F3;n nacionales eval&#x00FA;an la producci&#x00F3;n cient&#x00ED;fica utilizando fuentes de indicadores diversas. As&#x00ED;, por ejemplo, adem&#x00E1;s de WoS o Scopus, se consideran bases de datos como ERIH Plus (<italic>European Reference Index for the Humanities</italic> en su &#x00FA;ltima versi&#x00F3;n) u otras categorizaciones de revistas de &#x00E1;mbito internacional; tambi&#x00E9;n se tienen en cuenta bases de datos o &#x00ED;ndices nacionales que estudian las caracter&#x00ED;sticas de las revistas cient&#x00ED;ficas de un pa&#x00ED;s. Son los casos de las listas de canales de publicaci&#x00F3;n del sistema BFI/BRI, <italic>Bibliometric Research Indicator</italic> en Dinamarca<xref ref-type="fn" rid="NOTE7">7</xref>, las del sistema fin&#x00E9;s categorizadas por el <italic>Julkaisufoorumi</italic><xref ref-type="fn" rid="NOTE8">8</xref>, las del sistema noruego realizadas por el <italic>Norwegian Register for Scientific Journals, Series and Publishers</italic><xref ref-type="fn" rid="NOTE9">9</xref> o las del sistema de evaluaci&#x00F3;n de la Regi&#x00F3;n de Flandes, en B&#x00E9;lgica, a trav&#x00E9;s del la Base de Datos Bibliogr&#x00E1;fica Acad&#x00E9;mica Flamenca para las Ciencias Sociales y las Humanidades o <italic>VABB-SHW</italic><xref ref-type="fn" rid="NOTE10">10</xref>. E incluso en algunos casos como el espa&#x00F1;ol, se mencionan fuentes de informaci&#x00F3;n sobre editoriales de libros acad&#x00E9;micos como <italic>Scholarly Publishers Indicators</italic> (SPI)<xref ref-type="fn" rid="NOTE11">11</xref> o etiquetas de calidad para colecciones (CEA/APQ)<xref ref-type="fn" rid="NOTE12">12</xref>.</p>

			<p>Rankings, categorizaciones o etiquetas de calidad para libros y revistas cient&#x00ED;ficas son herramientas que intervienen casi en cualquier proceso de evaluaci&#x00F3;n. De alguna manera, el uso de estas fuentes constata la necesidad de apoyar las decisiones sobre producci&#x00F3;n cient&#x00ED;fica en indicadores objetivos. Probablemente el uso que se hace de esas herramientas es lo m&#x00E1;s controvertido. Los indicadores sobre publicaciones deber&#x00ED;an utilizarse siempre en combinaci&#x00F3;n con el criterio de los expertos en la materia. Esta ha sido siempre la regla de oro de la Bibliometr&#x00ED;a. Sin embargo, en ocasiones se simplifican y automatizan en exceso en los procesos de evaluaci&#x00F3;n, haciendo traducciones autom&#x00E1;ticas del valor de una contribuci&#x00F3;n cient&#x00ED;fica en funci&#x00F3;n de la posici&#x00F3;n de una revista o una editorial en un <italic>ranking</italic>. Los indicadores de publicaciones deben aportar informaci&#x00F3;n s&#x00F3;lida y &#x00FA;til al experto, pero no determinar el resultado definitivo de la evaluaci&#x00F3;n. “<italic>Metrics should support, not supplant, expert judgement</italic>” es la conclusi&#x00F3;n de <italic>The Metric Tide</italic> (Wilsdon y otros, <xref ref-type="bibr" rid="CIT56">2015</xref>), un informe independiente sobre las m&#x00E9;tricas en la evaluaci&#x00F3;n cient&#x00ED;fica.</p>

			<p>La ausencia de CRIS impide tener un conocimiento detallado de los niveles de producci&#x00F3;n por disciplinas cient&#x00ED;ficas, de los &#x00ED;ndices de coautor&#x00ED;a o colaboraci&#x00F3;n internacional, de la relevancia de los distintos canales de publicaci&#x00F3;n o de los idiomas utilizados para la transmisi&#x00F3;n del conocimiento cient&#x00ED;fico. En definitiva, impide tener los datos de contexto a nivel de pa&#x00ED;s sobre los patrones de comunicaci&#x00F3;n de las distintas disciplinas. Bien es cierto que, en ocasiones, no hay sistemas de informaci&#x00F3;n nacionales pero s&#x00ED; institucionales. Estos sistemas, repositorios o bases de datos dise&#x00F1;adas especialmente para el seguimiento de la producci&#x00F3;n cient&#x00ED;fica en una instituci&#x00F3;n, permiten disponer de informaci&#x00F3;n precisa para la evaluaci&#x00F3;n en una universidad o un centro de investigaci&#x00F3;n en particular (De Filippo y otros, <xref ref-type="bibr" rid="CIT08">2011</xref>; Reale y otros, <xref ref-type="bibr" rid="CIT42">2011</xref>). As&#x00ED;, por ejemplo, el Consejo Superior de Investigaciones Cient&#x00ED;ficas (CSIC) de Espa&#x00F1;a cuenta con el sistema de informaci&#x00F3;n <italic>ConCiencia</italic>, mientras que una buena parte de las universidades espa&#x00F1;olas trabajan con el software <italic>Universitas XXI</italic> para el seguimiento de su producci&#x00F3;n cient&#x00ED;fica, entre otras cosas.</p>

			<p>Por otra parte, en los procesos de evaluaci&#x00F3;n a escala nacional de pa&#x00ED;ses que no cuentan con CRIS, los distintos comit&#x00E9;s o paneles de expertos tienen m&#x00E1;s o menos definido ese contexto pero no hay datos que confirmen los patrones de publicaci&#x00F3;n y su evaluaci&#x00F3;n a lo largo del tiempo. Adem&#x00E1;s, al priorizarse la producci&#x00F3;n recogida en las bases de datos internacionales, se otorga un car&#x00E1;cter secundario a la investigaci&#x00F3;n m&#x00E1;s cercana al territorio y que puede tener un impacto social –no solo acad&#x00E9;mico- en la comunidad m&#x00E1;s cercana.</p>

			<p>En este sentido, se favorece la publicaci&#x00F3;n internacional (entendiendo “internacional” en un sentido restrictivo pues es lo seleccionado por los productores de las bases de datos) y, por tanto, se atiende a los temas y metodolog&#x00ED;as que son interesantes en un contexto internacional y globalizado. Sin embargo, es necesario considerar tambi&#x00E9;n las publicaciones que est&#x00E1;n fuera de ese &#x00E1;mbito, no solo porque difunden conocimientos cient&#x00ED;ficos en otros temas relevantes para las comunidades cercanas, sino tambi&#x00E9;n porque de este modo se est&#x00E1; preservando la diversidad tem&#x00E1;tica, ling&#x00FC;&#x00ED;stica, metodol&#x00F3;gica e ideol&#x00F3;gica que existe en la investigaci&#x00F3;n (Ochsner y otros, <xref ref-type="bibr" rid="CIT38">2017b</xref>; Gim&#x00E9;nez-Toledo, <xref ref-type="bibr" rid="CIT18">2017</xref>). As&#x00ED;, por ejemplo, las preguntas de investigaci&#x00F3;n y las respuestas que se observan en revistas internacionales indexadas casi en cualquier disciplina no son aquellas que prioritariamente preocupan en pa&#x00ED;ses de Am&#x00E9;rica Latina o en Espa&#x00F1;a. Vessuri y otros (<xref ref-type="bibr" rid="CIT55">2013</xref>) se refiere a la internacionalizaci&#x00F3;n de la investigaci&#x00F3;n en los siguientes t&#x00E9;rminos “Si la ciencia de Am&#x00E9;rica Latina quiere internacionalizarse sobre una base s&#x00F3;lida, deber&#x00ED;a dejar de interpretar err&#x00F3;neamente que la ciencia del Atl&#x00E1;ntico Norte es la totalidad de la ciencia mundial” (p.12). Los distintos argumentos en este sentido apuntan a que si se dejan de atender las publicaciones no indexadas, se estar&#x00E1; perdiendo parte de la investigaci&#x00F3;n esencial para los contextos nacionales o regionales.</p>

			<p>Por otra parte, reconociendo las singularidades de la producci&#x00F3;n cient&#x00ED;fica en Humanidades y Ciencias Sociales y, al mismo tiempo, el inter&#x00E9;s de observar esa producci&#x00F3;n en un marco internacional - no solo en los nacionales- y desde una perspectiva comparada, hace tiempo que se propuso la creaci&#x00F3;n de una base de datos que recogiera las publicaciones generadas en estas disciplinas en el &#x00E1;mbito europeo (Martin y otros, <xref ref-type="bibr" rid="CIT31">2010</xref>). Aunque la propuesta no lleg&#x00F3; a desarrollarse, lo cierto es que la idea sigue teniendo vigencia. De hecho, forma parte de los objetivos de la acci&#x00F3;n COST <italic>European Network for Research Evaluation in the Social Sciences and the Humanities</italic> (ENRESSH, <xref ref-type="bibr" rid="CIT10">2015</xref>). Esta red est&#x00E1; colaborando en el proyecto piloto VIRTA (Puuska y otros, <xref ref-type="bibr" rid="CIT40">2017</xref>), una infraestructura tecnol&#x00F3;gica que permite recoger la producci&#x00F3;n cient&#x00ED;fica de distintos pa&#x00ED;ses de forma normalizada e interoperable. El sistema se alimenta de forma descentralizada, desde cada uno de los pa&#x00ED;ses o instituciones. En la medida en que el proyecto piloto pueda avanzar y se sumen a &#x00E9;l otros pa&#x00ED;ses, se podr&#x00E1; ir creando una gran base de datos de producci&#x00F3;n cient&#x00ED;fica que permitir&#x00ED;a no solo la realizaci&#x00F3;n de estudios sobre din&#x00E1;micas de publicaci&#x00F3;n, colaboraci&#x00F3;n, etc. en distintas disciplinas sino tambi&#x00E9;n disponer de informaci&#x00F3;n para la evaluaci&#x00F3;n cient&#x00ED;fica en contexto, un factor clave para la evaluaci&#x00F3;n de las Humanidades y las Ciencias Sociales.</p>

			</sec>
			
			<sec id="S4.2">
			<title>4.2. Hacia una evaluaci&#x00F3;n m&#x00E1;s cualitativa y/o con enfoques bottom up</title>

			<p>La evaluaci&#x00F3;n de los contenidos –es decir, de la investigaci&#x00F3;n publicada- ha sido y es una reivindicaci&#x00F3;n habitual de los humanistas y cient&#x00ED;ficos sociales. En ocasiones critican la evaluaci&#x00F3;n que se hace a partir de los canales de publicaci&#x00F3;n, fundamentalmente de revistas y editoriales, disociando el contenido del continente. A juzgar por los estudios realizados (McCulloch, <xref ref-type="bibr" rid="CIT33">2017</xref>; Gim&#x00E9;nez-Toledo, <xref ref-type="bibr" rid="CIT17">2016</xref>), la comunidad acad&#x00E9;mica siente la presi&#x00F3;n que ejerce sobre ellos la evaluaci&#x00F3;n, la exigencia por publicar m&#x00E1;s y en determinados medios y, en relaci&#x00F3;n con esto, la desviaci&#x00F3;n de sus temas de investigaci&#x00F3;n para poder publicar en las revistas o editoriales que son mejor valoradas. Adem&#x00E1;s, como apuntan Ochsner y otros (<xref ref-type="bibr" rid="CIT37">2017a</xref>) los investigadores de estas &#x00E1;reas tienen fuertes reservas hacia la cuantificaci&#x00F3;n.</p>

			<p>Hay varios factores que tener en cuenta sobre este posicionamiento (Gim&#x00E9;nez-Toledo, <xref ref-type="bibr" rid="CIT17">2016</xref>, p. 23 y siguientes). Por un lado, hay pocos esquemas de evaluaci&#x00F3;n cient&#x00ED;fica de corte esencialmente cualitativo. El &#x00FA;ltimo <italic>Research Excellence Framework</italic> (REF, <xref ref-type="bibr" rid="CIT44">2014</xref>) (Panel D) del Reino Unido era uno de ellos, hasta el punto de se&#x00F1;alar expl&#x00ED;citamente en su convocatoria que no considerar&#x00ED;a el medio en el que se hubiera publicado una contribuci&#x00F3;n o las clasificaciones de revistas o editoriales en los paneles de Humanidades y Ciencias Sociales (Research Excellence Framework, <xref ref-type="bibr" rid="CIT44">2014</xref>). Primar&#x00ED;a la evaluaci&#x00F3;n basada en paneles de expertos. La metodolog&#x00ED;a pudo ser aplicada gracias a la enorme inversi&#x00F3;n en el propio proceso de evaluaci&#x00F3;n, pues es costosa en tiempo y en dinero; al mismo tiempo, al ser un ejercicio de evaluaci&#x00F3;n voluntario que se efect&#x00FA;a sobre la producci&#x00F3;n cient&#x00ED;fica de investigadores y para un periodo de seis a&#x00F1;os, es factible realizarla, frente a los procesos de evaluaci&#x00F3;n peri&#x00F3;dicos, normalmente anuales, que se llevan a cabo a nivel institucional. A&#x00FA;n as&#x00ED;, el REF 2014 ha sido controvertido y criticado.</p>

			<p>La evaluaci&#x00F3;n cualitativa o basada &#x00FA;nicamente en el criterio de especialistas no est&#x00E1; exenta de problemas, pues no solo hay escuelas de pensamiento, ideolog&#x00ED;as o apreciaciones metodol&#x00F3;gicas que implican posicionarse a favor o en contra de una determinada l&#x00ED;nea de investigaci&#x00F3;n. Es que adem&#x00E1;s, como indican Ochsner y otros (<xref ref-type="bibr" rid="CIT37">2017a</xref>) “<italic>the way SSH scholars appreciate research output of colleagues is quite different from how STEM researchers do. SSH scholars are much more critical. They criticize even work they value as excellent</italic>”. Es decir, el hecho de que las evaluaciones estuvieran basadas solo en el juicio de los especialistas no garantizar&#x00ED;a una mejor aceptaci&#x00F3;n de los procesos de evaluaci&#x00F3;n. Esa raz&#x00F3;n, unida a los costes y a los tiempos de los procesos de evaluaci&#x00F3;n, hace que muchos modelos de evaluaci&#x00F3;n est&#x00E9;n basados en una f&#x00F3;rmula combinada entre el criterio de los especialistas (lo cualitativo) y los indicadores (lo cuantitativo).</p>

			<p>En lo que concierne a la falta de aceptaci&#x00F3;n de los indicadores cuantitativos por parte de humanistas y cient&#x00ED;ficos sociales es necesario establecer diferencias entre indicadores y, desde luego, reivindicar el valor y la utilidad de algunos de ellos. A juzgar por las reticencias que a veces provocan, podr&#x00ED;a parecer que los indicadores de una publicaci&#x00F3;n –su prestigio, su internacionalidad, su rigor en la selecci&#x00F3;n de originales- fueran valores totalmente ajenos a la idea, juicio o percepci&#x00F3;n que la academia tiene sobre esa publicaci&#x00F3;n. Podr&#x00ED;a parecer que el juicio de los expertos sobre un canal de publicaci&#x00F3;n (revista, editorial, etc.) no se pudiera traducir de ninguna manera a un valor num&#x00E9;rico o a una categor&#x00ED;a. Los indicadores bibliom&#x00E9;tricos no siempre son meras medidas de la cantidad de producci&#x00F3;n o de citas recibidas. Quiz&#x00E1; porque en ocasiones se han utilizado esos indicadores en exceso o mal, o quiz&#x00E1; porque lo num&#x00E9;rico resulta generalmente ajeno en las Humanidades, existe un rechazo a su uso. Sin embargo, un indicador num&#x00E9;rico o una categor&#x00ED;a pueden estar representando distintas cualidades de la investigaci&#x00F3;n o de las publicaciones. Cuando un panel de especialistas se re&#x00FA;ne para determinar qu&#x00E9; grado de calidad tiene un conjunto de revistas y resumen su juicio en un conjunto de categor&#x00ED;as (v&#x00E9;ase sistema finland&#x00E9;s, dan&#x00E9;s o noruego en Gim&#x00E9;nez-Toledo y otros, <xref ref-type="bibr" rid="CIT20">2016</xref>) se est&#x00E1; produciendo esta traducci&#x00F3;n pr&#x00E1;ctica que implica facilitar un proceso de evaluaci&#x00F3;n teniendo en cuenta los conocimientos de los especialistas. Lo mismo ocurre en un proceso de consulta a la comunidad acad&#x00E9;mica sobre el prestigio de las editoriales, como el que se produce para la creaci&#x00F3;n del sistema de indicadores de editoriales <italic>Scholarly Publishers Indicators</italic>. O cuando, para la creaci&#x00F3;n de este mismo sistema, se analizan miles de registros bibliogr&#x00E1;ficos que permiten determinar el perfil de especializaci&#x00F3;n de una editorial (Gim&#x00E9;nez-Toledo y Ma&#x00F1;ana-Rodr&#x00ED;guez, <xref ref-type="bibr" rid="CIT21">2016</xref>). La construcci&#x00F3;n de un indicador implica formalizar un conocimiento que hasta el momento ha permanecido “informal” o t&#x00E1;cito, consiguiendo as&#x00ED; que sea &#x00FA;til para los procesos de evaluaci&#x00F3;n. Un alumbrador art&#x00ED;culo de Ferrara y Bonaccorsi (<xref ref-type="bibr" rid="CIT15">2016</xref>) muestra c&#x00F3;mo la distancia te&#x00F3;rica que existe entre la opini&#x00F3;n de los especialistas sobre las revistas y los indicadores no es tal o no es tanta. Ellos comparan dos procesos de evaluaci&#x00F3;n de revistas cient&#x00ED;ficas, uno basado en juicios cualitativos y otro en categorizaciones, y demuestran, mediante regresiones, que realmente los resultados son muy parecidos. Es decir, que es factible realizar esa traducci&#x00F3;n de criterios cualitativos en indicadores y que las herramientas que los recogen permiten afrontar con eficiencia los sobrecargados procesos de evaluaci&#x00F3;n de la actividad cient&#x00ED;fica.</p>

			<p>Por otra parte, es necesario distinguir los sistemas de evaluaci&#x00F3;n y sus fuentes en funci&#x00F3;n de los objetivos que tiene cada uno de ellos. Se habla de evaluaci&#x00F3;n en general, pero no es lo mismo llevar a cabo un proceso de evaluaci&#x00F3;n institucional para mejorar la transparencia y poder dise&#x00F1;ar unas mejores directrices en pol&#x00ED;tica cient&#x00ED;fica, que evaluar para asignar recursos para la investigaci&#x00F3;n o que evaluar a un investigador para su promoci&#x00F3;n. En funci&#x00F3;n de los objetivos, los procedimientos y herramientas de evaluaci&#x00F3;n var&#x00ED;an. Sivertsen (<xref ref-type="bibr" rid="CIT46">2017a</xref>) establece una clara clasificaci&#x00F3;n de los sistemas de evaluaci&#x00F3;n de pa&#x00ED;ses que est&#x00E1;n trabajando con sistemas de financiaci&#x00F3;n basados en los resultados de la investigaci&#x00F3;n. En esa clasificaci&#x00F3;n se observa c&#x00F3;mo los diferentes objetivos de los sistemas han propiciado que en ocasiones se opte por la evaluaci&#x00F3;n basada en paneles de expertos y en otros se utilicen m&#x00E1;s los indicadores, d&#x00E1;ndose tambi&#x00E9;n diferencias en el tipo de indicadores que se utilizan. Adentrarse en esa variedad de objetivos y procedimientos debe hacer ver que las generalizaciones, tambi&#x00E9;n en la evaluaci&#x00F3;n cient&#x00ED;fica, no son buenas ni constructivas.</p>

			<p>Una de las ideas clave en los procedimientos de evaluaci&#x00F3;n que se reivindican en la actualidad es que la comunidad acad&#x00E9;mica debe participar en el dise&#x00F1;o de ese procedimiento o de esos indicadores. El denominado enfoque <italic>bottom up</italic> (de abajo a arriba) se concibe como una buena soluci&#x00F3;n para mejorar los procesos de evaluaci&#x00F3;n (Ochsner y otros, <xref ref-type="bibr" rid="CIT37">2017a</xref>). La raz&#x00F3;n para ello es que estos procedimientos tienen en cuenta las pr&#x00E1;cticas de investigaci&#x00F3;n y de comunicaci&#x00F3;n cient&#x00ED;fica de los humanistas y cient&#x00ED;ficos sociales, lo que tiene como consecuencia no solo una evaluaci&#x00F3;n m&#x00E1;s ajustada a la realidad sino tambi&#x00E9;n, <italic>a priori</italic>, una mejor aceptaci&#x00F3;n de los resultados por parte de la comunidad acad&#x00E9;mica. Es necesario se&#x00F1;alar <italic>a priori</italic>, porque incluso los procedimientos o fuentes de informaci&#x00F3;n que se crean especialmente pensando en estas disciplinas e involucrando a sus acad&#x00E9;micos resultan a veces controvertidas o contestadas por los investigadores. La primera etapa de ERIH, <italic>European Reference Index for the Humanities</italic>, es un ejemplo de ello, quiz&#x00E1; m&#x00E1;s notorio por el alcance europeo del proyecto. El proyecto se transform&#x00F3; en ERIH Plus (<xref ref-type="bibr" rid="CIT11">2017</xref>), una fuente de informaci&#x00F3;n bibliogr&#x00E1;fica sobre revistas cient&#x00ED;ficas de Humanidades y Ciencias Sociales, que informa del cumplimiento de ciertos criterios de calidad que se exigen a este tipo de publicaciones: sistema de revisi&#x00F3;n por expertos externos, existencia de un comit&#x00E9; editorial, afiliaci&#x00F3;n institucional de los autores, etc. Parad&#x00F3;jicamente, la intervenci&#x00F3;n de los especialistas en las disciplinas –reivindicaci&#x00F3;n habitual- para categorizar las revistas de ERIH en su primera etapa fue un elemento tan controvertido (<italic>Journals under threat</italic>, <xref ref-type="bibr" rid="CIT28">2009</xref>) que hoy ya no se tiene en cuenta. ERIH plus es hoy una fuente de informaci&#x00F3;n bibliogr&#x00E1;fica m&#x00E1;s que una fuente con informaci&#x00F3;n potencialmente &#x00FA;til para la evaluaci&#x00F3;n cient&#x00ED;fica.</p>

			<p>Pero no solo ERIH ha sido discutido por la comunidad acad&#x00E9;mica. Las categorizaciones de revistas o editoriales, las ponderaciones de los indicadores o las facetas de la actividad investigadora que se tienen en cuenta (por ejemplo, la valoraci&#x00F3;n de las actividades de divulgaci&#x00F3;n cient&#x00ED;fica o la direcci&#x00F3;n de revistas cient&#x00ED;ficas) son permanentemente objeto de discusi&#x00F3;n en los procesos de evaluaci&#x00F3;n nacionales. Es una caracter&#x00ED;stica com&#x00FA;n en todos los pa&#x00ED;ses, independientemente del modelo de evaluaci&#x00F3;n que se siga. Y a veces la reacci&#x00F3;n contra los sistemas de evaluaci&#x00F3;n o sus resoluciones es tan contundente que se llega a los tribunales. Es un hecho que no deja de sorprender pues hoy la evaluaci&#x00F3;n se realiza con mucha m&#x00E1;s informaci&#x00F3;n, mejores indicadores y, muy frecuentemente, con la participaci&#x00F3;n de la comunidad cient&#x00ED;fica. Los paneles de expertos suelen formar parte de la mayor&#x00ED;a de los procesos de evaluaci&#x00F3;n. Tambi&#x00E9;n las asociaciones cient&#x00ED;ficas hacen llegar a las agencias de evaluaci&#x00F3;n sus opiniones y posicionamientos acerca de los criterios de evaluaci&#x00F3;n. En general, se dan mejores condiciones para poder evaluar mejor. Sin embargo, bien sea por las visiones reduccionistas de la ciencia –solo vale aquello que es publicado en revistas internacionales indexadas-, bien por el rechazo sistem&#x00E1;tico a los procedimientos o a los indicadores cuantitativos, a&#x00FA;n queda mucho por hacer para lograr modelos de evaluaci&#x00F3;n que sean ampliamente aceptados.</p>

			<p>En la mayor&#x00ED;a de los casos, cuando se propone integrar enfoques <italic>bottom up</italic> a los procesos de evaluaci&#x00F3;n, se est&#x00E1; considerando manejar de manera combinada indicadores y <italic>peer review</italic> con la implicaci&#x00F3;n de las comunidades acad&#x00E9;micas correspondientes. Algunos ejemplos de estos enfoques pueden ser el seguido en el denominado <italic>modelo noruego</italic> o el utilizado para la creaci&#x00F3;n de los rankings de prestigio de las editoriales <italic>Scholarly Publishers Indicators</italic> (SPI)<xref ref-type="fn" rid="NOTE13">13</xref>. En el primero, como se ha indicado anteriormente, la base de partida es el conjunto de producci&#x00F3;n cient&#x00ED;fica de todo un pa&#x00ED;s. Se eval&#x00FA;a en contexto, pues se pueden identificar los patrones de trabajo acad&#x00E9;mico y publicaci&#x00F3;n de las distintas disciplinas y, adem&#x00E1;s, se recurre al juicio de los especialistas. El modelo noruego cuenta con paneles de expertos que validan los canales de publicaci&#x00F3;n y establecen niveles para ellos.</p>

			<p>En el caso de SPI, se recaba informaci&#x00F3;n sobre el prestigio de las editoriales a partir de los lectores y autores de los libros que publican esas editoriales (Gim&#x00E9;nez-Toledo, <xref ref-type="bibr" rid="CIT19">2018</xref>). Se consulta a la comunidad acad&#x00E9;mica que, como especialista, es qui&#x00E9;n mejor puede evaluar la calidad del fondo de las editoriales. La consulta permite publicar <italic>rankings</italic> de prestigio de las editoriales que se conciben como una informaci&#x00F3;n orientativa en los procesos de evaluaci&#x00F3;n. Esa aproximaci&#x00F3;n no es la &#x00FA;nica, pues el sistema SPI aporta tambi&#x00E9;n indicadores sobre la especializaci&#x00F3;n del cat&#x00E1;logo de las editoriales, el sistema de selecci&#x00F3;n de originales que siguen, la utilizaci&#x00F3;n de los metadatos, la agrupaci&#x00F3;n de su fondo en colecciones o su presencia en otros sistemas de informaci&#x00F3;n. Tanto los indicadores de prestigio como el sistema de selecci&#x00F3;n de originales de las editoriales son elementos mencionados expl&#x00ED;citamente por las agencias de evaluaci&#x00F3;n espa&#x00F1;olas Agencia Nacional de Evaluaci&#x00F3;n de la Calidad y Acreditaci&#x00F3;n (ANECA, <xref ref-type="bibr" rid="CIT03">2017</xref>) y Comisi&#x00F3;n Nacional Evaluadora de la Actividad Investigadora (Ministerio de Educaci&#x00F3;n, Cultura y Deporte, <xref ref-type="bibr" rid="CIT34">2017</xref>) en los campos de Humanidades y Ciencias Sociales.</p>

			</sec>
			
			<sec id="S4.3">
			<title>4.3. Acceso abierto y sus implicaciones en la evaluaci&#x00F3;n cient&#x00ED;fica</title>

			<p>Una transformaci&#x00F3;n clave en la forma de hacer ciencia y comunicar los resultados de la investigaci&#x00F3;n se est&#x00E1; produciendo por los principios de la ciencia abierta. A partir del postulado de que la sociedad en su conjunto deber&#x00ED;a beneficiarse y tener acceso a los resultados de la investigaci&#x00F3;n cient&#x00ED;fica realizada con fondos p&#x00FA;blicos, se plantean nuevas pr&#x00E1;cticas acad&#x00E9;micas:</p>
			
				<list list-type="bullet">
					<list-item>
						<p>la publicaci&#x00F3;n de resultados en abierto, tanto en forma de art&#x00ED;culos, como libros u otros tipos de documentos (informes, documentos de trabajo, etc.);</p>
					</list-item>
					
					<list-item>
						<p>publicaci&#x00F3;n de los datos de las investigaciones en abierto para que otros investigadores puedan utilizarlos y/o reproducir las investigaciones;</p>
					</list-item>
					
					<list-item>
						<p>la evaluaci&#x00F3;n de la actividad cient&#x00ED;fica a partir de fuentes abiertas (citas procedentes de Google Scholar, m&#x00E9;tricas alternativas de fuentes como Twitter, Facebook, Research Gate, Academia, etc.) y no de bases de datos cerradas;</p>
					</list-item>
					
					<list-item>
						<p>y tambi&#x00E9;n la valoraci&#x00F3;n del impacto acad&#x00E9;mico (<italic>open citations</italic>) y no acad&#x00E9;mico que pueda establecerse tambi&#x00E9;n a partir de fuentes abiertas (R&#x00E0;fols y otros, <xref ref-type="bibr" rid="CIT41">2017</xref>).</p>
					</list-item>
				</list>

			<p>Todos ellos son temas a los que se est&#x00E1; dedicando mucha atenci&#x00F3;n en la investigaci&#x00F3;n y que han entrado en las agendas de la pol&#x00ED;tica cient&#x00ED;fica, especialmente lo que concierne a la publicaci&#x00F3;n de datos y resultados de investigaci&#x00F3;n en abierto. La Recomendaci&#x00F3;n de la Comisi&#x00F3;n Europea sobre acceso y preservaci&#x00F3;n de la informaci&#x00F3;n cient&#x00ED;fica (European Commission, <xref ref-type="bibr" rid="CIT13">2012</xref>), la futura creaci&#x00F3;n de una plataforma para la publicaci&#x00F3;n de resultados en abierto propuesta tambi&#x00E9;n por la Comisi&#x00F3;n Europea (European Commission, <xref ref-type="bibr" rid="CIT14">2017</xref>), las diferentes leyes de la ciencia, incluida la espa&#x00F1;ola (Espa&#x00F1;a, <xref ref-type="bibr" rid="CIT12">2011</xref>), y las distintas convocatorias de proyectos de investigaci&#x00F3;n, entre ellas las del vigente programa europeo de investigaci&#x00F3;n e innovaci&#x00F3;n H2020<xref ref-type="fn" rid="NOTE14">14</xref>, muestran que pol&#x00ED;ticamente el acceso abierto al conocimiento cient&#x00ED;fico es una apuesta firme y segura. Sin embargo, la adopci&#x00F3;n del acceso abierto conlleva muchos cambios en el entorno acad&#x00E9;mico.</p>

			<p>Si los autores deben publicar en abierto, bien por propia convicci&#x00F3;n, bien por los imperativos de las convocatorias de proyectos, tienen que decidir c&#x00F3;mo hacerlo. Pueden optar por la v&#x00ED;a verde o por la v&#x00ED;a dorada. En este &#x00FA;ltimo caso –publicaci&#x00F3;n inmediata de los resultados en abierto-, la publicaci&#x00F3;n suele implicar el pago de tasas a las editoriales acad&#x00E9;micas consolidadas. Sin ese pago, el contenido del art&#x00ED;culo quedar&#x00ED;a cerrado, solo accesible para quien tenga suscripci&#x00F3;n a una revista en concreto y solo una vez que hubiera pasado el periodo de embargo, el autor podr&#x00ED;a depositar el art&#x00ED;culo en un repositorio (v&#x00ED;a verde).</p>

			<p>Habitualmente estas tasas (APCs: Article Processing Charges) son pagadas por los autores porque sus proyectos cuentan con fondos para la publicaci&#x00F3;n en abierto. Es decir, las propias convocatorias p&#x00FA;blicas prev&#x00E9;n que los presupuestos de los proyectos de investigaci&#x00F3;n dispongan de partidas para publicar en abierto. De esta forma se impulsa el acceso abierto. Sin embargo, son muchas las dudas que surgen de la sostenibilidad del sistema y, de hecho, es uno de los grandes temas de debate. Por una parte, no se puede financiar todo lo que se produce. Por otra, los fondos p&#x00FA;blicos destinados a la investigaci&#x00F3;n acaban en las grandes empresas editoriales que no solo han dise&#x00F1;ado programas espec&#x00ED;ficos de publicaci&#x00F3;n en abierto para facilitar el cumplimiento de los mandatos a los autores, sino que adem&#x00E1;s son capaces de atraer m&#x00E1;s originales (y m&#x00E1;s ingresos) porque sus revistas est&#x00E1;n indexadas en las bases de datos internacionales, forman parte del “sistema” y, en virtud de eso, est&#x00E1;n ampliamente reconocidas por las agencias de evaluaci&#x00F3;n de muchos pa&#x00ED;ses. La industria editorial acad&#x00E9;mica ha adoptado soluciones para que el acceso abierto a la investigaci&#x00F3;n fuera una oportunidad y no una amenaza. Los estudios de Bj&#x00F6;rk y Solomon (Bj&#x00F6;rk y Solomon, <xref ref-type="bibr" rid="CIT06">2012</xref>; Solomon y Bj&#x00F6;rk, <xref ref-type="bibr" rid="CIT48">2012a</xref> y <xref ref-type="bibr" rid="CIT49">2012b</xref>) muestran con claridad el notable incremento de revistas cient&#x00ED;ficas dentro de las grandes casas editoriales que permiten la publicaci&#x00F3;n en abierto mediante el pago de las correspondientes tasas. Y esas mismas editoriales han creado programas espec&#x00ED;ficos de publicaci&#x00F3;n de monograf&#x00ED;as y libros colectivos en abierto. Mientras, las peque&#x00F1;as editoriales y las editoriales universitarias o institucionales que publican revistas y libros acad&#x00E9;micos se resienten de las estrategias comerciales de las grandes editoriales; y cuando se apuesta por la edici&#x00F3;n en abierto, el modelo de financiaci&#x00F3;n es bien diferente: es el subsidio o financiaci&#x00F3;n de la universidad qui&#x00E9;n asume el coste de esa publicaci&#x00F3;n.</p>

			<p>Es sabido que en las Ciencias Sociales y, muy especialmente, en las Humanidades, los libros ocupan un lugar prominente en la comunicaci&#x00F3;n de resultados de investigaci&#x00F3;n. Sin embargo, publicarlos en abierto resulta muy costoso. El informe de Jubb (<xref ref-type="bibr" rid="CIT29">2017</xref>) cifra en 6.500 libras las tasas (BPCs: Book Processing Charges) para publicar en Cambridge University Press, 10.000 para publicar con Taylor &amp; Francis y 11.000 con Palgrave. Puesto que estos costes, y la menor disponibilidad de fondos para las Humanidades y las Ciencias Sociales, plantean un serio problema de sostenibilidad, est&#x00E1;n surgiendo en los &#x00FA;ltimos a&#x00F1;os una serie de iniciativas que tratan de dar respuesta a este desaf&#x00ED;o. As&#x00ED;, por ejemplo, <italic>Knowledge Unlatched</italic><xref ref-type="fn" rid="NOTE15">15</xref> propone que los costes para publicar una monograf&#x00ED;a en abierto, seleccionada, editada y publicada por un sello editorial consolidado, sean cubiertos por las bibliotecas universitarias que quieran participar de este sistema de cofinanciaci&#x00F3;n. M&#x00E1;s de 340 t&#x00ED;tulos han sido publicados ya de este modo. Por otra parte, han aparecido nuevas casas editoriales como la universitaria UCL Press que publica directamente en abierto y que es financiada por la propia universidad (University College of London), en lo que constituye una firme apuesta porque el conocimiento cient&#x00ED;fico est&#x00E9; disponible p&#x00FA;blicamente.</p>

			<p>Desde el punto de vista de la evaluaci&#x00F3;n en Humanidades y Ciencias Sociales, todas las cuestiones relacionadas con el acceso abierto tienen un gran inter&#x00E9;s. Por una parte –ya se ha apuntado- los procesos de evaluaci&#x00F3;n valoran entre otras cuestiones los canales de publicaci&#x00F3;n. Esto supone que las revistas y editoriales m&#x00E1;s consolidadas, que adem&#x00E1;s permitan publicar en abierto una vez abonadas las tasas, estar&#x00E1;n en disposici&#x00F3;n de recibir m&#x00E1;s y mejores originales. Se plantea, eso s&#x00ED;, el problema de la sostenibilidad econ&#x00F3;mica. Pero tambi&#x00E9;n el de la diversidad. Basta pensar en revistas universitarias de distintos pa&#x00ED;ses del mundo, que publican directamente en abierto sin exigir el pago de tasas; o en editoriales relevantes en los &#x00E1;mbitos nacionales, tanto comerciales como universitarias, que no han adoptado el acceso abierto para las monograf&#x00ED;as porque su modelo de negocio es la venta de libros, porque no participan de ning&#x00FA;n sistema de cofinanciaci&#x00F3;n de ediciones y la inversi&#x00F3;n en la edici&#x00F3;n ser&#x00ED;a a fondo perdido o porque, sencillamente, existen recelos sobre la protecci&#x00F3;n de la propiedad intelectual. Las cifras ayudan a mostrar las dimensiones de la edici&#x00F3;n de libros acad&#x00E9;micos en abierto. Seg&#x00FA;n DOAB (Directory of Open Access Books), una fuente abierta a la informaci&#x00F3;n de todo el mundo, 240 editoriales est&#x00E1;n trabajando con monograf&#x00ED;as de acceso abierto. Aunque en esa cifra est&#x00E1;n representadas algunas de las editoriales m&#x00E1;s fuertes de todo el mundo, con un gran volumen de producci&#x00F3;n editorial, representan un porcentaje relativamente peque&#x00F1;o con respecto a las editoriales acad&#x00E9;micas que existen. Solo en Espa&#x00F1;a, por ejemplo, se identifican m&#x00E1;s de 200 editoriales de perfil puramente acad&#x00E9;mico (Gim&#x00E9;nez-Toledo, <xref ref-type="bibr" rid="CIT18">2017</xref>); En Francia, hay unas 75 editoriales cient&#x00ED;ficas institucionales (Henny, <xref ref-type="bibr" rid="CIT23">2015</xref>); en Colombia, m&#x00E1;s de 60 editoriales universitarias<xref ref-type="fn" rid="NOTE16">16</xref>; y en M&#x00E9;xico, son 42 las editoriales afiliadas a Altexto<xref ref-type="fn" rid="NOTE17">17</xref> (red de editoriales universitarias). Como bien se&#x00F1;ala el informe <italic>A landscape study on open access and monographs</italic> (Ferwerda y otros, <xref ref-type="bibr" rid="CIT16">2017</xref>), los mercados editoriales, h&#x00E1;bitos lectores o posibilidades de financiaci&#x00F3;n en los distintos pa&#x00ED;ses determinan tambi&#x00E9;n los modelos de edici&#x00F3;n y la predisposici&#x00F3;n a participar en proyectos de monograf&#x00ED;as de acceso abierto.</p>

			<p>La diversidad en la investigaci&#x00F3;n y en la edici&#x00F3;n dentro de las Humanidades y las Ciencias Sociales es y ser&#x00E1; un factor crucial en la evaluaci&#x00F3;n de estas disciplinas. Al no generar un conocimiento tan monol&#x00ED;tico como el de las ciencias positivas, las formas y canales de publicaci&#x00F3;n son mucho m&#x00E1;s diversas, lo que tiene implicaciones en la evaluaci&#x00F3;n cient&#x00ED;fica: se necesitan fuentes muy completas que aporten informaci&#x00F3;n sobre el amplio rango de revistas, editoriales y otros canales de comunicaci&#x00F3;n. Estas fuentes deber&#x00ED;an conjugar la diversidad y pluralidad en temas de investigaci&#x00F3;n, idiomas o metodolog&#x00ED;as con la calidad y/o el rigor en la selecci&#x00F3;n de los textos que se publican. Precisamente porque los canales de publicaci&#x00F3;n en estas disciplinas son mucho m&#x00E1;s numerosos y porque es necesario distinguir las investigaciones m&#x00E1;s s&#x00F3;lidas y los canales m&#x00E1;s selectivos, el desarrollo de indicadores objetivos que aporten informaci&#x00F3;n adicional al evaluador resulta fundamental.</p>

			<p>La multiplicaci&#x00F3;n de los canales de publicaci&#x00F3;n de resultados cient&#x00ED;ficos unida a los pagos de tasas por publicar en acceso abierto (o simplemente por publicar) representa una cuesti&#x00F3;n cr&#x00ED;tica en la actual comunicaci&#x00F3;n cient&#x00ED;fica. Puesto que tiene su repercusi&#x00F3;n en la evaluaci&#x00F3;n cient&#x00ED;fica y, adem&#x00E1;s, es objeto de preocupaci&#x00F3;n por parte de la comunidad acad&#x00E9;mica, es preciso tratarlo, aunque sea brevemente. El pago de tasas a las editoriales para publicar en abierto trata de sufragar parcialmente los costes de edici&#x00F3;n y compensar al editor por lo que dejar&#x00E1; de ingresar por venta de contenidos cuando se publica en abierto. Se asume que ese pago se produce una vez que el art&#x00ED;culo o el libro han sido aprobados por los evaluadores o comit&#x00E9;s de lectura para su publicaci&#x00F3;n. Sin embargo, el debate que se est&#x00E1; produciendo de fondo es si ese pago est&#x00E1; condicionando lo que se publica. Existen recelos por parte de la comunidad acad&#x00E9;mica que ve en el pago por publicaciones una v&#x00ED;a f&#x00E1;cil de publicaci&#x00F3;n, que puede estar prescindiendo o alterando los filtros de selecci&#x00F3;n, garantes fundamentales de la publicaci&#x00F3;n acad&#x00E9;mica y de los procesos de evaluaci&#x00F3;n. Por otra parte, la existencia de fondos para la publicaci&#x00F3;n ha generado tambi&#x00E9;n otro tipo de situaciones.</p>

			<p>Una de ellas, ya muy documentada, es la proliferaci&#x00F3;n de editoriales depredadoras, tanto de libros como de revistas. Se trata de estructuras no profesionalizadas que ofrecen a los autores publicar sus art&#x00ED;culos o libros con inmediatez a cambio del pago por la publicaci&#x00F3;n, sin que medie una prestaci&#x00F3;n de servicios editoriales. La bibliograf&#x00ED;a sobre este fen&#x00F3;meno es muy extensa y controvertida. Quiz&#x00E1; pueda obtenerse una visi&#x00F3;n general en Anderson (<xref ref-type="bibr" rid="CIT02">2017</xref>) y, desde luego en Beall (<xref ref-type="bibr" rid="CIT04">2017</xref>), que acu&#x00F1;&#x00F3; el t&#x00E9;rmino <italic>editorial depredadora</italic>, construy&#x00F3; un listado mundial de las mismas y tuvo que clausurarlo por un problema judicial, tambi&#x00E9;n muy controvertido.</p>

			<p>La otra es la generaci&#x00F3;n de constantes oportunidades para publicar que algunas editoriales consolidadas ofrecen a los autores. As&#x00ED;, tras la publicaci&#x00F3;n de un art&#x00ED;culo en una revista o tras la presentaci&#x00F3;n de una comunicaci&#x00F3;n a un congreso, las editoriales se ponen en contacto directamente con los autores para ofrecerles publicar una ampliaci&#x00F3;n de ese trabajo o para que su trabajo forme parte de una obra colectiva, por poner solo algunos ejemplos. Todo ello provoca cierto desconcierto en el investigador pues no siempre tiene claro hasta qu&#x00E9; punto son v&#x00ED;as interesantes de publicaci&#x00F3;n, al tiempo que le implican plantearse una nueva publicaci&#x00F3;n que quiz&#x00E1; no tuviera planificada. Asimismo, pueden surgirle dudas sobre si esa propuesta implicar&#x00E1; alg&#x00FA;n tipo de pago o sobre la consideraci&#x00F3;n que tendr&#x00E1; esa revista o editorial en un futuro proceso de evaluaci&#x00F3;n.</p>

			</sec>
			
			<sec id="S4.4">
			<title>4.4. M&#x00E9;tricas alternativas y citas abiertas</title>

			<p>En paralelo al auge de la publicaci&#x00F3;n en abierto, se suceden desarrollos en el &#x00E1;mbito de las redes sociales –tanto generalistas como acad&#x00E9;micas- e innovaciones tecnol&#x00F3;gicas en las plataformas que ofrecen contenidos cient&#x00ED;ficos que permiten disponer de otras m&#x00E9;tricas distintas a las tradicionales: las denominadas m&#x00E9;tricas alternativas o <italic>Altmetrics</italic>. La evaluaci&#x00F3;n cient&#x00ED;fica ha estado basada durante a&#x00F1;os en los indicadores de impacto de Journal Citation Reports y, m&#x00E1;s recientemente, de indicadores basados en datos de Scopus como SNIP (Source Normalized Impact per Paper) y Scimago Journal Rank. Tales indicadores se derivan de la literatura cient&#x00ED;fica seleccionada por los productores de las bases de datos y se calculan a partir de las referencias que contienen esas bases de datos. Son inaccesibles para quienes no tengan suscripci&#x00F3;n a las bases de datos. Al ser fuentes selectivas –no completas- y cerradas, no permiten tener una idea precisa de las citas recibidas por cada investigaci&#x00F3;n. Por otra parte, las citas que s&#x00ED; que pueden ser recabadas en abierto a trav&#x00E9;s de Google Scholar, Microsoft Academic o PubMed tampoco representan la totalidad de las citas producidas, pues las grandes editoriales comerciales no ofrecen en abierto los corpus de referencias empleadas en los art&#x00ED;culos que publican. Estas herramientas presentan, de momento, problemas de transparencia y de calidad de datos. Todo ello sustenta la reivindicaci&#x00F3;n de la comunidad acad&#x00E9;mica de bibli&#x00F3;metras de solicitar a las editoriales que hagan accesibles los listados de referencias asociados a los art&#x00ED;culos que publican: la denominada <italic>Initiative for Open Citations</italic> (ISSI, <xref ref-type="bibr" rid="CIT27">2017</xref>).</p>

			<p>En el campo de las Humanidades, el valor de las citas siempre ha sido m&#x00E1;s cuestionado por la existencia de escuelas de pensamiento, por el factor local/ling&#x00FC;&#x00ED;stico de las investigaciones o por la falta de inmediatez con la que se cita. Sin embargo, no cabe duda de que la existencia de fuentes abiertas permite recabar datos m&#x00E1;s completos sobre el impacto acad&#x00E9;mico. Otra cuesti&#x00F3;n es c&#x00F3;mo tratar, desde el punto de vista de la evaluaci&#x00F3;n cient&#x00ED;fica, esos datos de citaci&#x00F3;n que proceden de fuentes abiertas y que, como se&#x00F1;ala la <italic>Initiative for Open Citations</italic>, a&#x00FA;n presentan problemas de calidad de la informaci&#x00F3;n. Muy posiblemente, la informaci&#x00F3;n sobre las citas que recibe una publicaci&#x00F3;n hoy, sea utilizada de manera informal en procesos de evaluaci&#x00F3;n. Sin embargo, formalizar esa utilizaci&#x00F3;n parece todav&#x00ED;a complicado precisamente por la calidad de los datos.</p>
 
			<p>Algo similar sucede con el otro tipo de m&#x00E9;tricas: visualizaciones, descargas, recomendaciones o valoraciones de los usuarios de la red. Existen cada vez m&#x00E1;s herramientas que permiten obtenerlas (Zuccala y otros, <xref ref-type="bibr" rid="CIT58">2015</xref>), pero su significado, valor y posibilidad de ser comparados entre autores, disciplinas, etc. son a&#x00FA;n inciertos, cuando no limitados (Torres Salinas y otros, <xref ref-type="bibr" rid="CIT54">2017</xref>). Como se indica en <italic>The Metric Tide</italic>, las opciones que ofrecen sistemas como Twitter, Facebook, ResearchGate, Academia o Mendeley son enormes pero “<italic>evidence on whether and how these may relate to research quality is very limited</italic>”. La disponibilidad de informaci&#x00F3;n y de posibles indicadores no es sin&#x00F3;nimo, sin embargo, de la madurez de los mismos para ser empleados en procesos de evaluaci&#x00F3;n. La investigaci&#x00F3;n en el campo de la Cienciometr&#x00ED;a tiene tambi&#x00E9;n sus tiempos y no pueden/deben emplearse apresuradamente los datos sin antes haber obtenido conclusiones s&#x00F3;lidas sobre los mismos (Wilsdon y otros, <xref ref-type="bibr" rid="CIT56">2015</xref>, p. 136). En este sentido, hay que se&#x00F1;alar el trabajo que est&#x00E1; siendo desarrollado por <xref ref-type="bibr" rid="CIT35">NISO</xref> (National Information Standards Organisation) en relaci&#x00F3;n a la normalizaci&#x00F3;n de m&#x00E9;tricas alternativas, as&#x00ED; como a su aplicaci&#x00F3;n a resultados acad&#x00E9;micos distintos a las publicaciones como conjuntos de datos, visualizaciones o infograf&#x00ED;as y software. Tambi&#x00E9;n es destacable el trabajo de investigaci&#x00F3;n que viene siendo realizado por uno de los centros de referencia en el campo de los estudios de la ciencia, Center for Science and Technology Studies (CWTS) de la Universidad de Leiden. Una de sus l&#x00ED;neas de trabajo se centra precisamente en determinar el papel que pueden desempe&#x00F1;ar las m&#x00E9;tricas alternativas en la Cienciometr&#x00ED;a. En el estudio realizado en 2015 (Costas y otros, <xref ref-type="bibr" rid="CIT07">2015</xref>) se observaba a&#x00FA;n una correlaci&#x00F3;n d&#x00E9;bil entre citas e indicadores altm&#x00E9;tricos, lo que podr&#x00ED;a mostrar que ambos tipos de indicadores reflejan dimensiones distintas. Tambi&#x00E9;n en ese estudio se detectaban m&#x00E1;s indicadores altm&#x00E9;tricos para disciplinas de Humanidades que para otras. Por otra parte, se ha podido observar c&#x00F3;mo la variable tiempo puede afectar a las correlaciones entre citas e indicadores tomados de la web social (Thelwall y otros, <xref ref-type="bibr" rid="CIT53">2013</xref>).</p>

			<p>Por &#x00FA;ltimo, cabe apuntar que, aunque las m&#x00E9;tricas alternativas se obtienen tanto para la literatura cient&#x00ED;fica bajo suscripci&#x00F3;n como para la que est&#x00E1; disponible en abierto, lo cierto es que las infraestructuras creadas para fomento del acceso abierto son y ser&#x00E1;n una enorme fuente de obtenci&#x00F3;n de indicadores. El acceso abierto no significa solo que haya colecciones de documentos que puedan consultarse sin barreras, sino que adem&#x00E1;s est&#x00E1; vinculado al concepto de ciencia abierta e implica la existencia de infraestructuras y de interconexi&#x00F3;n entre los datos, como OpenAIRE<xref ref-type="fn" rid="NOTE18">18</xref> o como los desarrollos que se est&#x00E1;n dando especialmente en las Humanidades y en las Ciencias Sociales como el proyecto OPERAS (Open access Publication in the European Research Area for Social Science and Humanities) o HIRMEOS (High Integration of Research Monographs in the European Open Science infrastructure). Sin duda, estos sistemas representar&#x00E1;n una aportaci&#x00F3;n adicional a la visibilidad, a la accesibilidad, a las m&#x00E9;tricas y a la identificaci&#x00F3;n de las din&#x00E1;micas de trabajo en estas disciplinas.</p>

			</sec>
			
			<sec id="S4.5">
			<title>4.5. M&#x00E9;tricas responsables</title>

			<p>Tanto las m&#x00E9;tricas tradicionales como las m&#x00E1;s novedosas pueden representar una informaci&#x00F3;n valiosa y estrat&#x00E9;gica en los procesos de evaluaci&#x00F3;n. Los nuevos desarrollos que se est&#x00E1;n produciendo en la evaluaci&#x00F3;n de publicaciones cient&#x00ED;ficas, incluyendo libros, colecciones de libros, revistas nacionales, etc., as&#x00ED; como las m&#x00E9;tricas alternativas, contribuyen a abrir las posibilidades de evaluaci&#x00F3;n de las Humanidades y las Ciencias Sociales, hasta hace poco constre&#x00F1;idas a unos estrictos l&#x00ED;mites que establec&#x00ED;an las bases de datos internacionales. Pero si bien es cierto que las posibilidades de evaluaci&#x00F3;n mejoran, tambi&#x00E9;n lo es que resulta necesario prestar especial atenci&#x00F3;n a los indicadores y fuentes que se utilizan para esta evaluaci&#x00F3;n.</p>

			<p>Como se&#x00F1;ala el informe <italic>The Metric Tide</italic> las m&#x00E9;tricas responsables implican trabajar con datos robustos, transparentes y que permitan reflejar la diversidad en la investigaci&#x00F3;n y en las trayectorias investigadoras. Asimismo, resulta necesario reflexionar sobre las consecuencias de la aplicaci&#x00F3;n de unas u otras m&#x00E9;tricas en procesos de evaluaci&#x00F3;n y reconocer las limitaciones que puedan tener (Wilsdon y otros, <xref ref-type="bibr" rid="CIT56">2015</xref>, pp. 133-134). Esto afecta especialmente a las m&#x00E9;tricas alternativas, sobre las que la propia comunidad cienciom&#x00E9;trica advierte de qu&#x00E9; precauciones deber&#x00ED;an tomarse para no cometer los mismos errores cometidos con las m&#x00E9;tricas tradicionales (Thelwall, <xref ref-type="bibr" rid="CIT52">2014</xref>).</p>

			<p>Otra de las cuestiones clave en el debate que se est&#x00E1; planteando sobre c&#x00F3;mo utilizar las m&#x00E9;tricas es la necesidad de considerar los objetivos con los que se eval&#x00FA;a, distinguiendo los diferentes procesos de evaluaci&#x00F3;n, y la naturaleza de la investigaci&#x00F3;n evaluada. En definitiva, lo que se est&#x00E1; proponiendo es que se utilicen los distintos indicadores de una manera responsable, apropiada al objetivo que se persigue y con un firme compromiso &#x00E9;tico: evaluar de la manera m&#x00E1;s adecuada posible a favor de una mejor investigaci&#x00F3;n.</p>

			</sec>
			
			<sec id="S4.6">
			<title>4.6. Impacto social de las humanidades y las ciencias sociales</title>

			<p>El impacto social de la investigaci&#x00F3;n es uno de los temas en los que m&#x00E1;s est&#x00E1; trabajando la comunidad acad&#x00E9;mica para conseguir que sea reconocido y valorado en los procesos de evaluaci&#x00F3;n de la actividad cient&#x00ED;fica. El <italic>Research Excellence Framework</italic> <xref ref-type="bibr" rid="CIT44">2014</xref> del Reino Unido ya se ocupaba de la evaluaci&#x00F3;n de esos impactos sociales, relacion&#x00E1;ndolos con la investigaci&#x00F3;n de excelencia. Pero tambi&#x00E9;n han formado parte de muchos otros procesos de evaluaci&#x00F3;n como el de las Humanidades en Noruega (2017) o en los tramos de investigaci&#x00F3;n en Espa&#x00F1;a evaluados por la CNEAI (Campo 0. Transferencia del conocimiento e innovaci&#x00F3;n) (Espa&#x00F1;a, <xref ref-type="bibr" rid="CIT12">2011</xref>).</p>

			<p>Se trata de considerar que el valor de la investigaci&#x00F3;n no reside solo en c&#x00F3;mo un trabajo cient&#x00ED;fico es reconocido (citado) por otros investigadores sino tambi&#x00E9;n –o quiz&#x00E1;, sobre todo- en los cambios y mejoras que pueda generar en la sociedad, en la cultura y en la econom&#x00ED;a. Al fin y al cabo, la investigaci&#x00F3;n debe servir a ese fin: mejorar la sociedad en la que vivimos. Existe acuerdo en que estas aportaciones de la ciencia a la sociedad deben producirse y valorarse. El c&#x00F3;mo hacerlo es m&#x00E1;s complicado, aunque se est&#x00E1; avanzando en ello (Benneworth y otros, <xref ref-type="bibr" rid="CIT05">2017</xref>). Los pa&#x00ED;ses que m&#x00E1;s est&#x00E1;n trabajando en este asunto han comenzado por realizar inventarios de estudios de caso, a partir de la informaci&#x00F3;n que los propios investigadores hacen llegar a las agencias de evaluaci&#x00F3;n. De este modo, es posible conocer una cierta taxonom&#x00ED;a de los tipos de impactos sociales que puede generar la investigaci&#x00F3;n en Humanidades y Ciencias Sociales y estudiar los contextos en los que se producen (Sivertsen, <xref ref-type="bibr" rid="CIT47">2017b</xref>).</p>

			<p>En el informe <italic>Evaluation of the Humanities in Norway</italic> del <italic>Research Council of Norway</italic> (<xref ref-type="bibr" rid="CIT43">2017</xref>) se analizaron 165 estudios de caso que muestran una gran y diversa interacci&#x00F3;n entre la academia y la sociedad. El an&#x00E1;lisis tambi&#x00E9;n permiti&#x00F3; observar que algunas &#x00E1;reas son m&#x00E1;s activas en ese tipo de transferencias y tambi&#x00E9;n que existe cierta confusi&#x00F3;n entre lo que es compromiso p&#x00FA;blico de los investigadores con la sociedad, divulgando el conocimiento que generan, y lo que es impacto, es decir, aquel resultado de investigaci&#x00F3;n que llega a producir un cambio social. Otra conclusi&#x00F3;n muy interesante del estudio es que el impacto social que generan las Humanidades es de alcance nacional, m&#x00E1;s que internacional, lo que redunda en la importancia de la investigaci&#x00F3;n human&#x00ED;stica y social y en la relativizaci&#x00F3;n que debe hacerse de la “internacionalizaci&#x00F3;n” en la evaluaci&#x00F3;n de la investigaci&#x00F3;n.</p>

			<p>Por otra parte, tambi&#x00E9;n hay que tener en cuenta el tipo de interacciones que se producen entre academia y sociedad sin que haya una formalizaci&#x00F3;n –contrato, convenio, etc.- entre las partes. Las interacciones informales se revelan como frecuentes en las Humanidades y en las Ciencias Sociales, a partir del estudio de Olmos-Pe&#x00F1;uela y otros (<xref ref-type="bibr" rid="CIT39">2014</xref>).</p>

			<p>Ter&#x00E4;m&#x00E4; y otros (<xref ref-type="bibr" rid="CIT51">2016</xref>) han estudiado c&#x00F3;mo los investigadores e instituciones interpretan lo que es impacto social de la investigaci&#x00F3;n, a partir de las contribuciones enviadas a evaluar en el marco del REF <xref ref-type="bibr" rid="CIT44">2014</xref>. Zaltz (<xref ref-type="bibr" rid="CIT57">2017</xref>) agrupa esas contribuciones en las siguientes categor&#x00ED;as de “impacto”: influencia en la educaci&#x00F3;n; compromiso p&#x00FA;blico; tecnolog&#x00ED;as y soluciones medioambientales; impacto en la pol&#x00ED;tica; y aplicaciones cl&#x00ED;nicas.</p>

			</sec>
		</sec>
		
		<sec id="S5">
			<title>5. CONCLUSIONES</title>

			<p>La diversificaci&#x00F3;n o la atenci&#x00F3;n a las m&#x00FA;ltiples dimensiones de la investigaci&#x00F3;n se presenta como una de las caracter&#x00ED;sticas y/o reivindicaciones de la nueva evaluaci&#x00F3;n: la investigaci&#x00F3;n en Humanidades y Ciencias Sociales muestra sus resultados de distintas maneras, no solo a trav&#x00E9;s de un tipo de publicaciones. Por tanto, atender a los distintos canales de comunicaci&#x00F3;n, as&#x00ED; como a otros resultados distintos a las publicaciones constituye uno de los retos que afrontar en los procesos de evaluaci&#x00F3;n. En este sentido, cobran especial relevancia los resultados que son transferidos y tienen alg&#x00FA;n tipo de impacto en la sociedad. La comunidad acad&#x00E9;mica lo reivindica, los investigadores especializados en evaluaci&#x00F3;n cient&#x00ED;fica trabajan en las metodolog&#x00ED;as que permiten evaluar estos aspectos; y las propias agencias de evaluaci&#x00F3;n y financiaci&#x00F3;n consideran este otro tipo de retornos de la investigaci&#x00F3;n, cuando no financian estudios que permitan mejorar la identificaci&#x00F3;n y evaluaci&#x00F3;n de esos retornos. De este modo, se superan las fronteras del impacto acad&#x00E9;mico, aqu&#x00E9;l que mide la influencia de unos investigadores en otros. La identificaci&#x00F3;n de resultados que representan un verdadero avance en el conocimiento es tambi&#x00E9;n otro de los grandes retos para la nueva evaluaci&#x00F3;n cient&#x00ED;fica.</p>

			<p>Otra de las conclusiones es que las m&#x00E9;tricas constituyen un apoyo o una ayuda a los procesos de evaluaci&#x00F3;n, y que complementan pero no reemplazan el juicio de los expertos. Adem&#x00E1;s, una de las reivindicaciones que se dan desde las Humanidades y las Ciencias Sociales es que la evaluaci&#x00F3;n referida a las publicaciones se realice con datos completos, es decir, que tenga en cuenta todo lo que produce un investigador y no solo aquello que es visible en bases de datos internacionales, utilizadas tradicionalmente en procesos de evaluaci&#x00F3;n. Tambi&#x00E9;n se constata que los pa&#x00ED;ses que optan por utilizar indicadores de publicaciones, como fuente de apoyo para la evaluaci&#x00F3;n, tienden a considerar diversas fuentes, no solo las bases de datos internacionales y comerciales. De hecho, son muchos los pa&#x00ED;ses que han desarrollado formal o informalmente listados, categorizaciones, <italic>rankings</italic> y sellos de calidad, tanto de revistas como de editoriales, colecciones o libros, que ayudan en los procesos de evaluaci&#x00F3;n.</p>

			<p>En este sentido es necesario apuntar que las fuentes de indicadores deben reunir ciertas caracter&#x00ED;sticas que les den solidez y aceptaci&#x00F3;n por parte de la comunidad acad&#x00E9;mica. Deben estar desarrollados por especialistas, involucrar a la propia comunidad acad&#x00E9;mica y editorial en su elaboraci&#x00F3;n, ser transparentes en sus metodolog&#x00ED;as y ser p&#x00FA;blicos. Muchas de estas ideas son recogidas por el informe <italic>The Metric Tide</italic> (Wilsdon y otros, <xref ref-type="bibr" rid="CIT56">2015</xref>) como parte de lo que se ha denominado <italic>m&#x00E9;tricas responsables.</italic> Es necesario que estas ideas sean bien transferidas y comunicadas a quienes tienen responsabilidades en la evaluaci&#x00F3;n cient&#x00ED;fica.</p>

			<p>El uso mecanicista y obsesivo de los indicadores puede llevar a situaciones no deseadas, de extrema competitividad y malas pr&#x00E1;cticas (Wilsdon y otros, <xref ref-type="bibr" rid="CIT56">2015</xref>). Pero no debe confundirse el mal uso de los indicadores con su falta de valor. Aqu&#x00E9;llos que est&#x00E1;n bien construidos pueden y deben considerarse una ayuda a los evaluadores y -lo que no siempre se ve- un apoyo para los investigadores, que siendo coherentes con su tema y trayectoria de investigaci&#x00F3;n contribuyen a diversificarla publicando en canales que son plurales en cuanto a contenidos, idiomas o enfoques.</p>

			<p>Adem&#x00E1;s, resulta crucial que en el dise&#x00F1;o de los procedimientos de evaluaci&#x00F3;n se tengan muy en cuenta los objetivos que se persiguen con esa evaluaci&#x00F3;n y, desde luego, el contexto (disciplina, el sistema de investigaci&#x00F3;n de cada pa&#x00ED;s, etc.). Las metodolog&#x00ED;as deben estar muy ajustadas a los objetivos. Un proceso de evaluaci&#x00F3;n individual debe ser distinto de uno que eval&#x00FA;a a un equipo que va a desarrollar un proyecto de investigaci&#x00F3;n arriesgado y &#x00E9;ste distinto al que se encamina a asignar recursos a departamentos universitarios. Tambi&#x00E9;n debe atenderse a las diferencias que existen en las pr&#x00E1;cticas de investigaci&#x00F3;n seg&#x00FA;n las disciplinas y seg&#x00FA;n el car&#x00E1;cter de la investigaci&#x00F3;n (interdisciplinar, te&#x00F3;rica, aplicada, etc.).</p>

			<p>Tener en cuenta estas variables, presentes en muchos de los informes o manifiestos que defienden una nueva forma de evaluaci&#x00F3;n cient&#x00ED;fica, generar&#x00E1; confianza y transparencia, aspectos clave para la aceptaci&#x00F3;n de los sistemas de evaluaci&#x00F3;n por parte de la comunidad acad&#x00E9;mica.</p>				
		</sec>
			

	</body>

	
	<back>

		<sec id="notas">
			<title>NOTAS</title>
		
			<fn-group>
		
				<fn id="NOTE1"><label>1</label>
					<p><ext-link ext-link-type="uri" xlink:href="http://www.issi2017.org/media/Programmme%20of%20ISSI%202017.pdf">http://www.issi2017.org/media/Programmme%20of%20ISSI%202017.pdf</ext-link></p>
				</fn>
				
				<fn id="NOTE2"><label>2</label>
					<p><ext-link ext-link-type="uri" xlink:href="https://sti2017.paris/wp-content/uploads/2017/07/conference-sti-2017-programme.pdf">https://sti2017.paris/wp-content/uploads/2017/07/conference-sti-2017-programme.pdf</ext-link></p>
				</fn>
				
				<fn id="NOTE3"><label>3</label>
					<p><ext-link ext-link-type="uri" xlink:href="http://enressh.eu/">http://enressh.eu/</ext-link></p>
				</fn>
				
				<fn id="NOTE4"><label>4</label>
					<p>http://www.evalhum.eu/</p>
				</fn>
				
				<fn id="NOTE5"><label>5</label>
					<p><ext-link ext-link-type="uri" xlink:href="https://www.uantwerpen.be/en/conferences/ressh2017/">https://www.uantwerpen.be/en/conferences/ressh2017/</ext-link></p>
				</fn>
				
				<fn id="NOTE6"><label>6</label>
					<p><ext-link ext-link-type="uri" xlink:href="http://lattes.cnpq.br/">http://lattes.cnpq.br/</ext-link></p>
				</fn>
				
				<fn id="NOTE7"><label>7</label>
					<p><ext-link ext-link-type="uri" xlink:href="https://bfi.fi.dk/">https://bfi.fi.dk/</ext-link></p>
				</fn>
				
				<fn id="NOTE8"><label>8</label>
					<p><ext-link ext-link-type="uri" xlink:href="https://www.tsv.fi/julkaisufoorumi/haku.php?lang=en">https://www.tsv.fi/julkaisufoorumi/haku.php?lang=en</ext-link></p>
				</fn>
				
				<fn id="NOTE9"><label>9</label>
					<p><ext-link ext-link-type="uri" xlink:href="https://dbh.nsd.uib.no/publiseringskanaler/Forside?request_locale=en">https://dbh.nsd.uib.no/publiseringskanaler/Forside?request_locale=en</ext-link></p>
				</fn>
				
				<fn id="NOTE10"><label>10</label>
					<p><ext-link ext-link-type="uri" xlink:href="http://www.ecoom.be/en/vabb">http://www.ecoom.be/en/vabb</ext-link></p>
				</fn>
				
				<fn id="NOTE11"><label>11</label>
					<p><ext-link ext-link-type="uri" xlink:href="http://ilia.cchs.csic.es/SPI">http://ilia.cchs.csic.es/SPI</ext-link></p>
				</fn>
				
				<fn id="NOTE12"><label>12</label>
					<p><ext-link ext-link-type="uri" xlink:href="http://www.selloceaapq.es/">http://www.selloceaapq.es/</ext-link></p>
				</fn>
				
				<fn id="NOTE13"><label>13</label>
					<p><ext-link ext-link-type="uri" xlink:href="http://ilia.cchs.csic.es/SPI">http://ilia.cchs.csic.es/SPI</ext-link></p>
				</fn>
				
				<fn id="NOTE14"><label>14</label>
					<p><ext-link ext-link-type="uri" xlink:href="https://ec.europa.eu/programmes/horizon2020/en/what-horizon-2020">https://ec.europa.eu/programmes/horizon2020/en/what-horizon-2020</ext-link></p>
				</fn>
				
				<fn id="NOTE15"><label>15</label>
					<p><ext-link ext-link-type="uri" xlink:href="http://www.knowledgeunlatched.org/">http://www.knowledgeunlatched.org/</ext-link></p>
				</fn>
				
				<fn id="NOTE16"><label>16</label>
					<p><ext-link ext-link-type="uri" xlink:href="http://aseuc.org.co/index.php/directorios/directorio-de-afiliados?start=60">http://aseuc.org.co/index.php/directorios/directorio-de-afiliados?start=60</ext-link></p>
				</fn>
				
				<fn id="NOTE17"><label>17</label>
					<p><ext-link ext-link-type="uri" xlink:href="http://altexto.mx/">http://altexto.mx/</ext-link></p>
				</fn>
				
				<fn id="NOTE18"><label>18</label>
					<p><ext-link ext-link-type="uri" xlink:href="https://www.openaire.eu/">https://www.openaire.eu/</ext-link></p>
				</fn>
			</fn-group>
		</sec>
	
	
	
		<ref-list>
			<title>REFERENCIAS</title>
			<ref id="CIT01">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Alperin</surname>
					  <given-names>J.P.</given-names>	  
				  </name>
				  <name>
					  <surname>Rozemblum</surname>
					  <given-names>C.</given-names>	  
				  </name>
			  </person-group>
			  <year>2017</year>
			  <article-title>The Reinterpretation of the Visibility and Quality of New Policies to Assess Scientific Publications</article-title>
			  <source>Revista Interamericana de Bibliotecolog&#x00ED;a</source>
			  <volume>40</volume>
			  <issue>3</issue>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.17533/udea.rib.v40n3a04">https://doi.org/10.17533/udea.rib.v40n3a04</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT02"> 
			<element-citation publication-type="webpage">
			<person-group person-group-type="author">
				  <name>
					  <surname>Anderson</surname>
					  <given-names>R.</given-names>	  
				  </name>
			  </person-group>
			  <year>2017</year>
			  <article-title>Cabell’s New Predatory Journal Blacklist: A Review</article-title>
			  <source>The Scholarly Kitchen</source>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://scholarlykitchen.sspnet.org/2017/07/25/cabells-new-predatory-journal-blacklist-review/">https://scholarlykitchen.sspnet.org/2017/07/25/cabells-new-predatory-journal-blacklist-review/</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT03">
			<element-citation publication-type="webpage">
			  <collab>ANECA</collab>
			  <year>2017</year>
			  <article-title>M&#x00E9;ritos evaluables para la acreditaci&#x00F3;n nacional para el acceso a los cuerpos docentes universitarios</article-title>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://www.aneca.es/Programas-de-evaluacion/ACADEMIA/Criterios-de-evaluacion-noviembre-2017">http://www.aneca.es/Programas-de-evaluacion/ACADEMIA/Criterios-de-evaluacion-noviembre-2017</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT04">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Beall</surname>
					  <given-names>J.</given-names>	  
				  </name>
			  </person-group>
			  <year>2017</year>
			  <article-title>What I learned from predatory publishers</article-title>
			  <source>Biochemia Medica</source>
			  <volume>27</volume>
			  <issue>2</issue>
			  <fpage>273</fpage>
			  <lpage>278</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5493177/">https://www.ncbi.nlm.nih.gov/pmc/articles/PMC5493177/</ext-link></comment> 
			</element-citation>
			</ref>

			<ref id="CIT05">
			<element-citation publication-type="conf-proc">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Benneworth</surname>
					  <given-names>P.</given-names>	  
				  </name>
				  <name>
					  <surname>Olmos-Pe&#x00F1;uela</surname>
					  <given-names>J.</given-names>	  
				  </name>
				  <name>
					  <surname>Muhonen</surname>
					  <given-names>R.</given-names>	  
				  </name>
			  </person-group>
			  <year>2017</year>
			  <article-title>Towards a common understanding on the societal impact of SSH research</article-title>
			  <conf-name>ENRESSH2017. 2nd International Conference on Research Evaluation in the Social Sciences and Humanities</conf-name>
			  <conf-loc>Antwerp, Belgium</conf-loc>
			  <fpage>32</fpage>
			  <lpage>35</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://www.uantwerpen.be/images/uantwerpen/container41447/files/A5-BOOK_RESSH2017_170717-interactive.pdf">https://www.uantwerpen.be/images/uantwerpen/container41447/files/A5-BOOK_RESSH2017_170717-interactive.pdf</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT06">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Bj&#x00F6;rk</surname>
					  <given-names>B. C.</given-names>	  
				  </name>
				  <name>
					  <surname>Solomon</surname>
					  <given-names>D.</given-names>	  
				  </name>
			  </person-group>
			  <year>212</year>
			  <article-title>Open access versus subscription journals: a comparison of scientific impact</article-title>
			  <source>BMC medicine</source>
			  <volume>10</volume>
			  <issue>1</issue>
			  <elocation-id>73</elocation-id>
			  <comment><ext-link ext-link-type="uri" xlink:href=" https://doi.org/10.1186/1741-7015-10-73"> https://doi.org/10.1186/1741-7015-10-73</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT07">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Costas</surname>
					  <given-names>R.</given-names>	  
				  </name>
				  <name>
					  <surname>Zahedi</surname>
					  <given-names>Z.</given-names>	  
				  </name>
				  <name>
					  <surname>Wouters</surname>
					  <given-names>P.</given-names>	  
				  </name>
			  </person-group>
			  <year>2015</year>
			  <article-title>Do “altmetrics” correlate with citations? Extensive comparison of altmetric indicators with citations from a multidisciplinary perspective</article-title>
			  <source>Journal of the Association for Information Science and Technology</source>
			  <volume>66</volume>
			  <issue>10</issue>
			  <fpage>2003</fpage>
			  <lpage>2019</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1002/asi.23309">https://doi.org/10.1002/asi.23309</ext-link></comment>  
			</element-citation>
			</ref>

			<ref id="CIT08">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>De Filippo</surname>
					  <given-names>D.</given-names>	  
				  </name>
				  <name>
					  <surname>Sanz-Casado</surname>
					  <given-names>E.</given-names>	  
				  </name>
				  <name>
					  <surname>Salido</surname>
					  <given-names>C. U.</given-names>	  
				  </name>
				   <name>
					  <surname>Ardanuy</surname>
					  <given-names>J.</given-names>	  
				  </name>
				  <name>
					  <surname>G&#x00F3;mez-Caridad</surname>
					  <given-names>I.</given-names>	  
				  </name>
			  </person-group>
			  <year>2011</year>
			  <article-title>El papel de las bases de datos institucionales en el an&#x00E1;lisis de la actividad cient&#x00ED;fica de las universidades</article-title>
			  <source>Revista espa&#x00F1;ola de documentaci&#x00F3;n cient&#x00ED;fica</source>
			  <volume>34</volume>
			  <issue>2</issue>
			  <fpage>165</fpage>
			  <lpage>189</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.3989/redc.2011.2.797">https://doi.org/10.3989/redc.2011.2.797</ext-link></comment> 
			</element-citation>
			</ref>

			<ref id="CIT09">
			<element-citation publication-type="webpage">
			<collab>DORA</collab>
			  <year>2013</year>
			  <article-title>San Francisco Declaration on Research Assessment</article-title>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://crln.acrl.org/index.php/crlnews/article/view/9104/9996">http://crln.acrl.org/index.php/crlnews/article/view/9104/9996</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT10"> 
			<element-citation publication-type="report">
			  <collab>ENRESSH</collab>
			  <year>2015</year>
			  <source>Memorandum of understanding for the implementation of the COST action European Network for Research Evaluation in the SSH CA15137</source>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://enressh.eu/wp-content/uploads/2016/10/CA15137-e.pdf">http://enressh.eu/wp-content/uploads/2016/10/CA15137-e.pdf</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT11">
			<element-citation publication-type="webpage">
			<collab>ERIH Plus</collab>
			  <year>2017</year>
			  <article-title>ERIH Plus revision</article-title>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://dbh.nsd.uib.no/publiseringskanaler/erihplus/about/erih_revision_completed">https://dbh.nsd.uib.no/publiseringskanaler/erihplus/about/erih_revision_completed</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT12">
			<element-citation publication-type="gov">
			  <collab>Espa&#x00F1;a. Jefatura del Estado</collab>
			  <year>2011</year>
			  <article-title>Ley 14/2011, de 1 de junio, de la Ciencia, la Tecnolog&#x00ED;a y la Innovaci&#x00F3;n</article-title>
			  <source>Bolet&#x00ED;n Oficial del Estado</source>
			  <issue>31</issue>
			 <comment><ext-link ext-link-type="uri" xlink:href="https://www.boe.es/boe/dias/2011/06/02/pdfs/BOE-A-2011-9617.pdf ">https://www.boe.es/boe/dias/2011/06/02/pdfs/BOE-A-2011-9617.pdf </ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT13">
			<element-citation publication-type="gov">
			  <collab>European Commission</collab>
			  <year>2012</year>
			  <article-title>Commission recommendation of 17.7.2012 on access to and preservation of scientific information</article-title>
			 <comment><ext-link ext-link-type="uri" xlink:href="http://ec.europa.eu/research/science-society/document_library/pdf_06/recommendation-access-and-preservation-scientific-information_en.pdf">http://ec.europa.eu/research/science-society/document_library/pdf_06/recommendation-access-and-preservation-scientific-information_en.pdf</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT14">
			<element-citation publication-type="gov">
			 <collab>European Commission</collab>
			  <year>2017</year>
			  <article-title>Towards a Horizon 2020 platform for open access. Nota informativa</article-title>
			   <comment><ext-link ext-link-type="uri" xlink:href="https://ec.europa.eu/research/openscience/pdf/information_note_platform_public.pdf#view=fit&amp;pagemode=none">https://ec.europa.eu/research/openscience/pdf/information_note_platform_public.pdf#view=fit&amp;pagemode=none</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT15">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Ferrara</surname>
					  <given-names>A.</given-names>	  
				  </name>
				  <name>
					  <surname>Bonaccorsi</surname>
					  <given-names>A.</given-names>	  
				  </name>
			  </person-group>
			  <year>2016</year>
			  <article-title>How robust is journal rating in Humanities and Social Sciences? Evidence from a large-scale, multi-method exercise</article-title>
			  <source>Research Evaluation</source>
			  <volume>25</volume>
			  <issue>3</issue>
			  <fpage>279</fpage>
			  <lpage>291</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1093/reseval/rvv048">https://doi.org/10.1093/reseval/rvv048</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT16">
			<element-citation publication-type="report">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Ferwerda</surname>
					  <given-names>E.</given-names>	  
				  </name>
				   <name>
					  <surname>Pinter</surname>
					  <given-names>F.</given-names>	  
				  </name>
				   <name>
					  <surname>Stern</surname>
					  <given-names>N.</given-names>	  
				  </name>
			  </person-group>
			  <year>2017</year>
			  <source>A landscape study on open access and monographs: Policies, funding and publishing in eight European countries</source>
			  <publisher-name>Knowledge Exchange</publisher-name>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.5281/zenodo.815932">https://doi.org/10.5281/zenodo.815932</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT17">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Gim&#x00E9;nez-Toledo</surname>
					  <given-names>E.</given-names>	  
				  </name>
			  </person-group>
			  <year>2016</year>
			  <source>Malestar. Los investigadores ante su evaluaci&#x00F3;n</source>
			  <publisher-loc>Madrid</publisher-loc>
			  <publisher-loc>Frankfurt</publisher-loc>
			  <publisher-name>Iberoamericana Vervuert</publisher-name>
			</element-citation>
			</ref>

			<ref id="CIT18">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				   <name>
					  <surname>Gim&#x00E9;nez-Toledo</surname>
					  <given-names>E.</given-names>	  
				  </name>
			  </person-group>
			  <year>2017</year>
			  <article-title>Edici&#x00F3;n acad&#x00E9;mica en espa&#x00F1;ol: la diversidad como desaf&#x00ED;o</article-title>
			  <source>Revista de Occidente</source>
			  <issue>438</issue>
			  <fpage>77</fpage>
			  <lpage>103</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://www.ortegaygasset.edu/publicaciones/revistadeoccidente/noviembre-2017">http://www.ortegaygasset.edu/publicaciones/revistadeoccidente/noviembre-2017</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT19">
			<element-citation publication-type="report">
			  <person-group person-group-type="editor">
				  <name>
					  <surname>Gim&#x00E9;nez-Toledo</surname>
					  <given-names>E.</given-names>	  
				  </name>
			  </person-group>
			  <year>2018</year>
			  <source>Estudio cualitativo de las editoriales acad&#x00E9;micas. La percepci&#x00F3;n de la comunidad cient&#x00ED;fica espa&#x00F1;ola</source>
			  <publisher-loc>Madrid</publisher-loc>
			  <publisher-name>Federaci&#x00F3;n del Gremio de Editores de Espa&#x00F1;a</publisher-name>
			</element-citation>
			</ref>
	
			<ref id="CIT20">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Gim&#x00E9;nez-Toledo</surname>
					  <given-names>E.</given-names>	  
				  </name>
				  <name>
					  <surname>Ma&#x00F1;ana-Rodr&#x00ED;guez</surname>
					  <given-names>J.</given-names>	  
				  </name>
				  <name>
					  <surname>Engels</surname>
					  <given-names>T. C. E.</given-names>	  
				  </name>
				  <name>
					  <surname>Ingwersen</surname>
					  <given-names>P.</given-names>	  
				  </name>
				  <name>
					  <surname>Siverten</surname>
					  <given-names>G.</given-names>	  
				  </name>
				  <name>
					  <surname>Verleysen</surname>
					  <given-names>F. T.</given-names>	  
				  </name>
				   <name>
					  <surname>Zuccala</surname>
					  <given-names>A.</given-names>	  
				  </name>
			  </person-group>
			  <year>2016</year>
			  <article-title>Taking scholarly books into account: current developments in five european countries</article-title>
			  <source>Scientometrics</source>
			  <volume>107</volume>
			  <issue>2</issue>
			  <fpage>685</fpage>
			  <lpage>699</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1007/s11192-016-1886-5">https://doi.org/10.1007/s11192-016-1886-5</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT21">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Gim&#x00E9;nez-Toledo</surname>
					  <given-names>E.</given-names>	  
				  </name>
				  <name>
					  <surname>Ma&#x00F1;ana-Rodr&#x00ED;guez</surname>
					  <given-names>J.</given-names>	  
				  </name>
			  </person-group>
			  <year>2016</year>
			  <article-title>Lo cuantitativo en las Humanidades: los casos de la evaluaci&#x00F3;n y la edici&#x00F3;n cient&#x00ED;fica</article-title>
			  <source>&#x00CD;ndice. Revista de Estad&#x00ED;stica y Sociedad</source>
			  <issue>69</issue>
			  <fpage>25</fpage>
			  <lpage>27</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://www.revistaindice.com/numero69/p25.pdf">http://www.revistaindice.com/numero69/p25.pdf</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT22">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Gingras</surname>
					  <given-names>Y.</given-names>	  
				  </name>
				  <name>
					  <surname>Khelfaoui</surname>
					  <given-names>M.</given-names>	  
				  </name>
			  </person-group>
			  <year>2017</year>
			  <article-title>Assessing the effect of the United States’ “citation advantage” on other countries’ scientific impact as measured in the Web of Science (WoS) database</article-title>
			  <source>Scientometrics</source>
			  <volume>114</volume>
			  <issue>2</issue>
			  <fpage>517</fpage>
			  <lpage>532</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1007/s11192-017-2593-6">https://doi.org/10.1007/s11192-017-2593-6</ext-link></comment>
			</element-citation>
			</ref>
		
			<ref id="CIT23">
			<element-citation publication-type="report">
			  <person-group person-group-type="editor">
				  <name>
					  <surname>Henny</surname>
					  <given-names>J. M.</given-names>	  
				  </name>
			  </person-group>
			  <year>2015</year>
			  <source>L’edition scientifique institutionelle en France</source>
			  <publisher-loc>Paris</publisher-loc>
			  <publisher-name>AEDRES</publisher-name>
			  <comment>Rapport</comment>
			</element-citation>
			</ref>
			
			<ref id="CIT24">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Hicks</surname>
					  <given-names>D.</given-names>	  
				  </name>
				  <name>
					  <surname>Wouters</surname>
					  <given-names>P.</given-names>	  
				  </name>
				  <name>
					  <surname>Waltman</surname>
					  <given-names>L.</given-names>	  
				  </name>
				   <name>
					  <surname>Rijcke</surname>
					  <given-names>S. De</given-names>	  
				  </name>
				  <name>
					  <surname>Rafols</surname>
					  <given-names>I.</given-names>	  
				  </name>
			  </person-group>
			  <year>2015</year>
			  <article-title>The Leiden Manifesto for research metrics</article-title>
			  <source>Nature</source>
			  <volume>520</volume>
			  <issue>7548</issue>
			  <fpage>429</fpage>
			  <lpage>431</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1038/520429a">https://doi.org/10.1038/520429a</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT25">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Hicks</surname>
					  <given-names>D.</given-names>	  
				  </name>
			  </person-group>
			  <year>2004</year>
			  <chapter-title>The four literatures of social science</chapter-title>
			  <source>Handbook of quantitative science and technology research</source>
			  <fpage>473</fpage>
			  <lpage>496</lpage>
			  <publisher-loc>Dordrecht</publisher-loc>
			  <publisher-name>Springer</publisher-name>
			</element-citation>
			</ref>
			
			<ref id="CIT26">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Hug</surname>
					  <given-names>S.</given-names>	  
				  </name>
				  <name>
					  <surname>Ochsner</surname>
					  <given-names>M.</given-names>	  
				  </name>
			  </person-group>
			  <year>2014</year>
			  <article-title>A framework to explore and develop criteria for assessing research quality in the humanities</article-title>
			  <source>International Journal of Education Law and Policy</source>
			  <volume>10</volume>
			  <issue>1</issue>
			  <fpage>55</fpage>
			  <lpage>68</lpage>
			</element-citation>
			</ref>
		
			<ref id="CIT27">
			<element-citation publication-type="webpage">
			<collab>ISSI</collab>
			  <year>2017</year>
			  <article-title>Open citations: A letter from the scientometric community to scholarly publishers</article-title>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://issi-society.org/open-citations-letter/">http://issi-society.org/open-citations-letter/</ext-link></comment>
			</element-citation>
			</ref>
		
			<ref id="CIT28">
			<element-citation publication-type="journal">
			  <collab>Editorial: Journals Under Threat: A Joint Response from History of Science, Technology and Medicine Editors</collab>
			  <year>2009</year>
			  <source>Centaurus</source>
			  <volume>51</volume>
			  <fpage>1</fpage>
			  <lpage>4</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1111/j.1600-0498.2008.00140.x">https://doi.org/10.1111/j.1600-0498.2008.00140.x</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT29">
			<element-citation publication-type="report">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Jubb</surname>
					  <given-names>M.</given-names>	  
				  </name>
			  </person-group>
			  <year>2017</year>
			  <source>Academic Books and their Futures: A Report to the AHRC and the British Library</source>
			  <publisher-loc>London</publisher-loc>
			</element-citation>
			</ref>
			
			<ref id="CIT30">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Kulczycki</surname>
					  <given-names>E.</given-names>	  
				  </name>
			  </person-group>
			  <year>2017</year>
			  <article-title>Assessing publications through a bibliometric indicator: The case of comprehensive evaluation of scientific units in Poland</article-title>
			  <source>Research Evaluation</source>
			  <volume>26</volume>
			  <issue>1</issue>
			  <fpage>41</fpage>
			  <lpage>52</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1093/reseval/rvw023">https://doi.org/10.1093/reseval/rvw023</ext-link></comment>
			</element-citation>
			</ref>
		
			<ref id="CIT31">
			<element-citation publication-type="report">
			<person-group person-group-type="author">
				  <name>
					  <surname>Martin</surname>
					  <given-names>B. R.</given-names>	  
				  </name>
				  <name>
					  <surname>Tang</surname>
					  <given-names>P.</given-names>	  
				  </name>
				  <name>
					  <surname>Morgan Jones</surname>
					  <given-names>M.</given-names>	  
				  </name>
			  </person-group>
			  <year>2010</year>
			  <source>Towards a bibliometric database for the social sciences and humanities-A European Scoping Project</source>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://sro.sussex.ac.uk/29810/ ">http://sro.sussex.ac.uk/29810/ </ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT32">
			<element-citation publication-type="webpage">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Matthews</surname>
					  <given-names>D.</given-names>	  
				  </name>
			  </person-group>
			  <year>2015</year>
			  <article-title>REF sceptic to lead review into research assessment</article-title>
			  <source>Times Higher Education</source>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://www.timeshighereducation.com/news/ref-sceptic-lead-review-research-assessment">https://www.timeshighereducation.com/news/ref-sceptic-lead-review-research-assessment</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT33">
			<element-citation publication-type="webpage">
			<person-group person-group-type="author">
				  <name>
					  <surname>McCulloch</surname>
					  <given-names>S.</given-names>	  
				  </name>
			  </person-group>
			  <year>2017</year>
			  <article-title>The importance of being REF-able: academic writing under pressure from a culture of counting</article-title>
			  <source>LSE Impact blog</source>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://blogs.lse.ac.uk/impactofsocialsciences/2017/02/09/the-importance-of-being-ref-able-academic-writing-under-pressure-from-a-culture-of-counting/">http://blogs.lse.ac.uk/impactofsocialsciences/2017/02/09/the-importance-of-being-ref-able-academic-writing-under-pressure-from-a-culture-of-counting/</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT34">
			<element-citation publication-type="gov">
			  <collab>Ministerio de Educaci&#x00F3;n, Cultura y Deporte</collab>
			  <year>2017</year>
			  <article-title>Resoluci&#x00F3;n de 23 de noviembre de 2017, de la Comisi&#x00F3;n Nacional Evaluadora de la Actividad Investigadora, por la que se publican los criterios espec&#x00ED;ficos aprobados para cada uno de los campos de evaluaci&#x00F3;</article-title>
			  <source>Bolet&#x00ED;n Oficial del Estado</source>
			  <issue>292</issue>
			  <publisher-loc>Madrid, Espa&#x00F1;a</publisher-loc>
			   <comment><ext-link ext-link-type="uri" xlink:href="https://www.boe.es/boe/dias/2017/12/01/pdfs/BOE-A-2017-14085.pdf ">https://www.boe.es/boe/dias/2017/12/01/pdfs/BOE-A-2017-14085.pdf </ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT35">
			<element-citation publication-type="webpage">
			<collab>NISO</collab>
			  <year>s.d.</year>
			  <article-title>NISO Alternative Assessment Metrics (Altmetrics) Initiative</article-title>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://www.niso.org/standards-committees/altmetrics">http://www.niso.org/standards-committees/altmetrics</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT36">
			<element-citation publication-type="book">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Ochsner</surname>
					  <given-names>M.</given-names>	  
				  </name>
				   <name>
					  <surname>Hug</surname>
					  <given-names>S.</given-names>	  
				  </name>
				   <name>
					  <surname>Dieter-Daniel</surname>
					  <given-names>H.</given-names>	  
				  </name>
			  </person-group>
			  <year>2016</year>
			  <source>Research Assessment in the Humanities</source>
			  <publisher-name>Springer International Publishing</publisher-name>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://link.springer.com/book/10.1007/978-3-319-29016-4">https://link.springer.com/book/10.1007/978-3-319-29016-4</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT37">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				   <name>
					  <surname>Ochsner</surname>
					  <given-names>M.</given-names>	  
				  </name>
				   <name>
					  <surname>Hug</surname>
					  <given-names>S.</given-names>	  
				  </name>
				   <name>
					  <surname>Galleron</surname>
					  <given-names>I.</given-names>	  
				  </name>
			  </person-group>
			  <year>2017a</year>
			  <article-title>The future of research assessment in the humanities: bottom-up assessment procedures</article-title>
			  <source>Palgrave Communications</source>
			  <volume>3</volume>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1057/palcomms.2017.20">https://doi.org/10.1057/palcomms.2017.20</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT38">
			<element-citation publication-type="conf-proc">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Ochsner</surname>
					  <given-names>M.</given-names>	  
				  </name>
				  <name>
					  <surname>Kulczyck</surname>
					  <given-names>E.</given-names>	  
				  </name>
				  <name>
					  <surname>Gedutis</surname>
					  <given-names>A.</given-names>	  
				  </name>
			  </person-group>
			  <year>2017b</year>
			  <article-title>Diversity of Research Evaluation Systems in Europe</article-title>
			  <conf-name>Nordic Workshop for Bibliometrics</conf-name>
			  <conf-loc>Helsinki, Finland</conf-loc>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://www.helsinki.fi/astro/library/nwb22/D1-05-Ochsner.pdf">http://www.helsinki.fi/astro/library/nwb22/D1-05-Ochsner.pdf</ext-link></comment>
			</element-citation>
			</ref>
		
			<ref id="CIT39">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Olmos-Pe&#x00F1;uela</surname>
					  <given-names>J.</given-names>	  
				  </name>
				  <name>
					  <surname>Molas-Gallart</surname>
					  <given-names>J.</given-names>	  
				  </name>
				  <name>
					  <surname>Castro-Mart&#x00ED;nez</surname>
					  <given-names>E.</given-names>	  
				  </name>
			  </person-group>
			  <year>2014</year>
			  <article-title>Informal collaborations between social sciences and humanities researchers and non-academic partners</article-title>
			  <source>Science and Public Policy</source>
			  <volume>41</volume>
			  <issue>4</issue>
			  <fpage>493</fpage>
			  <lpage>506</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1093/scipol/sct075">https://doi.org/10.1093/scipol/sct075</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT40">
			<element-citation publication-type="conf-proc">
			<person-group person-group-type="author">
				  <name>
					  <surname>Puuska</surname>
					  <given-names>H.M.</given-names>	  
				  </name>
				  <name>
					  <surname>P&#x00F6;l&#x00F6;nen</surname>
					  <given-names>J.</given-names>	  
				  </name>
				  <name>
					  <surname>Engels</surname>
					  <given-names>T.</given-names>	  
				  </name>
				  <name>
					  <surname>Sivertsen</surname>
					  <given-names>G.</given-names>	  
				  </name>
			  </person-group>
			  <year>2017</year>
			  <article-title>Towards the integration of European research information</article-title>
			  <conf-name>Spring 2017 Membership Meeting of euroCRIS</conf-name>
			  <conf-loc>Dublin</conf-loc>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://dspacecris.eurocris.org/bitstream/11366/593/1/euroCRIS_MMDublin_Puuska_Towards_integration_of_European_research_information_20170531.pdf">https://dspacecris.eurocris.org/bitstream/11366/593/1/euroCRIS_MMDublin_Puuska_Towards_integration_of_European_research_information_20170531.pdf</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT41">
			<element-citation publication-type="webpage">
			<person-group person-group-type="author">
				  <name>
					  <surname>R&#x00E0;fols</surname>
					  <given-names>I.</given-names>	  
				  </name>
				  <name>
					  <surname>Robinson-Garc&#x00ED;a</surname>
					  <given-names>N.</given-names>	  
				  </name>
				  <name>
					  <surname>Leeuwen</surname>
					  <given-names>T. van</given-names>	  
				  </name>
			  </person-group>
			  <year>2017</year>
			  <article-title>How to make altmetrics useful in societal impact assessments: shifting from citation to interaction approaches</article-title>
			  <source>Impact of Social Sciences Blog</source>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://blogs.lse.ac.uk/impactofsocialsciences/2017/03/23/how-to-make-altmetrics-useful-in-societal-impact-assessments-shifting-from-citation-to-interaction-approaches/ ">http://blogs.lse.ac.uk/impactofsocialsciences/2017/03/23/how-to-make-altmetrics-useful-in-societal-impact-assessments-shifting-from-citation-to-interaction-approaches/ </ext-link></comment>
			</element-citation>
			</ref>
						
			<ref id="CIT42">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Reale</surname>
					  <given-names>E.</given-names>	  
				  </name>
				  <name>
					  <surname>De Filippo</surname>
					  <given-names>D.</given-names>	  
				  </name>
				  <name>
					  <surname>G&#x00F3;mez</surname>
					  <given-names>I.</given-names>	  
				  </name>
				  <name>
					  <surname>Lepori</surname>
					  <given-names>B.</given-names>	  
				  </name>
				  <name>
					  <surname>Pot&#x00EC;</surname>
					  <given-names>B.</given-names>	  
				  </name>
				  <name>
					  <surname>Primeri</surname>
					  <given-names>E.</given-names>	  
				  </name>
				  <name>
					  <surname>Probst</surname>
					  <given-names>C.</given-names>	  
				  </name>
				  <name>
					  <surname>Sanz-Casado</surname>
					  <given-names>E.</given-names>	  
				  </name>
			  </person-group>
			  <year>2011</year>
			  <article-title>New uses of the institutional databases of universities: indicators of research activity</article-title>
			  <source>Research Evaluation</source>
			  <volume>20</volume>
			  <issue>1</issue>
			  <fpage>47</fpage>
			  <lpage>60</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.3152/095820211X12941371876300">https://doi.org/10.3152/095820211X12941371876300</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT43">
			<element-citation publication-type="report">
			  <collab>Research Council of Norway</collab>
			  <year>2017</year>
			  <source>Evaluation of the Humanities in Norway</source>
			  <publisher-loc>Oslo</publisher-loc>
			  <publisher-name>The Research Council of Norway</publisher-name>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://www.forskningsradet.no/en/Publications/1220788265688 ">https://www.forskningsradet.no/en/Publications/1220788265688 </ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT44">
			<element-citation publication-type="webpage">
			<collab>Research Excellence Framework (REF)</collab>
			  <year>2014</year>
			  <article-title>Main panel D criteria</article-title>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://www.ref.ac.uk/2014/media/ref/content/pub/panelcriteriaandworkingmethods/01_12_2D.pdf">http://www.ref.ac.uk/2014/media/ref/content/pub/panelcriteriaandworkingmethods/01_12_2D.pdf</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT45">
			<element-citation publication-type="thesis">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Riggio</surname>
					  <given-names>G.</given-names>	  
				  </name>
			  </person-group>
			  <year>2017</year>
			  <source>Indicadores bibliom&#x00E9;tricos de la actividad cient&#x00ED;fica de la Rep&#x00FA;blica Dominicana</source>
			  <publisher-loc>Madrid</publisher-loc>
			  <publisher-name>Universidad Carlos III</publisher-name>
			  <comment>Tesis doctoral</comment>
			</element-citation>
			</ref>

			<ref id="CIT46">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Sivertsen</surname>
					  <given-names>G.</given-names>	  
				  </name>
			  </person-group>
			  <year>2017a</year>
			  <article-title>Unique, but still best practice? The Research Excellence Framework (REF) from an international perspective</article-title>
			  <source>Palgrave Communications</source>
			  <volume>3</volume>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1057/palcomms.2017.78">https://doi.org/10.1057/palcomms.2017.78</ext-link></comment>
			</element-citation>
			</ref>

			<ref id="CIT47">
			<element-citation publication-type="conf-proc">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Sivertsen</surname>
					  <given-names>G.</given-names>	  
				  </name>
			  </person-group>
			  <year>2017b</year>
			  <article-title>Frameworks for understanding the societal relevance of the Humanities</article-title>
			  <conf-name>ENRESSH2017. 2nd International Conference on Research Evaluation in the Social Sciences and Humanities</conf-name>
			  <conf-loc>Antwerp, Belgium</conf-loc>
			  <fpage>30</fpage>
			  <lpage>31</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://www.uantwerpen.be/images/uantwerpen/container41447/files/A5-BOOK_RESSH2017_170717-interactive.pdf">https://www.uantwerpen.be/images/uantwerpen/container41447/files/A5-BOOK_RESSH2017_170717-interactive.pdf</ext-link></comment>
			</element-citation>
			</ref>
				
			<ref id="CIT48">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Solomon</surname>
					  <given-names>D. J.</given-names>	  
				  </name>
				  <name>
					  <surname>Bj&#x00F6;rk</surname>
					  <given-names>B. C.</given-names>	  
				  </name>
			  </person-group>
			  <year>2012a</year>
			  <article-title>A study of open access journals using article processing charges</article-title>
			  <source>Journal of the Association for Information Science and Technology</source>
			  <volume>63</volume>
			  <issue>8</issue>
			  <fpage>1485</fpage>
			  <lpage>1495</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1002/asi.22673">https://doi.org/10.1002/asi.22673</ext-link></comment>
			</element-citation>
			</ref>
					
			<ref id="CIT49">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				   <name>
					  <surname>Solomon</surname>
					  <given-names>D. J.</given-names>	  
				  </name>
				  <name>
					  <surname>Bj&#x00F6;rk</surname>
					  <given-names>B. C.</given-names>	  
				  </name>
			  </person-group>
			  <year>2012b</year>
			  <article-title>Publication fees in open access publishing: Sources of funding and factors influencing choice of journal</article-title>
			  <source>Journal of the association for information science and technology</source>
			  <volume>63</volume>
			  <issue>1</issue>
			  <fpage>98</fpage>
			  <lpage>107</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1002/asi.21660">https://doi.org/10.1002/asi.21660</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT50">
			<element-citation publication-type="report">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Tanner</surname>
					  <given-names>S.</given-names>	  
				  </name>
			  </person-group>
			  <year>2016</year>
			  <source>An analysis of the Arts and Humanities submitted research outputs to REF 2014 with a focus on academic books</source>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://academicbookfuture.files.wordpress.com/2016/11/abof_academic-books-ref2014-report_simon-tanner.pdf">https://academicbookfuture.files.wordpress.com/2016/11/abof_academic-books-ref2014-report_simon-tanner.pdf</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT51">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Ter&#x00E4;m&#x00E4;</surname>
					  <given-names>E.</given-names>	  
				  </name>
				  <name>
					  <surname>Smallman</surname>
					  <given-names>M.</given-names>	  
				  </name>
				  <name>
					  <surname>Lock</surname>
					  <given-names>S. J.</given-names>	  
				  </name>
				  <name>
					  <surname>Johnson</surname>
					  <given-names>C.</given-names>	  
				  </name>
				  <name>
					  <surname>Austwick</surname>
					  <given-names>M. Z.</given-names>	  
				  </name>
			  </person-group>
			  <year>2016</year>
			  <article-title>Beyond academia–Interrogating research impact in the research excellence framework</article-title>
			  <source>PloS one</source>
			  <volume>11</volume>
			  <issue>12</issue>
			  <elocation-id>e0168533</elocation-id>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1371/journal.pone.0168533">https://doi.org/10.1371/journal.pone.0168533</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT52">
			<element-citation publication-type="webpage">
			<person-group person-group-type="author">
				  <name>
					  <surname>Thelwall</surname>
					  <given-names>M.</given-names>	  
				  </name>
			  </person-group>
			  <year>2014</year>
			  <article-title>Five recommendations for using alternative metrics in the future UK Research Excellence Framework</article-title>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://blogs.lse.ac.uk/impactofsocialsciences/2014/10/23/alternative-metrics-future-uk-research-excellence-framework-thelwall/">http://blogs.lse.ac.uk/impactofsocialsciences/2014/10/23/alternative-metrics-future-uk-research-excellence-framework-thelwall/</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT53">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Thelwall</surname>
					  <given-names>M.</given-names>	  
				  </name>
				  <name>
					  <surname>Haustein</surname>
					  <given-names>S.</given-names>	  
				  </name>
				  <name>
					  <surname>Larivi&#x00E8;re</surname>
					  <given-names>V.</given-names>	  
				  </name>
				  <name>
					  <surname>Sugimoto</surname>
					  <given-names>C. R.</given-names>	  
				  </name>
			  </person-group>
			  <year>2013</year>
			  <article-title>Do altmetrics work? Twitter and ten other social web services</article-title>
			  <source>PloS one</source>
			  <volume>8</volume>
			  <issue>5</issue>
			  <elocation-id>e64841</elocation-id>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1371/journal.pone.0064841">https://doi.org/10.1371/journal.pone.0064841</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT54">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Torres-Salinas</surname>
					  <given-names>D.</given-names>	  
				  </name>
				  <name>
					  <surname>Robinson-Garcia</surname>
					  <given-names>N.</given-names>	  
				  </name>
				  <name>
					  <surname>Gorraiz</surname>
					  <given-names>J.</given-names>	  
				  </name>
			  </person-group>
			  <year>2017</year>
			  <article-title>Filling the citation gap: measuring the multidimensional impact of the academic book at institutional level with PlumX</article-title>
			  <source>Scientometrics</source>
			  <volume>113</volume>
			  <issue>3</issue>
			  <fpage>1371</fpage>
			  <lpage>1384</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1007/s11192-017-2539-z">https://doi.org/10.1007/s11192-017-2539-z</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT55">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Vessuri</surname>
					  <given-names>H.</given-names>	  
				  </name>
				  <name>
					  <surname>Gu&#x00E9;don</surname>
					  <given-names>J. C.</given-names>	  
				  </name>
				  <name>
					  <surname>Cetto</surname>
					  <given-names>A. M.</given-names>	  
				  </name>
			  </person-group>
			  <year>2013</year>
			  <article-title>Excellence or quality? Impact of the current competition regime on science and scientific publishing in Latin America and its implications for development</article-title>
			  <source>Current Sociology</source>
			  <volume>62</volume>
			  <issue>5</issue>
			  <fpage>647</fpage>
			  <lpage>665</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1177/0011392113512839">https://doi.org/10.1177/0011392113512839</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT56">
			<element-citation publication-type="report">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Wilsdon</surname>
					  <given-names>J.</given-names>	  
				  </name>
				  <name>
					  <surname>Allen</surname>
					  <given-names>L.</given-names>	  
				  </name>
				  <name>
					  <surname>Belfiore</surname>
					  <given-names>E.</given-names>	  
				  </name>
				  <name>
					  <surname>Campbell</surname>
					  <given-names>P.</given-names>	  
				  </name>
				  <name>
					  <surname>Curry</surname>
					  <given-names>S.</given-names>	  
				  </name>
				  <name>
					  <surname>Hill</surname>
					  <given-names>S.</given-names>	  
				  </name>
				  <name>
					  <surname>Jones</surname>
					  <given-names>R.</given-names>	  
				  </name>
				  <name>
					  <surname>Kain</surname>
					  <given-names>R.</given-names>	  
				  </name>
				  <name>
					  <surname>Kerridge</surname>
					  <given-names>S.</given-names>	  
				  </name>
				  <name>
					  <surname>Thelwall</surname>
					  <given-names>M.</given-names>	  
				  </name>
				  <name>
					  <surname>Tinkler</surname>
					  <given-names>J.</given-names>	  
				  </name>
				  <name>
					  <surname>Viney</surname>
					  <given-names>I.</given-names>	  
				  </name>
				  <name>
					  <surname>Hill</surname>
					  <given-names>J.</given-names>	  
				  </name>
				  <name>
					  <surname>Wouters</surname>
					  <given-names>P.</given-names>	  
				  </name>
				  <name>
					  <surname>Johnson</surname>
					  <given-names>B.</given-names>	  
				  </name>
			  </person-group>
			  <year>2015</year>
			  <source>The Metric Tide: Report of the Independent Review of the Role of Metrics in Research Assessment and Management</source>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.13140/RG.2.1.4929.1363">https://doi.org/10.13140/RG.2.1.4929.1363</ext-link></comment>
			</element-citation>
			</ref>
		
			<ref id="CIT57">
			<element-citation publication-type="webpage">
			<person-group person-group-type="author">
				  <name>
					  <surname>Zaltz Austwick</surname>
					  <given-names>M.</given-names>	  
				  </name>
			  </person-group>
			  <year>2017</year>
			  <article-title>Does high-impact research come at the expense of quality? An automated analysis of the REF impact landscape</article-title>
			  <source>LSE Impact blog</source>
			  <comment><ext-link ext-link-type="uri" xlink:href="http://blogs.lse.ac.uk/impactofsocialsciences/2017/03/02/does-high-impact-research-come-at-the-expense-of-quality-an-automated-analysis-of-the-ref-impact-landscape/">http://blogs.lse.ac.uk/impactofsocialsciences/2017/03/02/does-high-impact-research-come-at-the-expense-of-quality-an-automated-analysis-of-the-ref-impact-landscape/</ext-link></comment>
			</element-citation>
			</ref>
			
			<ref id="CIT58">
			<element-citation publication-type="journal">
			  <person-group person-group-type="author">
				  <name>
					  <surname>Zuccala</surname>
					  <given-names>A.</given-names>	  
				  </name>
				  <name>
					  <surname>Verleysen</surname>
					  <given-names>F.</given-names>	  
				  </name>
				  <name>
					  <surname>Cornacchia</surname>
					  <given-names>R.</given-names>	  
				  </name>
				  <name>
					  <surname>Engels</surname>
					  <given-names>T.</given-names>	  
				  </name>
			  </person-group>
			  <year>2015</year>
			  <article-title>Altmetrics for the humanities: Comparing Goodreads reader ratings with citations to history books</article-title>
			  <source>Aslib Journal of Information Management</source>
			  <volume>67</volume>
			  <issue>3</issue>
			  <fpage>320</fpage>
			  <lpage>336</lpage>
			  <comment><ext-link ext-link-type="uri" xlink:href="https://doi.org/10.1108/AJIM-11-2014-0152">https://doi.org/10.1108/AJIM-11-2014-0152</ext-link></comment>
			</element-citation>
			</ref>
			
		</ref-list>
	
	</back>
</article>
