Ángel M. Delgado-Vázquez
Plega a Dios, Sancho, que así sea, porque del dicho al hecho hay gran trecho.
El pasado noviembre la Comisión Europea, a través de la Dirección General para la Investigación y la Innovación hizo público un documento que, bajo el sugerente título de Towards a reform of the research assessment system, pone sobre la mesa algunas de las cuestiones sobre las que se viene debatiendo en los últimos tiempos de manera intensa. La principal motivación de este es la necesidad de impulsar una aceleración de los cambios que en el sistema de evaluación científica se vienen produciendo, aunque todavía de manera tímida. El otro objetivo es el de contar con un marco común que pueda de algún modo homogeneizar el modo en que se evalúa a la ciencia, a la par que se abandonan algunas de las prácticas actuales y que vienen siendo objeto continuado de crítica por sus limitaciones y sesgos.
El documento, fruto de las consultas llevadas a cabo con distintos agentes (listado completo en el propio documento), durante 2021, parte de reconocer los cambios profundos que los modos de producción, diseminación y consumo de la investigación, debidos sobre todo a la digitalización y a la adopción de prácticas de ciencia abierta, no están encontrando ecos en la manera en la que el esfuerzo de instituciones, grupos, proyectos e investigadores está siendo medido y recompensado. Literalmente vuelve sobre un aserto que, habiéndose manifestado en numerosas ocasiones, no ha logrado evidenciarse en la suficiente medida en las organizaciones, agencias, instituciones e incluso en los propios individuos sobre los que recae la tarea de evaluar. Literalmente: These major evolutions are not aligned with the metrics that often dominate assessment: the number of publications and citations, and the quantity of publications in journals with high Journal Impact Factor (JIF). The race for publications – the so-called publish-or-perish culture – comes at the expense of quality, integrity, and trust in research. Also, using the JIF as a proxy for quality of research is shown to be inappropriate. Despite this, moving away from the use of JIF is non-trivial because it is easy to use and is engrained in academic culture, conferring prestige to authors and their institutions publishing in high JIF journals; whereas additional efforts may be required by alternatives such as more qualitative assessment methods.
Como puede observarse, se vuelve a poner el foco sobre la necesidad de abandonar la evaluación acumulativa y, con especial énfasis, en las métricas de revistas, las llamadas journal level metrics, con el Journal Impact Factor como principal actor. El documento toma como ejemplo la evaluación curricular individual, en la que la evaluación por pares es un elemento fundamental, y reconoce como necesario partir de la evaluación cualitativa que debe ser complementada, en la medida de lo necesario, del uso responsable de indicadores cuantitativos. Este tipo de evaluaciones debe incorporar, además, otro tipo de resultados, más allá de las publicaciones y reconocer la existencia de tipos de carreras académicas fuera del estándar.
Ahondando en la diversidad, el documento se refiere a tener muy en cuenta, ya no solo las diferentes actividades, productos y roles que contribuyen de manera efectiva al desarrollo de la investigación científica, sino también a las diferencias entre disciplinas, países, modos de hacer ciencia y objetos de evaluación.
El documento aboga por servir de base para la construcción de un sistema de evaluación que se adapte tanto a estas diferencias como a las distintas necesidades de las instituciones, respetando su autonomía, y que, sin embargo, posibilite la interoperabilidad y facilite, entre otras, la movilidad.
Tras hacer repaso de las distintas iniciativas y regulaciones puestas en marcha en el seno de la Unión Europea en los últimos años, se hace a continuación una propuesta de acción que consiste en lo básico, en una llamada a las organizaciones encargadas de la financiación, la creación y la evaluación de la investigación, a firmar un acuerdo y formar una alianza que abogue por la aceleración de la adopción de una serie de medidas que van en el camino, antes señalado, de implementar un sistema diferente de evaluación de las actividades y los agentes que hacen posible el avance de la ciencia.
Para ello se proponen una serie de medidas de acompañamiento, como son la dotación económica por parte de gobiernos y organizaciones de financiación de la investigación para poder hacer efectivos dichos cambios; campañas de concienciación y formación para investigadores e instituciones; la participación de alianzas de universidades como campo de pruebas; y el desarrollo de medidas políticas a distintos niveles para salvar las barreras legales.
El acuerdo estaría fundado sobre los principios generales de cumplir con las prácticas y reglas éticas y de integridad; salvaguardar la libertad de la investigación científica; respetar la autonomía de las organizaciones de investigación; y el aseguramiento de la independencia y transparencia de los datos, infraestructuras y criterios necesarios para la evaluación científica, especialmente la recolección de datos, los algoritmos y el cálculo de indicadores, asegurando su control y propiedad por parte de la comunidad investigadora.
En lo que atañe a los criterios y procesos de evaluación, se establecen como básicos los principios de enfocar la evaluación hacia la calidad de los resultados (más que la cantidad), poner el foco en la apertura de la investigación, incluyendo métodos y datos, que los hagan transparentes y reproducibles; llevar a cabo procesos de evaluación por pares donde lo cuantitativo se use solo de manera complementaria cuando sea necesaria, no por defecto; reconocer el impacto de la investigación más allá de la propia comunidad científica, tomando en consideración el impacto en la sociedad, en el ámbito económico o tecnológico, y teniendo presente que estos impactos pueden tardar más o menos en llegar, dependiendo de la disciplina.
En línea con lo anterior, se señala la necesidad de valorar positivamente la diversidad de actividades y prácticas científicas, así como los diferentes resultados que pueden producir y con especial interés sobre aquellas que sustentan la ciencia abierta. Igualmente, reconocer que los investigadores no pueden rendir del mismo modo en todas las parcelas de su actividad. Usar criterios de evaluación y procesos acordes con la variedad de disciplinas, tipos de investigación y momento de la carrera investigadora; valorar y reconocer los distintos papeles que se pueden jugar en la investigación, reconociendo el trabajo en equipo y la colaboración.
Finalmente, asegurar la igualdad de género y oportunidades y hacer la ciencia más inclusiva, tanto entre quienes la hacen, como en sus resultados.
El documento propone una hoja de ruta para las entidades firmantes que pasa por alinear sus evaluaciones de la investigación a los principios anteriormente enunciados; promover una evaluación de alta calidad, evolutiva, autorreflexiva y usada de forma inteligente; reconocer y recompensar la evaluación por pares; destinar recursos suficientes para esta tarea; y, finalmente, compartir prácticas y experiencias, lecciones aprendidas de este cambio de enfoque de la evaluación.
Lejos de tratarse de uno de esos documentos oficiales que quedan arrinconados en el último cajón del escritorio, en el caso de este se ha seguido un camino que le ha llevado a ser presentado en febrero de 2022 en la Paris Open Science European Conference (OSEC). En este marco se inició un proceso de adhesión a una posible coalición de soporte, habiendo manifestado su interés, hasta mayo pasado, más de 300 organizaciones internacionales, y de países principalmente europeos.
En España han firmado el documento organismos de primer orden en la evaluación científica nacional como la Agencia Estatal de Investigación o la ANECA, a las que acompañan el Consejo Superior de Investigaciones Científicas (CSIC) y la Conferencia de Rectores de las Universidades Españolas (CRUE). No obstante, son pocas las universidades firmantes (no llegan a dos decenas) y el papel de las agencias y administraciones autonómicas, las sociedades científicas y los organismos privados de financiación es prácticamente testimonial, y a pesar de ello España es el segundo país con más firmantes.
Es obvio que, aunque es probable que con este documento se dé un nuevo impulso al necesario cambio de modelo en la evaluación científica, también lo es que más de una organización firmante no muestre mayor interés en la propia firma que el de «salir en la foto».
Fuente: blok de bid
Imagen de la entrada de Darkmoon_Art en Pixabay
