Imprimir

El Manifiesto de Leiden : aclarando el panorama sobre la evaluación de la investigación

el .



Desde la década de los noventas, el concepto para la evaluación de la investigación se ha orientado hacia el uso de métricas basadas en la Web of Science (factor de impacto, índice de inmediatez) y posteriormente a través del índice h propuesto por Jorge Hirsch para evaluar autores. Sin embargo, el problema es que este tipo de evaluación está orientada especificamente a los datos y no al juicio de la comunidad. Las métricas se han multiplicado: por lo general están bien intencionadas, no siempre están bien informadas pero a menudo son mal aplicadas.

El gran cuestionamiento hacia los sistemas nacionales de evaluación es que todos usan conceptos basados en la numerología donde a quien tiene más desde un punto de vista cuantitativo se le da más (financiamiento, cialisfrance24.com ascensos, reconocimientos) y los que tienen menos viven relegados de los beneficios de la investigación. De otro lado, la otra gran crítica proviene de cómo evaluar campos que no tienen una alta dinámica de investigación, como por ejemplo las ciencias sociales o las humanidades, campos que han quedado relegados en este enfoque de evaluación.

En este sentido, han habido una serie de iniciativas que se han formulado en los últimos años por parte de la comunidad académica para superar este problema. Por ejemplo, la Declaration on Research Assessment (DORA) firmada en San Francisco en diciembre de 2012 plantea dejar de lado el enfoque cuantitativo imperante para abrir el panorama e incluir métricas como los Altmetrics.

En la búsqueda de soluciones, el día de ayer Nature publicó un artículo de Diana Hicks, Paul Wouters, Ludo Waltman,  Sarah de Rijcke e Ismael Rafols, especialistas de la CTWS (Centre for Science and Technology Studies) de la Universidad de Leiden, reformulando el Manifiesto de Leiden que propone una nueva visión en la evaluación de la investigación.

El manifiesto fue presentado en el año 2014 (http://sti2014.cwts.nl) y ha recibido un feedback importante de la academia que se ha concretado en un documento basado en 10 principios. Estos lineamientos no son nuevos, para los especialistas, pero permiten recordar y sentar las bases para que muchas instituciones y agencias de evaluación tengan en claro al momento de hacer su labor.

1. La evaluación cuantitativa de la investigación debe estar apoyada por la evaluación cualitativa y el juicio de pares. Este es quizás el aspecto que muchos teóricos han reconocido como importante aunque pocas veces son utilizados. La mezcla de estos indicadores permitirán tener un mejor panorama y tomar mejores decisiones.

2. La medición del rendimiento puede ir en contra de la misión de investigación de una institución, grupo o investigador. La elección de los indicadores y las formas en que se utilizan, deben tener en cuenta los contextos socio-económicos y culturales más amplios. Los científicos tienen diversas misiones de investigación. La investigación que avanza las fronteras del conocimiento académico difiere de la investigación que se centra en la entrega de soluciones a los problemas sociales. La revisión podrá basarse en méritos relevantes para la política, la industria o el público en lugar de en las ideas académicas de excelencia. Ningún modelo de evaluación se aplica a todos los contextos.

3. Proteger la excelencia de la investigación relevante local. En muchas partes del mundo, la excelencia en la investigación está asociada a la publicación en idioma Inglés. A esto se aúna que el factor de impacto se calcula para revistas indexadas en la Web of Science de Estados Unidos y basado en su mayor parte en idioma anglsdajón. Estos sesgos son particularmente problemáticas en las ciencias sociales y humanidades, en la que la investigación se dedica más a nivel regional como a nivel nacional. Las métricas basadas en la literatura en otro idioma servirán para identificar y recompensar la excelencia en la investigación relevante a nivel local.

4. Mantener colecciones de datos y realizar procesos analíticos abiertos, transparentes y simples: la gestión de datos es fundamental para el proceso de la investigación científica. La sencillez es una virtud en un indicador, ya que mejora la transparencia. No obstante, las métricas simplistas pueden distorsionar el registro (véase el principio 7). Las evaluaciones deben esforzarse para mantener el equilibrio - indicadores simples fieles a la complejidad del proceso de investigación.

5. Permitir que los investigadores comprueben los datos y análisis empleados en la investigación. Para garantizar la calidad de los datos, todos los investigadores que realicen estudios bibliométricos deben ser capacaces de comprobar que sus conclusiones sean identificadas correctamente. Todos los interesados pueden dirigir y gestionar los procesos de evaluación para asegurar la precisión de datos, a través de auto-verificación o auditoría de terceros.

6. La variación en el conteo de publicaciones y prácticas de citación. Lo recomendable es seleccionar un posible conjunto de indicadores y permitir a las disciplinas elegir entre ellos. Reforzando la idea: no debe existir un modelo general de evaluación para todos los campos.

7. La evaluación base de investigadores individuales debe sostenerse en un juicio cualitativo de su carrera. La lectura y el juicio del trabajo de un investigadores es mucho más apropiado que depender números. Incluso al comparar un gran número de investigadores, un enfoque que considera más información sobre conocimientos, experiencia, actividades y la influencia de un individuo es más relevante y eficiente.

8. Evitar la falta de precisión: Si la incertidumbre y el error se pueden cuantificar, por ejemplo usando mediciones de sesgo, esta información debe acompañar a los valores obtenidos de los indicadores. Si esto no es posible, los indicadores, al menos, deben evitar falsa precisión.

9. Reconocer los efectos sistémicos de los indicadores de evaluación. Los indicadores cambian el sistema a través de los incentivos que establecen. Estos efectos deben ser anticipados.

10. Hacer escrutinio de los indicadores periódicamente y actualizarlos. Las misiones de investigación y la evaluación de la investigación evolucionan en paralelo por los que deben ser actualizados frecuentemente.

En conclusión, podriamos decir que si bien las métricas sistematizadas en la Bibliometría o Cienciometría proporcionan información crucial pero esta información debe transformarse en un instrumento no en una meta. Si la comunidad académica acepta esto, muchas disciplinas podrán sentirse integradas a la evaluación de la investigación.