El sistema colombiano de medición de revistas Publindex: Las paradojas de un sistema que devalúa el conocimiento producido localmente

Nota del editor: Texto publicado en ASEUC (2019). Publicaciones periódicas: ¿Para indexar o para leer?. Colombia: Unilibros de Colombia. Disponible en: http://www.aseuc.org.co/unilibros/uflip/UflipUnilibros26/page_1.html (Publicado a petición del autor)

Wilson López López

Las inconsistencias en el diseño de los sistemas de medición en Colciencias generan paradojas costosas para la producción de conocimiento nacional y han terminado devaluando el conocimiento producido localmente. En esta editorial abordaré algunos de estos problemas y sus perjudiciales consecuencias para la producción y la visibilidad científica. He abordado otros problemas de la medición en otros editoriales y artículos (Aguillo, Uribe & López-López, 2018; López-López, 2018; Acevedo, et al., 2018; López-López, et al., 2018).

Las inconsistencias en el diseño de los sistemas de medición en Colciencias generan paradojas costosas para la producción de conocimiento nacional y han terminado devaluando el conocimiento producido localmente

Desde hace unos años, el sistema colombiano decidió entrar en un proceso de internacionalización del conocimiento producido localmente y generó una serie de acciones para desmotivar la creación de nuevas revistas e incluso eliminar algunas existentes. Se supondría que este proceso estaría acompañado de acciones para fomentar el ingreso de las revistas nacionales a los índices Web Of Science (WoS) y Scopus y luego tratar de que una vez allí, las mismas se posicionaran adecuadamente. Todo esto bajo la premisa de que dichas bases serían una garantía de calidad científica y editorial de las revistas y del conocimiento publicado en ellas.

Sin embargo, esto desconoce los cuestionamientos en todo el mundo como el Manifiesto de Leiden (2014) y Hicks et al. (2015) en contra de la igualación de la calidad de una revista y sus contenidos a la citación global de la misma y en segundo lugar, de la falta de transparencia y problemas técnicos de algunos de los indicadores generados para calificarlas.

Los movimientos que están reaccionando a estas críticas cada vez ganan más soporte, ejemplos de ello son la declaración sobre evaluación en investigación DORA (por sus siglas en inglés) y la decisión de países como Alemania e Inglaterra de incorporar sistemas de evaluación con páneles de expertos. Otra situación análoga es la que ocurre en Estados Unidos donde los cuartiles no son parte central de las evaluaciones; incluso el propio Clarivate Analytics, propietario de WoS, publicó recientemente en el Institute for Scientific Information (ISI) un breve informe en acceso abierto en el que afirma que los indicadores bibliométricos no solo tienen múltiples problemas técnicos, sino que además es equivocado asumirlos de forma simple para evaluar revistas, investigadores e instituciones (Adams, McVeigh, Pendlebury, & Szomszo, 2019). Es muy relevante que el reporte haya sido producido por uno de los referentes determinantes adoptado por el sistema colombiano de ciencia y tecnología y sin embargo, la actual convocatoria Publindex siga basándose en esos indicadores.

Una muy completa descripción de los problemas sistemáticos de Publindex fue realizada recientemente por Flórez Carranza (2018), estos inconvenientes incluyen dificultades en el registro de información; solicitudes de información sin sentido y que generan duplicidad; comparación de revistas sin tener en cuenta la cantidad de artículos, su internacionalización o crecimiento en citación; desconocimiento e invisibilización del esfuerzo de las revistas para ingresar a sistemas como WoS o Scopus; uso del indicador fuertemente criticado H5; aplicación retroactiva de nuevos criterios; desconocimiento de las dinámicas de citación de las disciplinas, asumiendo criterios de clasificación que no contemplan la manera en que ciertas de ellas funcionan; e incluso el uso de principios bibliométricos para establecer los tiempos de las convocatorias.

Estos cambios al modelo de evaluación Publindex han sido presionados por el decreto 1279 del 2002 que reglamenta los incentivos a los profesores de las universidades públicas y que termina afectando a toda la producción editorial y académica del país, incluso en las universidades privadas, lo que hace necesario que se cuestione si el control de los incentivos de los profesores de la universidad pública debe regular toda la producción nacional, y de ser así, si la universidad privada debe asumir estos criterios incluso cuando deterioran sus propios intereses y devalúan sus publicaciones.

Los índices de cuartiles de WoS y Scopus y aquellos de sus respectivos subsistemas como el JCR, el SJR (del grupo de consultoría SciMAGO) y el reciente CiteScore (Elsevier), han recibido múltiples críticas, la más visible proviene de DORA (2012), respecto a la forma en la que se establecen los cuartiles. DORA (2012) se refiere a la metodología particular, que puede llevar a casos donde, por ejemplo, una revista con números bajos de citas esté en un mejor cuartil porque se encuentra en un área de conocimiento que tiene pocas citaciones; o estimula una hábil ingeniería de citación que disminuye el número de artículos publicados y asegura las citas suficientes para superar el total de artículos publicados anualmente; en estos casos, una revista que publica contenidos de calidad pero una mayor cantidad de artículos se ve castigada cuando se estima el indicador.

Otros cuestionamientos se han centrado en las inconsistencias en la forma como estos indicadores se obtienen, pues los algoritmos que los producen no siempre se ajustan a la relación que dicen expresar. En este sentido el problema no es derivado únicamente de las dificultades metodológicas y tecnológicas de las compañías que generan estos índices, de hecho, finalmente estas empresas pueden desarrollar múltiples indicadores, como efectivamente lo hacen, y como los propios desarrolladores lo expresan (Adams et al., 2019).

En realidad, el mayor problema es que el sistema colombiano las ignore, y peor aún, que no responda técnicamente a ellas, provocando dos graves consecuencias. Por un lado, devalúa toda la producción publicada en las revistas colombianas; es decir, refleja que al sistema colombiano no sólo parece no importarle que se invierta tan poco en ciencia y tecnología, sino que se propone devaluar aún más las revistas con un sistema que refleja tener como propósito la disminución de los incentivos a profesores de la universidad pública.

Por el otro lado, esta situación desestimula la internacionalización, lo que va en contradicción directa con un objetivo propuesto por el mismo sistema, pues la manera en la que está planteado castiga la indexación en WoS o Scopus de las revistas nacionales, puesto que a las citas que obtienen se les otorga menos valor que al indicador H5 de Google Scholar, del cual se ha demostrado claramente que presenta problemas de normalización; esta situación resulta en una paradoja problemática.

Parece evidente que aunque editores e investigadores tenemos mucho que decir, tenemos muy poca influencia en las políticas del sistema de ciencia colombiano. Los actores que deciden en las universidades no parecen evidenciar el costo de la devaluación de sus publicaciones y de la investigación que se publica el contexto nacional; parecen ignorar cuánto se ha invertido en recursos de conocimiento, dinero, en desarrollos tecnológicos, en formación permanente, en cualificación, en tiempo de producción académica de los editores y de los equipos editoriales, cuánto se ha invertido en horas de investigadores en escritura que ha llegado a las revistas y en los artículos de los que se derivaron de estos proyectos y más.

¿Quién asumirá todos los costos por esta devaluación que parece a primera vista incalculable? ¿Acaso Colciencias pagará por esta devaluación progresiva y masiva de las publicaciones nacionales y de una gran parte de la investigación nacional?

La pregunta inevitable es entonces ¿quién asumirá todos los costos por esta devaluación que parece a primera vista incalculable? ¿Acaso Colciencias pagará por esta devaluación progresiva y masiva de las publicaciones nacionales y de una gran parte de la investigación nacional? Lo que si resulta por lo menos cuestionable es que los académicos (editores e investigadores), los directivos de las instituciones y los responsables del sistema no tomen medidas que permitan corregir estos incuestionables y costosos errores, y que asistamos a ver un suicidio o, como suele pasar en Colombia, (y parafraseando ese cuento escalofriante y profético de Garcia Márquez) a una nueva “crónica de una muerte anunciada” – todos sabemos lo que está pasando pero solo asistimos a ver como la edición científica y la producción científica nacional se marchitan y mueren.