1. Introducción

La investigación constituye una de las funciones sustantivas del sistema educativo universitario, en conjunto con la docencia y la extensión. En este sentido, García Guillén (2005) expresa que no es posible enseñar algo que no se haya investigado, aunque se haya aprendido. Es sabido también que la investigación no es considerada una facultad inherente, únicamente, a los centros de educación universitaria. Sin embargo, puede decirse que son estos sus principales promotores (Beigel, 2015b). La investigación permite a estos centros desarrollar una doble función: por un lado, generar nuevo conocimiento científico y, por el otro, difundirlo hacia otras partes del mundo vinculándolos con la vida cotidiana y su mejoramiento (Santelices, 2010).

Con respecto a esto último, la investigación, y su correspondiente generación de conocimiento, solo cobra sentido absoluto cuando logra difundirse dentro de una comunidad académica. Esta propagación y difusión del conocimiento se ha convertido en un importante índice de la robustez del nivel de desarrollo científico de un país, de una institución científica y/o de un investigador.

En muchos países y en la mayoría de las disciplinas, las publicaciones se han convertido en el canal más reconocido y utilizado para la difusión del conocimiento científico dentro de una comunidad académica (Luchilo, 2019). Sin embargo, las publicaciones son mucho más que un mero canal para dar a conocer los resultados de una investigación. Actualmente, se han transformado en la base misma de la gestión de las carreras científicas (Guédon, 2011; Vasen y Vilchis, 2017; Luchilo, 2019), cobrando gran relevancia para la gestión del área de investigación de entidades de educación superior. En este contexto, adquiere sentido la frase «publish or perish». Hoy, determinar la calidad de la producción científica de un investigador, de una institución y de un país se ha vuelto una variable relevante, así como la propia investigación en sí misma.

La calidad de un investigador está vinculada en muchos casos por la calidad de las revistas en las que publica. Por esta razón es válido preguntarse: ¿de qué depende la calidad de las publicaciones? ¿En qué condiciones se encuentran las publicaciones de países en vías de desarrollo? ¿Todas las disciplinas están igualmente consideradas al momento de determinar la calidad de una publicación? Este trabajo parte de la idea de que la forma en que se realiza dicha evaluación de calidad de cada publicación trae aparejada la materialización de diversos juegos de poder y la existencia de intereses en conflicto, y da cuenta de quiénes son los actores que ponen las reglas del juego (Guédon, 2017), generando que existan variables ajenas a la calidad editorial y científica que impactan en la jerarquización de estas publicaciones. Uno de los fenómenos asociados fuertemente a esta inequidad estructural en el tratamiento de las publicaciones se encuentra vinculado a la forma en que circula el conocimiento científico en cuanto se plantea una «estructura desigual de producción y circulación del conocimiento a nivel mundial» (Beigel, 2013). En este sentido, se materializa la idea de que existen dos tipos de ciencia: la principal o céntrica, asociada a lo internacional, al idioma inglés, y con una importante predominancia de las restricciones de acceso a ella; y la periférica, con un fuerte vínculo hacia lo nacional o regional, dando lugar a otros idiomas y con una destacada línea orientada hacia la cultura del libre acceso. Es importante destacar que el circuito asociado a la «ciencia principal» cuenta con un mayor prestigio que el vinculado con la «ciencia de la periferia». Sin entrar en detalle sobre la teoría de la dependencia y las críticas a esta (debido a su enfoque simplista) (Beigel, Gallardo y Bekerman, 2018), recortaremos la idea de la división dicotómica como un acercamiento práctico al objetivo de este trabajo.

Esta idea de la existencia de una ciencia global y central sentó las bases de la división entre un circuito universal, de mayor prestigio por su alcance, y un circuito más acotado y local, menos prestigioso, justamente por su bajo nivel de alcance. Es así como la variable «alcance», entendida como la cantidad de lectores a los que llega la publicación, se fue convirtiendo en sinónimo de calidad, ganándole, muchas veces, a aspectos tan importantes como la pertinencia y originalidad de una publicación (Guédon, 2011). Conocer los criterios que están detrás de la evaluación de la calidad de la principal vía de comunicación de los resultados de las investigaciones resulta central para determinar las estrategias y políticas que cada institución dedica al desarrollo de la investigación que debe realizarse (Sarthou, 2019).

Antes de avanzar en el desarrollo de los objetivos, cabe aclarar que, para el presente trabajo, se considerará el término «publicación» en un sentido amplio, el cual incluye conferencias, journals, trade journals y libros y que, al referirnos a la calificación de la publicación, esta se realiza en base a la línea utilizada por sjr (Q1 y Q2 para las publicaciones mejor calificadas y Q3 y Q4 para las menos calificadas, estando todas ellas aceptadas por el ranking)¹.

En relación con los objetivos de este trabajo, nos hemos propuesto:

1. Realizar un análisis descriptivo respecto a la cantidad de publicaciones existente por disciplina, tipo de publicación y región de origen.

2. Determinar si la calificación de cada publicación (tomando para ellos la calificación asignada por el indicador SCImagoJournal Rank sjr2) presenta relación con su disciplina, con el tipo de publicación y la región de pertenencia.

3. Identificar si la relación entre calificación y disciplina, tipo de publicación y régimen de pertenencia es la misma para las publicaciones en general y para las publicaciones del área de «Business, Management and accounting» en particular.

De esta manera, dada la variable dependiente (calificación de la publicación) y las variables predictoras (disciplina, tipo de publicación y región), las hipótesis de la investigación serán las siguientes:

Ho: La calificación de la publicación no puede ser explicada a través de la disciplina, el tipo de publicación y la región.

H1: La calificación de la publicación puede ser explicada a través de la disciplina, el tipo de publicación y la región.

En cuanto al análisis específico referido al área de «Business, Management and accounting», se busca contrastar las siguientes hipótesis.

Ho: Los factores que explican la calificación de las publicaciones del área «Business, Management and accounting» son los mismos que los que explican la jerarquización de las publicaciones tomadas en su conjunto.

H1: Los factores que explican la jerarquización de las revistas del área «Business, Management and accounting» no son los mismos que los que explican la jerarquización de las publicaciones tomadas en su conjunto.

Para poder dar respuesta a los objetivos planteados se procedió a realizar tres análisis estadísticos diferentes sobre una población de 31.971 publicaciones que conforman la base de las revistas que se publican en el ranking sjr con fecha de corte 11/11/2019. Los análisis realizados fueron: i) análisis de frecuencias (permite dar respuesta al objetivo 1), ii) pruebas Chi-cuadrado de Pearson (permite dar respuesta a los objetivos 2 y 3), y iii) la aplicación de un Modelo Logit (permite dar respuesta al objetivo 2).

A continuación, en el apartado 2, se expone el estado del arte, dando cuenta del surgimiento de los primeros rankings calificadores de publicaciones, y junto con ellos la aparición de políticas de evaluación propias de un círculo vicioso del cual es muy difícil salir para algunas publicaciones. En este apartado también se exponen algunos resultados empíricos respecto a las variables tomadas en cuenta para este trabajo. En el apartado 3 se procede a explicar la metodología implementada mientras que en el apartado 4 se exponen los resultados a los que se arribaron. Por último, en el apartado 5 se repasan los puntos principales de la investigación, se retoman los resultados y su repercusión y se invita al lector y a las lectoras a continuar pensando sobre el tema objeto de este artículo.

2. Estado del arte

El trabajo del investigador no se limita a la labor de generar conocimiento nuevo, útil y pertinente, sino que también debe preocuparse por difundirlo. Existen muchas variables que deben ser consideradas a la hora de pensar en la difusión del conocimiento generado. Algunas de estas están vinculadas con los canales o dispositivos que lo soportan, como libros, clases, conferencias, entrevistas, dirección de recursos humanos, revistas especializadas, entre otros. Otras cuestiones están referidas al alcance de la difusión, por ejemplo, nacional y/o internacional, o al prestigio y recompensa que la difusión pueda generarle al investigador. Por estos motivos, y porque la difusión científica es cada día más importante y trascendental, comprender cómo funciona el sistema de circulación del conocimiento es de gran importancia para todos los actores involucrados: investigadores, gestores de instituciones universitarias, entidades gubernamentales, editoriales y gestores de publicaciones.

Los grandes conglomerados comerciales tienen en esta historia un papel central ya que en las últimas décadas se ha dado un proceso de concentración de muchas publicaciones en pocos manos (Luchilo, 2019). El posicionamiento del idioma inglés como lengua universal de la ciencia y de la tecnología jugó un papel central en la fijación de las pautas para la difusión del conocimiento. El grado de internacionalización que lleva aparejado su utilización como lengua predominante en el mundo académico generó el interés de grandes editoriales comerciales en este tipo de publicaciones (originalmente fuera de su órbita). La internacionalización de la ciencia generó que las publicaciones científicas dejaran de tener valor únicamente regional y se abrieran al mercado mundial (Guédon, 2011, 2017).

Estos agentes (las grandes editoriales) comprendieron rápidamente (antes que los propios centros de investigación) que las publicaciones científicas, difusoras del nuevo conocimiento, tenían el potencial de convertirse en certificadoras de la calidad de un artículo determinado y, por asociación lógica, de la calidad de su autor como investigador. Fue suficiente que este hecho estuviese aceptado por la comunidad científica para que impactara fuertemente en la creación de diversos rankings de revistas que visibilicen directamente la calidad de cada una de ellas y por consiguiente la calidad de aquellos artículos que publicaban. Así, las revistas pasaron a poseer una valorización diferencial fuertemente asociada a los rankings elaborados por los grandes conglomerados editoriales.

Previo a estos rankings, la jerarquía de las revistas científicas estuvo basada en evaluaciones que se mantenían, en gran medida, en términos subjetivos, garantizados por la robustez de la comunidad científica de cada disciplina (en términos más simples, por la calidad de sus referatos). Sin embargo, la idea de la medición «objetiva», propia del sistema científico más duro, no tardó en desplazar esta forma de actuar. Es así como, en la década del sesenta, Eugene Garfield transformó la Ley de Distribución de Bradford en su propia Ley de Concentración, lo que le permitió crear un índice de citación científico (Science Citation Index, sci) que, aunque limitado a unos pocos cientos de títulos en un primer momento, podría proponerse como una clara representación de la «ciencia principal» (Guédon, 2011).

En este contexto, las publicaciones científicas se trasformaron en referentes privilegiados de aseguramiento de la calidad de la producción científica y adquirieron una función fundamental en el proceso de evaluación de los investigadores y los centros de investigación. Este fenómeno requiere confianza en los procesos internos de funcionamiento de las revistas, lo que dio lugar a diversas estrategias para establecer criterios editoriales detrás de los cuales se alinearon los intereses de poderosas editoriales y empresas.

Toda esta secuencia de sucesos dio como resultado la generación de indicadores y rankings construidos sobre la base de un modelo científico concreto: el estadounidense. Sin embargo, es oportuno mencionar que, actualmente, existe un creciente movimiento, en la comunidad científica, hacia la generación y difusión del conocimiento sustentado sobre la lógica del «acceso abierto» (Beigel, 2015a).

Las publicaciones de acceso abierto pueden ser consideradas como un servicio a la comunidad. Los organismos de ciencia y tecnología de los países de la región deberían fortalecer e incentivar las acciones regionales tendientes a robustecer el desarrollo de indicadores propios que puedan medir el impacto pedagógico, gubernamental y social (Alperin y Rozemblum, 2017). El acceso abierto constituye una forma fructífera para democratizar esta estructura del poder científico que describió Guédon (2011) y que se envolvió de un halo «internacional», dejando en el camino la evaluación de la calidad de los nuevos conocimientos y el verdadero diálogo que la comunicación científica supone (Beigel, 2015a).

Actualmente, los principales rankings de evaluación de publicaciones, como por ejemplo el Journal Citation Report (jcr) y sjr, utilizan una amplia gama de métricas de citas que clasifican a las revistas en diversos cuartiles (q) permitiendo que los investigadores y demás individuos interesados «comprenda(n) rápidamente el papel de una revista dentro de la comunidad global de investigación» (página institucional de jcr). Para ver el impacto de este fenómeno (al que damos por llamar jerarquización de las publicaciones) sobre todos los miembros del ámbito académico científico se recurre a la investigación llevada adelante por Fernanda Beigel (2015b). En uno de sus varios estudios sobre la temática, Beigel analiza los criterios de evaluación adoptados por evaluadores del Consejo Nacional de Investigaciones Científicas y Técnicas (conicet)3 en referencia a las publicaciones de los postulantes en su ingreso a la Carrera del Investigador Científico y Tecnológico (cic) de dicha institución. Los miembros de la cic son personas que se dedican de manera exclusiva a la investigación (creación y difusión de nuevo conocimiento y formación de nuevos investigadores). Ingresar a la cic no es un proceso sencillo. Para obtener el ingreso a la Carrera de Investigador Científico, los interesados deben postularse a la convocatoria correspondiente (que puede ser periódica o permanente dependiendo del tipo de convocatoria) y a la categoría a la que aspiren pertenecer, ya sea esta de Investigador Asistente, Adjunto, Independiente, Principal o Superior. El ingreso está supeditado de acuerdo exclusivamente con los méritos y antecedentes del postulante y los demás requisitos que establece la institución.

Por medio de un cuestionario suministrado a los miembros de las comisiones asesoras de conicet, Beigel recoge cuáles son los criterios de calidad de las publicaciones que estos evaluadores toman en consideración para evaluar a los candidatos a la cic. Uno de los resultados de esta investigación expone que, entre los criterios seleccionados como determinantes de la calidad de una publicación científica, se ubica en segundo lugar su indexación, solo superada, por muy escaso margen, por la excelencia en el referato. Hacia el inferior del listado, se ubica la originalidad del artículo, la actualidad de la bibliografía citada y la pertinencia del artículo en relación con el proyecto de investigación (Beigel, 2015b). De esta manera, la evaluación de un candidato para acceder o ser promovido en una carrera científica queda vinculada a la excelencia del referato y a la indexación de la publicación. Estos resultados refuerzan los datos obtenidos por Senglen (1997), quien indica que la mayor parte de las instancias dedicadas a la evaluación de la investigación, al menos en España, está cada vez más inclinada a trabajar según el modelo consistente en la medición del impacto de las revistas en función de las citas que reciben.

Beigel profundiza su estudio analizando la jerarquía de los sistemas de indexación, indicando que el 67 % de los evaluadores encuestados le otorgan mayor puntaje a las publicaciones indexadas en Web of Science y scopus (17 % de los evaluadores encuestados indicaron que únicamente consideran publicaciones que estén en estos índices), mientras que un 27 % les otorga la misma puntuación a las publicaciones que estén en esos índices como a las que están en índices locales o regionales, tales como Scielo, RedALyC y Núcleo Básico (Beigel, 2015b).

Esta sobrevaloración de los índices internacionales vincula la calidad de las publicaciones con el Factor de Impacto (fi)4 de la revista donde es publicada la investigación. Por lo tanto, el fi de una revista se utiliza como indicador directo de su calidad, prestigio y visibilidad internacional. Este impacto se materializa por medio de las citas recibidas por la revista. Las revistas con fi más alto, dentro de cada disciplina, suelen ser las de mayor prestigio y visibilidad internacional, es decir, las más leídas por los investigadores y más demandadas a la hora de publicar sus trabajos (Bordons, Felipe y Gómez, 2002; Madhan, Gunasekaran y Arunachalam, 2018). Sin embargo, esta idea de vincular de manera lineal el alcance de la revista con su nivel de calidad genera un círculo vicioso en el que se ponen en juego otros elementos que no necesariamente alimentan la calidad de un artículo, sino todo lo contrario.

Puesto que los fi de las revistas están asociados a la cantidad de citas que en promedio reciben los artículos en ella publicados, resulta interesante analizar investigaciones empíricas que dan cuenta de cómo algunos factores no asociados con la calidad científica de un artículo (originalidad, relevancia, rigurosidad metodológica, etc.) afectan la cantidad de citas de un artículo científico.

El idioma de publicación impacta significativamente en la cantidad de citas que un artículo recibe (Di Bitetti y Ferreras, 2017; Falaster y Ferreira, 2017; Man et al., 2004). De esta manera, la ciencia contemporánea ha asistido a un notable incremento del uso del inglés con fines académicos, de modo que hoy en día los registros científicos escritos en otras lenguas son cada vez más escasos. Como consecuencia, este hecho ha puesto de manifiesto algunas dificultades y desigualdades a las que se enfrentan los investigadores no anglófonos a la hora de desarrollar su actividad académica en un contexto que posiciona el inglés como lengua franca en la comunicación científica (López Navarro, Moreno Fernández y Rey Rocha, 2017).

El país de procedencia de los investigadores también influye en el factor de impacto de una revista científica. El estudio de Meneghini, Packer, y Nassi-Calò (2008) demuestra que los trabajos realizados por investigadores latinoamericanos, en colaboración con investigadores de países desarrollados, poseen mayor cantidad de citas que aquellos en los que no hay colaboración con países desarrollados (aunque ambos estén escritos en inglés y estén en los mismos journals); por lo tanto, la afiliación de autores de países de América Latina afecta el fi de una revista, generándose un impacto directo en los editores de las revistas científicas para no aceptar artículos de origen latinoamericano debido al posible efecto que pudiera tener en su fi.

En otra línea, también se evidencia un fenómeno conocido como el «efecto Mateo». Es decir, la tendencia de los propios investigadores a citar a los investigadores y revistas más prestigiosos que, de esta manera, acumulan más cantidad de citas y, por consiguiente, alimentan un círculo vicioso (Buela Casal, 2003; Carrillo Esper et al., 2015).

El número de citas recibidas también está relacionado con la propia tipología del trabajo, y existe una tendencia a citar con mayor frecuencia las revisiones bibliográficas o los trabajos metodológicos (Borrego y Urbano, 2006), lo que puede afectar el tipo de trabajo que resulta más conveniente desarrollar para un investigador.

Si se considera el impacto de este tipo de variables sobre las revistas científicas del área de las ciencias económicas, es importante mencionar el aporte realizado por Falaster y Ferreira (2017), quienes basaron su estudio en las cuatro principales revistas en administración de negocios y consideraron sus respectivos factores de impacto de jcr 2014. Según una muestra de 1.322 artículos, se pudo constatar que la publicación de alto nivel está fuertemente influenciada por el gasto nacional en i + d y el dominio del idioma inglés. La competencia en el manejo de metodologías cuantitativas demostró no tener efecto en la capacidad de publicación en revistas de alta gerencia, lo cual es sorprendente dado el énfasis actual en los estudios cuantitativos.

Contreras, Edwards y Mizala (2006) realizaron, en Chile, un estudio aplicado a las áreas de economía y administración. Estos autores consideraron como indicadores de productividad el número de artículos por disciplina, las citas y el impacto de estos artículos, su impacto relativo a la disciplina a nivel mundial y la productividad por peso invertido. Los autores concluyen que, en comparación con las ciencias básicas, en economía y administración se publica un menor número de artículos, siendo el comportamiento similar a lo que ocurre en otros países. No obstante, es interesante destacar que se observa un aumento significativo del número de artículos en la última década con un impacto mayor al promedio mundial. Esto quiere decir que, si bien en economía y administración se publica menos que en otras disciplinas, los artículos publicados tienen un impacto significativamente mayor comparado con el promedio mundial de las disciplinas. A su vez, el análisis de los recursos públicos destinados a la investigación en economía y administración revela uno de los costos más bajos por artículo, mostrando una elevada productividad por peso invertido.

En Colombia, los datos presentados por la investigación de Macías (2016) demuestran tres patrones de comportamiento de las publicaciones colombianas del área de negocios, administración y contabilidad en scopus. En primer lugar, la mayoría de los artículos se están publicando en revistas de gran importancia local, pero de muy bajo impacto internacional. En segundo lugar, los artículos que presentan un alto impacto internacional están publicados en revistas extrarregionales. Por último, si los artículos han logrado un impacto considerable, fue porque, en la mayoría de los casos, contaron con una coautoría de referentes académicos de países desarrollados y además el trabajo de campo fue realizado fuera de Colombia.

3. Metodología

La población objeto de la presente investigación fueron las 31.971 publicaciones que conforman la base de las revistas que se publican en el ranking sjr con fecha de corte 11/11/2019. Esta se constituyó con fuentes secundarias puesto que se recabó la información de cada publicación según lo que figuraba en la página web de Scimago Journal Rank (https://www.scimagojr.com/journalrank).

Para poder dar respuesta al objetivo de la investigación, se procedió a realizar tres análisis diferentes: análisis de frecuencias, pruebas Chi-cuadrado de Pearson y la aplicación de un Modelo Logit.

- De las pruebas Chi-cuadrado de Pearson

Para estudiar la posible relación entre la calificación asignada por el índice a cada publicación con su disciplina, con el tipo de publicación y la región a la que pertenece, se aplicaron pruebas Chi-cuadrado de Pearson, puesto que, en todos los casos, las variables son categóricas, de manera que se plantearon las siguientes hipótesis nulas:

H01: Las variables «clasificación de la publicación» y «región» son independientes.

H02: Las variables «clasificación de la publicación» y «tipo de publicación» son independientes.

H03: Las variables «clasificación de la publicación» y «disciplina» son independientes.

A su vez, y para analizar específicamente las publicaciones correspondientes al área de «Business, Management and accounting», se aplicó igual procedimiento, pero sobre una población de 1.659 publicaciones contenidas en el área de referencia.

- Del Modelo Logit

Luego, para dar mayor robustez a los resultados, se planteó el siguiente Modelo Logit binario, con el que se obtendrá una función que permita clasificar a las publicaciones en uno de los dos grupos establecidos por la variable dependiente dicotómica o binaria: 1 las publicaciones con mejor clasificación (Q1 y Q2) y 0 las publicaciones con peor clasificación (Q3 y Q4). Dado los objetivos planteados en la investigación, las variables independientes (predictoras) serán: «disciplina», «tipo de publicación» y «región».

Para este modelo las hipótesis serán las siguientes:

Ho: La clasificación de la publicación no puede ser explicada por la disciplina, el tipo de publicación y la región.

H1: La clasificación de la publicación puede ser explicada por la disciplina, el tipo de publicación y la región.

La variable dependiente y las independientes son detalladas en la Tabla 1.

Tabla 1. Detalle de las variables del Modelo Logit
Elaboración propia.

4. Resultados obtenidos

- Análisis de frecuencias

En la Tabla 2, se puede observar respecto de la disciplina de las publicaciones analizadas que el 42,97 % pertenecen a las Ciencias Agrarias, Ingeniería y de Materiales; el 26,82 %, a las Ciencias Sociales y Humanitarias; el 21,71 %, a las Ciencias Biológicas y de la Salud; y un 8,5 %, a las Ciencias Exactas y Naturales.

Tabla 2. Disciplina a la que pertenecen las publicaciones
Elaboración propia.

Si se profundiza el análisis, se puede observar que, con respecto al tipo de publicación, se destaca la presencia de los journals con un 77,26 %, con un 19,15 % aparecen las conferencias y con menos de un 2,5 % los libros y los trade journals (Tabla 3).

Tabla 3. Tipo de publicación
Elaboración propia.

En cuanto a la región de la que provienen las publicaciones, se destacan ampliamente por encima de las otras las de América del Norte, con un 37,89 %, y Europa Occidental, con un 41,38 % (Tabla 4).

Tabla 4. Región a la que pertenecen las publicaciones
Elaboración propia.

- De las pruebas Chi-cuadrado de Pearson

En primer lugar, se analiza la hipótesis: «Las variables “calificación de la publicación” y “región” son independientes», para lo cual se aplicó la Prueba Chi-cuadrado de Pearson, cuyos resultados se exponen en la Tabla 5. Puesto que el p-valor es menor a 0,001, se rechaza la H0, lo que implica que las mencionadas variables no son independientes entre sí. A su vez, se observa que la participación en los cuartiles Q1 y Q2 es mayor para Europa Occidental, mientras que los valores más bajos se presentan para Europa del Este y Latinoamérica.

Tabla 5. Prueba Chi-cuadrado de Pearson. Variables «Clasificación sjr» y «Región de la publicación»
Elaboración propia.

Luego, para analizar la hipótesis «Las variables “jerarquización de la publicación” y “tipo de publicación” son independientes», se aplicó nuevamente la Prueba Chi-cuadrado de Pearson, cuyos resultados se exponen en la Tabla 6. Puesto que el p-valor es menor a 0,001, se rechaza la H0, lo que implica que las mencionadas variables no son independientes entre sí. Se destaca la participación de los journals en los cuartiles más altos, con un 54,30 % de participación, mientras que en los cuartiles más bajo el valor para esta categoría es de 45,70 %.

Tabla 6. Prueba Chi-cuadrado de Pearson. Variables «Clasificación sjr» y «Tipo de publicación»
Elaboración propia.

Por último, para analizar la hipótesis «Las variables “jerarquización de la publicación“ y “disciplina” son independientes», se realizó nuevamente la aplicación de la Prueba Chi-Cuadrado de Pearson, y puesto que el p-valor es menor a 0,001 se rechaza la H0 lo que implica que las mencionadas variables no son independientes entre sí, por lo que nuevamente se demuestra relación existente entre las variables; no obstante, en este caso la diferencia en la participación en cada una de las categorías no es tan grande a diferencia de las otras variables analizadas anteriormente («región» y «tipo de publicación»).

Tabla 7. Prueba Chi-cuadrado de Pearson. Variables «Clasificación sjr» y «Tipo de publicación»
Elaboración propia.

Si desarrollamos el análisis para el conjunto de revistas enmarcadas únicamente en el área de «administración y negocios», podemos concluir que la jerarquización de estas no es independiente de las variables «tipo de publicación» y «región» (Tabla 8 y Tabla 9). Replicando de esta forma los mismos resultados hallados para el conjunto total de las publicaciones. A su vez, se observa cómo la totalidad de las conferencias y trade journals corresponden a las calificaciones más bajas.

Tabla 8. Prueba Chi-cuadrado de Pearson. Variables Clasificación sjr y Tipo de publicación. Revistas área «administración y negocios»
Elaboración propia.

Tabla 9. Prueba Chi-cuadrado de Pearson. Variables «Clasificación sjr» y «Región de la publicación». Revistas área «administración y negocio»
Elaboración propia.

- Resultados Modelo Logit. Variable dependiente «clasificación» y variables predictoras: «disciplina», «tipo de publicación» y «región»

Para brindar mayor robustez a los resultados expuestos en el apartado anterior, considerando nuevamente a todas las disciplinas, se procedió, según la metodología establecida, a aplicar el Modelo Logit, cuyas hipótesis de partida era:

Ho: La calificación de la publicación no puede ser explicada por la disciplina, el tipo de publicación y la región.

H1: La calificación de la publicación puede ser explicada por la disciplina, el tipo de publicación y la región.

En primer lugar, respecto de los resultados obtenidos, se puede observar que, dado que para cada categoría de una variable se generaron variables binarias, en cada caso se omitió una de las categorías por presentarse multicolinealidad entre las variables. Esto se detalla en la Tabla 10.

A su vez, como se observa también en la Tabla 10, cabe destacar que, en todos los casos, salvo para la disciplina de ciencias de la salud, los coeficientes arrojaron un p-valor menor a 0,01, por lo que se puede sugerir que son interpretables los resultados y se rechaza la hipótesis nula; por lo tanto, se acepta la hipótesis alternativa: «La calificación de la publicación puede ser explicada por la disciplina, el tipo de publicación y la región».

De los resultados del Modelo Logit respecto al signo de los coeficientes se puede concluir que:

–Las publicaciones que provienen de las Ciencias Agrarias, Ingeniería y de Materiales tienen mayor probabilidad de pertenecer al grupo de las mejores clasificadas (Q1 y Q2), seguidas por las publicaciones provenientes de las ciencias exactas y básicas.

–En cuanto al tipo de publicación, los journals tienen mayor probabilidad de pertenecer al grupo de las mejores clasificaciones (Q1 y Q2). Para el caso de las conferencias, estas fueron omitidas puesto que ninguna figuraba en el grupo Q1-Q2.

–Por último, si la publicación proviene de Europa o de América del Norte tiene mayor probabilidad de pertenecer al grupo de las publicaciones con mejor clasificación (Q1 y Q2), mientras que, si la publicación proviene de Latinoamérica, Europa del Este y Región Asiática, tiene efectos negativos.

Estos resultados son consistentes con los obtenidos a través de la aplicación de las pruebas Chi-Cuadrado de Pearson, confirmando el Modelo Logit los resultados alcanzados.

Tabla 10. Modelo Logit. Variable dependiente: «Clasificación sjr» (Q1 y Q2=1; Q3 y Q4=0)

A continuación, se resumen los principales resultados:

–El tipo de publicación que se destaca es el journal con un 70,67 %.

–Solo el 2,07 % de las publicaciones incluidas en sjr pertenecen a Latinoamérica, siendo que la gran mayoría están concentradas en los países del «centro»: América del Norte con un 42,33 % y Europa Occidental con un 37,96 %.

–Del análisis chi-2 cuadrado de Pearson en el que se analiza la independencia entre calificación de la publicación y tipo de publicación, se concluye que existe relación entre las variables y, a su vez, se destaca la participación de los journals en los cuartiles más altos, con un 52,43 % de participación para Europa.

–Cuando se analizó la hipótesis «Las variables “calificación de la publicación” y “región” son independientes», se demostró la existencia de la relación dependiente entre las variables, así como se observó que la participación en los cuartiles Q1 y Q2 es mayor para el caso de Europa Occidental, mientras que los valores más bajos se presentan para Europa del Este y Latinoamérica.

–Si desarrollamos el análisis para el conjunto de revistas enmarcadas en el área de «Business, Management y accounting», se puede concluir que la jerarquización de estas no es independiente de las variables «tipo de publicación» y «región», destacándose un mayor número de publicaciones pertenecientes al cuartil 3 y 4.

Por último, los resultados del Modelo Logit, mediante los cuales se pudo dar mayor robustez a algunas de las observaciones del análisis descriptivo, arrojaron que:

–Las publicaciones que provienen de las Ciencias Agrarias, Ingeniería y de Materiales tienen mayor probabilidad de pertenecer al grupo de las mejores calificadas (Q1 y Q2), seguidas por las publicaciones provenientes de las Ciencias Exactas y Naturales y por debajo las revistas pertenecienten a las Ciencias Humanas.

–En cuanto al tipo de publicación, los journals tienen mayor probabilidad de pertenecer al grupo de las mejores clasificaciones (Q1 y Q2).

–Por último, si la publicación proviene de Europa o de América del Norte tiene mayor probabilidad de pertenecer al grupo de las publicaciones con mejor calificación (Q1 y Q2), mientras que si la publicación proviene de Latinoamérica, Europa del Este, Región Asiática, Medio Oriente, África y Región Pacífico, esto tiene efectos negativos.

Reflexiones finales

Sin bien los resultados no son concluyentes, ya que solo analizan una parte muy pequeña de la cantidad de factores que afectan la obtención de una determinada calificación por parte de las publicaciones, se puede indicar que estos resultados convalidan la idea de que existen variables no relacionadas específicamente con el contenido editorial o científico de las publicaciones que influyen en la calificación de una publicación.

Esto representa un problema importante no solo para los investigadores, que deben realizar investigaciones en temas o lugares no relacionados con contextos afines a los de su propio lugar de procedencia con el objetivo de poder publicar en revistas consideradas de mayor relevancia o prestigio, sino también para las propias publicaciones provenientes de países fuera del considerado circuito central. Estas publicaciones suelen recibir artículos que no cumplen con las expectativas de citación correspondientes, por lo que les es muy difícil entrar en los rankings de más prestigio, lo que da como resultado un círculo vicioso difícil de revertir.

En esta línea de estudio se espera poder avanzar en analizar si los indicadores que ofrecen las bases de datos altamente reconocidas reflejan de forma eficiente la visibilidad real que tiene una revista científica latinoamericana en el área de las Ciencias Sociales y Humanidades.

Se busca generar evidencia empírica que valide la necesidad de avanzar en el diseño de instrumentos que revaloricen y visibilicen la producción intelectual, sobre todo en campos con características tan especiales como las ciencias sociales y humanidades en países periféricos como la Argentina. Al mismo tiempo, y desde una mirada regional, debe tenderse a la convergencia y estandarización en los criterios de evaluación y ponderación de las publicaciones científicas (Liberatore, Vuotto, y Fernández, 2013).

El área de la difusión del conocimiento se presenta para las instituciones de educación superior como un espacio que obliga a dar un debate sobre el camino que se tomará y cuáles son las pautas políticas que se van a seguir. Para salir de las sombras del conocimiento es indispensable que este debate sea abordado de manera integral por todos los agentes involucrados (universidades, organismos de ciencia y tecnología, evaluadores, editores e investigadores) y que volvamos la mirada hacia nuestro sistema antes que perseguir estándares que no nos satisfacen ni nos fortalecen.

Referencias bibliográficas

Alperin, J. P. y Rozemblum, C. (2017). La reinterpretación de visibilidad y calidad en las nuevas políticas de evaluación de revistas científicas. Revista Interamericana de Bibliotecología, 40(3), 231-241. DOI: https://doi.org/10.17533/udea.rib.v40n3a04

Beigel, F. (2013). David y Goliath. El sistema académico mundial y las perspectivas del conocimiento producido en la periferia. Pensamiento Universitario, 15, 15-34. Disponible en: https://ri.conicet.gov.ar/bitstream/handle/11336/1313/PENSAMIENTO_UNIVERSITARIO__VERSION_EDITADA_Y_REVISADA_FINAL.pdf?sequence=1&isAllowed=y

Beigel, F. y Salatino, M. (2015). Circuitos segmentados de consagración académica: las revistas de Ciencias Sociales y Humanas en la Argentina. Información, cultura y sociedad, (32).

Beigel, F. (2015 b.). Culturas [evaluativas] alteradas. Política Universitaria, 12-21. Disponible en: https://ri.conicet.gov.ar/handle/11336/43518?show=full

Beigel, F.; Gallardo, O. y Bekerman, F. (2018). Institutional Expansion and Scientific Development in the Periphery: The Structural Heterogeneity of Argentina’s Academic Field. Minerva, 56(3), 305-331. DOI: https://doi.org/10.1007/s11024-017-9340-2

Bordons, M.; Felipe, A. y Gómez, I. (2002). Revistas científicas españolas con factor de impacto en el año 2000. Revista Española de Documentación Científica, 25(1), 49-73. Disponible en: http://redc.revistas.csic.es/index.php/redc/article/viewArticle/86

Borrego, M. y Urbano, C. (2006). La evaluación de revistas científicas en Ciencias Sociales y Humanidades. Información, Cultura y Sociedad, 14(14), 11-27. DOI: https://doi.org/10.1300/J371v15n01_03

Buela Casal, Gualberto (2003). Evaluación de la calidad de los artículos y de las revistas científicas: Propuesta del factor de impacto ponderado y de un índice de calidad. Psicothema, 15(1), 23-35. [fecha de consulta: 14 de enero de 2021]. ISSN: 0214-9915. Disponible en: www.redalyc.org/articulo.oa?id=727/72715105

Carrillo Esper, Raúl; Pérez Calatayud, Ángel Augusto; Carrillo Córdova, Luis Daniel; Carrillo Córdova, Dulce María y Carrillo Córdova, Carlos Alberto (2015). San Mateo, La Malinche y las publicaciones científicas mexicanas. Revista de la Asociación Mexicana de Medicina Crítica y Terapia Intensiva, 29(3), 128-132. Recuperado el 14 de enero de 2021. Disponible en: www.scielo.org.mx/scielo.php?script=sci_arttext&pid=S0187-84332015000300001&lng=es&tlng=es

Contreras, C.; Edwards, G. y Mizala, A. (2006). La productividad científica de economía y administración en Chile. Un análisis comparativo. Cuadernos de Economía, 43, 331-354. DOI: https://doi.org/10.4067/S0717-68212006000200005

Di Bitetti, M. S. y Ferreras, J. A. (2017). Publish (in English) or perish: The effect on citation rate of using languages other than English in scientific publications. Ambio, 46(1), 121-127. DOI: https://doi.org/10.1007/s13280-016-0820-7

Falaster, C., y Ferreira, M. P. (2017). What drives publishing in top management journals: an analysis of language, quantitative competency and financial support. International Journal of Bibliometrics in Business and Management, 1(1), 52-69. DOI: https://doi.org/10.1504/IJBBM.2017.10003441

García Guillén, D. (2005). De los colegios invisibles al campus virtual. II Jornada Campus Virtual ucm: Cómo Integrar Investigación y Docencia En El cv-ucm, 12-18.

Guédon, J.-C. (2011). El acceso abierto y la división entre ciencia principal y periférica. CyE, 3(6), 135-180. Disponible en: http://bibliotecavirtual.clacso.org.ar/ar/libros/secret/CyE/6/CyE-6_Guedon-CLACSO.pdf

Guédon, J. C. (2017). Open access: Toward the internet of the mind. Budapest open access initiative, 23. Disponible en: https://apo.org.au/sites/default/files/resource-files/2017/02/apo-nid74479-1114231.pdf.

Liberatore, G.; Vuotto, A. y Fernández, G. (2013). Una cartografía de las revistas científicas en ciencias sociales y humanidades en Argentina: diagnóstico, evaluación y marcos de referencia. Perspectivas em Gestão & Conhecimento, 3(2), 259-270.

López Navarro, I.; Moreno Fernández, A. I. y Rey Rocha, J. (2017). Dificultades de los investigadores españoles para publicar en revistas internacionales: métricas, editores y multilingüismo. Teknokultura, 14(1). DOI: https://doi.org/10.5209/TEKN.54142

Luchilo, J. L. (2019). Revistas científicas: oligopolio y acceso abierto. Revista CTS, nº 40, vol. 14, 41-79. ISSN1850-0013. Disponible en: www.revistacts.net/volumen-14-numero-40/352-articulos/873-revistas-cientificas-oligopolio-y-acceso-abierto

Macias, H. (2017). El sentido de publicar en revistas Scopus: el caso de los autores colombianos de las áreas negocios, administración y contabilidad. Sci. Hum. Action, vol. 2, n.º 1. pp. 10-18. ISSN: 2500-669X. Medellín, Colombia.

Madhan, M.; Gunasekaran, S. y Arunachalam, S. (2018). Evaluation of research in India – are we doing it right? Indian Journal of Medical Ethics. DOI: https://doi.org/10.20529/IJME.2018.024

Man, J.P.; Weinkauf, J.G.; Tsang, M. y Don D. Sin, J. (2004). Why do Some Countries Publish More Than Others? An International Comparison of Research Funding, English Proficiency and Publication Output in Highly Ranked General Medical Journals. European Journal of Epidemiology, 19, 811-817. DOI: https://doi.org/10.1023/B:EJEP.0000036571.00320.b8

Meneghini, R.; Packer, A. L. y Nassi-Calò, L. (2008). Articles by Latin American authors in prestigious journals have fewer citations. PLoS ONE, 3(11), e3804. DOI: https://doi.org/10.1371/journal.pone.0003804

Santelices, B. (2010). Educación Superior en Iberoamérica. Informe 2010. Santiago, Chile: ril editores.

Senglen, Per O. (1997). Why the impact factor of journals should not be used for evaluating research. BMJ, 314(7079), 498-502.

Sarthou, N. (2019). Tendencias en la evaluación de la ciencia en Argentina: género, federalización y temas estratégicos. Ciencia, Docencia y Tecnología, 30. DOI: https://doi.org/10.33255/3059/695.

Vasen, F. y Vilchis, I. L. (2017). Sistemas nacionales de clasificación de revistas científicas en América Latina: tendencias recientes e implicaciones para la evaluación académica en ciencias sociales. Revista Mexicana de Ciencias Políticas y Sociales, 62(231), 199-228. DOI: https://doi.org/10.1016/S0185-1918(17)30043-0

Notas