Papeles del Psicólogo, 2001. Vol. (79).

Gualberto Buela-Casal

Facultad de Psicología. Universidad de Granada

En este artículo se analiza la importancia de los criterios que se utilizan para cuantificar la producción cientifica, tanto a nivel de cantidad como en relación a la calidad. Se describen y se comentan los criterios más utilizados: "internacional" "el factor impacto" y "el idioma (castellano o inglÉs). Se analiza la problematica que supone usar cada uno de estos criterios y sus consecuencias sobre los resultados que se obtienen en este tipo de estudios.

In this article we discuss the importance of the criteria used to quantify the scientific production, both at the quantitative and qualitative level. We describe and comment on the more frequently used criteria: "international" "impact factor" and the "language used" (spanish or english). We analyze the problematics behind each criteria and its consequences on the outcomes of these type of studies.

La intención al escribir este breve artículo no es otra que llamar la atención de los psicólogos españoles acerca de la importancia que tienen los criterios que usamos para juzgar, evaluar, comparar y emitir juicios de valor sobre la repercusión que ha tenido y tiene la Psicología española en el ámbito internacional. Se comentarán algunos criterios utilizados en diversos trabajos realizados en relación al análisis de las publicaciones de los psicólogos españoles en revistas científicas, haciendo especial énfasis en el criterio de la internacionalidad, la calidad y la lengua (castellana y/o inglesa) en la que se publica. Sin duda, los criterios de los que parten los autores de un trabajo de este tipo determina en buena medida los resultados encontrados y, como es lógico, en función de estos criterios se genera una opinión que el lector puede compartir o no con respecto a la situación de la Psicología española en relación a los demás países.

Por el simple hecho de ser psicólogo, cualquier publicación en la que se analiza la situación de la Psicología española genera curiosidad y "llama a la lectura". Recientemente he leído dos estudios, uno realizado por Alcain Partearroyo y Carpintero (2001), en el que se analiza la "Psicología española a través de las revistas internacionales: 1981-1999" y otro por Sanz (2001) "La década de 1989-1998 en la Psicología Española: Análisis de la investigación en Personalidad, Evaluación y Tratamiento Psicológico", y durante la lectura me he acordado en numerosas ocasiones de Mariano Yela, en concreto de un excelente artículo (por cierto, !escrito en castellano!) publicado en esta misma revista hace ya unos años y en el que de forma brillante analiza el "problema del criterio" (Yela, 1990).

En modo alguno, los comentarios y reflexiones que se hacen a continuación pretenden ser una crítica a los trabajos mencionados anteriormente y a otros a los que me referiré de forma genérica, pues de antemano hay que reconocer el gran mérito que tiene este tipo de publicaciones, no sólo por el trabajo que suponen sino también por la gran aportación en el campo. Por otra parte, no tiene objeto criticar los criterios de los demás pues, en principio, podrían ser tan válidos como los de uno mismo. Por tanto, el objeto de estas reflexiones es tener presente que hay otros criterios y que en función de los criterios se puede llegar conclusiones diferentes y, que a su vez esto influirá en la perspectiva histórica que tengan nuestros "descendientes" de la actual Psicología española. Un ejemplo de esto es el hecho de considerar, en el primero de los estudios mencionados, el criterio de procedencia geográfica e institucional de los autores. Considerar la provincia como criterio puede dar una imagen sesgada de la "producción científica", pues las provincias no son homogéneas en cuanto al número de universidades, al tamaño de éstas, el número de hospitales, centros del CSIC, etc., si todo esto fuese ponderado la clasificación podría ser bastante diferente.

A continuación se comentan algunos de los criterios que pueden influir en el análisis y en los juicios de valor que se hacen de los estudios bibliométricos. Un sabio profesor me decía que los estudios bibliométricos son como "las mezcladoras de cemento", pueden ser muy modernas y sofisticadas, pero el resultado final, es decir, la calidad de la mezcla dependerá de los ingredientes que se metan y de sus proporciones (criterios).

Sin duda alguna, éste puede ser uno de los criterios más discutidos, ¿qué se entiende por una publicación internacional?. En principio, parece lógico que una publicación internacional es aquella que se edita en una revista internacional, pero, ¿qué es una revista internacional?, ¿la que se edita en inglés?, ¿la que edita en varios idiomas?, ¿la que se edita en otro país?, ¿la que en su nombre está incluido el término internacional?, ¿la que está en una base de datos internacional, por ejemplo, en PsycLIT?, ¿la que está incluida en el Journal Citation Reports con factor de impacto?, ¿la que pertenece a una institución o asociación internacional?, ¿La que tiene un comité de revisores internacional?, ¿la que publica artículos de autores de varios países?, etc...

Como podemos ver hay varios criterios, pero ¿cuál es el mejor?. Lo que sí está claro es que internacional implica a dos o más países, según esto:

En resumen, según los argumentos anteriores, no está claro qué es una revista internacional, ningún criterio por sí sólo sería aceptado por la comunidad científica. Quizá varios de ellos conjuntamente: comité internacional, autores de diferentes países, editar en distintas lenguas y estar incluidas en bases de datos internacionales. No obstante, ¿qué importancia tiene que una revista sea o no internacional, si ser internacional no es un sinónimo de calidad, que supuestamente es lo que se pretende evaluar?.

Si resulta difícil establecer el criterio de "internacional" más díficil es establecer las condiciones que deben cumplir los artículos para tener calidad. En la actualidad es muy defendido el criterio de que la calidad se mide por el factor impacto de las revistas, lo cual también se podría cuestionar.

El factor impacto es un criterio propuesto por el Instituto de Información Científica (ISI) de Filadelfia. Este es un centro privado creado en la década de los años cincuenta y recoge en sus bases de datos unas 8000 revistas. Aunque este centro es el referente más utilizado para evaluar la producción científica en la mayoría de los países del mundo, hay que tener presente que no es un centro oficial que analice todas las revistas científicas publicadas en el mundo, sino, sólo las que tiene en sus bases de datos y que recibe de forma gratuita.

Antes de nada hay que dejar claro que es el "factor de impacto". Éste es un índice que se aplica en el Journal Citation Reports (JCR) para clasificar las revistas en función de su "impacto en la comunidad científica internacional". Pero, ¿quién es esa comunidad científica? ¿sólo los que publican en las revistas del JCR que tienen factor impacto?. El factor de impacto no es algo tan "objetivo y exacto" como algunos creen, tampoco es un simple índice que representa las citas que recibe una revista en un período determinado. El factor de impacto se publica anualmente en las revistas incluidas en el JCR y que cumplen otros requisitos que no viene al caso comentar. Este índice que se publica anualmente se obtiene al dividir el número de citas que obtiene una revista en un año, pero de los artículos publicados en los 2 años anteriores, y ese número se divide por el número de artículos publicados en ese mismo período (dos años), en esa revista. De hecho, un error frecuente que se comete en algunos estudios bibliométricos es considerar todos los trabajos publicados en esa revista con factor impacto, sin tener en cuenta el período que esa revista permaneció en el JCR. A lo sumo se podría considerar con factor impacto aquellos trabajos publicados en los dos años anteriores a su entrada en el JCR, pues en realidad, las citas recibidas por esos trabajos sirvieron para conseguir el factor de impacto el primer año que se incluye en el catálogo.

Como es lógico pensar, el factor impacto está sujeto a la influencia de otros factores, que en definitiva son los que hacen que oscilen los factores de impacto de las revistas. De hecho, cuando varía el factor de impacto de las revistas no se debe a que varió la calidad de los artículos, pues los revisores suelen ser los mismos y no suelen variar sus criterios, y los autores no se ponen de acuerdo para enviar trabajos mejores un año que otro. Lo que ocurre es que hay factores "no planificados" como son las "modas" por investigar y publicar en determinados temas, así, las revistas que facilitan la publicación de temas de "moda" aumentan su factor de impacto. De igual forma si los directores de las revistas editan números monográficos sobre temas que están de "moda", facilitan el incremento del factor de impacto en el siguiente año. Existen otras "estrategias" como recomendar de forma implicita o explicita que se citen artículos publicados en la misma revista, (se dan casos de directores que solicitan a los revisores que citen artículos de la propia revista, considerando que ésa es la única forma de incrementar el factor impacto), proponer a autores muy citados a que escriban un artículo invitado, y si es un artículo de revisión sobre un tema, mejor aún, "facilitar la publicación de artículos polémicos", tal como puso de manifiesto Alan Sokal con la farsa de un artículo totalmente inventado (Sokal, 1999). En resumen, ese índice que se presenta de forma tan "exacta", hasta con 3 decimales, no es tan objetivo ni exacto como algunos creen. Las publicaciones en revista de alto factor impacto tampoco garantizan la calidad de todos los artículos publicados (Benach de Rovira y Tapia 1995).

Otro aspecto importante que hay que tener en cuenta es que el hecho de que una revista éste incluida en el JCR también depende de que se haga la solicitud y los trámites correspondientes para que sea incluida y que se cumplan otros criterios formales, que nada tiene que ver con la calidad del contenido de los artículos. De igual forma, no podemos asegurar que una revista que no esté incluida en el JCR no tiene calidad por el hecho de no estar incluida. De hecho, puede haber una revista que se edite durante 25 años, pero un día su director decide hacer los trámites para ser incluida en el JCR. Supongamos que es admitida, ¿ahora ya tiene más calidad?

Por último, el factor de impacto se refiere al impacto que una revista tiene en la comunidad científica, pero esto en modo alguno es un "índice de calidad" de la profesión o de la relevancia social, profesional o de la implementación que suponen las investigaciones publicadas en esa revista, que en mi opinión debe ser la finalidad última de la investigación. Acaso una investigación sobre un programa que fomenta una conducción más segura y reduce considerablemente los accidentes de tráfico en un país, o una investigación sobre un programa de cambio de actitudes racistas que reduce de forma importante el conflicto entre dos comunidades, ¿no tendría calidad por no estar publicada en una revista incluída en el JCR?, ¿tiene más calidad una investigación muy citada y publicada en una revista del JCR, aunque no tenga la más mínima relevancia a nivel aplicado? !Al menos, yo me permito la duda!, ¿para qué deben investigar los psicólogos? ¿para que otros les citen o para aportar conocimientos útiles a la psicología profesional?.

Este criterio se ha convertido en "el caballo de derrotas" y ojalá que en el futuro hablemos del "caballo de batalla" de la Psicología española. En mi opinión es triste y lamentable que psicólogos españoles consideren que publicar en inglés sea sinónimo de calidad y/o de internacionalidad. Unos argumentan que los mejores trabajos se publican en inglés, lo cual puede ser cierto, pero no por el hecho de que se publique en inglés, sino porque en inglés se publica más y por lógica tiene que haber mejores trabajos, pues es evidente e indiscutible que la lengua en la que se publica un artículo no aporta ni disminuye calidad, y ello independientemente de que pueda ser más o menos leído por la comunidad de científicos a nivel mundial. De hecho, si analizamos el proceso de "moda" que se sigue para publicar en inglés por muchos psicólogos españoles: se hace la investigación y una vez finalizada y redactada se pide a un amigo o se paga a un traductor, para traducir y/o perfeccionar el texto en inglés, ¿es que el amigo y/o el traductor dan calidad al artículo, o simplemente lo cambian de idioma?, ¿qué relación tiene esto con la calidad?, ¿es que la investigación no es ya la misma?, ¿aumentó de calidad por el hecho de publicarse en una revista del JCR? ó ¿entró en el juego del JCR?. Pero, en mi opinión, lo más lamentable es que hay psicólogos españoles que dan más valor a una publicación en inglés que a una en castellano, incluso aunque ambas estén publicadas en revistas incluidas en el JCR, e incluso cuando la revista publicada en castellano tenga un factor de impacto superior que la publicada en inglés. Sería por ejemplo el caso de publicar en Psicothema o en Psychological Report, pues a pesar de que en el JCR de 1999 la primera tiene más impacto que la segunda, hay autores españoles que valoran más la segunda.

Otro lamentable ejemplo puede verse en un artículo publicado recientemente en el diario El Mundo (29-5-2001) sobre las "Las universidades. Las mejores carreras", al describir la carrera de psicología de la Universidad Complutense de Madrid, se menciona como una caracteristica positiva que "la Facultad edita la revista Spanish Journal of Psychology, una de las más prestigiosas a nivel internacional". Esto más que sorprendente, es increible. En primer lugar, que en España se considere una característica positiva que una universidad española edite una revista en inglés, que la desafortunada opinión sea hecha por autores españoles y se publique en un diario español, resulta algo más que lamentable.

En segundo lugar, que por el hecho de que esta revista sea editada en inglés se considere una de las más prestigiosas a nivel internacional no es más que una muestra de una "ignorancia internacional", pues la mencionada revista ni siquiera aparece en el Journal Citation Report, sólo por poner un ejemplo. !Si Cervantes viviera hoy y fuera psicólogo seguro que no pensaría asi!.

Las razones, que se escuchan una y otra vez por autores españoles, acerca del uso del idioma inglés en las publicaciones en psicología, no son más que profecias autocumplidas, pero que no se contrastan para "ver que ocurriría" si no pensaran así. Un buen ejemplo se dió recientemente en España durante la celebración del Congreso Europeo de Terapia Conductual y Cognitiva, celebrado en Granada en el año 2000. En este congreso el comité organizador decidió que el castellano era lengua oficial, al mismo nivel que el inglés. Al congreso asistieron 1700 personas de 50 países, pero más del 50% de los trabajos presentados eran en castellano, es decir, si el castellano no se impusiera como lengua oficial, la mayoría hubiese sido obligada a presentar sus investigaciones en una lengua que no es la suya. Además, había conferencias principales y plenarias en castellano y no tenían menor nivel que las que se impartían en inglés.

Otro buen ejemplo es que en la actualidad los estudiantes de psicología y los psicólogos de habla castellana disponen de todo tipo de libros de psicología escritos por autores de habla castellana. En la actualidad, el producto más consumido en el mercado editorial en España y en Latinoamerica es de autores hispanos, los libros traducidos son una minoría y la calidad no es inferior a la media de los libros editados en inglés.

En conclusión, publicar en inglés no incrementa la calidad ni la internacionalidad (puede aumentar la difusión, que no es lo mismo). De hecho, el idioma "más internacional oficialmente" es aquél que más países comparten como lengua oficial, y en la actualidad, guste o disguste, éste es el castellano. Lo que ocurra en el futuro dependerá de los psicólogos de habla hispana.

Alcain Partearroyo, M.D. y Carpintero, H. (2001). La Psicología en España a través de las revistas internacionales: 1981-1999). Papeles del Psicólogo, 78, 11-20.

Benach de Rovira, J. y Tapia J. (1995). Mitos o realidades:a propósito de la publicación de trabajos científicos. Mundo científico, 154, 124-130.

Sanz, J. (2001). La década de 1989-1998 en la Psicología española: Análisis de la investigación en Personalidad, Evaluación y Tratamiento Psicológico (Psicología Clínica y de la Salud). Bulletin de Psychologie (en prensa).

Sokal, A. (1999). Imposturas intelectuales. Madrid: Paidos.

Yela, M. (1990). Evaluar qué y para qué. El problema del criterio. Papeles del Psicólogo, 46/47, 50-54.