A challenge that research managers have to face is how to "reallocate" agency budgets in order to bring them in line with the results of performance reviews. Research policies must develop a strategic plan describing their goals, devise yardsticks to measure their progress, and tie that performance to allocate research funds with some degree of priority. Though Brazil already has a substantial presence in world’s science, scientific enterprise must be used to strengthen it. The first step should be to raise standards in Brazilian science by concentrating the resources on supporting excellence. A strategy to judge biomedical research productivity should include tactics to disclose whether the resulting publications have appeared in the field’s most respected, peer-reviewed journals. A pilot project to road-test the above-discussed ideas on performance measurements was conducted at the Laboratories of Medical Research (Clinical Hospital, University of São Paulo School of Medicine). These Laboratories perform a vast proportion of biomedical research at the country’s largest University. This article illustrates that confidence in fairness and consistency with which funds are now being allocated has helped to improve productivity, thus showing that this strategy is fruitful. (Rev Méd Chile 2000; 128: 431-6).
(Key-words: Bibliometrics; Information systems; Research support; Science policy)

Recibido el 15 de diciembre, 1999, Aceptado en versión corregida el 17 de enero, 2000.
¹Director del Instituto de los Laboratorios de Investigación Médica, Facultad de Medicina de la Universidad de San Pablo, Brasil.

Así pues, por sus frutos los conocereis.
(Mateo 7, 20)

BIBLIOMETRÍA Y CIENTOMETRÍA

La bibliometría analiza documentos cuyo espacio de circulación es amplio y que, en consecuencia, resultan fácilmente accesibles. Las ventajas derivadas del uso de las técnicas bibliométricas no deben conducirnos a minimizar sus limitaciones¹. La producción científica en forma de textos, notas técnicas o informes que no serán divulgados, se halla fuera del análisis. Tampoco pueden ser evaluados por métodos bibliométricos otros productos de la actividad científica, muy importantes por cierto, pero que no son transformados en documentos escritos, tales como los conocimientos incorporados (tácitos), las formas de organización, y los procedimientos o reglas a través de los cuales se materializa la capacidad de actuar ("know how").

Conociéndose las condiciones de uso de la bibliometría, cuando está bien empleada, debe entenderse que este tipo de análisis no restituye la dinámica de las ciencias sino que, a partir de fragmentos, suministra una imagen que (con lagunas) preserva las grandes líneas.

La cienciometría es una área de investigación reciente (con pocas décadas de edad) que adquirió una identidad propia en los años sesenta cuando el historiador norteamericano Derek J de Solla Price pretendió crear una "ciencia de la ciencia" objetiva y cuantitativa, tratando de establecer leyes de carácter universal a partir de un conjunto de recuentos bibliométricos anteriores².

La cienciometría se dedica a tratar las diversas informaciones contenidas en las publicaciones científicas dando origen así a una base de datos que permita obtener indicadores de productividad³.

La publicación constituye una unidad de análisis ampliamente utilizada en bibliometría, debido a que resulta esencial en la comunicación de los resultados de la investigación científica.

Hace más de 35 años que el Institute for Scientific Information (ISI) de Filadelfia (USA) estudia la producción científica mundial basándose en los artículos que aparecen publicados en más de 3.300 revistas especializadas que representan la literatura científica de elite actual.

Aún hoy, el principal medio que se utiliza para evaluar a un investigador es el número de artículos que publicó. Obviamente esta simple cifra es un indicador insuficiente. El número de publicaciones de un investigador no tiene sentido si no se lo analiza en relación a las prácticas de publicación en su dominio⁴.

Un segundo indicador utilizado para evaluar la actividad de un investigador es el recuento del número de citas recibidas por sus publicaciones⁵. El análisis de citas recibió un estímulo considerable con la aparición, en 1961, de la publicación anual Science Citation Index (del ISI) que recoge la totalidad de las referencias bibliográficas que figuran en cada uno de los artículos publicados en más de 3.300 revistas científicas, que fueron seleccionadas porque cubren prácticamente toda la literatura científica mundial.

La creación del Journal Citation Reports (también por el ISI) ha permitido disponer de nuevos elementos para juzgar la importancia de las publicaciones mediante las citas. Para cada año, se cuenta el número de citas de que son objeto los artículos aparecidos en cada una de las revistas consideradas⁶.

Evidentemente cuanto mayor sea el número de artículos de una revista, mayor será la probabilidad de que esta revista sea citada. Paralelamente, a mayor reconocimiento de la revista, mayores son los niveles de citas. Para analizar estos factores existen diversos indicadores. El más conocido es el índice (factor) de impacto^7,8.

El factor de impacto de una revista corresponde a la relación entre las citas recibidas en un determinado año por los artículos publicados en esa revista durante los dos años anteriores (numerador), y el total de artículos publicados en ella durante esos dos años anteriores (denominador).

VISIBILIDAD DE LA INVESTIGACIÓN CIENTÍFICA
EN NUESTRO MEDIO

Según un estudio realizado por el ISI, en los periódicos considerados por ese Instituto y que representan la literatura científica de elite actual ("mainstream", o "corriente principal"), en 1993 se publicaron 13.000 artículos de cuyos autores por lo menos uno era latino-americano (lo que correspondió al 1,8% del total).

La revista Science, de la Sociedad Americana para el Progreso de la Ciencia, analiza anualmente este tipo de datos y también el impacto de esos artículos, o sea el porcentaje de citas que reciben. En 1993, las citaciones que recibieron los artículos con autores latinoamericanos estuvieron 40% a 60% por debajo del promedio mundial; los astrofísicos chilenos superaron el promedio mundial, debido a las publicaciones originadas en el Observatorio del Cerro Tololo⁹.

Brasil, Argentina, México y Chile suman el 85% de aquellos 13.000 artículos, pero la producción brasileña es aproximadamente igual a la suma de los otros tres países. La revista Science también analiza la variación de los recursos financieros aplicados a la investigación científica.

En el Brasil, con la honrosa excepción de algunos institutos aislados, casi toda la actividad científica se limita a las universidades públicas. Las universidades del Estado de San Pablo generan el 65% de la producción científica brasileña. Es importante destacar que en las universidades, inclusive en las del Estado de San Pablo, aproximadamente un quinto de los profesores produce el 80% de las publicaciones científicas¹⁰.

Uno de los periódicos de mayor difusión en el Brasil, la Folha de São Paulo, publicó el domingo 21 de mayo de 1995 (bajo el título "¿Quién constituye la elite científica brasileña?") una nómina con los 170 investigadores cuyos trabajos provocaron mayor impacto en el exterior. El artículo periodístico fue redactado utilizando la base de datos sobre publicaciones y citas del ISI que la revista Science había aprovechado para el estudio que apareció el 10 de febrero de 1995. En la lista del diario Folha de São Paulo aparecieron solamente los científicos que habían sido citados más de 200 veces entre 1981 y 1993.

En el Brasil, las evaluaciones sistemáticas de la producción científica empezaron a ser realizadas en la década pasada y todavía desatan controversias. Pero hay algunas cosas con las que todos están de acuerdo: quien publica en revistas de amplia difusión internacional y resulta citado frecuentemente es alguien que está trabajando en una línea de investigación de alto impacto científico¹¹.

LA CALIDAD DEBE SER ESTIMADA POR MEDIO
DE EVALUACIONES SISTEMÁTICAS

La inversión en ciencia debe basarse en criterios de mérito científico y en la eficiencia de la distribución de los recursos.

El trabajo creativo en investigación científica y tecnológica culmina en una publicación o en una patente (en la industria puede generar también un proceso secreto). En la gran mayoría de los campos de estudio de la ciencia, la publicación de artículos en revistas de amplia circulación internacional y con política editorial rigurosa ha sido la forma preferida para difundir los resultados de la investigación porque obtiene el reconocimiento generalizado de su validez metodológica y demuestra su relevancia¹². La inclusión de una observación en el cuerpo universal de los conocimientos es la mayor prueba de esta relevancia. Los investigadores brasileños publican aproximadamente 18.000 trabajos por año, pero sólo el 30% de los mismos aparece en revistas de circulación internacional; esta situación puede compararse con un "iceberg" del cual sólo el 30% aparece fuera del agua y resulta visible.

Es muy probable que lo más relevante de la producción científica latinoamericana sea aquello que aparece publicado en las revistas que constituyen la base de datos del ISI, a las que se destina el 30% de las publicaciones. Pero no sería justo decir que el 70% restante (que queda escondido en la base del "iceberg") corresponde a un tipo de producción científica y tecnológica tan pobre que no merezca cierta visibilidad. Hay varias razones para publicar en revistas locales de circulación más limitada, y algunos de los trabajos que aparecieron en este tipo de revistas han llamado la atención de la comunidad científica internacional.

De todos modos resulta cada vez más necesario concentrarse en una gestión de proyectos y programas que permita el análisis de resultados mensurables, para que se pueda ofrecer al gobierno respuestas objetivas respecto de lo que producen los investigadores científicos, de lo que hacen sus becarios, y también qué repercusiones socio-económicas producen estas actividades en la sociedad .

NUESTRA EXPERIENCIA EN LA DISTRIBUCIÓN DE LOS
RECURSOS FINANCIEROS DE ACUERDO CON LA PRODUCTI-
VIDAD DE LOS LABORATORIOS DE INVESTIGACIÓN MÉDICA

El Instituto de los laboratorios de investigación médica (LIM’s) del Hospital de Clínicas, de la Facultad de Medicina de la Universidad de San Pablo cuenta con 62 laboratorios cuya producción científica conjunta, de 1993 a 1997, alcanzó (entre otros productos) la publicación de 634 artículos de cuerpo completo en revistas que aparecen en los Current Contents^13,14. Cada laboratorio tiene características particulares que hacen muy diversos los unos de los otros. Así, hubo pacientes negociaciones hasta que pudieron establecerse criterios homogéneos para analizar la producción de los diferentes laboratorios, con el consentimiento de todos.

Llegamos a la conclusión de que el espíritu universitario implica el respeto por la diversidad, pero que ésta debe ser controlada por la calidad (estimada por medio de evaluaciones).

El criterio utilizado para distribuir la mayor parte de los recursos financieros disponibles está basado en la productividad de cada laboratorio, que se calcula siguiendo la definición del numerador y del denominador para obtener el cociente que hemos denominado "Productividad". Los diferentes laboratorios resultan clasificados, de acuerdo con ese cociente, en cuatro grupos: A, B, C y D. El grupo D corresponde a los laboratorios improductivos o que no hayan entregado el informe dentro de los plazos previstos. Al grupo C corresponden los laboratorios que se encuentran entre los 20% que aparecen en los últimos lugares de la escala de productividad. El grupo A está formado por los laboratorios que corresponden al 20% más productivo. En el grupo B se incluyen todos los laboratorios que no encontraron cabida en los otros tres grupos (A, C o D); la suma de los laboratorios clasificados en los grupos B y D corresponde al 60% del total.

Los recursos financieros son distribuidos así: 10% va para los órganos de administración central; 35% de los recursos es repartido equitativamente entre los laboratorios clasificados en el grupo A; a aquellos clasificados en el grupo C corresponde dividir en partes iguales el 10% de los recursos; el 45% restante se distribuye de forma pareja entre los laboratorios que constituyen el grupo B. Los laboratorios clasificados en el grupo D no reciben estos recursos financieros.

DEFINICIÓN DEL NUMERADOR Y DEL DENOMINADOR
PARA LA OBTENCIÓN DEL COCIENTE PRODUCTIVIDAD

El numerador será igual al producto del número de puntos de la Tabla 1, multiplicado por la suma del número 1 más el índice de impacto de la publicación correspondiente (según el Journal Citation Reports).

Tabla 1: Puntuación de los trabajos para obtener un "índice de productividad"
Clasificación de los trabajos		n
Artículos originales publicados en revistas indexadas (en los Current Contents)		12
Artículos originales publicados en revistas no indexadas		4
Comunicaciones breves publicadas en revistas indexadas		6
Comunicaciones breves publicadas en revistas no indexadas		2
Trabajos de revisión publicados en revistas indexadas		9
Trabajos de revisión publicados en revistas no indexadas		3
Resúmenes publicados en revistas indexadas		3
Resúmenes publicados en revistas no indexadas		1
Resúmenes publicados en anales de congresos		0	,5
Trabajos de divulgación		0	,5
Capítulos de libros internacionales (1a. edición)		12
Capítulos de libros nacionales (1a. edición)		4
Capítulos de libros internacionales (otras ediciones)		6
Capítulos de libros nacionales (otras ediciones)		2
Libros internacionales (1a. edición)		60
Libros nacionales (1a. edición)		20
Libros internacionales (otras ediciones)		30
Libros nacionales (otras ediciones)		10
Tesis dirigidas y defendidas:
	Maestría	10
	Doctorado	15
	Docencia Autorizada	20
Becas:
	Iniciación científica	1
	Perfeccionamiento	2

El denominador corresponde a la suma del número de personas que trabaja en el laboratorio (cada uno de los diferentes cargos tiene un valor ponderal propio; ver Tabla 2); al que se agregan los colaboradores (sin repeticiones) que aparecen como coautores en las publicaciones presentadas en el informe correspondiente.

Tabla 2. Determinación ponderal de los colaboradores para obtener un "índice de productividad"
Función	Peso
Secretaria	1
Biólogo	3
Farmacéutico	3
Químico	3
Enfermero	3
Técnico	2
Maestranza	0	,5
Docente	4
Médico	4
Ingeniero	4

Cada informe anual forma parte del promedio móvil de los últimos cinco años (que es el parámetro considerado para este tipo de distribución).

COMENTARIOS FINALES

Habiendo distribuido los recursos financieros de esta manera a lo largo de varios años, concluimos que:

1° Hubo amplia aceptación del procedimiento por parte de los interesados;

2° Por otro lado, habría resultado frustrante proceder a una evaluación de la productividad sin que ella tuviera consecuencias inmediatas; así, la influencia que esta evaluación tuvo sobre la distribución de los recursos financieros atendió las expectativas de los interesados (que exigían la institución de estímulos para quienes persiguen la calidad);

3° Este tipo de gestión de los recursos públicos, al asegurar el derecho a la información de los interesados, favorece la transparencia de las decisiones;

4° Probablemente debido a la docilidad con que uno se adapta a los criterios de evaluación, estos últimos resultan poderosos instrumentos para modificar conductas. Podemos ilustrar esta afirmación con un ejemplo de nuestra cosecha: durante los últimos cuatro años disminuyó el número de trabajos publicados en revistas de poca difusión y, paralelamente, se duplicó el número de publicaciones en revistas indexadas en los Current Contents.

Es importante que el sistema de evaluación sea reevaluado permanentemente, ya que es esencial que tengamos plena conciencia de las limitaciones del método; pero estas últimas no pueden amedrentarnos hasta el punto de paralizarnos en la inacción total.

En realidad, las personas no quieren ser evaluadas. A cada uno de nosotros nos gustaría que nos evaluaran por aquello que creemos ser capaces de hacer; pero otras personas van a evaluarnos por lo que hemos hecho.

Existe una tendencia a evaluar a través de los medios y métodos, por ejemplo: ¿cuántos investigadores tiene el laboratorio? ¿cuántos con dedicación exclusiva? ¿con qué instrumental cuenta? ¿qué recursos financieros consiguió en los últimos años?

Una evaluación más eficiente debería considerar el producto final. Si yo tengo 15.000,00 dolares americanos y quiero un auto veloz, cómodo, con aire acondicionado, etc., compro un Honda; no me interesa cuántos obreros tiene la fábrica, a qué hora entran o de qué color es el casco con que se protegen la cabeza; uno evalúa el producto final: ¿el auto es bueno y barato, o no?

Como ocurre con cualquier método, la bibliometría puede ser criticada. Pero tampoco podemos exagerar, haciendo una apología de la ignorancia: existiendo un método y pudiendo usarlo para contar con más subsidios para tomar una decisión ¿por qué no hacerlo?

En particular porque estos datos bibliométricos ya existen y resultan accesibles para cualquiera que quiera buscarlos; por lo tanto lo que debemos considerar es el análisis de los mismos y no el método de recolección de la información (que ya está disponible en cualquier biblioteca que posea el Science Citation Index y el Journal Citation Reports).

Entonces, poseemos una información valiosa y nuestra pregunta ahora debería ser: ¿cómo aplicarla a la gestión?

Al analizar la necesidad de implantar un método nos enfrentamos con opciones, que representan dos actitudes filosóficas diferentes:

a) trato de imaginar todas las hipótesis de trabajo posibles, les aplico el método, descubro las fallas teóricas que presentará en las situaciones hipotéticas examinadas y voy perfeccionándolo sucesivamente, antes de implantarlo; o

b) lo implanto, lo hago funcionar y voy corrigiendo sus imperfecciones sobre la marcha.

La segunda opción es la que más se ha popularizado en los últimos años debido, entre otras razones, a la informática: si antes de implantar un programa hubiera que imaginar todos los problemas hipotéticos que su uso podría provocar (la mayoría de los cuales nunca ocurrirá en la vida real) el proceso demoraría años; es mejor ponerlo a funcionar e ir corrigiendo los problemas que por ventura puedan aparecer.

Así, hemos considerado que para evaluar sería recomendable utilizar el mejor criterio disponible en el momento, en lugar de esperar el desarrollo completo de un criterio ideal.

Las actitudes analizadas tienden a una profesionalización de la gestión de la ciencia, en oposición a la subjetividad que implica el método tradicional de la evaluación por los colegas (pares).

Correspondencia a: Prof. Dr. Gregorio Santiago Montes, Departamento de Patología, Facultad de Medicina, Universidad de San Pablo. Av. Dr. Arnaldo 455. CEP: 01246-903, San Pablo - SP, Brasil. teléfonos: (55-11) 852-2188; (55-11) 3066-7241. FAX: (55-11) 853-1234. E-mail: gsmontes@usp.br

REFERENCIAS

1. MACROBERTS MH, MACROBERTS BR. Citation analysis and the science policy arena. Trends Biochem Sci, 1989; 14: 8-12.

2. DE SOLLA PRICE DJ. Networks of scientific papers. Science 1965; 149: 510-5.

3. VINKLER P. An attempt of surveying and classifying bibliometric indicators for scientometric purposes. Scientometrics 1988; 13: 239-59.

4. MOED F, BURGER WJM, FRANKFORT JG, VAN RAAN AFJ. A comparative study of bibliometric past performance analysis and peer judgement. Scientometrics 1985; 8: 149-59.

5. COLE S. Citations and the evaluation of individual scientists. Trends Biochem Sci 1989; 14: 9-13.

6. JOURNAL CITATION REPORTS. A bibliometric analysis of Science Journals in the ISI database. Science Citation Index 1993.

7. LINARDI PM, COELHO PMZ, COSTA HMA. The "impact factor" as a criterion for the quality of scientific production is a relative, not absolute, measure. Braz J Med Biol Res 1996; 29: 555-61.

8. OPTHOF T. Sense and nonsense about the impact factor. Cardiovasc Res 1997; 33: 1-7.

9. SCIENCE IN LATIN AMERICA. Publication trends: uneven growth. Science 1995; 267: 808.

10. AZEVEDO JC. A nova onda. Jornal da Tarde (Sao Paulo). Sábado 23 de marzo de 1996, pág 2A.

11. PEREIRA JCR, PIRES ML, DUARTE PS, PAES AT, OKANO V. Introducing a method of research evaluation into a university: medical research at the University of Sao Paulo, Brazil. Res Eval 1996; 6: 37-42.

12. MENEGHINI R. Systematization of academic and scientific affiliation, or how to prevent data on your publications from being lost in the national and international data base. Braz J Med Biol Res 1995; 28: 617-9.

13. MONTES GS. O que sao os LIMs? Jornal da USP 1997; 402: 2.

14. MONTES GS. Laboratórios de Investigaçao Médica (LIMs). Médicos (Sao Paulo, HC-FMUSP) 1998; 2: 46-7.