El proceso de evaluación por pares de artículos de investigación y la sociología de la ciencia

Todo el esfuerzo por el desarrollo de la actividad científica se plasma y materializa en la forma de artículos de investigación, cuya publicación es producto de un complejo proceso sociotécnico (^{Callon, Law & Rip, 1986}; ^{Latour, 1992}), en el que se coordinan los intereses de tres actores directos: los autores, los evaluadores y los editores. Este proceso, que al igual que la ciencia es de carácter colectivo y colaborativo, se denomina Proceso de Evaluación por Pares, y se ha constituido en el pilar fundamental sobre el cual se sustenta hoy la ciencia moderna (^{Sabaj et al., 2016}; ^{Bornmann, 2011}).

Como proceso social, el PEP supone el intercambio de textos entre los tres actores mencionados. El o los autores someten un manuscrito a la consideración de un editor, quien, luego de una revisión inicial, selecciona uno o más evaluadores para que produzcan, a partir de un formato preestablecido, un Informe de Arbitraje (AI). Luego, estos informes son revisados y editados por el editor o traspasados directamente a los autores y, en ellos, los evaluadores fundamentan su recomendación de publicación (condicionar, aceptar o rechazar) con comentarios valorativos acerca del manuscrito.

La investigación formal del PEP se inició en el campo de la sociología de la ciencia norteamericana (por ejemplo, ^{Crane, 1967}; ^{Zuckerman & Merton, 1971}; ^{Cole & Cole, 1981}). Su estudio se extendió gracias al desarrollo de las ciencias de la información, la bibliotecología y el estudio sistemático de las publicaciones científicas y otros conceptos derivados, como el estudio de las citas, el factor de impacto, la confiabilidad, la validez predictiva y el sesgo, entre otros (^{Bornmann, 2011}; ^{Sabaj, González & Piña-Stranger, 2016}).

En términos generales, el énfasis de la investigación sobre el PEP en sociología de la ciencia ha estado en el análisis de la relación de los resultados del proceso con una serie de factores sociales (^{Bakanic, McPhail & Simon, 1989}). Por ejemplo, en el trabajo clásico de ^{Zuckerman y Merton (1971}), se vincula el estatus de los autores (aspecto social) con la probabilidad de ser aceptados (resultado del proceso) y el tiempo necesario para la evaluación, y también se describen las tasas de rechazo (resultado del proceso) según la disciplina (componente social). Así también, ^{Crane (1967}) establece la relación entre el prestigio de la afiliación de autores y editores, y la posibilidad de ser publicado en tres revistas norteamericanas.

Solo en contadas excepciones (ver ^{Bakanic, McPhail & Simon, 1989}) y de manera tardía, algunos editores comenzaron a estudiar el contenido de los IA. Tal como indica ^{Swales (1996}), esto se debe a que los IA son textos ocultos y privados, a los cuales los investigadores (que no eran editores) simplemente no tenían acceso. La disponibilidad de los IA comenzó solo en la primera década del siglo XXI, en el ámbito del estudio del análisis del discurso científico y académico.

El Informe de Arbitraje como género discursivo: vacíos en su estudio

El Informe de Arbitraje, como género discursivo, tiene características particulares que lo convierten en uno de los textos más importantes para comprender cómo la ciencia se construye de manera colectiva. Diversos autores (como ^{Gosden, 2001} y 2003; ^{Bolívar, 2008}; ^{Fortanet, 2008}; ^{Astudillo, 2015}; Astudillo et al., 2016; ^{Samraj, 2016}; Suid, ^{Sabaj & González-Vergara, 2018}; ^{Cabezas et al., 2018}; Sabaj et al., 2018) han descrito estas características.

Entre las características de los IA, destacamos solo cuatro aspectos generales para su aproximación discursiva: i) los IA son una de las partes de una cadena de géneros mayor que, en el mejor caso, concluye con la publicación de un artículo de investigación (^{Bolívar, 2008}; ^{Astudillo, 2015}); ii) en los IA se da una situación de enunciación particular, puesto que entre los sujetos participantes (el revisor y el autor) existe una relación confidencial y anónima mediada por un tercero, el editor; solo este tercero sabe quién es el emisor del informe (el evaluador) y su receptor (el autor), pero estos a menudo no se conocen (Suid, ^{Sabaj & González-Vergara, 2018}); iii) el contenido, estructura y funciones discursivas en los IA están moldeados por los formatos que utilizan los editores de las revistas para solicitar las revisiones a los árbitros (Sabaj et al., 2018) y, iv) por último, los IA cumplen propósitos múltiples que son utilizados por cada uno de los actores de manera diferenciada (para el editor es un insumo para tomar una decisión, para el evaluador es una forma de participar en la disciplina y demostrar al editor su conocimiento, para el autor es una oportunidad de recibir retroalimentación).

Los trabajos que estudian el IA en inglés son numerosos, aunque son pocos los realizados por analistas del discurso. Lo más frecuente es encontrar investigaciones en inglés que se focalizan en el contenido de los comentarios, en las dimensiones que hacen referencia o bien en las razones que se esgrimen al evaluar los manuscritos. ^{Bordage (2001}), por ejemplo, analiza las razones más importantes para aceptar o rechazar los

manuscritos en las actas de un congreso de medicina. Entre las razones para rechazar, se encuentran la sobreinterpretación de los resultados y la aplicación errónea de estadísticas, mientras que, entre las razones para aceptar los trabajos, se hace referencia a la relevancia del problema y a la forma en que los trabajos están escritos. En esta misma línea, ^{Bornmann, Nast & Daniel (2008}) identificaron, en un acucioso y exhaustivo metaanálisis, una serie de criterios o razones que los evaluadores utilizan para evaluar los artículos de investigación. Estas razones pueden agruparse en una de las siguientes áreas o dimensiones: relevancia de la contribución, escritura o presentación, diseño o concepción, método o estadísticas, discusión de los resultados, referencias a la literatura y documentación, teoría, reputación del autor, afiliación institucional y ética. Los autores (Bornmann et al., 2008) señalan que la relevancia de la contribución es el criterio que más frecuentemente se utiliza para rechazar un trabajo.

Entre este tipo de trabajos, focalizados en el análisis temático de los comentarios, se encuentran dos investigaciones que utilizan las mismas categorías (^{Mungra & Weber, 2010}; Tharirian & Sadri, 2013), específicamente, comentarios de contenido y comentarios relativos al uso de lengua. Los dos trabajos llegan a la conclusión de que la frecuencia de comentarios de contenido es mayor (y más concentrada) que los comentarios centrados en el uso del lenguaje (cuya variedad es mayor). Además, se propone que la bibliografía incompleta, la falta de asociación entre los datos y lo que se afirma, y la falta de rigor o problemas de procedimiento son las categorías de contenido más frecuentes que aparecen en los informes de arbitraje.

Un último y reducido grupo de trabajos (^{Gosden, 2001} y 2003; ^{Bolívar, 2008} y 2011; ^{Fortanet, 2008}; ^{Astudillo, 2015}; Astudillo et al., 2016; ^{Samraj, 2016}; ^{Suid et al., 2018}; ^{Sabaj et al., 2018}) aborda el estudio de los informes de arbitraje desde un enfoque eminentemente discursivo. De estos, la mayoría son para informes escritos en lengua inglesa: i) Gosden (2001), por ejemplo, identifica los elementos evaluados (detalles técnicos, discusiones, referencias y formato) y las funciones (señalar errores, manifestar que un extracto es confuso, evaluar) en un corpus de 40 informes de ciencias, ii) Fortanet (2008), en tanto, describe los patrones evaluativos (críticas, recomendaciones, preguntas) de un conjunto de IA de los ámbitos de la lingüística aplicada y de los negocios, iii) Samraj (2016), por último, muestra las múltiples formas en las que se despliegan y combinan las recomendaciones y las evaluaciones negativas en un conjunto de 50 informes de arbitraje de una revista de lingüística.

Los trabajos de ^{Bolívar (2008} y 2011) son pioneros en nuestra lengua. En 2011, la autora (Bolívar, 2011) describió las funciones de la negación en IA y determinó que se utiliza con cuatro funciones o propósitos: determinar lo que falta, lo que sobra, lo que no está bien o lo que no es adecuado desde un punto de vista social. Otros trabajos relevantes actuales para nuestra lengua son, entre otros: i) la propuesta de un modelo discursivo para el análisis de artículos rechazados de ^{Astudillo (2015}); ii) el análisis de la proporción de los comentarios según su polaridad evaluativa (positiva, negativa o neutra) y la recomendación de publicación (Astudillo et al., 2016); iii) el estudio de las estrategias de atenuación en los informes de arbitraje (^{Suid et al., 2018}); iv) el análisis de la variación del informe de arbitraje según extensión y el tiempo que los árbitros toman para remitirlo al editor (^{Cabezas et al., 2018}); y, v) la variación del informe de arbitraje según la recomendación de publicación y la productividad de los autores (^{Sabaj et al., 2018}).

Pese a su foco en el ámbito discursivo, y a excepción de algunos casos (^{Suid et al., 2018}; ^{Sabaj et al., 2018}), la mayoría de estos trabajos (^{Gosden, 2001} y 2003; ^{Bolívar, 2008} y 2011; ^{Fortanet, 2008}; ^{Samraj, 2016}) no incorporan otras variables extralingüísticas que permitan dar cuenta de la variación más específica de este género.

Corpus de informes de arbitraje y datos sociométricos de los evaluadores

El corpus fue obtenido gracias a la ayuda del editor de la revista chilena Onomázein (http://onomazein.letras.uc.cl/). La investigación fue aprobada por los comités de ética de las instituciones de afiliación de los autores. Para cumplir con ello, el editor enmascaró la autoría de los informes y clasificó cada informe según las características del evaluador que los produjo.

La muestra, de carácter intencionada, consideró solo informes que rechazaban la publicación de los trabajos revisados, de manera de aislar la influencia de la recomendación en la naturaleza del discurso de los informes de arbitraje. El potencial didáctico fue otra razón para limitar nuestro trabajo solo a los informes que propusieran el rechazo del manuscrito evaluado.

Tal como se muestra en la Tabla 1, los datos de la investigación corresponden a información discursiva y social:

Los datos discursivos analizados fueron 904 comentarios de 25 informes de arbitraje que recomendaban el rechazo de la publicación del manuscrito evaluado. Los evaluadores fueron, además, clasificados según dos criterios de carácter social: a) el número de publicaciones y, b) el tipo de participación en la revista. Con respecto a la cantidad de publicaciones, los evaluadores fueron agrupados en tres categorías arbitrarias. En nuestro caso, había tres evaluadores que nunca habían publicado, diez evaluadores que habían publicado entre uno y diez artículos y doce evaluadores que habían publicado más de diez artículos. Los evaluadores fueron agrupados según un segundo criterio, a saber, el tipo de participación en la revista (^{Varas, 2015}). Los informes analizados fueron producidos por 25 evaluadores, de los cuales 15 habían participado por primera vez en la revista, cinco ya habían sido evaluadores, dos habían sido una vez autores y una vez evaluadores, y tres participantes habían sido en varias ocasiones evaluadores y autores. La utilización de estos dos criterios (productividad y tipo de participación en la revista) permite, por una parte, saber si existen diferencias en los rasgos discursivos producidos por evaluadores con distintos atributos y, por otra, determinar cuál de esos atributos implica más variación en el género.

Modelo de análisis discursivo

El modelo de análisis utilizado para la descripción de los informes de arbitraje fue creado y validado por ^{Astudillo (2015}) y ha sido utilizado por ^{Sabaj et al. (2018}). Este dispositivo analítico contiene tres dimensiones: una que permite dar cuenta del contenido de los informes, otra de las funciones o propósitos comunicativos presentes en estos géneros y una tercera capa de análisis que permite saber si los comentarios de los informes tienen polaridad positiva, negativa o neutra.

La primera dimensión del contenido se despliega en tres subcomponentes que tienen grados crecientes de focalización: el macro-objeto evaluado, el objeto evaluado, el micro-objeto evaluado. El primer subcomponente, llamado Macro-Objeto evaluado, permite saber si los comentarios se refieren a aspectos de la forma o del contenido. El segundo subcomponente (Objeto Evaluado) da cuenta del alcance de la evaluación contenida en un comentario. Con esta categoría se puede determinar si el comentario tiene como objeto una sección particular del artículo o si refiere a todo el texto. El tercer subcomponente de la dimensión del contenido, denominado micro-objeto evaluado, da cuenta del contenido específico de la evaluación.

La segunda dimensión del modelo de análisis se refiere a los propósitos comunicativos presentes en los IA. Al producir estos informes, y para cumplir con el propósito general de realizar una evaluación y proporcionar una recomendación de publicación, los evaluadores realizan acciones específicas. Estas acciones, propósitos comunicativos o estructuras retóricas, dan cuenta de la dimensión funcional de los IA. La última dimensión del modelo de análisis discursivo permite especificar la polaridad evaluativa de los comentarios en los informes.

Con el fin de ilustrar el funcionamiento del modelo, considérese el siguiente ejemplo:

“Se debe eliminar el punto final del título”. Macro-objeto: Forma Objeto: El título Micro-objeto: Ortografía puntual Propósito comunicativo: Solicita acción Polaridad: negativa

Para esta investigación solo utilizamos dos componentes del modelo, a saber, el objeto evaluado y los propósitos comunicativos, puesto que estos dos componentes permiten describir aspectos centrales de la naturaleza de este género. Por ejemplo, qué es lo evaluado y cuáles son los actos comunicativos que los evaluadores realizan cuando rechazan la publicación de un manuscrito. Además, cabe señalar, el resto de los componentes ya han sido explorados en otros trabajos (ver ^{Astudillo, 2015}; Astudillo et al., 2016). La calidad del modelo se determinó con distintos procedimientos de triangulación que aparecen descritos en detalle en ^{Sabaj et al. (2018}).

El listado de categorías específicas utilizado en este trabajo se muestran en las Tablas 2 y 3.

Las categorías de la Tabla 2 hacen referencia a las entidades evaluadas en cada uno de los comentarios de los informes analizados.

Cada comentario de los informes de rechazo analizados también fue analizado utilizando el listado de la Tabla 3.

El modelo completo, incluidas aquellas categorías que no utilizamos en esta investigación, aparecen en ^{Sabaj et al. (2018}). Todos los resultados se muestran en términos de frecuencia relativa o porcentajes. Los datos crudos pueden obtenerse a través de una solicitud a los autores.

Los objetos evaluados en los comentarios de informes de rechazo

En la Figura 4, se muestran los objetos evaluados en los comentarios de informes de arbitraje que recomendaban rechazar la publicación de los manuscritos revisados, según la productividad de los evaluadores.

Leyenda: Art= Artículo; T=Título; R=Resumen; I=Introducción; MT= Marco Teórico; MET= Metodología; RES/D=Resultados y Discusión; CON=Conclusiones; REF= Referencias bibliográficas; ORG=Organización interna.

Figura 4:  Objetos evaluados en los comentarios de informes de rechazo según la productividad de los evaluadores. 

Independientemente de la productividad de los evaluadores, cuando se rechaza la publicación de un artículo, los objetos evaluados en los comentarios de los informes tienden a ser inespecíficos, pues, en su mayoría, tienen como objeto evaluado el artículo en su totalidad. En términos generales, esto es, sin hacer distinción entre los tipos de evaluadores, los otros objetos evaluados relevantes en los informes de rechazo son: el título, las referencias, el marco teórico y los resultados y discusión.

Más allá de los patrones comunes, el análisis de los datos comparativos entre los evaluadores da cuenta de algunas tendencias que permiten observar cómo el uso del lenguaje (micro) varía según factores sociales como la productividad de estos actores. Una primera constatación es que el comportamiento discursivo de los evaluadores sin producción contrasta con los que sí tienen producción. Estos últimos, los evaluadores que poseen entre una a diez publicaciones y los que tienen más de diez, usan el lenguaje de manera muy homogénea.

Es interesante notar que los revisores sin productividad necesitan ser más específicos al momento de escribir los comentarios de un informe de rechazo, lo cual se expresa en el hecho de que son los que menos utilizan comentarios asociados al artículo en su totalidad. Esto podría tener relación con su trayectoria social. Como tienen menos productividad necesitan ser más detallados al momento de rechazar un manuscrito. Cuando estos evaluadores rechazan los trabajos, los objetos evaluados más importantes son, en orden decreciente, el título, el resumen, la introducción y el marco teórico. En todas estas categorías, como también en la metodología, los revisores sin productividad muestran una frecuencia de uso mayor que los otros tipos de revisores, lo cual implica realizar revisiones más detalladas y rechazos mejor fundamentados. Tres de los objetos más importantes que los revisores sin productividad consideran para rechazar un artículo corresponden a partes estructurales que son relevantes para que el público general comprenda y consulte la información científica, a saber, el título, el resumen y la introducción.

Las diferencias entre los dos tipos de evaluadores con productividad son mínimas, pero relevantes. Los más productivos son más inespecíficos, ya que el uso de comentarios cuya referencia es el artículo en su totalidad es mayor en este grupo. Los árbitros con más publicaciones son, tal vez por la autopercepción de posición de autoridad, los que más utilizan las referencias como objeto evaluado al momento de rechazar la publicación de un manuscrito. Estos evaluadores más productivos le dan mayor relevancia al título y menos al marco teórico que aquellos con menos artículos publicados. Lo anterior sugiere que, cuando rechazan la publicación de un artículo, los revisores con más publicaciones son los más rápidos y los menos detallistas. De hecho, cuando no aceptan la publicación del trabajo ni siquiera hacen comentarios relativos al resumen.

En la Figura 5, se muestran los objetos evaluados en los comentarios de informes de rechazo, ordenados según su frecuencia de uso por parte de los evaluadores, en este caso, agrupados según su participación o estatus en la revista:

Leyenda: Art= Artículo; T=Título; R=Resumen; I=Introducción; MT= Marco Teórico; MET= Metodología; RES/D=Resultados y Discusión; CON=Conclusiones; REF= Referencias bibliográficas; ORG=Organización interna.

Figura 5:  Objetos evaluados en los comentarios de informes de rechazo según el tipo de participación o status en la revista. 

Cuando los datos se agrupan de acuerdo al tipo de participación en la revista, se puede observar que en los informes que rechazan la publicación de manuscritos, los revisores, independientemente de su estatus, muestran un comportamiento discursivo claramente homogéneo para unas categorías (el artículo, el título, el resumen y la introducción) y relativamente heterogéneo para otras (el marco teórico, la metodología, los resultados y la discusión, la conclusión y las referencias), en las cuales se materializa, en definitiva, la micro-variación discursiva.

Al igual que los evaluadores más productivos, al momento de rechazar un manuscrito, los revisores con mayor participación en la revista son lo que más hacen alusión al artículo en su totalidad. En efecto, siete de diez comentarios hacen referencia a ese elemento. Estos árbitros, que han sido autores y evaluadores en múltiples ocasiones en la revista, son los que más utilizan las referencias como objeto de sus comentarios evaluativos, lo que cual podría indicar su autopercepción como autoridades epistémicas en la disciplina que representan.

Los evaluadores que han sido además una vez autores son lo que más se focalizan en el resumen, en la introducción y, sobre todo, en el marco teórico, cuando rechazan la publicación de los manuscritos evaluados. En estas secciones de un artículo de investigación se juega buena parte del potencial de un trabajo, por lo que la evaluación de este tipo de árbitro debe ser especialmente útil para los autores, cuyos trabajos se rechazan.

El objeto más frecuente en los comentarios de los evaluadores primerizos es la metodología. Ello es concordante con los hallazgos de ^{Bordage (2001}) en el que la suma de los enunciados relativos a aspectos metodológicos constituye el 30% de los comentarios de informes de rechazo. Al igual que en esos datos, al rechazar la publicación los revisores primerizos emiten juicios relacionados con la dimensión técnica que subyace a la investigación y lo hacen en mayor medida que los otros evaluadores. Cuando los evaluadores recurrentes que no cumplen otra función en la revista rechazan la publicación de un trabajo, sus comentarios tienen, mayoritariamente, como objeto evaluado los resultados y la discusión. En estas secciones de los artículos, se juegan los aspectos más originales de una investigación. Estos evaluadores que repetidamente participan en la revista rechazan los artículos centrándose mayoritariamente en la contribución original del trabajo revisado.

Los propósitos comunicativos en informes de rechazo

La identificación y descripción de los propósitos comunicativos de los Informes de Arbitraje que rechazan la publicación de un manuscrito permiten dar cuenta de un núcleo funcional y retórico esencial de un informe de rechazo. En la Figura 6, aparecen los propósitos comunicativos según la productividad de los evaluadores.

N.B.: El total no suma exactamente 100%, pues fueron eliminadas todas aquellas categorías que no superaran al menos un 2% de ocurrencia en alguno de los grupos comparados. Las categorías del modelo original eliminadas de la Figura 6 son: Sugiere acción mediante signo de puntuación, Evalúa pertinencia, Evalúa organización, Rechaza la publicación, Indica lo que sobra, Recomienda publicación, y Rechaza por no cumplir las exigencias mínimas.

Figura 6:  Propósitos comunicativos en informes de rechazo según la productividad de los evaluadores. 

Independientemente de su productividad, cuando los evaluadores rechazan la publicación de un manuscrito, los IA que producen tienen dos propósitos principales. Por un lado, señalar o describir un conjunto de errores y, por otro, describir de manera neutra el trabajo evaluado. Además de las categorías eliminadas, existe otro grupo de propósitos que también tienen muy baja frecuencia relativa (Solicita acción, Sugiere acción mediante pregunta y Condiciona la publicación), cuyas funciones son poco relevantes para los árbitros con productividad diferenciada al momento de rechazar un artículo: se trata de propósitos que dicen relación con acciones esperadas por el autor (directivos y sugerencias) y cuyo uso, dada la recomendación de publicación, carece de sentido en este género.

Si se compara el comportamiento discursivo retórico de los evaluadores más productivos, se puede establecer que estos dos tipos de revisores (1-10 y más de 10) utilizan el lenguaje, en términos generales, de manera muy similar cuando escriben el informe de rechazo. Solo en algunos propósitos exhiben conductas diferenciadas, las cuales se expresan en patrones que permiten mostrar cómo la productividad puede afectar el uso del lenguaje. Según estos datos, por ejemplo, los revisores menos productivos se fijan más en lo que falta (13%) que aquellos con mayor número de trabajos publicados (6%). A su vez, estos últimos, los más productivos, utilizan más propósitos directivos (Solicita Acción) y sugerencias (Sugiere acción y Sugiere inclusión) que los árbitros con menor número de trabajos publicados.

Es muy interesante observar cómo micro-varía el discurso en los informes de rechazo escritos por evaluadores sin productividad. Estos árbitros son los que más utilizan propósitos comunicativos de tipo descriptivo en los informes de rechazo. Los comentarios descriptivos que tienen una polaridad evaluativa neutra (^{Astudillo et al., 2016}) no tienen ninguna utilidad para los autores, menos cuando se recomienda el rechazo del manuscrito evaluado. Los datos de otros trabajos (Astudillo, 2016, Suid, ^{Sabaj & González, 2018}; ^{Cabezas et al., 2018}) sugieren que el uso de este tipo de propósitos tiene como función principal introducir de manera matizada un comentario evaluativo negativo, o bien demostrar que se ha revisado el manuscrito de manera cuidadosa. Otra característica de estos árbitros sin productividad es que son los que más adoptan un rol correctivo. A diferencia del propósito ‘Describe error’, cuando se ocupa la función Corregir el árbitro ofrece la solución al error descrito. El patrón de comportamiento de estos revisores sin productividad difiere de manera clara respecto del resto de los otros árbitros y consiste básicamente de tres funciones principales: describir neutramente el trabajo, indicar lo que no el trabajo tiene y corregir al autor.

En la Figura 7, aparecen los propósitos comunicativos en los informes de rechazo, según el tipo de participación de los evaluadores en la revista:

N.B.: El total no suma exactamente 100%, pues fueron eliminadas todas aquellas categorías que no superaran el 2% de ocurrencia en alguno de los grupos comparados. Las categorías del modelo original eliminadas de la Figura 7 son: Condiciona publicación, Indica lo que sobra, Evalúa organización, Evalúa pertinencia, Rechaza por no cumplir las exigencias mínimas, Rechaza la publicación, Recomienda publicación, y Sugiere acción mediante signo de puntuación.

Figura 7: Propósitos comunicativos en informes de rechazo según el tipo de participación en la revista. 

Los evaluadores que han sido autores una vez son los que más describen los errores del trabajo (56%) cuando rechazan la publicación del manuscrito evaluado y son, a su vez, los que menos se dedican (10%), de los cuatro grupos comparados, a describir el trabajo revisado. Tal como ya hemos defendido, son actos que no tienen ninguna repercusión en el lector. En este sentido, es interesante notar que los árbitros que solo han sido evaluadores son los que más usan este lenguaje descriptivo en los informes de rechazo. El uso excesivo de actos descriptivos puede tener su explicación en la falta de experiencia de estos evaluadores en la producción del género informes de evaluación, más específicamente, en la redacción de un informe en el que se recomienda rechazar la publicación del trabajo.

Los propósitos comunicativos presentes en los informes de arbitraje que recomiendan no publicar el manuscrito evaluado pueden ser de dos tipos: los referenciales (descriptivos o evaluativos) y los dialógicos. En los primeros, el evaluador describe o emite un juicio sobre algún aspecto del manuscrito (tiene el artículo como objeto de referencia) y espera que el autor responda a ese juicio. En el caso de los propósitos interactivos dialógicos, el evaluador apela directamente al autor y le pide de manera más o menos directa que realice algo. En relación con lo anterior, es interesante observar que el evaluador que ha participado de manera reiterada solo en ese rol es el que más tiende a utilizar propósitos comunicativos interactivos como Solicitar una acción o Sugerir Acción mediante pregunta.

En los datos aparecen algunas tendencias importantes para comprender cómo, de manera micro, el uso de lenguaje da cuenta del grado de socialización, adquisición y uso del género ‘Informe de Arbitraje’. De estas tendencias, resulta especialmente interesante el comportamiento del evaluador (y, a su vez, autor) que participa en la revista en múltiples ocasiones. Este evaluador multifuncional y reiterado es, por su posición, el que más atribuciones tiene para indicar lo que falta en los manuscritos evaluados. En este sentido, la frecuencia de uso de esta función detractiva (^{Bolívar, 2011}) es un buen indicador del grado de socialización del evaluador que realiza el informe de rechazo. Asimismo, es este mismo tipo de evaluador el que más destaca los aspectos positivos de los manuscritos que recomienda no publicar. En este sentido, este evaluador, que publica y revisa de manera reiterada en la revista, muestra dos comportamientos claros. Por un lado, rechaza los trabajos porque no tienen lo que se espera y, por otro, asume la función de contener a los autores que rechaza, destacando los aspectos positivos del manuscrito evaluado.