SciELO - Scientific Electronic Library Online

 
 número39Acerca del gentilicio: historiografía, remoquetes y estandarizaciónAdquisición de codas líquidas en una muestra de niños del español de Chile índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • En proceso de indezaciónCitado por Google
  • No hay articulos similaresSimilares en SciELO
  • En proceso de indezaciónSimilares en Google

Compartir


Literatura y lingüística

versión impresa ISSN 0716-5811

Lit. lingüíst.  no.39 Santiago jun. 2019

http://dx.doi.org/10.29344/0717621x.39.2015 

Artículos de Lingüística

El informe de arbitraje de rechazo: su microvariación según los tipos de evaluador

The rejecting peer review reports: its microvariation according to the type of referees

César Astudillo** 

Paula Cabezas*** 

Omar Sabaj**** 

Germán Varas***** 

** Chileno. Magíster en Estudios Latinoamericanos de la Universidad de La Serena, Chile. astudillozepedac@gmail.com

*** Chilena. Profesora de castellano y filosofía de la Universidad de La Serena, Chile. pcabezas@userena.cl

**** Chileno. Doctor en lingüística, profesor e investigador en la Universidad de la Serena, Chile. omarsabaj@userena.cl

***** Chileno. Doctorando en Lingüística de la Pontificia Universidad Católica de Chile, Chile. gnvaras@uc.cl

Resumen

Analizamos Informes de Arbitraje en los que se recomendaba rechazar la publicación de los manuscritos enviados a una revista chilena de humanidades. Buscamos establecer si estos informes variaban según dos atributos de los evaluadores: el número de publicaciones y el tipo de participación en la revista. Los resultados muestran que, independientemente de su estatus, al rechazar un artículo de investigación científica los árbitros realizan evaluaciones centradas en todo el artículo y que los propósitos comunicativos característicos son describir, describir error y describir lo que falta.

Palabras clave: Proceso de revisión por pares; informes de arbitraje; artículos de investigación

Abstract

We analyzed reports in which it was recommended to reject the publication of manuscripts sent to a Chilean humanities journal. We sought to establish whether these reports varied according to two attributes of the referees: the number of publications and the type of participation in the journal. The results show that, regardless of their status, when rejecting an article of scientific research, the referees make evaluations centered on the article as a unit. Descriptions, descriptions of errors, and descriptions of what is missing are the most frequent communicative purposes in this genre.

Keywords: Peer review process; review reports; research articles

Introducción

La publicación del conocimiento científico está mediada por un proceso social de escrutinio organizado denominado ‘Proceso de Evaluación por Pares’ (PEP). Textualmente, una parte de este proceso se cristaliza en Informes de Arbitraje (IA), los cuales, además de una serie de comentarios evaluativos y argumentativos, contienen una recomendación en la que el revisor acepta, condiciona o rechaza la publicación del manuscrito.

El IA es una de las partes de una cadena mayor de géneros que permite la publicación de un artículo de investigación y la diseminación de conocimiento disciplinar. Estos informes son un eslabón privado y oculto de la cadena y, como tal, su estudio y acceso es muy limitado. Además, los pocos trabajos que abordan su estudio no aíslan la recomendación de publicación.

El estudio del discurso de los IA, tradicionalmente, no ha integrado los atributos extralingüísticos de los actores que participan en este proceso, por lo que no ha sido posible explicar la relación entre esas características y el comportamiento discursivo de los árbitros. En este artículo, reportamos una investigación que tuvo por objetivo analizar los informes de arbitraje que recomendaban rechazar los manuscritos y determinar si los objetos evaluados y las funciones discursivas presentes en estos géneros variaban según dos atributos de los evaluadores, específicamente, el número de publicaciones y el tipo de participación en la revista.

La relevancia de la descripción de los IA radica, por una parte, en que es un género privilegiado para comprender la forma en que se construye socialmente el conocimiento, con lo cual podemos contribuir al desarrollo de la alfabetización científica. Por otra parte, conocer los objetos en los cuales los revisores centran su atención al rechazar un artículo es relevante para que los investigadores en formación tengan en consideración los aspectos de los trabajos que se recomienda no publicar.

El proceso de evaluación por pares de artículos de investigación y la sociología de la ciencia

Todo el esfuerzo por el desarrollo de la actividad científica se plasma y materializa en la forma de artículos de investigación, cuya publicación es producto de un complejo proceso sociotécnico (Callon, Law & Rip, 1986; Latour, 1992), en el que se coordinan los intereses de tres actores directos: los autores, los evaluadores y los editores. Este proceso, que al igual que la ciencia es de carácter colectivo y colaborativo, se denomina Proceso de Evaluación por Pares, y se ha constituido en el pilar fundamental sobre el cual se sustenta hoy la ciencia moderna (Sabaj et al., 2016; Bornmann, 2011).

Como proceso social, el PEP supone el intercambio de textos entre los tres actores mencionados. El o los autores someten un manuscrito a la consideración de un editor, quien, luego de una revisión inicial, selecciona uno o más evaluadores para que produzcan, a partir de un formato preestablecido, un Informe de Arbitraje (AI). Luego, estos informes son revisados y editados por el editor o traspasados directamente a los autores y, en ellos, los evaluadores fundamentan su recomendación de publicación (condicionar, aceptar o rechazar) con comentarios valorativos acerca del manuscrito.

La investigación formal del PEP se inició en el campo de la sociología de la ciencia norteamericana (por ejemplo, Crane, 1967; Zuckerman & Merton, 1971; Cole & Cole, 1981). Su estudio se extendió gracias al desarrollo de las ciencias de la información, la bibliotecología y el estudio sistemático de las publicaciones científicas y otros conceptos derivados, como el estudio de las citas, el factor de impacto, la confiabilidad, la validez predictiva y el sesgo, entre otros (Bornmann, 2011; Sabaj, González & Piña-Stranger, 2016).

En términos generales, el énfasis de la investigación sobre el PEP en sociología de la ciencia ha estado en el análisis de la relación de los resultados del proceso con una serie de factores sociales (Bakanic, McPhail & Simon, 1989). Por ejemplo, en el trabajo clásico de Zuckerman y Merton (1971), se vincula el estatus de los autores (aspecto social) con la probabilidad de ser aceptados (resultado del proceso) y el tiempo necesario para la evaluación, y también se describen las tasas de rechazo (resultado del proceso) según la disciplina (componente social). Así también, Crane (1967) establece la relación entre el prestigio de la afiliación de autores y editores, y la posibilidad de ser publicado en tres revistas norteamericanas.

Solo en contadas excepciones (ver Bakanic, McPhail & Simon, 1989) y de manera tardía, algunos editores comenzaron a estudiar el contenido de los IA. Tal como indica Swales (1996), esto se debe a que los IA son textos ocultos y privados, a los cuales los investigadores (que no eran editores) simplemente no tenían acceso. La disponibilidad de los IA comenzó solo en la primera década del siglo XXI, en el ámbito del estudio del análisis del discurso científico y académico.

El Informe de Arbitraje como género discursivo: vacíos en su estudio

El Informe de Arbitraje, como género discursivo, tiene características particulares que lo convierten en uno de los textos más importantes para comprender cómo la ciencia se construye de manera colectiva. Diversos autores (como Gosden, 2001 y 2003; Bolívar, 2008; Fortanet, 2008; Astudillo, 2015; Astudillo et al., 2016; Samraj, 2016; Suid, Sabaj & González-Vergara, 2018; Cabezas et al., 2018; Sabaj et al., 2018) han descrito estas características.

Entre las características de los IA, destacamos solo cuatro aspectos generales para su aproximación discursiva: i) los IA son una de las partes de una cadena de géneros mayor que, en el mejor caso, concluye con la publicación de un artículo de investigación (Bolívar, 2008; Astudillo, 2015); ii) en los IA se da una situación de enunciación particular, puesto que entre los sujetos participantes (el revisor y el autor) existe una relación confidencial y anónima mediada por un tercero, el editor; solo este tercero sabe quién es el emisor del informe (el evaluador) y su receptor (el autor), pero estos a menudo no se conocen (Suid, Sabaj & González-Vergara, 2018); iii) el contenido, estructura y funciones discursivas en los IA están moldeados por los formatos que utilizan los editores de las revistas para solicitar las revisiones a los árbitros (Sabaj et al., 2018) y, iv) por último, los IA cumplen propósitos múltiples que son utilizados por cada uno de los actores de manera diferenciada (para el editor es un insumo para tomar una decisión, para el evaluador es una forma de participar en la disciplina y demostrar al editor su conocimiento, para el autor es una oportunidad de recibir retroalimentación).

Los trabajos que estudian el IA en inglés son numerosos, aunque son pocos los realizados por analistas del discurso. Lo más frecuente es encontrar investigaciones en inglés que se focalizan en el contenido de los comentarios, en las dimensiones que hacen referencia o bien en las razones que se esgrimen al evaluar los manuscritos. Bordage (2001), por ejemplo, analiza las razones más importantes para aceptar o rechazar los

manuscritos en las actas de un congreso de medicina. Entre las razones para rechazar, se encuentran la sobreinterpretación de los resultados y la aplicación errónea de estadísticas, mientras que, entre las razones para aceptar los trabajos, se hace referencia a la relevancia del problema y a la forma en que los trabajos están escritos. En esta misma línea, Bornmann, Nast & Daniel (2008) identificaron, en un acucioso y exhaustivo metaanálisis, una serie de criterios o razones que los evaluadores utilizan para evaluar los artículos de investigación. Estas razones pueden agruparse en una de las siguientes áreas o dimensiones: relevancia de la contribución, escritura o presentación, diseño o concepción, método o estadísticas, discusión de los resultados, referencias a la literatura y documentación, teoría, reputación del autor, afiliación institucional y ética. Los autores (Bornmann et al., 2008) señalan que la relevancia de la contribución es el criterio que más frecuentemente se utiliza para rechazar un trabajo.

Entre este tipo de trabajos, focalizados en el análisis temático de los comentarios, se encuentran dos investigaciones que utilizan las mismas categorías (Mungra & Weber, 2010; Tharirian & Sadri, 2013), específicamente, comentarios de contenido y comentarios relativos al uso de lengua. Los dos trabajos llegan a la conclusión de que la frecuencia de comentarios de contenido es mayor (y más concentrada) que los comentarios centrados en el uso del lenguaje (cuya variedad es mayor). Además, se propone que la bibliografía incompleta, la falta de asociación entre los datos y lo que se afirma, y la falta de rigor o problemas de procedimiento son las categorías de contenido más frecuentes que aparecen en los informes de arbitraje.

Un último y reducido grupo de trabajos (Gosden, 2001 y 2003; Bolívar, 2008 y 2011; Fortanet, 2008; Astudillo, 2015; Astudillo et al., 2016; Samraj, 2016; Suid et al., 2018; Sabaj et al., 2018) aborda el estudio de los informes de arbitraje desde un enfoque eminentemente discursivo. De estos, la mayoría son para informes escritos en lengua inglesa: i) Gosden (2001), por ejemplo, identifica los elementos evaluados (detalles técnicos, discusiones, referencias y formato) y las funciones (señalar errores, manifestar que un extracto es confuso, evaluar) en un corpus de 40 informes de ciencias, ii) Fortanet (2008), en tanto, describe los patrones evaluativos (críticas, recomendaciones, preguntas) de un conjunto de IA de los ámbitos de la lingüística aplicada y de los negocios, iii) Samraj (2016), por último, muestra las múltiples formas en las que se despliegan y combinan las recomendaciones y las evaluaciones negativas en un conjunto de 50 informes de arbitraje de una revista de lingüística.

Los trabajos de Bolívar (2008 y 2011) son pioneros en nuestra lengua. En 2011, la autora (Bolívar, 2011) describió las funciones de la negación en IA y determinó que se utiliza con cuatro funciones o propósitos: determinar lo que falta, lo que sobra, lo que no está bien o lo que no es adecuado desde un punto de vista social. Otros trabajos relevantes actuales para nuestra lengua son, entre otros: i) la propuesta de un modelo discursivo para el análisis de artículos rechazados de Astudillo (2015); ii) el análisis de la proporción de los comentarios según su polaridad evaluativa (positiva, negativa o neutra) y la recomendación de publicación (Astudillo et al., 2016); iii) el estudio de las estrategias de atenuación en los informes de arbitraje (Suid et al., 2018); iv) el análisis de la variación del informe de arbitraje según extensión y el tiempo que los árbitros toman para remitirlo al editor (Cabezas et al., 2018); y, v) la variación del informe de arbitraje según la recomendación de publicación y la productividad de los autores (Sabaj et al., 2018).

Pese a su foco en el ámbito discursivo, y a excepción de algunos casos (Suid et al., 2018; Sabaj et al., 2018), la mayoría de estos trabajos (Gosden, 2001 y 2003; Bolívar, 2008 y 2011; Fortanet, 2008; Samraj, 2016) no incorporan otras variables extralingüísticas que permitan dar cuenta de la variación más específica de este género.

Métodos

El propósito de nuestra investigación fue describir la microvariación discursiva de informes de arbitraje en los que se recomendaba rechazar la publicación de los manuscritos evaluados según dos atributos sociales de los evaluadores: el número de publicaciones y el tipo de participación en la revista.

Las dos preguntas que guiaron la investigación fueron: ¿qué objetos del manuscrito se evalúan y qué propósitos comunicativos se utilizan cuando se escribe un informe de rechazo? ¿Varían esos objetos y esos propósitos comunicativos según la productividad y la participación del evaluador en la revista? Para responder estas preguntas realizamos una investigación cualitativa, con alcance descriptivo, no experimental y transeccional.

Corpus de informes de arbitraje y datos sociométricos de los evaluadores

El corpus fue obtenido gracias a la ayuda del editor de la revista chilena Onomázein (http://onomazein.letras.uc.cl/). La investigación fue aprobada por los comités de ética de las instituciones de afiliación de los autores. Para cumplir con ello, el editor enmascaró la autoría de los informes y clasificó cada informe según las características del evaluador que los produjo.

La muestra, de carácter intencionada, consideró solo informes que rechazaban la publicación de los trabajos revisados, de manera de aislar la influencia de la recomendación en la naturaleza del discurso de los informes de arbitraje. El potencial didáctico fue otra razón para limitar nuestro trabajo solo a los informes que propusieran el rechazo del manuscrito evaluado.

Tal como se muestra en la Tabla 1, los datos de la investigación corresponden a información discursiva y social:

Tabla 1 : Corpus de informes de arbitraje y datos sociométricos de los evaluadores. 

Datos Sociométricos Datos de los textos
Según el número de publicaciones Informes de Arbitraje (Rechazo) Comentarios
Sin publicaciones 3 141
de 1 a 10 10 270
más de 10 12 493
Total 25 904
Según el tipo de participación en la revista Informes de Arbitraje (Rechazo) Comentarios
Como evaluador una vez 15 503
Como evaluador más de una vez 5 59
Una vez como autor y una vez como evaluador 2 183
Más de una vez autor y evaluador 3 159
Total 25 904

Los datos discursivos analizados fueron 904 comentarios de 25 informes de arbitraje que recomendaban el rechazo de la publicación del manuscrito evaluado. Los evaluadores fueron, además, clasificados según dos criterios de carácter social: a) el número de publicaciones y, b) el tipo de participación en la revista. Con respecto a la cantidad de publicaciones, los evaluadores fueron agrupados en tres categorías arbitrarias. En nuestro caso, había tres evaluadores que nunca habían publicado, diez evaluadores que habían publicado entre uno y diez artículos y doce evaluadores que habían publicado más de diez artículos. Los evaluadores fueron agrupados según un segundo criterio, a saber, el tipo de participación en la revista (Varas, 2015). Los informes analizados fueron producidos por 25 evaluadores, de los cuales 15 habían participado por primera vez en la revista, cinco ya habían sido evaluadores, dos habían sido una vez autores y una vez evaluadores, y tres participantes habían sido en varias ocasiones evaluadores y autores. La utilización de estos dos criterios (productividad y tipo de participación en la revista) permite, por una parte, saber si existen diferencias en los rasgos discursivos producidos por evaluadores con distintos atributos y, por otra, determinar cuál de esos atributos implica más variación en el género.

Modelo de análisis discursivo

El modelo de análisis utilizado para la descripción de los informes de arbitraje fue creado y validado por Astudillo (2015) y ha sido utilizado por Sabaj et al. (2018). Este dispositivo analítico contiene tres dimensiones: una que permite dar cuenta del contenido de los informes, otra de las funciones o propósitos comunicativos presentes en estos géneros y una tercera capa de análisis que permite saber si los comentarios de los informes tienen polaridad positiva, negativa o neutra.

La primera dimensión del contenido se despliega en tres subcomponentes que tienen grados crecientes de focalización: el macro-objeto evaluado, el objeto evaluado, el micro-objeto evaluado. El primer subcomponente, llamado Macro-Objeto evaluado, permite saber si los comentarios se refieren a aspectos de la forma o del contenido. El segundo subcomponente (Objeto Evaluado) da cuenta del alcance de la evaluación contenida en un comentario. Con esta categoría se puede determinar si el comentario tiene como objeto una sección particular del artículo o si refiere a todo el texto. El tercer subcomponente de la dimensión del contenido, denominado micro-objeto evaluado, da cuenta del contenido específico de la evaluación.

La segunda dimensión del modelo de análisis se refiere a los propósitos comunicativos presentes en los IA. Al producir estos informes, y para cumplir con el propósito general de realizar una evaluación y proporcionar una recomendación de publicación, los evaluadores realizan acciones específicas. Estas acciones, propósitos comunicativos o estructuras retóricas, dan cuenta de la dimensión funcional de los IA. La última dimensión del modelo de análisis discursivo permite especificar la polaridad evaluativa de los comentarios en los informes.

Con el fin de ilustrar el funcionamiento del modelo, considérese el siguiente ejemplo:

“Se debe eliminar el punto final del título”. Macro-objeto: Forma Objeto: El título Micro-objeto: Ortografía puntual Propósito comunicativo: Solicita acción Polaridad: negativa

Para esta investigación solo utilizamos dos componentes del modelo, a saber, el objeto evaluado y los propósitos comunicativos, puesto que estos dos componentes permiten describir aspectos centrales de la naturaleza de este género. Por ejemplo, qué es lo evaluado y cuáles son los actos comunicativos que los evaluadores realizan cuando rechazan la publicación de un manuscrito. Además, cabe señalar, el resto de los componentes ya han sido explorados en otros trabajos (ver Astudillo, 2015; Astudillo et al., 2016). La calidad del modelo se determinó con distintos procedimientos de triangulación que aparecen descritos en detalle en Sabaj et al. (2018).

El listado de categorías específicas utilizado en este trabajo se muestran en las Tablas 2 y 3.

Las categorías de la Tabla 2 hacen referencia a las entidades evaluadas en cada uno de los comentarios de los informes analizados.

Tabla 2 : Objetos evaluados en los comentarios de Informes de Arbitraje de rechazo. 

Objeto evaluado Código Ejemplo
Artículo Art El artículo es muy básico
Títulos Tit Considerando todo esto creo que el título no es acertado
Organización Interna OrgInt No hay títulos de subsecciones
Resumen/ Abstract Resm Es un resumen apropiado respecto al texto que sigue
Introducción Int La introducción contiene los elementos requeridos
Marco teórico Mar No hay ningún marco de referencia a la Pedagogía Teatral, sus tendencias, principios y áreas de inserción, elementos fundamentales para un artículo de esta naturaleza.
Metodología Met La metodología es adecuada
Resultados y Discusión Res Algunos resultados son esperables, por lo que deberían profundizar más en la discusión.
Conclusión Con Las conclusiones del trabajo son más bien proyecciones y se aseveran aspectos que no se pueden desprender del análisis realizado, e.g.
Referencias Bibliográficas Ref Se incluyen en la bibliografía dos trabajos uno de Molina Martínez y Hurtado Albir (2002) y otro de Plaza, Julio (1987), que no aparecen citados en el texto.

Cada comentario de los informes de rechazo analizados también fue analizado utilizando el listado de la Tabla 3.

Tabla 3: Propósitos comunicativos en Informes de Abitraje de Rechazo. 

Propósitos comunicativos Ejemplo
Describe El artículo discute, mayormente, el modo en que debe actualizarse un test de selección de nivel local.
Describe lo que falta No cita algunos trabajos efectuados en Chile en el área del escrito académico
Describe Error Presenta numerosas deficiencias en cuanto al análisis de los datos, a la caracterización e ilustración de las construcciones, a los mé todos de análisis, al uso de los términos me talingüísticos y a la bibliografía manejada
Corrige Cambiar “caracterizó” por “caracterizaron”
Indica algo que sobra “1. Se deben eliminar de la introducción cualquier referencia a los aspectos teóricos que se utilizarán como criterios de clasifica ción de las expresiones gastronímicas”
Sugiere inclusión de elemento Tal vez sería conveniente incluir un análisis estadístico de los resultados
Sugiere aclaración de elemento Se sugiere al autor revisar algunos detalles de redacción, estilo y puntuación.
Sugiere inclusión de un elemento mediante pregunta No hay ninguna cita a literatura de los últi mos 5 o 6 años. ¿Nadie trabaja en esto en el mundo?
Sugiere aclaración de un elemento mediante pregunta ¿Cómo aseguran los autores que “se modifica el mecanismo de reacción”?
Sugiere aclaración mediante un signo de puntuación [En el párrafo se habla de diferencias signi ficativas con overlay, en la tabla los valores promedio son casi idénticos.] [¿?]
Solicita acción Aclarar el criterio de selección para los porcentajes de dopaje En la técnica de “inmersión-recubrimiento a una velocidad de 12cm/min” mencionar los equipos empleados
Destaca aspecto positivo El tema es muy pertinente y el enfoque, adecuado.
Recomienda publicación del artículo Es un trabajo apto para ser publicado, interesante al combinar aspectos literarios y cinematográficos
Rechaza la publicación del artículo Para ser publicable, el artículo necesitaría una reelaboración casi completa
Rechaza la publicación del artí culo por no cumplir exigencias mínimas de la revista El trabajo evaluado no reúne las condiciones exigidas para ser publicado como artículo en una revista
Evalúa la originalidad del artículo La conclusión de todo ello es que no se lo gra apreciar (lo) novedos(o) de este artículo.
Evalúa el aporte del artículo La conclusión de todo ello es que no se logra apreciar cuál es la aportación...de este artículo.
Evalúa la pertinencia del artículo a la revista Finalmente, incluso parece poco adecuado el tema que trata este artículo para ser publicado en una revista con el ámbito declarado por Onomázein
Condiciona la publicación del artículo a la realización de los cambios El artículo requiere de grandes correcciones para poder ser publicado

El modelo completo, incluidas aquellas categorías que no utilizamos en esta investigación, aparecen en Sabaj et al. (2018). Todos los resultados se muestran en términos de frecuencia relativa o porcentajes. Los datos crudos pueden obtenerse a través de una solicitud a los autores.

Resultados y discusión

Los objetos evaluados en los comentarios de informes de rechazo

En la Figura 4, se muestran los objetos evaluados en los comentarios de informes de arbitraje que recomendaban rechazar la publicación de los manuscritos revisados, según la productividad de los evaluadores.

Leyenda: Art= Artículo; T=Título; R=Resumen; I=Introducción; MT= Marco Teórico; MET= Metodología; RES/D=Resultados y Discusión; CON=Conclusiones; REF= Referencias bibliográficas; ORG=Organización interna.

Figura 4:  Objetos evaluados en los comentarios de informes de rechazo según la productividad de los evaluadores. 

Independientemente de la productividad de los evaluadores, cuando se rechaza la publicación de un artículo, los objetos evaluados en los comentarios de los informes tienden a ser inespecíficos, pues, en su mayoría, tienen como objeto evaluado el artículo en su totalidad. En términos generales, esto es, sin hacer distinción entre los tipos de evaluadores, los otros objetos evaluados relevantes en los informes de rechazo son: el título, las referencias, el marco teórico y los resultados y discusión.

Más allá de los patrones comunes, el análisis de los datos comparativos entre los evaluadores da cuenta de algunas tendencias que permiten observar cómo el uso del lenguaje (micro) varía según factores sociales como la productividad de estos actores. Una primera constatación es que el comportamiento discursivo de los evaluadores sin producción contrasta con los que sí tienen producción. Estos últimos, los evaluadores que poseen entre una a diez publicaciones y los que tienen más de diez, usan el lenguaje de manera muy homogénea.

Es interesante notar que los revisores sin productividad necesitan ser más específicos al momento de escribir los comentarios de un informe de rechazo, lo cual se expresa en el hecho de que son los que menos utilizan comentarios asociados al artículo en su totalidad. Esto podría tener relación con su trayectoria social. Como tienen menos productividad necesitan ser más detallados al momento de rechazar un manuscrito. Cuando estos evaluadores rechazan los trabajos, los objetos evaluados más importantes son, en orden decreciente, el título, el resumen, la introducción y el marco teórico. En todas estas categorías, como también en la metodología, los revisores sin productividad muestran una frecuencia de uso mayor que los otros tipos de revisores, lo cual implica realizar revisiones más detalladas y rechazos mejor fundamentados. Tres de los objetos más importantes que los revisores sin productividad consideran para rechazar un artículo corresponden a partes estructurales que son relevantes para que el público general comprenda y consulte la información científica, a saber, el título, el resumen y la introducción.

Las diferencias entre los dos tipos de evaluadores con productividad son mínimas, pero relevantes. Los más productivos son más inespecíficos, ya que el uso de comentarios cuya referencia es el artículo en su totalidad es mayor en este grupo. Los árbitros con más publicaciones son, tal vez por la autopercepción de posición de autoridad, los que más utilizan las referencias como objeto evaluado al momento de rechazar la publicación de un manuscrito. Estos evaluadores más productivos le dan mayor relevancia al título y menos al marco teórico que aquellos con menos artículos publicados. Lo anterior sugiere que, cuando rechazan la publicación de un artículo, los revisores con más publicaciones son los más rápidos y los menos detallistas. De hecho, cuando no aceptan la publicación del trabajo ni siquiera hacen comentarios relativos al resumen.

En la Figura 5, se muestran los objetos evaluados en los comentarios de informes de rechazo, ordenados según su frecuencia de uso por parte de los evaluadores, en este caso, agrupados según su participación o estatus en la revista:

Leyenda: Art= Artículo; T=Título; R=Resumen; I=Introducción; MT= Marco Teórico; MET= Metodología; RES/D=Resultados y Discusión; CON=Conclusiones; REF= Referencias bibliográficas; ORG=Organización interna.

Figura 5:  Objetos evaluados en los comentarios de informes de rechazo según el tipo de participación o status en la revista. 

Cuando los datos se agrupan de acuerdo al tipo de participación en la revista, se puede observar que en los informes que rechazan la publicación de manuscritos, los revisores, independientemente de su estatus, muestran un comportamiento discursivo claramente homogéneo para unas categorías (el artículo, el título, el resumen y la introducción) y relativamente heterogéneo para otras (el marco teórico, la metodología, los resultados y la discusión, la conclusión y las referencias), en las cuales se materializa, en definitiva, la micro-variación discursiva.

Al igual que los evaluadores más productivos, al momento de rechazar un manuscrito, los revisores con mayor participación en la revista son lo que más hacen alusión al artículo en su totalidad. En efecto, siete de diez comentarios hacen referencia a ese elemento. Estos árbitros, que han sido autores y evaluadores en múltiples ocasiones en la revista, son los que más utilizan las referencias como objeto de sus comentarios evaluativos, lo que cual podría indicar su autopercepción como autoridades epistémicas en la disciplina que representan.

Los evaluadores que han sido además una vez autores son lo que más se focalizan en el resumen, en la introducción y, sobre todo, en el marco teórico, cuando rechazan la publicación de los manuscritos evaluados. En estas secciones de un artículo de investigación se juega buena parte del potencial de un trabajo, por lo que la evaluación de este tipo de árbitro debe ser especialmente útil para los autores, cuyos trabajos se rechazan.

El objeto más frecuente en los comentarios de los evaluadores primerizos es la metodología. Ello es concordante con los hallazgos de Bordage (2001) en el que la suma de los enunciados relativos a aspectos metodológicos constituye el 30% de los comentarios de informes de rechazo. Al igual que en esos datos, al rechazar la publicación los revisores primerizos emiten juicios relacionados con la dimensión técnica que subyace a la investigación y lo hacen en mayor medida que los otros evaluadores. Cuando los evaluadores recurrentes que no cumplen otra función en la revista rechazan la publicación de un trabajo, sus comentarios tienen, mayoritariamente, como objeto evaluado los resultados y la discusión. En estas secciones de los artículos, se juegan los aspectos más originales de una investigación. Estos evaluadores que repetidamente participan en la revista rechazan los artículos centrándose mayoritariamente en la contribución original del trabajo revisado.

Los propósitos comunicativos en informes de rechazo

La identificación y descripción de los propósitos comunicativos de los Informes de Arbitraje que rechazan la publicación de un manuscrito permiten dar cuenta de un núcleo funcional y retórico esencial de un informe de rechazo. En la Figura 6, aparecen los propósitos comunicativos según la productividad de los evaluadores.

N.B.: El total no suma exactamente 100%, pues fueron eliminadas todas aquellas categorías que no superaran al menos un 2% de ocurrencia en alguno de los grupos comparados. Las categorías del modelo original eliminadas de la Figura 6 son: Sugiere acción mediante signo de puntuación, Evalúa pertinencia, Evalúa organización, Rechaza la publicación, Indica lo que sobra, Recomienda publicación, y Rechaza por no cumplir las exigencias mínimas.

Figura 6:  Propósitos comunicativos en informes de rechazo según la productividad de los evaluadores. 

Independientemente de su productividad, cuando los evaluadores rechazan la publicación de un manuscrito, los IA que producen tienen dos propósitos principales. Por un lado, señalar o describir un conjunto de errores y, por otro, describir de manera neutra el trabajo evaluado. Además de las categorías eliminadas, existe otro grupo de propósitos que también tienen muy baja frecuencia relativa (Solicita acción, Sugiere acción mediante pregunta y Condiciona la publicación), cuyas funciones son poco relevantes para los árbitros con productividad diferenciada al momento de rechazar un artículo: se trata de propósitos que dicen relación con acciones esperadas por el autor (directivos y sugerencias) y cuyo uso, dada la recomendación de publicación, carece de sentido en este género.

Si se compara el comportamiento discursivo retórico de los evaluadores más productivos, se puede establecer que estos dos tipos de revisores (1-10 y más de 10) utilizan el lenguaje, en términos generales, de manera muy similar cuando escriben el informe de rechazo. Solo en algunos propósitos exhiben conductas diferenciadas, las cuales se expresan en patrones que permiten mostrar cómo la productividad puede afectar el uso del lenguaje. Según estos datos, por ejemplo, los revisores menos productivos se fijan más en lo que falta (13%) que aquellos con mayor número de trabajos publicados (6%). A su vez, estos últimos, los más productivos, utilizan más propósitos directivos (Solicita Acción) y sugerencias (Sugiere acción y Sugiere inclusión) que los árbitros con menor número de trabajos publicados.

Es muy interesante observar cómo micro-varía el discurso en los informes de rechazo escritos por evaluadores sin productividad. Estos árbitros son los que más utilizan propósitos comunicativos de tipo descriptivo en los informes de rechazo. Los comentarios descriptivos que tienen una polaridad evaluativa neutra (Astudillo et al., 2016) no tienen ninguna utilidad para los autores, menos cuando se recomienda el rechazo del manuscrito evaluado. Los datos de otros trabajos (Astudillo, 2016, Suid, Sabaj & González, 2018; Cabezas et al., 2018) sugieren que el uso de este tipo de propósitos tiene como función principal introducir de manera matizada un comentario evaluativo negativo, o bien demostrar que se ha revisado el manuscrito de manera cuidadosa. Otra característica de estos árbitros sin productividad es que son los que más adoptan un rol correctivo. A diferencia del propósito ‘Describe error’, cuando se ocupa la función Corregir el árbitro ofrece la solución al error descrito. El patrón de comportamiento de estos revisores sin productividad difiere de manera clara respecto del resto de los otros árbitros y consiste básicamente de tres funciones principales: describir neutramente el trabajo, indicar lo que no el trabajo tiene y corregir al autor.

En la Figura 7, aparecen los propósitos comunicativos en los informes de rechazo, según el tipo de participación de los evaluadores en la revista:

N.B.: El total no suma exactamente 100%, pues fueron eliminadas todas aquellas categorías que no superaran el 2% de ocurrencia en alguno de los grupos comparados. Las categorías del modelo original eliminadas de la Figura 7 son: Condiciona publicación, Indica lo que sobra, Evalúa organización, Evalúa pertinencia, Rechaza por no cumplir las exigencias mínimas, Rechaza la publicación, Recomienda publicación, y Sugiere acción mediante signo de puntuación.

Figura 7: Propósitos comunicativos en informes de rechazo según el tipo de participación en la revista. 

Los evaluadores que han sido autores una vez son los que más describen los errores del trabajo (56%) cuando rechazan la publicación del manuscrito evaluado y son, a su vez, los que menos se dedican (10%), de los cuatro grupos comparados, a describir el trabajo revisado. Tal como ya hemos defendido, son actos que no tienen ninguna repercusión en el lector. En este sentido, es interesante notar que los árbitros que solo han sido evaluadores son los que más usan este lenguaje descriptivo en los informes de rechazo. El uso excesivo de actos descriptivos puede tener su explicación en la falta de experiencia de estos evaluadores en la producción del género informes de evaluación, más específicamente, en la redacción de un informe en el que se recomienda rechazar la publicación del trabajo.

Los propósitos comunicativos presentes en los informes de arbitraje que recomiendan no publicar el manuscrito evaluado pueden ser de dos tipos: los referenciales (descriptivos o evaluativos) y los dialógicos. En los primeros, el evaluador describe o emite un juicio sobre algún aspecto del manuscrito (tiene el artículo como objeto de referencia) y espera que el autor responda a ese juicio. En el caso de los propósitos interactivos dialógicos, el evaluador apela directamente al autor y le pide de manera más o menos directa que realice algo. En relación con lo anterior, es interesante observar que el evaluador que ha participado de manera reiterada solo en ese rol es el que más tiende a utilizar propósitos comunicativos interactivos como Solicitar una acción o Sugerir Acción mediante pregunta.

En los datos aparecen algunas tendencias importantes para comprender cómo, de manera micro, el uso de lenguaje da cuenta del grado de socialización, adquisición y uso del género ‘Informe de Arbitraje’. De estas tendencias, resulta especialmente interesante el comportamiento del evaluador (y, a su vez, autor) que participa en la revista en múltiples ocasiones. Este evaluador multifuncional y reiterado es, por su posición, el que más atribuciones tiene para indicar lo que falta en los manuscritos evaluados. En este sentido, la frecuencia de uso de esta función detractiva (Bolívar, 2011) es un buen indicador del grado de socialización del evaluador que realiza el informe de rechazo. Asimismo, es este mismo tipo de evaluador el que más destaca los aspectos positivos de los manuscritos que recomienda no publicar. En este sentido, este evaluador, que publica y revisa de manera reiterada en la revista, muestra dos comportamientos claros. Por un lado, rechaza los trabajos porque no tienen lo que se espera y, por otro, asume la función de contener a los autores que rechaza, destacando los aspectos positivos del manuscrito evaluado.

Conclusiones

En este trabajo, hemos descrito los objetos evaluados y los propósitos comunicativos en Informes de Arbitraje en los que se recomendaba rechazar la publicación de los manuscritos, esto, en el proceso de evaluación por pares de una revista chilena de humanidades. Para concluir, presentamos de nuevo las preguntas que guiaron nuestra investigación:

1) ¿Qué objetos del manuscrito se evalúan y qué propósitos comunicativos se utilizan cuando se escribe un informe de rechazo?

Los datos de la investigación permiten concluir que el objeto evaluado más frecuente en los informes que recomiendan rechazar la publicación es el artículo en su totalidad. Tal como hemos sugerido, cuando se dan malas noticias, los evaluadores tienden a ser inespecíficos. Otros objetos de evaluación frecuentes en los informes de rechazo son el título, el resumen, la metodología y el marco teórico. Respecto de los propósitos comunicativos, los datos permiten concluir que en los informes de arbitraje que rechazan la publicación de los manuscritos es frecuente describir errores, describir el trabajo de manera neutra y describir lo que falta.

2. ¿Varían los objetos y los propósitos comunicativos según la productividad y la participación del evaluador en la revista?

El informe de arbitraje, como todos los géneros discursivos, está constituido por un conjunto de características esenciales que los constituyen como tal. Como se ha demostrado a lo largo de este trabajo, una parte de este núcleo está compuesto por los objetos evaluados y los propósitos comunicativos más frecuentes de estos géneros, los cuales son menos sensibles a la variación dada por las características de los árbitros que los producen. A pesar de ello, podemos establecer que existe una microvariación discursiva, ya que se pueden observar ciertos patrones que dan cuenta de cómo las características de los árbitros se asocian a usos particulares del lenguaje. Entre estos patrones se encuentran: la relación entre la productividad de los evaluadores y el grado de especificidad de los objetos evaluados, la interacción entre las funciones correctiva, detractiva o correctiva con el tipo de participación en la revista. De los resultados, se puede concluir que la participación o estatus en la revista influye más que lo que influye la productividad de los árbitros en la variación del uso del lenguaje en los informes de rechazo.

La investigación tiene la limitación de que la muestra es muy particular, razón por la cual los resultados podrían fortalecerse ampliándola a otras revistas y áreas del conocimiento. Los resultados de este trabajo pueden ser útiles no solo para aquellos interesados en las características de los IA que rechazan la publicación de los manuscritos evaluados, sino también para los investigadores en formación cuya carrera académica dependerá fuertemente de que sus artículos sean publicados.

Referencias bibliográficas

Astudillo, C. (2015). Aplicación de un modelo discursivo para el análisis de los Informes de Evaluación de Artículos Rechazados (IEAR) en el Proceso de Evaluación por Pares (PEP) de tres revistas chilenas. Tesis de Magíster, Universidad de La Serena, Chile. [ Links ]

Astudillo, C., Squadrito, K., Varas, G., González, C. & Sabaj, O. (2016). Polaridad de los comentarios y consistencia interna en los informes de arbitraje de artículos de investigación. Acta Bioethica, 22(1), 119-128. [ Links ]

Bakanic, V., McPhail, C. & Simon, R. (1987). The Manuscript Review and Decision-Making Process. American Sociological Review, 52(5), 631-642. [ Links ]

___. (1989). Mixed Messages: Referees’ Comments on the Manuscripts They Review. The Sociological Quarterly, 30(4), 639-654. [ Links ]

Bolívar, A. (2008). El informe de arbitraje como género discursivo en la dinámica de la investigación. Revista Latinoamericana de Estudios del Discurso, 8(1), 41-64. [ Links ]

___. (2011). Funciones discursivas de la evaluación negativa en informes de arbitraje de artículos de investigación en educación. Núcleo, 28, 59-89. [ Links ]

Bordage, G. (2001). Reasons reviewers reject and accept manuscripts: The strengths and weaknesses in medical education reports. Academic medicine, 76(9), 889-896. [ Links ]

Bornmann, L., Nast, I. & Daniel, H.D. (2008). Do editors and referees look for signs of scientific misconduct when reviewing manuscripts? A quantitative content analysis of studies that examined review criteria and reasons for accepting and rejecting manuscripts for publication. Scientometrics, 77(3), 415-432. doi: 10.1007/ s11192-007-1950-2. [ Links ]

Bornmann, L. (2011). Scientific Peer Review. Annual Review of Information Science and Technology, 45(1), 197-245. doi: 10.1002/ aris.2011.1440450112. [ Links ]

Callon, M., Law, J. & Rip, A. (1986). Mapping the Dynamics of Science and Technology. London: The Macmillan Press Ltd. [ Links ]

Cabezas, P., Sabaj, O., Varas, G. & González, V. (2018). Peering into peer review: Good quality reviews of research articles require neither writing too much nor taking too long. Transinformação, 30(2), 209-218. doi: 10.1590/2318-08892018000200006Links ]

Cole, J. & Stephen, C. (1981). Peer Review in the National Science Foundation. Washington, DC: National Academy of Sciences. [ Links ]

Crane, D. (1967). The Gatekeepers of the Science: Some factors afecting the selection of articles for scientific journals. The American Sociologist, 2(4), 195- 201. [ Links ]

Gosden, H. (2001). Tank you for your critical comments and helpful suggestions: compliance and conflict in authors’ replies to referees’ comments in peer reviews of scientific research papers. Ibérica, 3, 3-17. [ Links ]

___. (2003). Why not give us the full story: functions of referees’ com-ments in peer reviews of scientific research papers. Journal of English for Academic Purposes, 2, 87-101. [ Links ]

Fortanet, I. (2008). Evaluative language in peer review referee reports. Journal of English for Academic Purposes, 7(1), 27-37. [ Links ]

Latour, B. (1992). Ciencia en acción: Cómo seguir a los científicos e ingenieros a través de la sociedad. Barcelona: Editorial Labor. [ Links ]

Mungra, P. & Webber, P. (2010). Peer Review process in medical research publication: Language and content comment. Journal of English for Specific Purposes, 29, 43-53. [ Links ]

ONOMÁZEIN. (2016). Página Principal. Recuperado de: http://ono-mazein.letras.uc.cl/Links ]

Sabaj, O., González, C. & Pina-Stranger, A. (2016). What we Still don´t Know about Peer Review. Journal of Scholarly Publishing, 47(2), 180-212. [ Links ]

Sabaj, O., González, C., Astudillo, C., Varas, G., Fuentes, M., Cabezas, P., Squadrito, K. & Pina-Stranger, A. (2018). El informe de arbitraje según la recomendación de publicación y la productividad de los evaluadores. Athenea Digital, 18(2), e2051. doi: 10.5565/rev/ athenea.20511Links ]

Samraj, B. (2016). Discourse structure and variation in manuscript re-views: Implications for genre categorization. English for Specific Purposes, 42, 76-68. doi: 10.1016/j.esp.2015.12.003Links ]

Swales, J. (1996). Occluded Genres in the Academy: The Case of the Submission Letter. En E. Ventola & A. Mauranen (Eds.). Academic Writing: Intercultural and Textual Issues (pp. 45-58). Amsterdam: John Benjamins. [ Links ]

Suid, N., Sabaj, O. & González-Vergara, C. (2018). Ciencia, estatus y cortesía: atenuación en informes de arbitraje de artículos de investigación. Tonos Digital, 34. Recuperado de: http://www.tonosdigital.es/ojs/index.php/tonos/article/view/1894/983mLinks ]

Taririan, M.H & Sadri, E. (2013). Peer Reviewers’ Comments on Research Articles Submitted by Iranian Researchers. The Journal of Teaching Language Skills (JTLS),5(3), 107-123. [ Links ]

Varas, G. (2015). El informe de arbitraje en el proceso de revisión por pares de artículos de investigación: Niveles de retroalimentación según el tipo de evaluador. (Tesis de Magíster). Universidad de La Serena, Chile. [ Links ]

Zuckerman, H. & Merton, R. (1971). Patterns of Evaluation in Science: Institutionalization, Structure and Functions of the Referee System. Minerva, 9(1), 66-100. [ Links ]

* Este artículo forma parte del proyecto Fondecyt 1130290: La interacción socio-discursiva en la construcción colectiva del conocimiento científico: la dinámica interna del proceso de evaluación por pares

Recibido: 28 de Agosto de 2018; Aprobado: 04 de Enero de 2019

Creative Commons License Este es un artículo publicado en acceso abierto bajo una licencia Creative Commons