SciELO - Scientific Electronic Library Online

 
vol.71 número4Actualidad y tendencias de la cirugía gastrointestinal robóticaRecuperación mejorada después de cirugía torácica. ERAS índice de autoresíndice de materiabúsqueda de artículos
Home Pagelista alfabética de revistas  

Servicios Personalizados

Revista

Articulo

Indicadores

Links relacionados

  • En proceso de indezaciónCitado por Google
  • No hay articulos similaresSimilares en SciELO
  • En proceso de indezaciónSimilares en Google

Compartir


Revista de cirugía

versión impresa ISSN 2452-4557versión On-line ISSN 2452-4549

Rev. cir. vol.71 no.4 Santiago ago. 2019

http://dx.doi.org/10.4067/S2452-45492019000400359 

Artículo de Revisión

Evaluación de las habilidades no técnicas en cirugía

Assessment of non-technical skills in surgery

Francisco Navarro S.1 

Sofia González C.1 

Mauricio Gabrielli N.2 

1Escuela de Medicina, Facultad de Medicina, Pontificia Universidad Católica de Chile. Santiago, Chile.

2Departamento de Cirugía Digestiva, División de Cirugía, Facultad de Medicina, Pontificia Universidad Católica de Chile. Santiago, Chile.

Resumen

Tradicionalmente, se ha asociado a la falta de habilidades y competencias técnicas con los eventos adversos en el área quirúrgica. Sin embargo, se ha visto que un gran porcentaje de estos eventos se relacionan directamente con déficits en las habilidades no técnicas (HNT) del equipo quirúrgico. Por lo tanto, la evaluación de éstas se ha vuelto un tópico relevante para minimizar errores y fortalecer el desempeño en el escenario operatorio. Múltiples instrumentos han sido desarrollados con este fin, tanto para analizar el funcionamiento del equipo completo, como de cada subgrupo que lo conforma. El presente trabajo pretende resumir los principales aspectos de los distintos métodos que han sido desarrollados en los últimos años para la evaluación de HNT en el área quirúrgica.

Palabras clave: evaluación; habilidades no técnicas; cirugía

ABSTRACT

Traditionally, the lack of skills and technical competencies has been associated with adverse events in the surgical area. However, it has been seen that a large percentage of these events are directly related to deficits in the non-technical skills (NTS) of the surgical team. Therefore, the evaluation of these has become a relevant topic to minimize errors and strengthen performance in the operating room. Multiple instruments have been developed for this purpose, both to analyze the operation of the complete equipment, and of each subgroup that comprises it. This article aims to summarize the key aspects of the methods that have been developed in recent years for the evaluation of NTS in the surgical area.

Key words: assessment; non-technical skills; surgery

Introducción

Existen múltiples actividades consideradas de alto riesgo, como la aviación o la medicina, por ejemplo, donde los errores pueden traducirse en efectos adversos devastadores para un gran número de personas y habitualmente generan un gran impacto mediático y social. Para minimizar al máximo el número de estos eventos, tradicionalmente se miden y evalúan diversas habilidades y competencias técnicas y las instituciones invierten gran cantidad de recursos en pro de éstas. Sin embargo, en la última década, se ha visto que los eventos adversos en cuidados de salud, especialmente en el área quirúrgica, están principalmente originados por fallas en aspectos conductuales más que por la falta de experticia técnica1. En este sentido, se ha reportado que hasta un 86% de los eventos adversos en cirugía no están relacionados con las habilidades técnicas, siendo un 40% atribuidos sólo a fallas en la comunicación2.

Las habilidades no técnicas (HNT) son definidas como aspectos conductuales del desempeño que sustentan la experticia médica, el uso de equipamiento o drogas, y reflejan habilidades cognitivas e interpersonales que complementan la experiencia técnica y el conocimiento3. La deficiencia de este tipo de habilidades está asociada usualmente con errores técnicos que conllevan eventos adversos en el escenario operatorio (EO)4. Es por eso que su correcta medición y evaluación objetiva se ha transformado en un tópico relevante para minimizar los errores y fortalecer el desempeño, lo que finalmente se traduce en una mayor seguridad para el paciente5.

Múltiples instrumentos han sido desarrollados en los últimos años con este fin. La evaluación de éstos se realiza en base a ciertas características específicas; por una parte, éste debe ser confiable, es decir, demostrar una adecuada concordancia en la medición obtenida cuando ésta es repetida por el mismo evaluador, o cuando es realizada por evaluadores diferentes. Este parámetro, habitualmente, se mide con un coeficiente de confiabilidad (CC) que va de 0 a 1, siendo mayor o igual a 0,8 considerado excelente de acuerdo a la literatura6. Por otro lado, también debe contar con una adecuada validez, o bien, ser capaz de medir lo que fue diseñado para medir. Finalmente, la sensibilidad se refiere al nivel de concordancia entre los puntajes entregados por los participantes y los establecidos como referencia, medido como diferencia absoluta. Por lo tanto, a menor diferencia existente, la sensibilidad del test es mayor.

El objetivo del presente artículo es realizar una revisión en la literatura acerca de los distintos métodos desarrollados para la evaluación de HNT en el área quirúrgica.

NOTECHS

El sistema de evaluación NOTECHS (NOn-TECHnical Skills) fue desarrollado inicialmente en respuesta a los requerimientos de entrenamiento y evaluación de habilidades cognitivas y de trabajo en el área de aviación civil7. Posteriormente, ésta fue adaptada, mediante asesoramiento de cirujanos, anestesistas y enfermeros expertos, para poder evaluar este tipo de habilidades en el EO, permitiendo calificar y desarrollar las HNT en forma colectiva en el equipo quirúrgico8. Se estructuró en base a cuatro categorías a evaluar: liderazgo y manejo; trabajo en equipo y cooperación; resolución de problemas y toma de decisiones y conocimiento de la situación. Cada una de estas categorías se subdividió en distintos elementos que contenían, a su vez, un número variable de conductas a evaluar mediante una puntuación de 1 a 4 (bajo el estándar, estándar básico, estándar y excelente, respectivamente) (Figura 1).

Figura 1 Estructura básica del sistema NOTECHS. Adaptado de Flin R, Martin L, Goeters K, Hoermann J, Amalberti R, Valot C, et al. Development of the NOTECHS (Non-Technical Skills) system for assessing pilots’ CRM skills. Human Factors and Aerospace Safety. 2003;3:95-117. 

Posteriormente, Sevdalis et al.9, agregaron una quinta categoría, basándose en la observación de que los equipos en el EO difieren de los equipos de pilotos de cabina por componerse de subgrupos de profesionales distintos. Esta nueva escala, incluyendo 5 categorías, es evaluada con una puntuación desde 1 = no realizado, hasta 6 = muy bien realizado. En este mismo estudio se demostró una adecuada validez y confiabilidad para esta nueva versión (CC 0,77-0,87).

Una nueva modificación a este sistema fue propuesta en 2009 con el objetivo de analizar de mejor manera la contribución individual de cada uno de los subequipos participantes en el EO (enfermería, anestesiología y cirugía), conociéndose como sistema Oxford NOTECHS10. Éste fue evaluado en un estudio realizado en distintos equipos de trabajo durante colecistectomías laparoscópicas, antes y después de un entrenamiento breve en HNT11. Fueron evaluados por 2 y hasta 3 observadores independientes, obteniendo una excelente validez, confiabilidad interobservador, además, de una relación inversa entre puntaje obtenido y tasa de error.

Finalmente, una nueva versión denominada Oxford NOTECHs II fue postulada, con el objetivo de aumentar la precisión entre los distintos grados de rendimiento del equipo quirúrgico dentro del rango normal, utilizando una nueva escala de puntuación de 8 puntos12. Otras modificaciones, por ejemplo, para equipos de atención en trauma, también han sido propuestas13.

Una revisión sistemática reciente la ubicó como la herramienta de observación directa más validada y confiable para evaluar el trabajo en equipo en el EO14.

NOTSS

Siguiendo un principio similar, con la intención de evaluar las HNT de los cirujanos y residentes en el escenario operatorio, se desarrolló la escala NOTSS (Non-technical Skills for Surgeons) en 2006. En el proceso de diseño participó un grupo de 27 cirujanos de distintas especialidades utilizando un tipo de entrevista cognitiva, con el objetivo de identificar habilidades cognitivas e interpersonales empleadas por los cirujanos en incidentes críticos en el escenario operatorio15. Posteriormente, un grupo de 6 psicólogos, analizó las entrevistas de manera independiente hasta lograr una adecuada confiabilidad interevaluador y luego se llevó a cabo una revisión de la literatura por parte de un grupo multidisciplinario con el fin de confeccionar una clasificación de las habilidades expuestas en las entrevistas. Finalmente, se obtuvo un grupo de 5 categorías principales de HNT, donde se incluyen “conocimiento de la situación”, “toma de decisiones”, “gestión de tareas”, “liderazgo” y “comunicación y trabajo en equipo” (Tabla 1). En cada una de estas categorías se incluyeron 2 o 3 ítems específicos, generando un total de 14 elementos a evaluar. Un grupo de 16 cirujanos fue consultado respecto a ejemplos de conductas de buen y pobre rendimiento para orientar a los evaluadores al usar esta herramienta. El desempeño en cada uno de estos ítems fue calificado utilizando una escala de 4 puntos, siendo 1 “pobre”, 4 “bueno”. La suma de cada puntaje obtenido daba un total indicador de las HNT del residente o cirujano evaluado.

Tabla 1 Taxonomía utilizada en NOTSS modificada con 4 categorías 

Conocimiento de la situación Reunir información
Entender información
Proyección y anticipación del estado futuro
Toma de decisiones Considerar opciones
Selección y comunicación de opciones
Implementación y revisión de decisiones
Liderazgo Apoyo a otros
Hacer frente a la presión
Intercambio de información
Comunicación y trabajo en equipo Establecer y mantener estándares
Apoyar a otros
Enfrentar la presión

*Adaptado de Yule S, Flin R, Maran N, Rowley D, Youngson G, Paterson-Brown S. Surgeons’ non-technical skills in the operating room: reliability testing of the NOTSS behavior rating system. World J Surg. 2008; 32: 548-556.

Posteriormente, se propuso la reducción en el número de categorías a 4, ya que “gestión de tareas” y sus ítems fueron difíciles de comprender y evaluar por un grupo de cirujanos que aplicó el instrumento en un estudio posterior16.

Esta herramienta fue diseñada inicialmente para evaluar a los operadores en calidad de primer cirujano y no a los asistentes, y su forma de evaluación es mediante la observación. Es un instrumento fácil de aplicar y no requiere un test o habilidad especial para utilizarlo. Es presentada, habitualmente, en sólo una página y requiere un tiempo acotado para ser aplicada, con cerca de 10 minutos en promedio en el grupo de evaluadores novatos17.

La sensibilidad de esta herramienta fue evaluada por sus propios autores en 200816. En este estudio participaron 44 cirujanos de 5 hospitales diferentes, participando de 11 escenarios clínicos operatorios distintos presentados en videos. 84% de estos participantes reportaron tener experiencia previa en evaluar desempeño de residentes. Fueron sometidos a un curso de 2,5 h de entrenamiento previo en observación y evaluación mediante la escala NOTSS. Se establecieron “puntajes de referencia” otorgados por miembros del equipo quirúrgico de cada escenario con más de 10 años de experiencia en calificar y evaluar habilidades técnicas y no técnicas. La sensibilidad obtenida mostró ser la más alta en la categoría de “gestión de tareas”, y la más baja en “conocimiento de la situación”.

Un estudio prospectivo analizó la confiabilidad de NOTSS para evaluar las HNT de residentes en el escenario operatorio18. Fueron evaluados 85 residentes de cirugía entre abril de 2007 a junio de 2009, resultando un total de 715 evaluaciones. Se obtuvo finalmente un coeficiente de confiabilidad de 0,82.

Existe consenso en la literatura respecto a que ciertos dominios como “conocimiento de la situación” y “toma de decisiones”, entendidos como dominios de tipo “cognitivos”, son difíciles de evaluar en el escenario operatorio15,16,18. Además, en ciertas oportunidades, al ser los evaluadores parte del equipo técnico del escenario operatorio, como es el caso de enfermeros o anestesistas, éstos debían, al mismo tiempo, cumplir labores propiamente clínicas durante el procedimiento, lo que dificultaba su aplicación.

Los resultados obtenidos en este tipo de instrumentos varían ampliamente de acuerdo a rango del evaluador. Se ha visto que aquellos más experimentados o de mayor rango tienden a calificar con puntajes más bajos a los evaluados respecto a evaluadores novatos o de menor rango19. Además, al momento de autoevaluarse, los cirujanos jóvenes tendían a calificar sus propias habilidades con mejores puntajes que los expertos, mientras que lo contrario ocurría con los cirujanos más experimentados20,21.

La gran mayoría de los evaluadores coinciden en que NOTSS es una herramienta que provee un lenguaje común para evaluar las HNT y podría tener cabida en el funcionamiento habitual de un pabellón18. En los últimos años, la escala NOTSS, se ha transformado en la herramienta más utilizada y validada para evaluar las HNT en cirujanos individuales22.

OTAS

En el año 2006, un grupo inglés desarrolló el instrumento OTAS (Observational Teamwork Assessment for Surgery), con el objetivo de generar un método práctico de evaluación de las dimensiones conductuales más importantes del trabajo en equipo en el EO23.

Se compone de 2 elementos de evaluación: el primero consiste en un checklist de tareas a realizar y, el segundo, en la evaluación conductual del equipo. El checklist fue desarrollado a partir de guías de práctica clínica, protocolos quirúrgicos y opinión de expertos, y cada tarea es evaluada con “sí” o “no”, de acuerdo a si se realizó explícitamente o no. El segundo es conformado por 5 elementos conductuales del trabajo en equipo (comunicación, coordinación, cooperación, liderazgo y monitoreo del equipo), evaluados en tres fases de la cirugía (preoperatorio, intraoperatorio y postoperatorio), con una escala de Likert de 7 puntos.

Esta herramienta ha sido validada en urología, cirugía vascular y cirugía general24,25. Corresponde a un instrumento accesible, que ha demostrado ser confiable para la evaluación del trabajo del equipo quirúrgico, tanto para evaluadores clínicos como no clínicos, con un escaso período de entrenamiento26. Además, presenta una adecuada validez constructiva al diferenciar, en términos de consistencia en la evaluación, entre evaluadores novatos y expertos, y de contenido27. Posteriormente, otras versiones desarrolladas en alemán (OTAS-D)28 y en español (OTAS-S)29, han mostrado resultados similares.

Mediante esta herramienta se ha podido identificar que las habilidades de comunicación del equipo quirúrgico habitualmente son las peor evaluadas y específicamente en el caso del cirujano, los puntajes a nivel global tienden a deteriorarse hacia el final de los procedimientos30.

Es un instrumento completo y permite evaluar las acciones de todo el sistema, así como las interacciones involucradas en el equipo completo, más que limitarse a la evaluación individual de cada subgrupo en el EO.

SPLINTS

Ante la falta de un sistema de evaluación de HNT para el personal no médico en el EO, como enfermera o técnico, se utilizaron métodos de análisis de tareas como los empleados en el desarrollo de las escalas NOTSS y ANTS (Anaesthetists’ Non-Technical Skills)31,32. Mediante información recopilada por un panel de psicólogos y personal no médico experimentado sobre las HNT necesarias para este subgrupo, en la Universidad de Alberdeen, Reino Unido, se desarrolló el sistema SPLINTS (Scrub Practitioners List of Intraoperative NonTechnical Skills)33. Éste corresponde a una herramienta que permite capacitar, asesorar y evaluar el comportamiento del personal no médico en el EO (enfermera/o, técnico en enfermería y arsenalera/o) durante un procedimiento quirúrgico. Pretende medir las habilidades relacionadas al comportamiento social y protocolar del equipo ayudante mediante un sistema de discusión estructurada, capacitación y puntuación de HNT requeridas para un correcto y eficiente desempeño durante el procedimiento34.

La escala consta de 3 categorías principales: Conciencia de la situación, comunicación y trabajo en equipo, y administración de tareas. Estos ítems presentan, además, 3 subelementos cada uno, entre los cuales se encuentra el saber recopilar información, reconocer y comprenderla, anticiparse a los problemas, coordinar las tareas con los demás, y algunos otros que permiten la evaluación de las categorías ya descritas. Cada uno de estos elementos es calificado con un puntaje de 1 a 4, siendo 1= pobre desempeño y 4= buen desempeño.

El sistema SPLINTS pretende proporcionar una terminología común y un método estructurado para analizar las HNT en este subgrupo de profesionales, quienes durante el desarrollo del proyecto indicaron que esta herramienta podría permitirles entrenar y practicar un aspecto de su trabajo que muchas veces resulta difícil de enseñar o evaluar35.

ANTS

El sistema ANTS (Anaesthetists’ Non-Technical Skills) es un instrumento que permite evaluar aspectos conductuales desarrollado por un grupo de psicólogos y anestesistas en la Universidad de Aberdeen, en Escocia. Fue diseñado utilizando métodos de análisis de tareas basado en el sistema NOTECHS, con el objetivo de proveer un marco de referencia para describir las HNT y guiar su evaluación en los anestesistas. Se centra en las habilidades principales que pueden ser realmente identificadas mediante conductas observables. Éstas corresponden a 4 categorías: conciencia de la situación, toma de decisiones, manejo de tareas y trabajo en equipo, con una cantidad variable de elementos en cada una. La evaluación se realiza mediante una escala de 4 puntos en una página donde, además, existía espacio para realizar observaciones respecto a las conductas observadas.

Los reportes iniciales de aplicación de esta herramienta han mostrado niveles aceptables de confiabilidad interobservador, especialmente en el escenario simulado, con evaluadores sometidos a cursos breves de adiestramiento en su uso36. Sin embargo, existe consenso en que es requerido un entrenamiento más especializado en el sistema ANTS, antes de poder ser utilizada para evaluaciones formales en programas de postgrado en anestesia37.

Grabador de datos (Black Box)

Los modelos tradicionales de análisis de videos en el escenario operatorio se basan, en su gran mayoría, en el análisis retrospectivo de la ejecución aislada del procedimiento mediante técnicas mínimamente invasivas, principalmente por la captura de video intracorporal necesaria para llevarse a cabo. Esta modalidad sólo entrega una visión parcial de lo acontecido en el acto quirúrgico, centrándose en el análisis de las habilidades técnicas del operador, sin correlacionar éstas con el impacto real, por ejemplo, en los signos vitales del paciente o posibles daños o perjuicios hacia éste.

La Operating Room Black Box (ORBB)38, corresponde a una innovadora herramienta que contiene y analiza una gran cantidad de datos del pabellón quirúrgico, incluyendo material audiovisual, parámetros fisiológicos del paciente, factores ambientales y múltiples aparatos de grabación. El video es capturado utilizando cámaras de ángulo amplio y, además, registra datos intracorporales del paciente mediante cámaras laparoscópicas o robóticas, o incluso con cámaras montadas en cirugías abiertas. Estos datos son, posteriormente, almacenados en un servidor para su posterior análisis por expertos. Este instrumento permite evaluar prospectivamente y en forma no sesgada tanto habilidades técnicas como no técnicas en el EO. Recientemente, se ha demostrado la capacidad de la ORBB para identificar eventos, errores, variaciones en las habilidades técnicas y distractores ambientales durante la realización de procedimientos laparoscópicos39.

Un estudio prospectivo observacional reciente utilizó esta herramienta para explorar las interacciones generadas en el EO mientras se realizaban bypass gástricos en Y de Roux por vía laparoscópica40. Las HNT fueron evaluadas mediante NOTSS y SPLINTS. En 57 pacientes, analizando 90 procedimientos, se encontró una fuerte relación entre el desempeño en HNT tanto del equipo quirúrgico como del personal no médico y la presencia de eventos adversos y rectificaciones en las habilidades técnicas. Más estudios a futuro son necesarios para corroborar estos resultados.

Discusión y Conclusiones

Los errores en la práctica quirúrgica son frecuentes y sus causas están habitualmente en un contexto multifactorial. Se conoce actualmente que un gran porcentaje de éstos se encuentra directamente vinculados a deficiencias en habilidades conductuales y comunicacionales en el EO, debido al impacto de éstas en el desempeño técnico41. La preocupación creciente en las últimas décadas por la evaluación de este tipo de habilidades ha dado paso a número no menor de instrumentos, cuyos principales y más validados exponentes fueron presentados en este artículo.

Como pudimos ver, el desarrollo de estas herramientas se originó a partir de la experiencia obtenida en otras áreas como la aviación y la instrucción militar, donde las habilidades cognitivas, interpersonales y de trabajo en equipo cobran especial relevancia al orientar las conductas hacia la consecución de un objetivo común. Asimismo, el área quirúrgica no es la excepción y se rige bajo el mismo principio considerando la importancia que reviste el desempeño del equipo en optimizar el resultado final en el paciente.

Si bien existen algunos instrumentos expuestos como NOTSS, cuyo objeto de evaluación corresponde únicamente al cirujano, el enfoque de la mayoría de éstos se ha puesto en generar un sistema que permita analizar el desempeño colectivo de los distintos equipos entre sí en el EO. Éste es el caso de OTAS y de NOTECHS y sus modificaciones posteriores.

En esta misma línea, el sistema SPLINTS recoge las inquietudes por parte de otros miembros del equipo quirúrgico fuera del personal médico respecto a este tópico, resaltando lo transversal y relevante que éste resulta como parte de la creciente preocupación por minimizar la tasa de errores en el EO.

La ORBB corresponde a la herramienta más reciente en términos tecnológicos y de incorporación de variables para analizar el desempeño técnico como no técnico en el intraoperatorio. Hasta ahora es escasa la literatura que permita validar y extender su uso en esta área, sin embargo, sus características la posicionan a la vanguardia en lo que respecta a retroalimentación en programas de entrenamiento y formación de especialistas.

Actualmente, en nuestro país, no existe una política consistente con la necesidad de evaluar este tipo de habilidades en la comunidad quirúrgica, así como tampoco se han llevado a cabo estudios nacionales para medir su impacto en los resultados y complicaciones tanto en el inmediato como en el mediano plazo de los distintos procedimientos quirúrgicos. Resulta imperiosa la necesidad de los equipos en incorporar progresivamente este tipo de herramientas de evaluación con miras a la corrección de posibles deficiencias que se traduzcan finalmente en un perjuicio a los paciente. Es de esperar que paulatinamente y con el creciente interés que pueda generar la relación entre las HNT y el desempeño quirúrgico42, éstas comiencen a desempeñar un rol protagónico tanto en los programas de formación de profesionales como en la práctica clínica habitual en nuestro país.

Responsabilidades éticas

Protección de personas y animales. Los autores declaran que para esta investigación no se han realizado experimentos en seres humanos ni en animales.

Confidencialidad de los datos. Los autores declaran que en este artículo no aparecen datos de pacientes.

Bibliografía

1. Bogner M, editor. Misadventures in health care. Mahwah (NJ): Lawrence Erlbaum Associates; 2004. [ Links ]

2. Gawande AA, Zinner MJ, Studdert DM, Brennan TA. Analysis of errors reported by surgeons at three teaching hospitals. Surgery 2003;133:614-21. [ Links ]

3. Yule S, Flin R, Paterson-Brown S, Maran N. Non-technical skills for surgeons in the operating room: a review of the literature. Surgery 2006;139:140-9. [ Links ]

4. Regenbogen SE, Greenberg CC, Studdert DM, Lipsitz SR, Zinner MJ, Gawande AA. Patterns of technical error among surgical malpractice claims: an analysis of strategies to prevent injury to surgical patients. Ann Surg. 2007;246:705-11. [ Links ]

5. Pucher Ph, Aggarwal R, Batrick N, Jenkins M, Darzi A. Nontechnical skills performance and care process in the management of the acute trauma patient. Surgery 2014;155:902-9. [ Links ]

6. Cronbach LJGG, Nanda H, Rajaratnam N. The Dependability of Behavioral Measurements: Theory of Generalizability for Scores and Profiles. New York: Wile; 1972. [ Links ]

7. Flin R, Martin L, Goeters K, Hoermann J, Amalberti R, Valot C, et al. Development of the NOTECHS (Non-Technical Skills) system for assessing pilots’ CRM skills. Human Factors and Aerospace Safety 2003;3:95-117. [ Links ]

8. McCulloch P, Mishra A, Handa A, Dale T, Hirst G, Catchpole K. The effects of aviation-style non-technical skills training on technical performance and out- come in the operating theatre. Qual Saf Health Care 2009;18:109-15. [ Links ]

9. Sevdalis N, Davis RE, Koutantji M, Undre S, Darzi A, Vincent CA. Reliability of a revised NOTECHS scale for use in surgical teams. Am J Surg. 2008;196:184-90. [ Links ]

10. Mishra A, Catchpole K, McCulloch P. The Oxford NOTECHS System: reliability and validity of a tool for measuring teamwork behaviour in the operating theatre. Qual Saf Health Care 2009;18:104-108. [ Links ]

11. Mishra A, Catchpole K, Dale T, McCulloch P. The influence of nontechnical performance on technical outcome in laparoscopic cholecystectomy. Surg Endosc. 2008;22:68-73. [ Links ]

12. Robertson ER, Hadi M, Morgan LJ, Pickering SP, Collins G, Steve N, et al. Oxford NOTECHS II: A Modified Theatre Team Non-Technical Skills Scoring System. PLoS ONE 2014 9:e90320. [ Links ]

13. Steinemann S, Berg B, DiTullio A, Skinner A, Terada K, Anzelon K, et al. Assessing teamwork in the trauma bay: introduction of a modified “NOTECHS” scale for trauma. Am J Surg. 2012;203:69-75. [ Links ]

14. Li N, Marshall D, Sykes M, McCulloch P, Shalhoub J, Maruthappu M. Systematic review of methods for quantifying teamwork in the operating theatre. BJS Open 2018;2:42-51. [ Links ]

15. Yule S, Flin R, Paterson-Brown S, Maran N, Rowley D. Development of a rating system for surgeons’ non-technical skills. Med Educ. 2006;40:1098-104. [ Links ]

16. Yule S, Flin R, Maran N, Rowley D, Youngson G, Paterson-Brown S. Surgeons’ non-technical skills in the operating room: reliability testing of the NOTSS behavior rating system. World J Surg. 2008;32:548-56. [ Links ]

17. Phitayakorn R, Minehart R, Hemingway MW, Pian-Smith MC, Petrusa E. Practicality of intraoperative teamwork assessments. J Surg Res. 2014;190:22-8. [ Links ]

18. Crossley J, Marriott J, Purdie H, Beard JD. Prospective observational study to evaluate NOTSS (Non-Technical Skills for Surgeons) for assessing trainees’ non-technical performance in the operating theatre. Br J Surg. 2011;98:1010-20. [ Links ]

19. Bullock AD, Hassell A, Markham WA, Wall DW, Whitehouse AB. How ratings vary by staff group in multi-source feedback assessment of junior doctors. Med Educ. 2009;43:516-20. [ Links ]

20. Arora S, Miskovic D, Hull L, Moorthy K, Aggarwal R, Johannsson H, et al. Self vs expert assessment of technical and non-technical skills in high fidelity simulation. Am J Surg. 2011;202:500-6. [ Links ]

21. Pena G, Altree M, Field J, Thomas MJ, Hewett P, Babidge W, et al. Surgeons’ and trainees’ perceived self-efficacy in operating theatre non-technical skills. Br J Surg. 2015;102:708-15. [ Links ]

22. Wood TC, Raison N, Haldar S, Brunckhorst O, McIlhenny C, Dasgupta P, et al. Training Tools for Nontechnical Skills for Surgeons-A Systematic Review. J Surg Educ. 2017; 74:548-78. [ Links ]

23. Undre S, Healey AN, Darzi A, Vincent CA. Observational assessment of surgical teamwork: a feasibility study. World J Surg. 2006;30:1774-83. [ Links ]

24. Undre S, Sevdalis N, Healey AN, Darzi A, Vincent C. Observational Teamwork Assessment for Surgery (OTAS): refinement and application in urological surgery. World J Surg. 2007;31:1373-81. [ Links ]

25. Hull L, Arora S, Kassab E, Kneebone R, Sevdalis N. Observational teamwork assessment for surgery: content validation and tool refinement. J Am Coll Surg. 2011;212:234-43. [ Links ]

26. Russ S, Hull L, Rout S, Vincent C, Darzi A, Sevdalis N. Observational Teamwork Assessment for Surgery: Feasibility of Clinical and Nonclinical Assessor Calibration with Short-term Training. Ann Surg. 2012;255:804-9. [ Links ]

27. Sevdalis N, Lyons M, Healey AN, Undre S, Darzi A, Vincent C. A. Observational Teamwork Assessment for Surgery. Ann Surg. 2009;249:1047-51. [ Links ]

28. Passauer-Baierl S, Hull L, Miskovic D, Russ S, Sevdalis N, Weigl M. Re-Validating the Observational Teamwork Assessment for Surgery Tool (OTAS-D): Cultural Adaptation, Refinement, and Psychometric Evaluation. World J Surg. 2014;38:305-13. [ Links ]

29. Arias ACA, Barajas R, Eslava-Schmalbach JH, Wheelock A, Gaitan H, Hull L, et al. Translation, cultural adaptation and content re- validation of the Observational Teamwork Assessment for Surgery tool. Int J Surg. 2014;12:1390-402. [ Links ]

30. Undre S, Sevdalis N, Healey AN, Darzi A, Vincent CA. Observational teamwork assessment for surgery (OTAS): refinement and application in urological surgery. World J Surg. 2007;31:1373-81. [ Links ]

31. Mitchell L, Flin R. Non-technical skills of the operating theatre scrub nurse: literature review. J Adv Nurs. 2008;63:15-24. [ Links ]

32. Mitchell L, Flin R, Yule S, Mitchell J, Coutts K, Youngson G. Evaluation of the scrub practitioners’ list of intraoperative non-technical skills system. Int J Nurs Stud. 2012;49:201-11. [ Links ]

33. Mitchell L, Flin R, Yule S, Mitchell J, Coutts K, Youngson G. Thinking ahead of the surgeon: An interview study to identify scrub nurses’ non-technical skills. International Journal of Nursing Studies 2011;48:818-28. [ Links ]

34. Mitchell L, Flin R, Yule S, Mitchell J, Coutts K, Youngson G. Development of a behavioural marker system for scrub practitioners’ non-technical skills (SPLINTS system). J Eval Clin Pract. 2013;19:317-23. [ Links ]

35. Mitchell L, Flin R, Yule S, Mitchell J, Coutts K, Youngson G. Evaluation of the Scrub Practitioners’ List of Intraoperative Non-Technical Skills (SPLINTS) system. International Journal of Nursing Studies 2012;49:201-11. [ Links ]

36. Fletcher G, Flin R, McGeorge P, Glavin R, Maran N, Patey R. Anaesthetists NonTechnical Skills (ANTS): evaluation of a behavioural marker system. Br J Anaesth. 2003;90:580-8. [ Links ]

37. Flin R, Glavin R, Maran N, Patey R. Anaesthetists’ Non-Technical skills (ANTS). British Journal of Anaesthesia 2010;105:38-44. [ Links ]

38. Goldenberg MG, Jung J, Grantcharov TP. Using Data to Enhance Performance and Improve Quality and Safety in Surgery. JAMA Surg. 2017;152:972. [ Links ]

39. Jung JJ, Grantcharov TP. First-year Analysis of the Operating Room Black Box Study. Ann Surg. 2018 Jun 18. doi: 10.1097/SLA.0000000000002863. [Epub ahead of print] [ Links ]

40. Fecso AB, Kuzulugil SS, Babaoglu C, Bener AB, Grantcharov TP. Relationship between intraoperative non-technical performance and technical events in bariatric surgery. Br J Surg. 2018,105:1044-50. [ Links ]

41. Hull L, Arora S, Aggarwal R, Darzi A, Vincent C, Sevdalis N. The impact of nontechnical skills on technical performance in surgery: a systematic review. J Am Coll Surg. 2012;214:214-30. [ Links ]

42. Espinoza R. El impacto de las habilidades no-técnicas sobre el rendimiento técnico en cirugía. Rev Chil Cir. 2013;65:195. [ Links ]

Recibido: 25 de Septiembre de 2018; Aprobado: 05 de Noviembre de 2018

Correspondencia a: Dr. Mauricio Gabrielli N. maurogabrielli@gmail.com

Conflictos de interés: no hay.

Creative Commons License This is an Open Access article distributed under the terms of the Creative Commons Attribution License, which permits unrestricted use, distribution, and reproduction in any medium, provided the original work is properly cited.