Evaluación Formativa de residentes por Observación Estructurada de la Práctica: experiencia con el Mini-CEX en una Unidad Docente

observación y unidad

Hace dos años la Unidad Docente de Las Palmas asumió el reto de introducir la Observación Estructurada de la Práctica Clínica (OEPC), utilizando como herramienta el Mini-CEX (Mini Clinical Evaluation Excercise), en la evaluación formativa de los residentes de Medicina Familiar y Comunitaria.  En este artículo nuestro objetivo es dar a conocer los pasos que estamos siguiendo para conseguirlo. Antes de empezar con nuestra experiencia se repasan los conceptos básicos de la OEPC y del Mini-CEX.

¿Qué es la Observación Estructurada de la Práctica Clínica (OEPC)?

Es la observación directa y atenta de la actuación del residente mientras éste realiza cualquier actividad de su práctica profesional (pasar consulta, atención domiciliaria o de urgencias). El docente sistematiza esta observación en base a un guión o plantilla que le permite valorar y medir los diferentes aspectos de la actuación clínica.

Los tutores siempre observan a sus residentes cuando actúan. Pero si lo hacen sin  un esquema previo que guíe y estructure sus observaciones, éstas pierden una parte importante de su valor formativo. El tutor mira pero no ve, tiende a señalar lo que el residente hace mal y huye de las áreas en que se siente incómodo. Además no identifica los problemas y dificultades del residente, así como sus fortalezas y debilidades. Se limita, por tanto, la posibilidad de integrar la observación dentro de proceso docente más amplio y prolongado.

En la formación de residentes la observación tiene la cualidad de ser un método de evaluación formativa, además de ser uno de los métodos más idóneos para la evaluación formal de competencias que se desempeñan en el ámbito de la privacidad. La OEPC se encuadraría dentro de los métodos para evaluar la cúspide de la pirámide de Miller, pues permite valorar el “hace”.

El residente se beneficia de esta observación pues le permite detectar con más precisión en qué competencias destaca y en cuáles ha de mejorar. Además favorece el aprendizaje a través de la observación de su tutor, pues él también en este proceso va adquiriendo habilidades de observación.

¿Qué es el Mini-CEX?

Si la OEPC es el proceso, el Mini-CEX es el instrumento que permite realizar la sistematización de la observación clínica. Los elementos fundamentales son el formulario que sirve de guía al observador y la provisión posterior e inmediata de feedback al residente.

El Mini-CEX está planteado para evaluar casos con pacientes reales y está indicado en la valoración de competencias y habilidades clínicas.

mini-cex

En el formulario de observación hay espacio para plasmar la valoración de cada una de estas competencias y además se detallan los descriptores que las definen (Anexo 1) (Anexo 2).

Aunque el Mini-CEX fue inicialmente desarrollado en 1995 por Norcini et al en Estados Unidos, no fue hasta la primera década del presente siglo cuando su uso se ha generalizado por los países de cultura anglosajona.

El Mini-CEX no es el único instrumento diseñado para valorar habilidades clínicas. Sin embargo, al compararlo con otros similares, es el que ha demostrado mejores resultados en término de validez, fiabilidad, factibilidad y mayor efecto educativo.

¿Cómo se hace un Mini-CEX?

La realización de un Mini-CEX supone seguir las tres fases consecutivas de preparación, observación y provisión posterior de feedback. El proceso completo dura entre 20 y 30 minutos.

Los aspectos esenciales a tener en cuenta en cada una de las fases se detallan a continuación.

1.- Preparaciónpreparación

  • Un aspecto clave es el acuerdo previo entre el tutor y el residente para la observación.
  • Entre los dos se repasan y se consensuan los descriptores.
  • Es importante que tanto tutor como residente tengan claro los objetivos docentes para el periodo de residencia donde éste último se encuentra.
  • Elegir un buen día es esencial. Mejor cuando la presión asistencial no sea excesiva y cuando al final de la jornada no hay otras actividades, como reuniones, sesiones o guardias.

2.- Observaciónobservación estructurada

  • El tutor observa atentamente cómo el residente desarrolla las habilidades clínicas necesarias para resolver el caso que le presenta un paciente real. Se guía en todo momento de la plantilla o formulario donde se especifican los descriptores de las competencias.
  • El tutor debe situarse en una posición que no interfiera en el proceso asistencial.
  • No olvidar advertir al paciente de la situación, sobre todo cuando el paciente no identifica bien al residente.

 

3.- Feedbackfeedback

  • En esta fase radica el verdadero valor formativo del Mini-CEX. Tiene más efecto cuanto más cercano en el tiempo siga a la observación. Si no puede ser inmediatamente después, no se debe dejar nunca para el día siguiente.
  • Se empieza reforzando positivamente los aspectos realizados de forma correcta, para seguir planteando los aspectos a mejorar de modo constructivo. Y se concluye con un plan de acción en el que se detallan los objetivos a conseguir.
  • Este proceso favorece la autoevaluación del residente y permite al tutor valorar su capacidad de reflexión y autocrítica.

  

Esquema de las fases del Mini-CEX

 tres

                      http://youtu.be/_tl90k5_y7o                                http://youtu.be/88egAQThgXw                        http://youtu.be/kmQ4VHP8B14

 

¿Cuál ha sido nuestra experiencia?

La estrategia dirigida a conseguir este propósito está basada en dos principios: primamos la generalización a la precisión y el efecto formativo al evaluativo. Es decir, en una primera fase nos interesaba que la mayoría de los tutores conocieran, utilizaran y se familiarizaran con este instrumento de evaluación, aunque inicialmente las valoraciones no fueran demasiado precisas. Asimismo, pretendíamos que los tutores apreciaran como principal valor de la observación estructurada el efecto formativo sobre el residente.

Realizamos acciones dirigidas tanto a tutores como a residentes. A los tutores les ofrecimos formación sobre cómo realizar OEPC a través de la herramienta del Mini-CEX. Y  los residentes les propusimos ser observados por sus tutores mediante esta herramienta. Esta actividad la consideramos como una actividad más de evaluación formativa a realizar durante el último año de residencia.

Actividad de formación para Tutores

Para llegar al mayor número de tutores posible y proporcionarles una formación inicial básica en el uso del Mini-CEX como herramienta de la OEPC, diseñamos un taller de 90- 120 minutos de duración.

¿En qué consiste el taller?

El taller consta de una parte inicial teórica en donde se exponen los siguientes conceptos:

  • El concepto de la observación estructurada. Diferencias con la observación espontánea.
  • El papel de la observación estructurada de la práctica clínica (OEPC) en la evaluación de competencias.
  • La herramienta del Mini-CEX. Antecedentes y experiencias publicadas.
  • El Mini-CEX. Las competencias que evalúa y condiciones de aplicación.
  • Las fases del Mini-CEX. El acuerdo con el residente, la observación y el feed-back posterior.

La parte práctica que sigue tiene como objetivo la aplicación práctica de dos Mini-CEX.

  • Proyección de dos encuentros clínicos llevados a cabo por residentes durante la realización de una prueba ECOE y grabados en video.
  • Durante la visualización de cada una de las grabaciones, los tutores observan las competencias desarrolladas por el residente y las evalúan. Para sistematizar este proceso se guían del listado de descriptores del Mini-CEX.
  • Al finalizar  cada uno de estos encuentros, los tutores tienen que elaborar el contenido del feedback que posteriormente ofrecerán al residente. Indicaran además de la valoración global, los aspectos a destacar, los aspectos a mejorar y los objetivos para la próxima reunión.

¿Cómo se han impartido los talleres?

Hasta el momento esta formación se ha realizado en dos modalidades, mediante talleres descentralizados y centralizados.

Formación a través de talleres descentralizados. A lo largo de febrero de 2011, los miembros de esta UD nos desplazamos a cada uno de sus nueve Centros de Salud docentes para impartir el taller. Así, los tutores recibieron el taller en su propio centro de salud de 13.00 a 15.00 h, horario en que coincide el turno de mañana y el de tarde.

En este último año, un nuevo Centro de Salud se ha acreditado como docente, y también hemos acudido para formar a sus tutores

 

De esta forma han recibido formación 73 tutores, que supone el 81 % del total de los 90 tutores acreditados en este momento.

Formación a través de talleres centralizados. Una vez recorridos todos los centros de salud, hemos optado por los talleres centralizados en las aulas docentes de nuestra Gerencia. Con los dos talleres impartidos en el marzo de 2012, conseguimos llegar a 16 tutores más, e incorporar también a esta formación a 21 nuevos tutores de enfermería recientemente acreditados para la formación de residentes

En total han recibido la formación 127 tutores

 

La tarea propuesta a los residentes

De forma simultánea a la formación de los tutores, a los residentes se les propuso ser observados durante su práctica asistencial diaria. En un primer momento nos dirigimos sólo a los residentes de último año. Desde el año 2011 son ya tres promociones de R-4 las que pueden aportar sus Mini-CEX como un elemento más de la evaluación formativa de su residencia.

http://www.unidaddocentemfyclaspalmas.org.es/LibroMIR4_2012.html

Ya el año pasado, el 2012 esta propuesta incluyó también a los nuevos residentes de primer año que se incorporaron a nuestra UD.

Fue también en el 2012 cuando incorporamos una modificación en la propuesta. Le sugeríamos que realizaran un número determinado de Mini-CEX (entre 7 y 11) al inicio y al final de su rotación por el centro de salud. En el caso de los R-4, en el primer y segundo semestre del último año; y en el caso de los R-1, en el primer y segundo trimestre de su rotación inicial.

De esta forma pretendemos que los tutores sean más precisos a la hora de puntuar las diferentes competencias evaluadas. Pensamos que un tutor valora en un residente una determinada competencia a lo largo de varios meses, percibirá la necesidad de reflejar la mejoría propia del aprendizaje mediante una puntuación cada vez mayor.

 

¿Qué resultados hemos obtenidos?

La propuesta de realizar Mini-CEX ha sido muy bien aceptada por tutores y residentes y desde el principio prácticamente todos la han adoptado como un medio de formación.

Los resultados que presentamos son la síntesis del análisis de esta actividad docente correspondiente a un total de 404 Mini-CEX, de los cuales 61 corresponden a R-1 y las restantes a los R-4. En la tabla 1 se recogen los Mini-CEX aportados por los residentes desde el inicio de esta actividad.

Tabla 1. Mini-CEX realizados

tabla

El rango de observaciones por residente se situó entre 2 y 10, siendo la moda de 6.

Tal y como indica la literatura, el tiempo que los tutores empleaban en la realización del Mini-CEX osciló entre 20 y 30 minutos.

La mayoría de las observaciones las realizaron los tutores principales. A lo largo de estos tres años de experiencia, cada vez son más los residentes que son observados por otros tutores diferentes al propio. Por ejemplo, otros tutores del centro o tutores de los servicios de urgencias. El entorno más frecuente fue la consulta de atención primaria, aunque también se realizaron observaciones en el domicilio del paciente y en el área de urgencias del centro de salud.

¿En qué destacan y en qué tienen que mejorar nuestros residentes?

En la tabla 2. detallamos los aspectos a destacar y a mejorar que más se repiten en los feed-back de los Mini-CEX realizados a los R-4, y que se mantienen constantes en las tres promociones.

También valoramos estos aspectos en los 61 Mini-CEX que nos hicieron llegar 9 de los 28 R-1 de la promoción de 2012. Aunque hay algunos que son comunes a los residentes mayores, hay diferencias en los aspectos a mejorar. Al compararlos podemos observar el perfil de profesional al inicio de su formación clínica, muy compatible con los primeros meses del R-1.

Tabla 2. Aspectos a destacar y a mejorar en los residentes

tabla2

* MC: motivo de consulta; ** EF: exploración física

 

¿Qué piensan los tutores?

“Herramienta docente potente, útil y fácil de realizar”

herramienta

Resumen de los resultados de la encuesta de satisfacción remitida por catorce de los primeros veinte tutores que incorporaron a el Mini-CEX a la evaluación formativa de sus respectivos R-4.

 

¿Qué piensan los residentes?

 

“No tiene nada que ver lo que piensas que haces en la consulta a lo que realmente haces”

“Me sirve para ser un poco más consciente de lo que hago en la consulta y para detectar posibles errores”

“Es bueno porque da pie a tu tutor a explicarte cosas en las que fallas y de las que no eres consciente o que se pasaron por alto”

 

residentes

Resultados de las encuestas de satisfacción remitidas por 19 de los 20 residentes de cuarto año que iniciaron esta experiencia con el Mini-CEX.

¿Cuál es nuestra valoración de esta experiencia?

Valoración de la estrategia de implantación

El modelo de formación, a través de talleres breves impartidos en el entorno clínico más próximo a los tutores, ha conseguido llegar a la mayoría de ellos.

Esta formación ha sido suficiente para iniciar a los tutores en el uso del Mini-CEX como instrumento de OEPC

Todos los tutores han incorporado el Mini-CEX en la evaluación formativa de sus residentes.

La observación ha sido en general bien aceptada por tutores y residentes. Sólo algún residente mostró al inicio resistencia. Para vencerla los tutores recurrieron a la estrategia de invertir el papel, es decir, que el residente fuera el observador y el tutor el observado. Y dio buen resultado.

Hemos conseguido el objetivo de esta primera fase, que todos los tutores y residentes incorporen este procedimiento a la rutina formativa diaria.

Valoración docente

Las aportaciones docentes del Mini-CEX a nuestra Unidad Docente son las siguientes:

– Evalúa habilidades clínicas que de otra forma no se podrían evaluar. A través de las seis pruebas ECOE que hemos realizado a los R-4 de estas últimas promociones, hemos evaluado fundamentalmente las competencias de anamnesis, exploración física, manejo diagnóstico-terapéutico, habilidades técnicas, prevención y comunicación.  Sin embargo, sólo a través del Mini-CEX se ha podido evaluar otras habilidades clínicas igualmente revelantes. La capacidad para organizar la consulta, para gestionar el tiempo y para priorizar los problemas se encuentran entre los aspectos a mejorar más detectados en los Mini-CEX. Por otro lado, mediante la observación clínica directa, los residentes son conscientes de la necesidad de proporcionar a los pacientes un resumen final de la información clínica para facilitar la toma de decisiones compartidas.

– Favorece un entorno docente apropiado para el aprendizaje. La clave está en que el residente no sólo acepta ser observado, sino que además conoce todos los aspectos objeto de evaluación. De esta forma, el residente toma parte activa de todo el proceso, observándose a si mismo y detectando sus propias áreas de mejora. Después del feedback con el tutor, los residentes comentan que coinciden con las valoraciones de su tutor. También se implican en establecer los objetivos docentes a alcanzar antes de la próxima reunión.

– Favorece la formación centrada en el que aprende. Podemos establecer necesidades de formación específicas para cada residente atendiendo a sus áreas de mejora detectadas. Los objetivos docentes pactados tras cada sesión de feedback implican al residente en su consecución.

Podemos concluir que la facilidad con que tutores y residentes han adoptado el Mini-CEX se debe a la sencillez de la realización y a su gran valor docente. Y sobre todo, porque para los tutores es de gran ayuda en su labor formativa diaria con el residente.                                                                                                                                                                                                                                                                                          

¿Qué nos proponemos a continuación?

Para mantener e implementar esta actividad formativa nos proponemos llevar a cabo acciones dirigidas a:

–          Mantener el interés de los tutores. Continuaremos transmitiéndoles los resultados y las conclusiones que obtenemos después de analizar toda la información que ellos nos envían.

–          Seguir avanzando en la formación Mini-CEX. Tenemos el proyecto de elaborar talleres sobre Mini-CEX basados en el intercambio de impresiones y opiniones tras la observación de encuentros clínicos de residentes. Pretendemos así que los tutores lleguen a un acuerdo en la escala de valoración de los distintos descriptores y disminuir la variabilidad interobservador.

–          Promover la figura del tutor de referencia en Mini-CEX. Pretendemos que los observadores clínicos compartan con nosotros la formación a otros tutores.

–          Mejorar la habilidad de los tutores para puntuar de forma más precisa los descriptores de las distintas competencias. De forma que la puntuación obtenida en los Mini-CEX realizados en sucesivos momentos de la residencia representen el progreso formativo del residente.

Bibliografía recomendada

  1. Fornells Vallés JM. El ABC del Mini-Cex. Educ Med 2009;12(2);83-9
  2. Holmboe ES. Faculty and the Observation fo Trainees´ Clinical Skills. Problems and Opportunities. Acad Med 2004;79:16-22
  3. Pelgrim EAM, Kramer AWM, Mokkink HGA, van den Elsen L, Grol PRT, van der Vleuten CPM. In-training assessment using direct observation of single-patient encounters: a literature review. Adv in Health Sci Educ 2011; 16:131-42
  4. Kogan JR, Holmboe ES, Hauer KE. Tools for Direct Observation and Assessment of Clinical Skills of Medical Trainees. JAMA 2009;302(12):1316-26
  5. The mini clinical evalutation exercise (mini-Cex) for assessing clinical performance of international medical graduates. MJA 2008;189:159-61
  6. Norcini JJ, Blank LL, Duffy FD, Fortna GS. The Mini-CEX: A Method for Assessing Clinical Skills. Ann Intern Med 2003;138:476-81
  7. Fernández Gálvez GM. Evaluación de las competencias clínicas en una residencia de pediatría con el Mini-CEX (Mini-Clinical Evaluation Excercise). Arch Argent Pediatr 2011;109(4);314-20.
  8. Saura Llamas J. La observación en la consulta. En: Ruiz Moral, R, editor. Educación Médica. Manual práctico para clínicos. Buenos Aires. Madrid. Médica Panamericana 2009. pag 134-8.
     

También te podría gustar...

4 Respuestas

  1. Juan Carlos Arbonies (Boni) dice:

    Excelente artículo por la claridad de exposición de vuestra experiencia.
    Gracias por compartirla con todos nosotros

  2. Pilar Arroyo dice:

    simplemente acceder a esta herramienta conocida en sus rudimentos, a través del Congreso de Entrevista Clínica, que deseo potenciar y para ello hay que repasar la bibliografía y textos de referencia. El aprendizaje en el Taller fué muy ameno. Interesa ir adquiriendo práctica. gracias.

  3. Nora Sánchez dice:

    Esta experiencia me servirá para implementar esta herramienta con algunas modificaciones en mis estudiantes del grado en la asignatura de cirugía general. Gracias.

  4. Nora Sánchez dice:

    Esta experiencia me servirá para implementar esta herramienta evaluativa con mis estudiantes del grado en la asignatura de cirugía general, Gracias.

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *