El Impacto de una prueba ECOE en una Unidad Docente de Medicina de Familia
Autores: José Carlos Salas Hospital*, Mª Teresa Martínez Ibáñez**, Alexis Rodríguez Espinosa** y Miguel Ángel Díaz Barreiros***
*Jefe de Estudios, ** Técnico de Salud Unidad Docente MFyC de Las Palmas, ***Tutor de MFyC. Centro de Salud Vecindario-Doctoral
Resumen: En este artículo, los miembros dela Unidad Docente de Medicina de Familia de Gran Canaria nos presentan una experiencia de evaluación formativa única en nuestro pais: el desarrollo en los últimos 4 años de una prueba ECOE para residentes de 4º año. La experiencia ejemplifica de manera rigurosa y clara las cualidades de una prueba de este tipo por una parte como elemento de evaluación formativa para residentes y sus tutores y por otra como aspecto clave para fomentar y establecer una cultura docente rigurosa y de calidad en el seno de la institución docente en la que se desarrolla. Los detalles que aportan sobre la organización y composición de la prueba son un reflejo de la rigurosidad metodológica que aplican lo que les convierten en una referencia obligada en España para el desarrollo de este tipo de iniciativas evaluadoras.
Nuestra Unidad Docente (UD) desde hace cuatro años ha incorporado la realización dela prueba ECOEen la evaluación formativa de los residentes de último año, al finalizar el primer semestre del R-4.
¿Por qué una ECOE?
Los motivos que nos impulsaron a introducir esta prueba fueron varios. El primer de ellos fue el de mejorar la formación de nuestros residentes a través de una experiencia práctica. También nos interesaba, como Unidad Docente, favorecer la evaluación formativa entre nuestros tutores y residentes, al tiempo que adquiríamos habilidades en el desarrollo de este tipo de herramientas.
Otro objetivo fundamental era implicar tanto a residentes como tutores en torno a un proyecto común.
¿En qué consiste nuestra prueba ECOE?
Las cuatro ediciones de esta prueba han constado de 13 estaciones.
El número de residentes de la primera promoción condicionó el número de estaciones. Eran 26 residentes y decidimos distribuirlos en dos turnos, cada uno de ellos con trece estaciones. De las trece estaciones, seis incluyen pacientes simulados, una con maniquí, una con búsqueda en bases de datos bibliográficas, una de documento médico legal, una de pregunta estructurada y tres de pictoriales. En todas las estaciones con pacientes simulados, el actor valoraba las habilidades de comunicación del residente. En el Anexo I se detallan los contenidos de cada estación. En el Anexo II y Anexo III se detallan la tabla de especificaciones de la prueba y el circuito de la misma respectivamente.
Tras la realización de la ECOE todos los residentes y todos los tutores evaluadores rellenan una encuesta de satisfacción. En ella los residentes dan su opinión sobre la calidad técnica de la prueba, el grado de utilidad de la misma, las estaciones mejor y peor valoradas así como a quién se la recomendarían.
Los tutores también nos comentan sus observaciones sobre el desarrollo de la estación que han evaluado, así como si desean seguir participando en la prueba y en qué grado de implicación.
En las dos últimas ediciones hemos incluido la videograbación de las estaciones de la ECOE con pacientes simulados. El número de estaciones videograbadas está condicionada por el número de cámaras disponibles. Pero al finalizar la prueba a cada residente se le ha grabado la estación 13, y tres de las restantes con pacientes simulados. A cada residente se le entrega un DVD con sus estaciones grabadas.
¿Cómo organizamos la prueba ECOE?
El Comité de Prueba
El comité de prueba está constituido por el Jefe de estudios, los dos técnicos dela Unidad Docente, y cinco tutores.
Los criterios para la selección de temas son los siguientes:
– Áreas de conocimiento y competencias contempladas en el programa de la especialidad en Medicina de Familia y Comunitaria, con un nivel de prioridad de I y II.
– Problemas clínicos que presenten retos diagnósticos y terapéuticos decisivos
– Señalamos la importancia de determinadas áreas, como la búsqueda bibliográfica y los documentos médicos legales.
– Reforzamos el aprendizaje de la competencia de comunicación y entrevista clínica.
La aportación de los tutores en la elaboración de las estaciones y en la evaluación de las mismas
La implicación de los tutores en la prueba ECOE ha sido progresiva a lo largo de las cuatro ediciones.
Los tutores participan en las distintas fases de la realización de la ECOE.
– Al formar parte del Comité de Prueba tienen capacidad para influir en el diseño global de la prueba y en el contenido concreto de las estaciones.
– A aquellos tutores con un perfil de expertos en un área concreta, se les solicita asesoramiento técnico en la realización de los casos.
– Los evaluadores presentes en cada una de las estaciones son tutores.
– En esta última edición, fueron seis los tutores que, bajo la supervisión de la Unidad Docente, elaboraron el contenido íntegro de las estaciones.
– Colaboración con la Unidad Docente para reforzar el programa formativo en el área de comunicación. El diseño de la estación 13, destinada a retos comunicativos, ha permitido mejorar la formación en cómo dar malas noticias y el manejo del paciente agresivo.
– Colaboración en el desarrollo de líneas de investigación, a partir de la información recogida en las estaciones.
– Colaboración con tutores pertenecientes a Grupos de Trabajo (GdT) de la Sociedad Canaria de MFyC para favorecer el conocimiento en las áreas correspondientes. Los GdT de Urgencias, Inmigración, Comunicación y Aparato Locomotor, son aquellos que han participado con nosotros asesorando, elaborando y evaluando las estaciones.
La participación de otras Unidades Docentes
La experiencia en la realización de la ECOE junto con menor número de residentes en las dos últimas promociones, nos ha permitido invitar residentes de otras UUDD de MFyC de Canarias. Nuestro objetivo han sido aquellas UUDD que por su reducido número de residentes no disponen de capacidad para organizar este tipo de prueba.
La UD de MFyC de Fuerteventura ha enviado a los dos R-4 en las dos últimas ediciones, y los dos R-4 de UD de La Palma se han incorporado en esta última.
¿Cómo devolvemos los resultados a los residentes y tutores?
Analizamos la prueba en función de las siguientes variables:
– Puntuación total de la ECOE obtenida por cada residente (la máxima puntuación son 1300 puntos, 100 puntos en cada una de las 13 estaciones)
– Puntuación obtenida en cada una de las estaciones por cada uno de los residentes
– Puntuación obtenida por cada uno de los residentes en las competencias
– Media de la puntuaciones globales individuales, que representa la media de la promoción
– Media de las puntuaciones individuales en cada una de las estaciones, que representa la media de la promoción en cada estación.
– Media de la promoción en cada competencia.
Con estos resultados elaboramos un informe resumen para cada residente en el que incluye
– Su valoración global individual con valores absolutos y en porcentaje, y el lugar que ocupa esa puntuación en la promoción.
– La media de la promoción y los valores de referencia establecidos a partir de la ECOE nacional para la obtención del título de especialista en MFyC.
– Las estaciones mejor valoradas y aquellas con menor puntuación.
– Las competencias mejor valoradas y aquellas en las que necesita mejorar
Junto al informe entregamos a cada residente una representación gráfica de sus resultados individuales obtenidos en cada estación y en cada competencia y en relación con la media de la promoción.
Los resultados se comunican a cada residente de forma individual en sesiones de tutoría conla Unidad Docente, concertadas previamente y de unos 30-45 minutos de duración aproximada.
Estas sesiones de tutorías que aportan feed-back al residente son desde nuestro punto de vista la parte más importante dela ECOE. Antesde entregarle los resultados de la prueba, comenzamos preguntándole por su experiencia personal y su valoración global. Después de esta pregunta abierta, le preguntamos sobre aquellas estaciones de las que salió más satisfecho y aquellas en las que no tanto. Esta fase de la tutoría se suele extender mucho, porque normalmente el residente suele empezar por aquellas que cree le salieron peor y se extiende en todos los pormenores. Tenemos que hacer un esfuerzo para reconducir el objetivo y que comente en primer lugar las mejores. Sólo después de que el residente expresa sus propias impresiones le entregamos los resultados objetivos. Nos llama mucho la atención, promoción tras promoción, la gran concordancia entre los resultados objetivos obtenidos y la autoevaluación del residente. Casi siempre coinciden, es decir, las estaciones mejor puntuadas son aquellas de las que salió más satisfecho.
Los residentes pueden ver la evolución de todas aquellas estaciones que lo soliciten.
Durante estas sesiones aprovechamos para reforzar áreas de conocimiento que hemos detectado deficientes, mediante el repaso de los criterios de evaluación e incluso entregando material escrito sobre el tema en cuestión.
Y, por último, le entregamos el DVD de las estaciones videograbadas acompañado de las instrucciones y el check-list correspondiente para su análisis. No dejamos de transmitirle la recomendación de compartir con su tutor la valoración de las videograbaciones.
A los tutores también se les informa de los resultados de su residente. Lo hacemos de dos maneras. Por un lado, convocamos una sesión general en la que el Jefe de Estudio transmite los resultados generales así como las conclusiones de la Unidad Docente. Y además, acudimos a cada uno de los Centros de Salud Docentes a entregar en mano el informe del residente a cada uno de los correspondientes tutores y aportarles los resultados generales de la promoción y de ese centro de salud en particular.
¿Cómo ha influido la prueba ECOE en nuestra Unidad Docente?
Esta prueba ha influido de una forma muy importante tanto en los residentes, en los tutores y en los propios componentes de la UD.
Los residentes son los que viven de manera más intensala prueba ECOE pues se sienten examinados. De hecho, la primera promoción ofreció una fuerte resistencia a ser sometidos a esta prueba. Pero una vez vencida esta oposición inicial, los residentes lo aceptan con resignación; y tras cuatro promociones, ya sólo preguntan porla fecha. Para ellos la prueba supone un antes y un después de su cuarto año de residencia.
Enfrentarse a la ECOE supone un reto importante, y por ello más de un mes antes empiezan a estudiar. Lo hacen de forma individual y también en grupo aplicando un método, que es repasar el programa de la especialidad y los principales motivos de consulta recogidos en la Guía de Actuación de la semFYC. Tal es su preocupación que algunos de ellos solicitan días libres y vacaciones la semana antes para prepararse mejor.
Durante la realización de la ECOE, los residentes demuestran una gran profesionalidad, no falta ninguno y todos son muy puntuales. Hasta el momento no hemos tenido ningún incidente que impida la realización de una estación ni de parte de la prueba.
Después de la ECOE, viene la fase de autorreflexión y autocrítica. El hecho de analizar su propia actuación clínica, estación tras estación, es el aspecto más enriquecedor de esta prueba. Ellos mismos se dan cuenta de las estaciones que les salieron mejor y las que les salieron peor, de lo que faltó por preguntar y en lo que se equivocaron. Durante la sesión de tutoría posterior, muchos de ellos nos comentan que al llegar a casa han consultado los temas objeto de evaluación.
La comunicación de los resultados es otro momento crítico. Durante la tutoría con la UD, contrastan sus impresiones con la valoración objetiva y, lo que es aún más importante, pueden saber su nivel tanto individual como en relación con su promoción. Una residente nos hizo un comentario que resumió su impresión global de esta prueba: “después de cuatro años de formación, necesito saber dónde estoy”
A partir de algunas estaciones, sobre todo de aquellas que salieron peor, se realizan sesiones clínicas y otras actividades en los centros de salud.
Tampoco fue fácil convencer a muchos tutores del valor formativo de esta prueba. Durante la preparación de la primera edición recibimos muchas críticas, pues los tutores recibían la ansiedad de sus residentes y solidarizaban con ellos. Y, por qué no decirlo, algunos tutores percibían el temor de sentirse también evaluados a través de la actuación de su residente. Pero también es verdad que estos sentimientos han ido atenuando para dar paso al sentimiento de responsabilidad ante su residente.
Durante la fase de preparación el tutor ayuda a su residente a orientar su estudio hacia los problemas más prevalentes y las situaciones clínicas que con más probabilidad “pueden caer”.
Una vez conocidos los resultados el papel del tutor es decisivo. Con ellos en la mano y con el residente delante, este tiene una herramienta docente muy potente para recapitular lo aprendido hasta el momento y para planificar la formación posterior. Las video-grabaciones de las estaciones, también permiten desarrollar una estrategia formativa en las área de comunicación.
La evaluación de las estaciones también aporta una experiencia para los tutores. Una de ellas nos comentaba “es muy enriquecedor observar cómo veintiséis profesionales diferentes se enfrentan a una misma situación clínica”.
Para el conjunto de los tutores, la prueba ECOE les permite conocer el nivel de conocimiento y habilidades de su residente en relación con la promoción.
Para la Unidad Docente el desarrollo dela prueba ECOE ha supuesto un enriquecimiento en muchos aspectos. En primer lugar nos ha permitido adquirir habilidades en el diseño y ejecución de este tipo de prueba, así como el adiestramiento de los pacientes simulados.
Nos ha permitido conocer el alcance real que tiene introducir una evaluación objetiva dentro del programa dela especialidad. Ynos ha sorprendido comprobar que para los residentes, esta es la verdadera evaluación de sus competencias, como si la evaluación sumativa tradicional no las reflejara de forma real. Esta percepción nos lleva a reflexionar sobre la afirmación de que la evaluación condiciona la formación, y si hasta ahora los residentes no se sentían evaluados, ¿cómo era su formación?
Después de evaluar a 100 residentes durante estas cuatro promociones, hemos podido comprobar que hay una correlación estrecha entre la puntuación de la ECOE y otro tipo de evaluación (informes verbales de tutores, sesiones clínicas y trabajos de investigación). También nos ha permitido establecer perfiles según las promociones.
Ha permitido cohesionar a todos los tutores en un proyecto común. Hasta el momento, de nuestros 84 tutores acreditados, 30 han tenido algún grado de participación en la ECOE, de los cuales 13 han repetido en más de una edición. Facilitamos la labor docente de los tutores, pues los dotamos de una herramienta formativa útil y basada en las competencias de su propio residente.
Como UD la experiencia adquirida con esta prueba, nos ha permitido seguir desarrollando otras estrategias de evaluación formativa. Una de ellas es la observación estructurada de la práctica clínica (mediante la herramienta del Mini-Cex) y el análisis de videograbaciones. Y también hemos contribuido a fomentar en nuestros tutores la cultura de la evaluación formativa.
