Mejora de la evaluación de los residentes de medicina y enfermería de familia al introducir actividades objetivas.

Proyecto de un Nuevo Modelo de Evaluación. Unidad Docente Multiprofesional Atención Familiar y Comunitaria (UD AFyC) de Las Palmas

Mª Teresa Martínez Ibáñez*, José Carlos Salas Hospital**, Alexis F. Rodríguez Espinosa* y Juan José Suárez Sánchez***

*Médicos de Familia. Técnicos de Salud UD AFyC
** Médico de Familia. Jefe de Estudios UD AFyC
*** Enfermero EAP. Presidente de la Subcomisión de Enfermería FyC

Resumen

La UD Multiprofesional de Atención Familiar y Comunitaria de las Palmas ha iniciado un proceso para incorporar actividades de evaluación objetiva a la evaluación anual y final de los residentes de Medicina y Enfermería Familiar y Comunitaria.
Nuestro objetivo es que la calificación anual y final de los residentes sea la suma de:

• Las calificaciones obtenidas por la valoración de los tutores de la práctica asistencial realizada durante las rotaciones.
• Las calificaciones obtenidas por otras actividades: ECOE/exámenes, cursos, trabajo de investigación, actividades de evaluación formativa, actividades comunitarias y de educación para la salud,…

IMPROVEMENT IN THE FAMILY AND COMMUNITY MEDICINE & NURSING RESIDENTS ASSESSMENT INTRODUCING OBJECTIVE ACTIVITIES

Abstract

The Multiprofessional Family and Community Care Unit of Las Palmas has started a process to incorporate objective evaluation activities to the annual and final Family and Community Medicine and Nursing residents assessment.
Our goal is that the residents’ annual and final qualification is based on:

• The marks obtained by the tutors assessment of the care practice performed during the rotations.
• Qualifications obtained by other assessment activities: ECOE / exams, courses, research work, formative evaluation activities, community activities and health education,…

Justificación

El residente para alcanzar los objetivos del programa de su especialidad realiza diversas actividades formativas durante la residencia. De ellas, la más relevante y la que ocupa más tiempo, es la formación clínica a través de la atención directa a pacientes durante las rotaciones en distintos servicios asistenciales.

El tutor es el responsable de evaluar los conocimientos y habilidades  adquiridos por el residente durante su periodo de formación. La forma más utilizada es la apreciación personal de las competencias desarrolladas por el residente durante las rotaciones. Sin embargo, tal y como recoge el RD 183/2003 en el Artículo 20 del Capítulo VI,  el tutor puede ayudarse, además de los informes de las rotaciones del residente, de otras evaluaciones objetivas. Son los exámenes prácticos de conocimientos, los self-audit de historias clínicas, las videograbaciones, la ECOE,  el análisis de incidentes críticos, la observación estructurada de la práctica clínica (mediante el mini-CEX) y de los procedimientos técnicos (DOPS “Direct Observation of Procedural Skill”). Además, para la evaluación específica de actitudes dispone de la evaluación a 360º.

Muchos instrumentos se han incorporado a la evaluación de los residentes de nuestra Unidad Docente en los últimos años. Sin embargo, hasta ahora se han utilizado con una finalidad formativa y no han tenido una repercusión directa en la evaluación sumativa.

Por otro lado, los residentes también realizan otras actividades dirigidas a adquirir competencias transversales: entrevista clínica, investigación, bioética, educación para la salud, difusión del conocimiento científico,… Todas ellas evaluadas pero sin contribuir de forma concreta a la calificación anual o final.

Nuestra referencia en este proyecto ha sido la propuesta de evaluación incluida en el nuevo Programa Oficial de la Especialidad de Oncología Médica. El MSSSI lo considera un ejemplo de buena práctica en la organización de la FSE.

Teniendo en cuenta que este es el modelo a seguir y la experiencia de nuestra UD, nos planteamos el objetivo de desarrollar un nuevo modelo de evaluación incorporando actividades objetivas a la evaluación anual y final de los residentes.

Nuevo modelo de evaluación

A continuación se detallan los tres aspectos fundamentales que contempla este  nuevo modelo de evaluación.

1º Aspecto: El peso de cada una de estos componentes en la evaluación:

• Para la evaluación de EIR-1, MIR-1, MIR-2 y MIR-3
• Para la evaluación de EIR-2 y MIR-4

2º Aspecto: Actividades de evaluación objetiva a incluir en cada año de residencia

3º Aspecto: Criterios para la evaluación de cada actividad

 

1º Aspecto. Ponderación de cada componente en la evaluación

Se distingue la situación de los residentes de último año de la del resto. De forma que en la evaluación final de los EIR-2 y MIR-4 tiene más peso las actividades con evaluación objetiva. A lo largo de este último año de residencia hay actividades muy importantes como la ECOE y el trabajo de investigación. Además, tienen más oportunidades de llevar a cabo actividades comunitarias y de participar en publicaciones y comunicaciones a congresos.

En el último año los residentes pasan la mayor parte del tiempo en el Centro de Salud. Por ello la evaluación de actitudes mediante la encuesta 360º por parte de otros profesionales del equipo consideramos que tiene más relevancia.

Para la evaluación de EIR-1, MIR-1, MIR-2 y MIR-3 

• Conocimientos y habilidades
  • Evaluación de la práctica asistencial por el tutor de la rotación: 70%  (Ficha 1 de las rotaciones en el Centro de Salud y Servicios Hospitalarios)
  • Evaluación objetiva de otras actividades: 30%
• Actitudes
  • Evaluación por el tutor de las actitudes del residente durante la rotación: 80%  (Ficha 1 de las rotaciones en el Centro de Salud y Servicios Hospitalarios)
  • Evaluación mediante encuesta 360º de otros miembros del CS: 20%

Para la evaluación de EIR-2 y MIR-4

• Conocimientos y habilidades
  • Evaluación de la práctica asistencial por el tutor de la rotación: 60%       (Ficha 1 de las rotaciones en el Centro de Salud y Servicios Hospitalarios)
  • Evaluación objetiva de otras actividades: 40%
• Actitudes
  • Evaluación por el tutor de las actitudes del residente durante la rotación: 70% (Ficha 1 de las rotaciones en el Centro de Salud y Servicios Hospitalarios)
  • Evaluación mediante encuesta 360º de otros miembros del CS: 30%

2 º Aspecto: Actividades con evaluación objetiva por año de residencia

Evaluación EIR-1/MIR-1/ MIR-2/MIR-3

Evaluación EIR-2/MIR-4

3 º Aspecto: Criterios de evaluación de cada actividad

• Para la evaluación de EIR-1, MIR-1, MIR-2 y MIR-3

Actividades a evaluar	Criterios Evaluación	Peso
Conocimientos y Habilidades (30% de evaluación anual Conocimientos y Habilidades)
Libro del Residente CNE Tutorías (mín  4 tutorías/año) Cronograma Guía competencias Reflexión rotación Reflexión periodos	Puntuaría la realización de cada una de las actividades: Cronograma. Cumplimentación de todas las actividades Guía competencias: valorar al menos las competencias de prioridad I de las rotaciones pasadas Reflexión rotaciones: informe de reflexión de al menos 80% rotaciones Reflexión periodos: al menos un informe al año	10 puntos de 100
Actividades de  Evaluación Formativa Sesiones clínicas (mín 4 sesiones/año) Mini-CEX/DOPS Preguntas autoevaluación	Puntuaría la realización de cada una de las actividades: Sesiones clínicas: si ≥ 5 sesiones Mini-CEX: 7 con informe de feed-back DOPS: 2 con informe de feed-back Preguntas autoevaluación al menos durante 10 días (40 preguntas), señalando si está resuelta o no y la fuente de información	15 puntos de 100
Examen de conocimiento/ECOE MIR-2	Según la calificación, puntuaría en un rango entre: < 50% no apto (no puntúa) >85% excelente (máx puntuación)	35 puntos de 100
Cursos	Según la calificación, puntuaría en un rango entre: < 50% no apto (no puntúa) >85% excelente (máx puntuación)	15 puntos de 100
Actividades educación para la salud/comunitarias	Según el número de actividades puntuaría: Si realiza una sola actividad/año Si realiza ≥ 2 actividades/año	15 puntos de 100
Publicaciones, comunicaciones a jornadas y congresos, docente en talleres y cursos, …	Según el número de actividades puntuaría: Si realiza una sola actividad Si realiza ≥ 2 actividades	10 puntos de 100
Actitudes (20% de evaluación anual en Actitudes)
Evaluación actitudes 360º	Media de las puntuaciones obtenidas por al menos 4 profesionales: – El director/subdirector del Centro – El responsable de docencia del Centro – Otro profesional de la misma categoría – Un profesional de otra categoría – Un administrativo – Otro compañero

• Para la evaluación de EIR-2 y MIR-4

Puntuaría la realización de cada una de las actividades:

• Cronograma. Cumplimentación de todas las actividades
• Guía competencias: valorar al menos las competencias de prioridad I
• Reflexión rotaciones: informe de reflexión de al menos 80% rotaciones
• Reflexión periodos: al menos un informe al año

Actividades a evaluar	Criterios Evaluación	Peso
Conocimientos y Habilidades (40% de evaluación anual Conocimientos y Habilidades)
Libro del Residente CNE Tutorías (mín 4 tutorías/año) Cronograma Guía competencias Reflexión rotación Reflexión periodos	10 puntos de 100
Actividades de  Evaluación Formativa Sesiones clínicas (mín 5 sesiones/año) Self-audit Incidentes críticos Videograbaciones Mini-CEX DOPS Preguntas autoevaluación	Puntuaría la realización de cada una de las actividades: Self-audit: todos más self-audit propio Incidentes críticos: al menos 2 con informe completo Videograbaciones: análisis grabaciones ECOE más 1 en consulta Mini-CEX: 7 con informe feed-back DOPS (solo EIR): 2 con informe feed-back Preguntas autoevaluación (solo MIR): al menos durante 10 días (40 preguntas) señalando si está resuelta o no y la fuente de información	15 puntos de 100
ECOE EIR-2/MIR-4	Según la calificación, puntuaría en un rango entre: < 55% no apto (no puntúa) >75% excelente (máx puntuación)	25 puntos de 100
Investigación. Cursos y trabajo de campo	Superar los exámenes con un 50% Trabajo de investigación (diseñar, ejecutar, presentar y defender). Según calificación puntuaría en una escala entre: < 1: no puntúa 3: máx puntuación	25 puntos de 100
Actividades educación para la salud/comunitarias	Según el número de actividades puntuaría: Si 1 actividad/año Si > 1 actividad/año	15 puntos de 100
Publicaciones, comunicaciones a jornadas y congresos, docente en talleres y cursos, …	Según el número de actividades puntuaría: Si realiza una sola actividad Si realiza ≥ 2 actividades	10 puntos de 100
Actitudes (30% de evaluación anual en Actitudes)
Evaluación actitudes 360º	Media de las puntuaciones obtenidas por al menos 4 profesionales: – El director/subdirector del Centro – El responsable de docencia del Centro – Otro profesional de la misma categoría – Un profesional de otra categoría – Un administrativo – Otro compañero

 

Proceso para consensuar la propuesta

Actualmente esta propuesta de evaluación está en fase de borrador. Y es el resultado del consenso tanto de tutores como de residentes. Estamos pendientes de recabar nuevas aportaciones de ambos colectivos para cerrar el documento definitivo. Confiamos obtener el visto bueno de la Comisión de Docencia cuando lo sometamos a su aprobación. Así estaremos en disposición de evaluar a nuestros  residentes con estos criterios en mayo de 2017.

Es de destacar la buena aceptación que tuvo la propuesta de la UD de iniciar este proyecto, tanto de los tutores como del equipo directivo de nuestra Gerencia miembros de la Comisión de Docencia.

Los residentes también han mostrado su conformidad con las líneas generales, pero han mostrado dudas sobre la necesidad de incluir más pruebas evaluación objetiva  durante la residencia. En concreto, los exámenes de conocimientos en el primer y tercer año de residencia.