Observación directa de los residentes: Aspectos muy prácticos para tutores y Jefes de Estudios

Doctutor

Resumen: La observación directa de los residentes es una herramienta clave para valorar lo que hace el residente y su progresión. Ofrecemos aquí una guía de aspectos muy prácticos sobre esta herramienta para los tutores que la utilizan y jefes de Estudios.

Direct observation of residents: very practical aspects for tutors and Directors of Teaching Programs

Abstract: Direct observation of residents is a key tool for assessing what the resident is doing in real practice (performance) and how they are progressing. We offer here a very practical guide about this tool for tutors who use it and for Directors of Teaching Programs.

El reto

La observación directa se inserta en el entorno del aprendizaje clínico, ya que los médicos tutores supervisan a los residentes para garantizar tanto que estos puedan ofrecer una atención de calidad a los pacientes como para evaluar el grado de autonomía que progresivamente vayan adquiriendo. La observación directa ofrece oportunidades para evaluar el aprendizaje, lo que hace un residente en tiempo real con pacientes reales. También se puede utilizar para identificar lo que un residente hace bien y lo que necesita para mejorar. Como parte de la observación directa, a los médicos tutores habitualmente se les pide que hagan una evaluación basada en su observación del trabajo del residente con pacientes (desempeño) es decir en un contexto clínico real; los tutores “son” por lo tanto la herramienta de medición.

Lo que se sabe

La observación directa se utiliza en el 90% de los programas de educación médica de posgrado en el mundo (1), y su eficacia se puede mejorar. Al abordar algunos de los siguientes aspectos, se pueden minimizar los errores de medición (2) y mejorar la precisión de esta observación directa:

1. Las herramientas de calificación suelen ser demasiado largas, incluyen elementos ambiguos o no evalúan lo que se pretende.
2. El proceso de calificación suele ser engorroso, consume mucho tiempo, incluye muy pocos evaluadores o no está integrado con el sistema de evaluación más amplio de los programas de formación.
3. Los evaluadores pueden tener prejuicios sobre el desempeño de un residente basado en experiencias previas (3), pueden retrasar la finalización o no completar las calificaciones, no entender el proceso de evaluación, o carecer de competencia en ciertas habilidades que puedan estar evaluando.
4. Puede haber una varianza limitada en las calificaciones, con calificaciones altas o calificaciones idénticas en diferentes ítems, debido a la falta de capacitación del evaluador o porque los formatos de calificación son demasiado largos.

Los procedimientos para hacer efectivas las observaciones directas pueden ser bastante simples. Por ejemplo, la escala de Zwisch, que tiene 2 preguntas y una medida de la complejidad del caso, se correlaciona bien con instrumentos más largos (4), y una calificación del desempeño operativo mediante un solo elemento es equiparable a escalas más largas (5). Además, los descriptores narrativos superan a las escalas numéricas (6). Un muestreo adecuado del número de tutores que realizan la evaluación es un asunto clave: el uso de entre 7 a 10 miembros diferentes de tutores minimiza las idiosincrasias propias de cada evaluador y es generalmente factible en nuestro medio (7). En resumen, es importante alinear el proceso de observación directa con la forma en la que el tutor emite sus juicios para simplificar el proceso y realizar tantas evaluaciones como sean posibles (8).

Cómo puedes comenzar HOY (9)

Establecer una buena relación colaborativa entre el tutor y la coordinación es muy importante si se quiere mejorar el uso de la observación directa. La Jefatura de Estudios debería ayudar a los tutores a refinar su rol de expertos de forma que este incluya los ámbitos de la evaluación del desempeño y su capacidad para juzgarla. Proporcionarles una formación continuada sobre las características claves de la observación directa de forma intermitente y con recordatorios periódicos es un aspecto fundamental.

1.  Reconocer que todos tenemos sesgos informando sobre las fuentes más habituales de estos sesgos para así tratar de mitigarlos.
2.  Pidiendo a los tutores que evalúen el desempeño del residente observado durante un encuentro reciente y específico (no sobre lo que el residente hizo el día anterior / semana / mes / rotación o en una experiencia pasada).
3.  Enfatizar la necesidad de hacer evaluaciones frecuentes y breves usando algunos artículos y comentarios narrativos (incluyendo sus fortalezas) para mejorar la identificación de los problemas de su actuación.
4.  Buscar evaluaciones de múltiples evaluadores para juicios sumativos con el fin de limitar el sesgo.
5.  Aprovechar las oportunidades de observación directa cuando los tutores ya están supervisando directamente a los residentes.
6.  Realizar las calificaciones en las 72 horas tras un encuentro, ya que después de ese tiempo disminuye la precisión de la calificación.
7.  Simplificar los formularios de calificación y cualquier otro proceso asociado.

Lo que puedes hacer LARGO PLAZO (9)

1.  Construye continuadamente una cultura que valore la observación directa. Hacer el proceso transparente para los residentes y los propios tutores. Comienza identificando a los que están más comprometidos.
2.  Involucra a los tutores en discusiones conjuntas para identificar oportunidades de mejora de uso, ya que el tutor es el “instrumento” de evaluación. ¿El tutor distingue entre lo que es una observación directa para evaluación formativa y otra sumativa y cómo estas influyen en su evaluación?
3.  Utiliza a los tutores más comprometidos para evaluar las fortalezas y oportunidades en tiempo real. ¿Evalúan estos lo que realmente observan? ¿Los residentes y la Comisión de Docencia reciben sistemáticamente información de la observación directa? Si es así, ¿Cómo de útil es esa información?
4.  Revisa los formularios de evaluación de observación directa. ¿Otros programas en tu especialidad u otros programas de otras especialidades en tu institución usan formatos o procesos más simples? Identifica qué información es más necesaria para tomar decisiones sobre el progreso de los residentes y diseña el formulario de evaluación para captar esa información y elimina cualquier otro elemento. Si un tipo de formulario es más útil, ¿puedes prescindir de los otros? Deja siempre un espacio para texto libre y pide al personal docente que describa las fortalezas de los alumnos y ofrece sugerencias para mejorarlos. Cuando estén disponibles, incorpora elementos que se correlacionen con los resultados clínicos.
5.  Da prioridad a una o dos mejoras de observación directa tales como incrementar su utilización en una rotación en particular, o simplificar un formulario para captar mejor su evaluación. Desarrolla una intervención que describa el (los) objetivo (s), plan (es) de acción específico (s), plazo (s) de tiempo y cual será el criterio para considerarlo superado. Monitoriza para asegurar que la intervención cumpla con sus objetivos.
6.  Desarrolla un sistema fiable, factible y simple para facilitar la realización de las evaluaciones y para asegurar que los residentes reciban feedback. Existen aplicaciones informáticas que han aumentado el número de evaluaciones, han mejorado la satisfacción de los alumnos y han ayudado a los tutores a aprender aspectos claves. El video también puede ser una herramienta muy útil por lo que deberías planteártelo en algunas ocasiones.
7.  Evalúa el desempeño de los propios evaluadores y proporcionales feedback periódicamente.
8.  Considera el uso de la observación directa también para trabajos más formales como una medida de resultado importante en los estudios de intervención.

Para empezar: elementos de la acción

Los Jefes de Estudios deberían:
1.  Educar a los tutores, residentes y personal administrativo sobre la importancia y práctica de la observación directa.
2.  Apoyar (tutorizar) a los tutores en su papel como asesores y en el mejor modo de observar, juzgar y presentar sus juicios mediante narrativas y escalas de calificación.
3.  Simplificar el proceso de observación directa y las formas de calificación que conllevan.
4.  Aclarar y distinguir el papel formativo (“¿Cómo está haciendo el residente esta actividad en este momento?”) de lo que es una evaluación sumativa que utiliza calificaciones múltiples, junto a otra información, para hacer juicios sobre la progresión del residente.

Referencias

1.
Williams RG, Kim MJ, Dunnington GL. Practice guidelines for operative performance assessments. Ann Surg. 2016;264(6):934–948.
2.
Paisley AM, Baldwin PJ, Patterson-Brown S. Accuracy of medical staff assessment of trainees’ operative performance. Med Teach. 2005;27(7):634–638.
3.
Williams RG, Sanfey H, Chen XP, et al. A controlled study to determine measurement conditions necessary for a reliable and valid operative performance assessment: a controlled prospective observational study. Ann Surg. 2012;256(1):177–187.
4.
George BC, Teitelbaum EN, Meyerson SL, et al. Reliability, validity, and feasibility of the Zwisch scale for the assessment of intraoperative performance. J Surg Educ. 2014;71(6):90–96.
5.
Williams RG, Verhulst S. Mellinger JD, et al. Is a single-item operative performance rating sufficient? J Surg Educ. 2015;72(6):e212–e217.
6.
Regehr G, Ginsburg S, Herold J, et al. Using “standardized narratives” to explore new ways to represent faculty opinions of resident performance. Acad Med. 2012;87(4):419–427.
7.
Williams RG, Verhulst S, Colliver JA, et al. A template for reliable assessment of resident operative performance: assessment intervals, numbers of cases and raters. Surgery. 2012;152(4):517–524.
8.
Williams RG, Mellinger JD, Dunnington GL. A problem-oriented approach to resident performance ratings. Surgery. 2016;160(4):936–945.
9.
Hauer KE, Holmboe ES, Kogan JR. Twelve tips for implementing tools for direct observation of medical trainees’ clinical skills during patient encounters. Med Teach. 2011;33(1):27–33. 

     

También te podría gustar...

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *