Evaluación en los Encuentros de Mahón: Algunas Conclusiones relevantes

Resumen de algunas de las conclusiones más relevantes que sobre evaluación se han realizado en algunos de los encuentros de Educación Médica sobre el tema de evaluación en el Lazareto de Mahón.

 

IV Encuentro de Mahón 2006

LA EVALUACIÓN DELA FORMACIÓN ESPECIALIZADACOMO GARANTÍA DELA CALIDAD DELSISTEMA NACIONAL DE SALUD:

Documento de Consenso 2: La Evaluación del Residente

Entre las condiciones necesarias previas para la evaluación de los residentes se establecen:

  • · Un Programa Oficial (POE) que tenga definidas las competencias a adquirir y los estándares aceptables de actuación en la práctica, esto permitirá definir que es lo que se quiere evaluar.
  • · Control sobre la aplicación del programa en cada Unidad Docente: es necesario un control sobre lo que se esta enseñando desde un punto de vista práctico.
  • · Tutores acreditados y reacreditados con formación metodológica y una dedicación suficiente a la labor educativa.
  • · Centros docentes que supervisen la labor de los tutores y un mecanismo de control sobre los centros docentes.
  • · La aceptabilidad por parte de los protagonistas implicados (discentes y docentes incluyendo la estructura docente).
  • · La viabilidad: diseñar un sistema adecuado a los recursos disponibles.

Entre las características de la evaluación se establecieron:

· Continuada, a lo largo de todo el periodo de formación.

· Debe tener como eje central la relación entre el tutor y el residente en formación.

· Se debe dar un feed-back constructivo sobre la actuación del residente de forma regular y planificar conjuntamente la estrategia docente, con el objetivo de garantizar las instrucciones y los cambios necesarios para mejorar el desarrollo de las competencias.

. Los métodos de evaluación deberían estimular un aprendizaje integrado y evaluar requerimientos prácticos predefinidos, así como también conocimientos, aptitudes y actitudes.

· Además de contar con elementos subjetivos por parte de los tutores y colaboradores docentes se deben utilizar métodos objetivos de evaluación.

· Se deben establecer mecanismos que permitan la modificación de la aplicación práctica del programa de formación en función de los resultados de la evaluación formativa.

Tipo de Prueba que se proponía:

· Cada especialidad (CNE) debería definir de forma concreta y simple las competencias a evaluar al finalizar el Programa de Formación del especialista.

· La prueba propuesta sería una prueba combinada utilizando diferentes instrumentos de evaluación debiendo incluir en todos los casos el informe final del tutor basado en la metodología de evaluación mediante listas de comprobación, presentado y consensuado previamente en el comité de evaluación.

V Encuentro de Mahón 2007

Documento de Consenso 2: La Evaluación del Residente II

Conclusiones del grupo de trabajo sobre Evaluación del Residente 2007.

  1. Es necesario un sistema de evaluación sumativa que evalue las competencias.  Por tanto es imprescindible que estás consten en los  Programas Oficiales de las diferentes especialidades incluyendo unos critérios mínimos de cumplimiento
  2. El sistema de evaluación sumativo debería utilizar instrumentos objetivos de evaluación, este aspecto esta contemplado para la evaluación formativa en el RD pero no para la sumativa
3.El informe del Tutor sobre la evaluación sumativa del residente, además de incluir las evaluaciones de las rotaciones, debe contemplar una valoración global del residente mediante listados de competencias adquiridas por el mismo y especificadas en su programa docente. Las evaluaciones de las rotaciones también deben utilizar esta metodología. Este informe debe incluir la evaluación formativa en cuanto que se esta realizando, no los resultados competenciales del residente
4.El Tutor debe conocer el avance en la adquisición de competencias del residente mediante el plan de evaluación formativa que este desarrollando con su residente. El seguimiento de este se hará mediante reuniones con el residente formalmente establecidas; al menos serán una por rotación y a mitad de la misma
5. Libros de Residentes y similares son necesarios para evaluar formativamente.
6.Para la evaluación se necesitan recursos, que deben estar contemplados en los servicios y otras instancias del Sistema Sanitario.
7. Es necesario una propuesta concreta de desarrollo de la evaluación formativa prevista en el nuevo RD que contemple los POE con competencias definidas, los sistemas de evaluación formativa y los nuevos Libros del residente.
8. Es necesario la creación de un grupo de trabajo desde el Ministerio de Sanidad en relación a la elaboración de una propuesta de evaluación sumativa con elementos objetivos. Este grupo debería incorporar expertos en metodologias docentes y representantes de los diferentes implicados.

VI Encuentro de Mahón 2008

Documento de Consenso 1: Evaluación del residente: Propuesta de evaluación de las rotaciones. Check-list y Global ratings

Lista de comprobación o Check lists

Consiste en la comprobación de actividades, conductas o pasos que son componentes de una competencia más compleja. La forma habitual es mediante un till o si/no que nos indica si dicha conducta o acción ha tenido lugar.

El check list puede ser útil para evaluar aquellos componentes competenciales que se pueden partir en acciones o conductas concretas, especificas.

Hay evidencias documentadas de su utilidad para la evaluación de procedimientos clínicos, anamnésis, examen físico, o para las habilidades comunicativas. Los check list son más útiles para proporcionar feed back dado que pueden diseñarse para evaluar acciones concretas en el cumplimiento de una tarea.

Desde el punto de vista psicométrico, la fiabilidad puede estar entre 0,7 y 0,8 (1 es el valor máximo) si los observadores están entrenados en el uso del check list.

Para asegurar la validez de contenido y los criterios de puntuación es necesario desarrollar un consenso entre varios expertos. El check list necesita de evaluadores entrenados para observar la práctica y tiempo para completar la lista.

 

 “Global Rating

Una alternativa al check list es la “global rating” en los que se juzgan categorías generales y no actuaciones concretas, por ejemplo: competencia clínica, habilidades comunicativas, trabajo en equipo etc., en su conjunto. La valoración se hace retrospectivamente sobre la base de distintas observaciones para un periodo de tiempo.

Las escalas que se usan en el “global rating” son cualitativas y frecuentemente incluyen valores numéricos.

La valoración con “global rating” se utiliza con frecuencia al final de periodos de rotación y resumen la evaluación de varias semanas. Los comentarios pueden complementar los valores numéricos para obtener un juicio de la actuación profesional sobre la base de más de un evaluador.

La fiabilidad vendrá condicionada por el entrenamiento de los distintos observadores.

Para la evaluación de un periodo de rotación nos podemos plantear un modelo que combine el uso de check list con la global rating. Esto supone combinar el análisis de actuaciones concretas (el check list) con la valoración global de la competencia alcanzada (el global rating).

Se propone un registro que incluye las diferentes áreas competenciales posibles, y en función de los objetivos docentes se elaborarán las actividades, conductas o pasos que permitirán “comprobar” si la competencia se ha adquirido o no. Con un modelo de ficha (modelo gráfico) para recoger la información.

La escala a utilizar podría ser cualitativa. Así serían equivalentes, deficiente=1; suficiente=2; bien=3; o muy bien=4. O también: insatisfactorio=1; suficiente=2 o excelente=3.


     

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *