Cuestiones sobre evaluación de residentes: contribuciones de AREDA

Resumen: En el presente artículo los autores recogen y resumen algunas de las principales conclusiones en relación a la evaluación de los residentes que a lo largo de distintos encuentros la Asociación de Redes de Comisiones de Docencia y Asesoras  (AREDA) ha hecho públicas.

 José Saura Llamas. Jefe de Estudios dela Unidad Docentede Medicina Familiar y Comunitaria de las Áreas VI, IX y V de Murcia.

Francisco Tomás Aguirre. Técnico de Salud Pública dela Unidad Docentede Medicina Familiar y Comunitaria de Valencia

 La evaluación de los residentes es un tema importante que ha sido el objeto de un debate continuado tanto en nuestro país como a nivel internacional. Los requisitos básicos que debe cumplir cualquier sistema de evaluación se detallan en la tabla 1

Un sistema que sea válido fiable y objetivo y a la vez sea factible porque no implique un consumo desproporcionado de recursos o porque interfiera con el propio programa formativo es una asignatura pendiente. Esto no quiere decir que no se hayan registrado aportaciones y reflexiones interesantes. Aquí vamos a dedicar atención a las realizadas desde la Asociación de Redes Docentes y Asesoras (AREDA) http://www.areda.info/areda/pagina.php?id=1 ² que en sus documentos y reuniones ha dedicado especial atención a la evaluación de los residentes.

La tabla 2 lista lo que para nosotros constituyen las principales conclusiones de AREDA sobre la evaluación de los residentes.

Además de los encuentros de Mahón, como hemos dicho Areda ha llevado a cabo otras actividades que tambien ha producido otros documentos como En la Jornada de AREDA celebrada en Madrid en el 2010 se formularon una serie de recomendaciones sobre la estrategias e instrumentos de evaluación  (tabla 3 y 4)

Finalmente son de espacial interés las conclusiones del grupo de trabajo sobre como mejorar la objetivad de la evaluación de los residentes buscando un modelo racional y práctico. Un grupo de trabajo que tuvo lugar en la XVIII edición de la Escuela de Verano de Salud Pública de Mahon

CONCLUSIONES DEL GRUPO DE TRABAJO (XVIII edición de la Escuela de Verano de Salud Pública de Mahon)

MEJORANDO EL RIGOR YLA OBJETIVIDADENLAEVALUACIÓN DE LOS RESIDENTES.

Conclusión 1. La idea fundamental, en la que hay coincidencia general, es que la evaluación se debe centrar en la adquisición de competencias del especialista en formación.

- Esta es la guía fundamental de todo el proceso de evaluación, refrendada tanto por los expertos en formación como por las autoridades competentes, tanto a nivel español como europeo.

Conclusión 2. Hasta ahora el RD 183/2008 (aunque puede que esto cambie con su desarrollo), respetando ese marco y normas generales, ha permitido a las distintas UUDD y Comisiones de Docencia, que tengan mucha libertad y autonomía para establecer su sistema e instrumentos de evaluación.

- Solo se establecen normativamente el uso de determinados instrumentos formativos y de evaluación, pero en algunos de ellos sin establecer claramente su uso para la evaluación.

Conclusión 3. Para evaluar al Residente se deben utilizar simultánea o consecutivamente, a lo largo de todo el proceso formativo, en el periodo correspondiente, varios (múltiples) instrumentos formativos, tomando varias medidas, por distintos evaluadores, en distintos contextos y con diferentes situaciones clínicas y/o pacientes.

- En evaluación la multiplicidad del enfoque es un valor deseable.

- La mayoría de las UUDD y Comisiones de Docencia ya cumplen estos requisitos.

Conclusión 4. El cumplimiento del principio anterior, permite a las UUDD y Comisiones de Docencia, que tengan una gran variabilidad y flexibilidad en los instrumentos a utilizar y como utilizarlos, lo que refuerza su autonomía y la adaptación a las necesidades formativas específicas de sus residentes.

- Esta situación puede favorecer la multiplicidad de experiencias sobre instrumentos de evaluación, lo que es muy positivo; pero tiene el riesgo de incrementar mucho la variabilidad de los procesos y los resultados de las distintas evaluaciones con escasa comparabilidad.

Conclusión 5. Existe un amplio campo de mejora en la formación de los tutores sobre métodos e instrumentos de evaluación.

- Las UUDD deben de poner en marcha actividades formativas específicas sobre estos contenidos para los profesionales docentes (ya previsto de alguna forma en el RD 183/2008)

Conclusión 6. Preferentemente se deben utilizar instrumentos que evalúen el desempeño o la práctica profesional, complementados con el resto de instrumentos de evaluación, empleando los adecuados para cada nivel

- Afortunadamente estos instrumentos están muy difundidos y son muy utilizados por la mayoría de las UUDD y Comisiones de Docencia.

Conclusión 7. La mayoría de los instrumentos de evaluación que actualmente se vienen utilizando cumplen los criterios de validez y fiabilidad al aplicarlos en otros entornos y países. Para poder aplicarlos se debe comprobar esa validez y fiabilidad en nuestro contexto, y adaptándolos posteriormente.

- Es necesario que las entidades responsables evalúen dichos instrumentos con estos criterios, haciéndolos explícitos.

- Sería conveniente desarrollar esta línea de investigación.

Conclusión 8. La baja fiabilidad de muchos de los instrumentos revisados, mejora mucho al utilizarlos conjuntamente con otros instrumentos, al triangular sus resultados con otras fuentes, y al ser aplicados por evaluadores entrenados.

Conclusión 9. Al cumplir con estos principios se tienen en cuenta todos los requisitos que exige la normativa vigente al sistema de evaluación de los residentes.

- Actualmente la mayoría de las UUDD y Comisiones Docencia ya lo hacen así.

Conclusión 10. En general los resultados de esta revisión son muy coherentes y homogéneos con la línea de trabajo, y el desarrollo que ha llevado a cabo AREDA a lo largo de los Encuentros de Tutores y Jefes de Estudio (con los respectivos documentos de consenso) y con su propuesta de AREDA del Nuevo Modelo de Evaluación de

Conclusión 11. En nuestro entorno existen pocas referencias útiles sobre el uso de los instrumentos de evaluación y de sus resultados (gestión operativa). Y las que existen se refieren a un número muy reducido de ellos.

- El colectivo de docentes de formación especializada, debería publicar y difundir las experiencias de la utilización de los instrumentos de evaluación. Sobre todo si son innovadores y con resultados positivos.

Conclusión 12. Para priorizar los instrumentos de evaluación el Grupo de trabajo recomienda tener en cuenta los siguientes criterios:

- Por el nivel de competencia que es capaz de evaluar (Pirámide de Miller).

- Por su Validez y Fiabilidad.

- Que tenga en cuenta los siguientes 2 aspectos:

- Deben ser utilizados modelos estructurados.

- Siempre se debe dar feed-back al Residente.

- Que sobre el se tenga una mínima experiencia en nuestro país.

- Que su uso sea prescrito por una norma o legislación vigente.

- Que tenga en cuenta la viabilidad de su aplicación.

Conclusión 13. Disponer de un catálogo de instrumentos de evaluación potencialmente útiles en las UUDD y Comisiones de Docencia (especialmente en las de pocos recursos), puede ser de gran ayuda para poder priorizar aquellos instrumentos que cumplan además otros criterios de un sistema de evaluación (Reproductibilidad, Relevancia de lo evaluado, Aceptabilidad por parte de los evaluadores o evaluados, Eficiencia, etc.)

- Sería conveniente contar con información detallada y específica sobre cada uno de los instrumentos de evaluación más habituales (un catálogo).

Conclusión 14. El Grupo de trabajo recomienda, priorizándolos, los siguientes Métodos e Instrumentos de evaluación (desarrollo de la encuesta tarea 3)

1. http://www.doctutor.es/wp-content/uploads/2012/09/ AREDA.pdf
2. http://www.areda.info/areda/pagina.php?id=1