Evaluación de habilidades clínicas en las Facultades españolas: momento de añadir a la ECOE otras pruebas
Doctutor

Resumen: En España, la Conferencia Nacional de Decanos de Facultades de Medicina estableció los criterios comunes de una prueba tipo ECOE para valorar la competencia profesional del alumno. La pandemia por COVID, evidenció algunas limitaciones importantes de esta prueba, a la vez que facilitó la introducción de pruebas para evaluar el desempeño (o evaluaciones en el lugar de trabajo), que ya han sido o están siendo incorporadas en muchas escuelas de medicina del mundo, para compensar las limitaciones de la ECOE y obtener así una información más fiable sobre la competencia real del estudiante o residente. En España, tal vez sea el momento de hacer esto también.
Clinical skills assessment in Spanish medical schools: time to add other exams to the OSCE
Abstract: In Spain, the National Conference of Deans of Medical Schools established the common criteria for an OSCE-type test to assess the professional competence of the student. The COVID pandemic highlighted some important limitations of this exam, while facilitating the introduction of tests to assess performance (or workplace assessments), which have already been or are being incorporated in many medical schools, to compensate for the limitations of the OSCE and thus obtain more reliable information on the actual competence of the student or resident. In Spain, it may be time to do this as well.
Desde su introducción inicial en 1975, por Harden como un modo de evaluación de la competencia clínica para estudiantes de medicina en la década de 1970 (1), el Examen Clínico Objetivo Estructurado (OSCE), la evaluación (o examen) clínico objetivo estructurado (ECOE en español), ha ido cada vez más en alza como el método de evaluación clínica en la educación de profesiones de la salud de grado y especializada (2).
La evaluación de la “competencia” en las Facultades de Medicina españolas
En España, la Conferencia Nacional de Decanos de Facultades de Medicina estableció los criterios comunes de una prueba tipo ECOE de 20 estaciones, que deben realizar todos los alumnos del sexto curso del grado en medicina (3). La ECOE es una prueba de carácter práctico que pretende valorar la competencia profesional del alumno de acuerdo con las competencias específicas del grado en medicina establecidas por la Orden ECI/332/2008 publicada en el BOE de 15/02/2008 (4), mediante la resolución de casos clínicos y la demostración de habilidades (3). De esta manera, las diferentes Facultades de Medicina realizan la ECOE generalmente en un entorno clínico. Como apuntábamos, esta prueba exploraría las competencias mediante diferentes metodologías. Las estaciones incluyen pacientes estandarizados, maniquíes, preguntas de respuesta corta, realización de exploraciones complementarias ajustadas al caso, redacción de informes clínicos, examen oral estructurado, habilidades y procedimientos, estaciones con ordenador o utilizando simuladores (5-7). La pandemia de la COVID-19 en gran medida obligó a completar los estudios universitarios online (8). Por ello, el Comité Nacional de la prueba de la Conferencia de Decanos aprobó en su día la realización en su lugar de un examen de Casos Clínicos por Ordenador (CCT, Case-based Computer Test) como prueba sustitutoria. Dentro de los acuerdos, se decidió desarrollar esta prueba de casos clínicos computarizados simulados en lugar de la ECOE, a pesar de que no se trataba de una ECOE virtual (ECOEv) ya que en esta, los alumnos tienen interacción directa con un paciente a través de una plataforma virtual (Teams, Zom,…). Si los resultados de una ECOEv han sido controvertidos en relación a los objetivos que la prueba pretende, los de la prueba de CCT, lógicamente lo han sido aun más. La normalización docente tras la pandemia, no ha llevado a la incorporación de otras metodologías evaluativas de la competencia, al menos de una manera generalizada.
ECOE: pros y cons
Los beneficios de la ECOE incluyen su enfoque estandarizado para la evaluación de la competencia clínica en diferentes contextos culturales y geográficos y ha demostrado capacidad para evaluar una amplia gama de resultados de aprendizaje en diversas especialidades y disciplinas con fines formativos y sumativos en todas las fases de la educación en profesiones de la salud, desde los primeros años del plan de estudios de grado hasta la formación especializada (9). Sin embargo, a pesar de la aceptación general de la ECOE como la herramienta preferida para la evaluación clínica, parece existir preocupación sobre una dependencia excesiva de este formato en particular (10). Esto es especialmente verdad en nuestro contexto español, donde se confía casi exclusivamente a esta metodología de examen la evaluación de las habilidades clínicas, al menos de forma estandarizada y generalizada en todas las facultades.
Quizás uno de los problemas más significativos con la ECOE se relacione con la logística inherente a su implementación debido a los amplios recursos que exige, incluido el personal requerido para la configuración y puesta en práctica, así como el tiempo y el costo requeridos para ejecutarla (11). Más aún, algunos críticos han desafiado la noción de que las pruebas ECOE confieren una superioridad en su psicometría debido a la falta de evidencia de que esta modalidad de evaluación clínica proporcione datos de evaluación más rigurosos que otros métodos de evaluación (9,12). En los últimos tiempos, la autenticidad de la ECOE como una evaluación de la práctica clínica ha sido aún más controvertida dado que los pacientes reales a menudo están ausentes de la evaluación real y, en cambio, están representados por actores que se adhieren a guiones estandarizados (13)
La pandemia COVID: una oportunidad para nuevas metodologías de evaluación de la práctica, las ELT
Con la llegada de las condiciones impuestas por la pandemia de COVID en 2020, el grado de dependencia de la ECOE como herramienta principal para la evaluación clínica se volvió en todo el mundo sumamente problemática en su modalidad tradicional presencial. No obstante, la necesidad de información sobre el grado en el que los estudiantes adquirían competencias en sus estudios de medicina era importante. Como consecuencia, los educadores sanitarios se vieron en la necesidad de diseñar estrategias de evaluación alternativas para recopilar este tipo de información, incluyendo aquí el desarrollo de nuevas herramientas de evaluación, o el poner mayor énfasis en las alternativas ya existentes para medir el desempeño clínico de los estudiantes en el contexto de las pautas de salud pública imperantes en situaciones como las generadas por la pandemia.
Así, algunas instituciones en diferentes países, pasaron rápidamente de una modalidad de ECOE presencial a otra virtual (ECOEv) que permitiese la evaluación de las habilidades clínicas mediante plataformas de aprendizaje remoto (14). Sin embargo, estudios recientes han demostrado que, aunque la ECOEv es adaptable a diversos formatos de examen, no se considera completamente «adecuado para el propósito» (15). Ya hemos comentado, que la Conferencia Nacional de Decanos de Facultades de Medicina en España no hizo esto sino que sustituyó la ECOE tradicional por una prueba CCT (examen de casos clínicos por ordenador), que al tener un formato completamente diferente al de la ECOE y la ECOEv, no puede compararse con ninguna de ellas (16). Específicamente, si bien la ECOEv puede ser eficaz para la evaluación de algunas habilidades clínicas, como la anamnesis y ciertas habilidades de comunicación, la capacidad de observar el examen físico y las habilidades de procedimiento a través de la entrega virtual está muy limitada
Esto ha permitido abrir la puerta a otras herramientas de evaluación clínica existentes, como las evaluaciones en el lugar de trabajo (ELT), incluido el Mini-CEX, la Observación Directa de Habilidades de Procedimiento (DOPS), las Discusiones Basadas en Casos (CBD) y la Evaluación de la Capacitación (EC) (17). Aunque las ELT ofrecen oportunidades de evaluación integrales e integradas, generalmente se utilizan con fines formativos y se considera que tienen una utilidad limitada en la evaluación sumativa debido a su falta de estandarización (18), a pesar de la existencia de evidencia del rigor y la validez del enfoque programático que utiliza ELT (19). El hecho de no considerar a la ECOE como medio exclusivo para evaluar las habilidades (¿competencias?) clínicas e introducir las ELT, permitió a los educadores sanitarios usar múltiples fuentes de información (aunque no estandarizadas) para valorar la competencia clínica de los estudiantes. Esto, que empezó a considerarse especialmente durante los años interrumpidos por la pandemia, ha hecho que ahora entremos en esta nueva fase. Por tanto parece razonable revisar la dependencia tradicional de la ECOE para asegurar que las futuras estrategias de evaluación clínica reflejen las mejores prácticas (13). También, y quizás especialmente en nuestro sistema educativo de grado en medicina puede ser el momento de dilucidar la vigencia de la ECOE.
ELT y ECOE: un maridaje necesario
Con este fin, es útil conocer algunas de las percepciones que las distintas partes interesadas en la evaluación clínica (examinadores, estudiantes, pacientes simulados y administradores) tradicional puedan tener en relación con el futuro papel del ECOE.
Algunos de los estudios que han explorado este tema, destacan como elementos esenciales la capacidad de la ECOE en el ámbito de la evaluación clínica de proporcionar una evaluación objetiva y estandarizada, donde existe una amplia experiencia y la capacidad de proporcionar un control de calidad. Estas cualidades de evaluación confieren un valor duradero a la ECOE que garantiza el que siga desempeñando un papel importante en la evaluación clínica. No obstante, no se pueden pasar por alto las tensiones logísticas asociadas con la implementación de la ECOE. Los educadores médicos están experimentando actualmente un «punto de inflexión» general en la forma en que diseñan la evaluación clínica a raíz de los rápidos cambios realizados (principalmente durante la pandemia), con la práctica reflexiva impulsando el escrutinio de los enfoques anteriormente mencionados. Las nuevas modalidades de evaluación y formatos existentes, aunque menos rigurosos, son de interés para proporcionar a las facultades de medicina información para la calificación de competencias que anteriormente se habría derivado predominantemente de sólo una ECOE a gran escala. Así, a la luz de los nuevos aprendizajes obtenidos de las experiencias de evaluación clínica en los últimos 3-4 años, muchas escuelas de medicina se han planteado retener todo lo deseable sobre la OSCE (rigor, estandarización y observación directa de múltiples fuentes) pero a la vez, introducir información evaluativa procedente de fuentes “auténticas”, es decir, métodos centrados en el paciente y situados en el lugar de trabajo clínico.
En términos de impacto educativo, las ELT han sido elogiadas por alentar un aprendizaje clínico auténtico en entornos laborales reales (válidos también para estudiantes en prácticas), mientras que la ECOE es presentada cada vez más como un tipo de simulación «falsa», donde los candidatos participan en interacciones robóticas y superficiales desprovistas de las complejidades e intimidades de la atención al paciente en equipo (13). Cuando no se convierte en “un fin por si misma” que dirige la atención del estudiante hacia la prueba con el exclusiva finalidad de superarla. Aunque las críticas a la ECOE expresan preocupaciones relevantes con respecto a cómo una ECOE mal diseñada puede hacer que los candidatos se desvinculen del aprendizaje de la práctica médica auténtica, las mejoras en el diseño de las estaciones y la obtención de juicios de los pacientes pueden abordar algunas de estas preocupaciones (20). Además, la capacidad de integrar medidas de garantía de calidad en el proceso ECOE es significativo, y en distintos lugares se han establecido comunidades de práctica de evaluación clínica para guiar las mejoras de calidad de la ECOE como un resultado fundamental de sus actividades (21)
Los futuros programas de evaluación deberían considerar en qué punto del curso se utiliza la ECOE, de qué forma y con qué propósito. La simulación en educación médica tiene la importante y reconocida ventaja de proporcionar a los estudiantes experiencias de aprendizaje estandarizadas y desafiantes al mismo tiempo que se preserva la seguridad del paciente (22). Ciertos contenidos, por ejemplo, reconocer al paciente que se deteriora, es específicamente adecuado para los métodos de enseñanza y evaluación simulados. En una ECOE, los candidatos pueden ser evaluados en competencias de cuidados críticos para garantizar el logro de un nivel mínimo aceptable de aprendizaje y así evitar exponer a los pacientes al peligro de actuaciones por debajo del estándar. Por el contrario, las ELT permiten observar al candidato en un entorno auténtico, con herramientas marco, como las competencias de posgrado y las actividades profesionales confiables (23), proporcionando un método estructurado de medición del desempeño in situ.
Conclusiones
Por lo tanto, si bien debemos felicitarnos por la introducción de la ECOE en las Facultades de medicina españolas, en lugar de permanecer como único método, el reto que tienen delante ahora nuestros Decanos (y a su vez, cada una de las Facultades de Medicina españolas) es el esforzarse por implantar, en la medida de sus posibilidades, un enfoque de “evaluación programática”. La evaluación programática ha sido objeto de abundantes análisis y estudios (Doctutor ha dedicado algunos artículos donde el lector interesado puede obtener también información básica al respecto) https://www.doctutor.es/2019/02/04/la-evaluacion-programatica-que-es-y-algunas-ventajas-para-la-mejora-del-sistema-evaluativo-en-medicina-i/ y https://www.doctutor.es/2019/09/02/la-evaluacion-programatica-ii-elementos-claves-y-posibilidades-de-aplicacion-en-nuestro-sistema-evaluativo-medico/. Esta evaluación permite la recopilación de información integral sobre la competencia del alumno, lo que implica la culminación de la información de una variedad de instrumentos de evaluación para guiar aún más al alumno, y para la toma de decisiones sumativas por parte de los educadores con respecto a la idoneidad del progreso del estudiante (y a su graduación) (24). El uso de la ECOE y las ELT no se consideran estrategias de evaluación mutuamente excluyentes, de hecho, muchos opinan que podrían usarse de manera complementaria para maximizar la obtención de información sobre el nivel de competencia.
Referencias
1 Harden RM, Gleeson FA. Assessment of clinical competence using an objective structured clinical examination (OSCE). Med Educ. (1979) 13:39–54
2 Walsh M, Bailey PH, Koren I. Objective structured clinical evaluation of clinical competence: an integrative review. J Adv Nursi. (2009) 65:1584–95. doi: 10.1111/j.1365-2648.2009.05054.x
3 L. García-Estañ López. Prueba Nacional de Evaluación de Competencias Clínicas de la Conferencia Nacional de Decanos de Facultades de Medicina de España. FEM., 16 (2013), pp. S1-S70
4 ORDEN ECI/332/2008, de 13 de febrero, por la que se establecen los requisitos para la verificación de los títulos universitarios oficiales que habiliten para el ejercicio de la profesión de Médico. Boletín Oficial del Estado., 40 (2008), pp. 8351-8354
5 E. Kronfly Rubiano, J.I. Ricarte Díez, S. Juncosa Font, J.M. Martínez Carretero. Evaluation of the clinical competence of Catalonian medicine schools 1994-2006. Evolution of examination formats until the objective and structured clinical evaluation (ECOE).Med Clin., 129 (2007), pp. 777-784
6 J. García-Puig, P. Vara-Pinedo, J.A. Varga. Implantación del Examen Clínico Objetivo y Estructurado en la Facultad de Medicina de la Universidad Autónoma de Madrid. Educ Med., 19 (2018), pp. 178-187
7 J.M. Ramos, M. Asunción Martínez-Mayoral, F. Sánchez-Ferrer, F. Morales, T. Sempere, I. Belinchón, et al. Análisis de la prueba de Evaluación Clínica Objetiva Estructurada (ECOE) de sexto curso en la Facultad de Medicina de la Universidad Miguel Hernández de Elche. Educ Med., 20 (2019), pp. 29-36
8 J. Millán Núñez-Cortes. Educación médica durante la crisis por Covid-19. Educ Med., 21 (2020), pp. 157
9 Tavakol M, Dennick R. Post-examination interpretation of objective test data: Monitoring and improving the quality of high-stakes examinations – a commentary on two AMEE Guides. Med Teach. (2012) 34:245–8. doi: 10.3109/0142159X.2012.643266
10 Khan KZ, Gaunt K, Ramachandran S, Pushkar P. The objective structured clinical examination (OSCE): AMEE guide no. 81. Part II: organisation and administration. Med Teach. (2013) 35:e1447–63. doi: 10.3109/0142159X.2013.818635
11 Cusimano MD, Cohen R, Tucker W, Murnaghan J, Kodama R, Reznick R. A comparative analysis of the costs of administration of an OSCE. Acad Med. (1994) 69:571–6. doi: 10.1097/00001888-199407000-00014
12 Barman A. Critiques on the objective structured clinical examination. Ann Acad Med Singapore. (2005) 34:478
13 Reid H, Gormley GJ, Dornan T, Johnston JL. Harnessing insights from an activity system – OSCEs past and present expanding future assessments. Med Teach. (2021) 43:44–9. doi: 10.1080/0142159X.2020.1795100
14 Craig C, Kasana N, Modi A. Virtual OSCE delivery: The way of the future? Med Educ. (2020) 54:1185–6. doi: 10.1111/medu.14286
15 Saad S, Richmond C, Jones K, Schlipalius M, Rienits H, Malau-Aduli BS. Virtual OSCE delivery and quality assurance during a pandemic: Implications for the future. Front Med. (2022).
16 Cervera-Barba E, Blanco-Canseco JM, Fidalgo-Montero P, Gámez-Cabero MI, Hijano-Bandera F, Holgado-Catalán MS, Salinas-Gabiña I, Neria-Serrano F, Castañeda-Vozmediano R, Denizon-Arranz S. Concordancia competencial entre el Examen Clínico Objetivo Estructurado y la prueba de casos clínicos computarizados de Medicina: ¿estamos evaluando lo mismo?, Educación Médica, 2023;24(6)100841,https://doi.org/10.1016/
17 Norcini J, Burch V. Workplace-based assessment as an educational tool: AMEE Guide No. 31. Med Teach. (2007) 29:855–71. doi: 10.1080/01421590701775453
18 Prakash J, Chatterjee K, Srivastava K, Chauhan V., Sharma R. Workplace based assessment: a review of available tools and their relevance. Indus Psychiatry J. (2020) 29:200–4. doi: 10.4103/ipj.ipj_225_20
19 Bok HGJ, De Jong LH, O’neill T, Maxey C, Hecker KG. Validity evidence for programmatic assessment in competency-based education. Perspect Med Educ. (2018) 7:362–72. doi: 10.1007/s40037-018-0481-2
20 Park K-Y, Park H-K, Hwang H-S, Yoo S-H, Ryu J-S, Kim J-H. Improved detection of patient centeredness in objective structured clinical examinations through authentic scenario design. Patient Educ Couns. (2021) 104:1094–9. doi: 10.1016/j.pec.2020.10.016
21 Saad SL, Richmond CE, Jones K, Malau-Aduli BS. Developing a community of practice for quality assurance within healthcare assessment. Med Teach. (2020) 43:174–81. doi: 10.1080/0142159X.2020.1830959
22 Motola I, Devine LA, Chung HS, Sullivan JE, Issenberg SB. Simulation in healthcare education: A best evidence practical guide. AMEE Guide No. 82. Med Teach. (2013) 35:e1511–30. doi: 10.3109/0142159X.2013.818632
23 Ten Cate O, Chen HC, Hoff RG, Peters H, Bok Hm, Van Der Schaaf M. Curriculum development for the workplace using Entrustable Professional Activities (EPAs): AMEE Guide No. 99. Med Teach. (2015) 37:983–1002. doi: 10.3109/0142159X.2015.1060308
24 Schuwirth L, Van Der Vleuten C, Durning SJ. What programmatic assessment in medical education can learn from healthcare. Perspect Med Educ. (2017) 6:211–5. doi: 10.1007/s40037-017-0345-1