Implicaciones del Meta-análisis en la Educación Médica.
Doctutor
Resumen: Este trabajo aborda algunas de las principales implicaciones que para los profesores y tutores clínicos implicados en la docencia tiene la obtención de información relevante mediante técnicas de meta-análisis, a la hora de tomar decisiones educativas en el ámbito de su práctica docente con estudiantes de medicina o residentes.
Implications of Meta-analysis in medical education
Abstract: This work addresses some of the main implications that obtaining relevant information through meta-analysis techniques has for professors and clinical tutors involved in teaching, when making educational decisions in the field of their teaching practice with medical students or residents.
Uno de los muchos desafíos a los que se enfrenta el clínico es saber si la información disponible procedente de opiniones expertas es o no solvente. Pues bien, en el ámbito educativo el docente clínico, bien sea tutor o profesor, tiene también este desafío: saber si puede confiar en el experto que ofrece un tipo de información concreta. Y esto es quizás más acusado precisamente en este último ámbito, pues esas opiniones son mucho más frecuentes como únicas fuentes de evidencia disponibles (Willingham, 2012).
Generalmente, se atribuye una gran importancia al meta-análisis como herramienta de enseñanza y aprendizaje (Hattie, 2008), y como tal, tiene un impacto en nuestra comprensión de lo que hace que el aprendizaje sea efectivo. Al considerar algunos importantes enfoques educativos teórico-prácticos como el de la metacognición, que basa en gran medida su evidencia en el meta-análisis (Teaching and Learning Toolkit, 2018), es esencial que los profesores y los tutores clínicos, en el desarrollo de su magisterio con estudiantes y residentes, sean conscientes, no solo de sus potencialidades sino de las limitaciones de este enfoque para ayudarles a aquellos a hacer un uso adecuado de la evidencia que proporciona la investigación.
En este ensayo ofrecemos algunas reflexiones que creemos pueden hacernos comprender mejor el meta-análisis y su utilización con fines educativos en la enseñanza de grado del médico.
Comprender el metanálisis
Simpson ofrece una buena definición sobre qué representan y cómo se llevan a cabo los metanálisis:
“Los estudios individuales informan sobre medidas cuantitativas de los resultados de intervenciones concretas; Los meta-analistas recopilan estudios en un área determinada, convierten las medidas de resultado en una métrica común y las combinan para informar una estimación que, según ellos, representa el impacto o la influencia de las intervenciones en esa área. Después están los meta-meta-análisis, que recopilan los resultados de los meta-análisis, recogidos en ámbitos más amplios, y combinan sus estimaciones particulares con la finalidad de ofrecer una clasificación ordenada de esos campos o ámbitos para obtener mayores diferencias»
(Simpson, 2017).
Existen una serie de ventajas del meta-análisis cuando se realiza como parte de una revisión sistemática:
- Se pueden asimilar grandes cantidades de información de forma rápida
- Se puede reducir la demora entre los «descubrimientos» de la investigación y la implementación de programas efectivos
- Los resultados de diferentes estudios se pueden comparar para establecer generalizaciones.
- Se pueden identificar las razones de la inconsistencia que existen entre estudios y generar nuevas hipótesis (Greenhalgh, 2014).
A pesar de estas ventajas, Simpson (Simpson, 2017) señala dos supuestos clave asociados con los meta-análisis que no resisten el escrutinio crítico. La primera es que los tamaños de efecto más grandes se asocian con una mayor importancia educativa. La segunda es que dos o más estudios diferentes sobre las mismas intervenciones pueden combinar sus tamaños de efecto para dar una estimación significativa de la importancia educativa de la intervención.
«El tamaño del efecto» es simplemente una forma de cuantificar el tamaño de la diferencia entre dos grupos … Esto es particularmente valioso para cuantificar la efectividad de una intervención concreta en relación con alguna comparación «.
(Coe, 2017)
Simpson (2017) identifica tres razones por las que estos supuestos no se cumplen.
1. GRUPOS DE COMPARACION DESIGUALES
Los estudios que han utilizado diferentes tipos de grupos de comparación no se pueden combinar con precisión para informar de manera significativa sobre el tamaño del efecto. Por ejemplo, si dos estudios informan el tamaño del efecto del feedback de los mensajes de texto sobre los ensayos, no podemos compararlos o combinarlos razonablemente si uno de esos estudios no utiliza feedback en el grupo de comparación y el otro usa un feedback breve escrito en el grupo comparador (Simpson, 2017).
2. RESTRICCIÓN DE RANGO
A menos que las intervenciones combinen estudios que utilicen el mismo rango de estudiantes o pacientes, es poco probable que el tamaño del efecto combinado sea una estimación precisa del tamaño del efecto «verdadero» de la intervención. Por ejemplo, si una intervención que mide el grado en el que se alcanza un logro educativo incluye solo a estudiantes de alto rendimiento, el rango de calificaciones que obtendrán en una prueba será más restringido que el mismo estudio realizado en todo el grupo de estudiantes de esa promoción académica, por lo que el tamaño del efecto parecerá mucho mayor. Los diferentes rangos de estudiantes utilizados en las intervenciones pueden influir en el impacto de una intervención y en el tamaño del efecto (Simpson, 2017).
3. DISEÑO DE MEDIDAS
Los investigadores pueden influir directamente en el tamaño del efecto mediante las elecciones que hacen sobre cómo buscan medir ese efecto. Si realizan una intervención para mejorar las calificaciones de bioestadística, por ejemplo, pueden optar por utilizar una medida diseñada específicamente para «medir» la bioestadística. O pueden usar una medida de la competencia en el área general de las matemáticas que incluya algún elemento de bioestadística. El tamaño del efecto del primero será mayor que el del segundo, debido a la precisión de la medida utilizada. Además, aumentar el número de elementos de prueba puede influir en el tamaño del efecto. Las simulaciones sugieren que si se aumenta la cantidad de preguntas utilizadas para medir la efectividad de una intervención, esto puede aumentar el tamaño del efecto en muchas de ellas (Simpson, 2017).
Existen otras limitaciones de los ‘meta-análisis’, por ejemplo, la intensidad y duración de una intervención tendrán un impacto en el tamaño del efecto resultante; gran parte de la investigación publicada involucra a estudiantes de grado, que pueden tener poco en común con los estudiantes en otros niveles de carrera académica, pero tendrán un impacto sustancial en la generalizabilidad de los hallazgos y, finalmente, se producirá un ‘sesgo de publicación’ a favor de estudios con resultados ‘positivos’ (Wiliam, 2016).
Conclusiones
Entonces, ¿cuáles son las implicaciones para los profesores y tutores clínicos involucrados en la docencia que deseen utilizar el meta-análisis en el ámbito de su práctica educativa con estudiantes de medicina o residentes?
- Primero, los hallazgos de la investigación no deben considerarse como indiscutibles. Es muy sensato desconfiar de las interpretaciones simplistas de los tamaños del efecto y las recomendaciones de acción posteriores.
- En segundo lugar, será de utilidad el leer los estudios originales relevantes para los problemas que se está tratando de abordar, en lugar de depender sólo de informes basados en tamaños de efectos comparativos.
- En tercer lugar, podría ser útil utilizar una lista de verificación desarrollada por algunos de los Programas de Evaluación Crítica y de Habilidades para evaluar la calidad de los estudios existentes (como por ejemplo: casp-uk. net / casp-tools-checklists /).
- Finalmente, la relevancia e importancia de los meta-análisis depende en gran medida de la naturaleza del problema que se pretende abordar. Estos estudios representarían piezas de un rompecabezas sobre la evidencia que los profesionales deben ir reuniendo antes de tomar una decisión sobre el uso de una intervención o de enfoque en particular (sea educativo o clínico).
References
Coe R (2017) Effect Size. In: Waring M, Hedges L, and Arthur J (eds) Research Methods and Methodologies in Education. 2nd ed. London: SAGE, pp. 368–376.
Greenhalgh T (2014) How to Read a Paper: The Basics of Evidence-Based Medicine. London: John Wiley & Sons.
Hattie J (2008) Visible Learning: A Synthesis of over 800 Meta-Analyses Relating to Achievement. Abingdon: Routledge.
Simpson A (2017) The Misdirection of Public Policy : Comparing and Combining. Standardised Effect Sizes. Journal of Education Policy 32(4): 450–466.
Teaching and Learning Toolkit (2018) Metacognition and self-regulation | Toolkit Strand. Available at:
https://educationendowmentfoundation.org.uk/evidence-summaries/teaching-learning-toolkit/meta-cognition-and-self-regulation/ (accessed 11 May 2018).
Wiliam D (2016) Leadership for Teacher Learning. West Palm Beach: Learning Sciences International.
Willingham D (2012) When Can You Trust the Experts? How to Tell Good Science from Bad in Education. San Francisco: John Wiley & Sons.