Objetividad y validez en la evaluación del aprendizaje y la competencia

Selección y Cometarios: Jose R Loayssa (Doctutor)

Una de las cuestiones claves en la discusión en torno a la evaluación es el dilema entre objetividad y validez. La objetividad se asocia a la fiabilidad ya que los métodos subjetivos están vistos como más variables e inconsistentes en los resultados que proporcionan en dependencia del evaluador y la circunstancias de la evaluación. Por otra parte la objetividad hace muy difícil evaluar la practica real ya que se requiere simplificar o artificializar la situación y las tareas.

Entre los educadores médicos se debate habitualmente las ventajas y desventajas de los métodos subjetivos cualitativos y los objetivos más cuantitativos. Esto se concreta por ejemplo en la apuesta por las “listas de comprobación” (check lists) que comprueban y califican conductas concretas o por “escalas de evaluación” (global ratings) que recoge impresiones globales del evaluador sobre las competencias y actitudes del médico en formación.

Dentro de esta polémica incluimos dos comentarios de dos artículos que defienden los métodos subjetivos y cualitativos. El primero de ellos fundamenta esta defensa en la propia naturaleza de la competencia clínica el segundo es más general y conecta con la discusión en educación sobre el papel de los objetivos específicos.

Comentario 1  

Huddle, T. Heudebert, G. Viewpoint: Taking Apart the Art: The Risk of Anatomizing Clinical Competence. Acad Med. 2007; 82:536–541.

enlace artículo

Este artículo, aunque centrado en la critica a una propuesta concreta de evaluación de los residentes y programas de residencia en EE.UU, aborda cuestiones esenciales enla evaluación. Enprimer lugar plantea si descomponer la competencia clínica en sus componentes (conocimientos, habilidades, destrezas y actitudes), evaluar separadamente cada uno de ellos (a esta idea hace referencia la palabra “anatomizar” del titulo) y unir sus resultados proporciona una evaluación válida de la propia competencia clínica, Los autores contrariamente a la opinión del ACGME (Accreditation Council for Graduate Medical Education de los EE.UU) piensan que esto no es posible.

Las perspectivas que defienden una fragmentación de la competencia clínica en sus componentes a efectos de posibilitar su evaluación, creen que estos componentes se pueden evaluar de forma objetiva definiendo objetivos medibles con instrumentos fiables, especialmente los dirigidos a comprobar comportamientos definidos como las llamadas check-list asi como con test escritos como los scrip-concordance test o las preguntas de elección múltiple. Asumen que si los resultados en estos test y escalas de observación son positivos, el evaluado puede considerarse competente para resolver problemas clínicos en la práctica y para atender apropiadamente a los pacientes que va a encontrar en su trabajo futuro.

Los autores del artículo que comentamos no están de acuerdo  con estas presunciones. Sus objeciones apuntan a que la competencia clínica solo se puede evaluar de forma global y que requiere la utilización de métodos subjetivos, aunque estos deben ser sometidos a procesos de validación. Defienden por lo tanto el papel de instrumentos muchas veces criticados como son los global ratings.

Los autores para justificar su apuesta defienden que la competencia clínica es más una capacidad de responder de forma flexible y creativa en el contextos clínicos en vez de poseer un set de respuestas prefijadas a situaciones clínicas determinadas. Unas respuestas definidas y observables que puedan ser evaluadas fiable y precisamente. También insisten en la enorme variabilidad de los pacientes y del contexto clínico, lo  que convierte en decisivo el no poseer una serie predeterminada de conocimientos, habilidades, destrezas y actitudes sino el saber escoger que elementos utilizar y como en una situación real.  La competencia es una propiedad abierta ya que no se pueden definir de antemano todas las presentaciones de un cuadro clínico que se pueden encontrar enla realidad. Porlo tanto el problema de la evaluación es buscar un método para medir de forma holística  la capacidad de buscar el conocimiento y las habilidades clínicas pertinentes a la situación clínica en cuestión.

Es verdad que hay pacientes con un perfil claro en los que el diagnostico es concreto e inmediato y su manejo definible, otros sin embargo son más complejos. En estos muchas veces el primer objetivo no es tanto una respuesta concreta sino más bien preguntas, formular un problema. Cuando un médico se enfrenta a un caso el primer paso es construir una perspectiva sobre éste. Si el caso es claro el diagnóstico forma parte de esta perspectiva si no lo es la visión del caso toma la forma de la formulación de un problema  Esta formulación del problema es muy difícil de medir con métodos cerrados entre otras razones porque no es un proceso lógico y ni siquiera consciente. No hay que olvidar que cuando se pregunta a clínicos expertos estos no suelen ser capaces de definir como han llegado a la conclusión que han alcanzado en un determinado caso. Hay muchas pistas y datos que son tenidos en cuenta a menudo de forma implícita.

Los autores defienden que la evaluación subjetiva de los clínicos expertos es el método idóneo de evaluación de la competencia clínica. Estos pueden inferir la competencia del médico en formación y determinar que estos no se dejan llevar por apariencias engañosas, saben seleccionar los rasgos importantes del caso e ignoran aquellos que son secundarios o superfluos. Los expertos no deben evaluar de acuerdo a si los alumnos poseen conocimientos abstractos, ni siquiera si aciertan no en las opciones concretas, sino si estos son capaces de distinguir lo importante de lo que no lo es y  aunque no sepan la respuesta a lo que han identificado como problema,  sean capaces de definir las preguntas apropiadas.

Como consecuencia de todo ello la observación en contextos reales por clínicos expertos es subrayada por los autores que al mismo tiempo reclaman cautelas sobre las check-list y sobre la evaluación por test escritos aunque sean sobre casos reales o pacientes simulados, así como sobre métodos de evaluación basados en objetivos educativos específicos medibles de forma objetiva.

Comentario 2

Lechner S. Evaluation of Teaching and Learning Strategies. Medical Education Online Volume 6 2001.

 enlace artículo

Con el crecimiento de la formación aumenta también la necesidad de evaluar ese aprendizaje. El “qué” y el “cómo” del aprendizaje están ahora más claros. Lo que los aprendices necesitan conocer está relacionado directamente con la explosión dela información. La meta ha cambiado de enseñar hechos, a ayudar a los estudiantes a aprender cómo encontrar información relevante de una forma integral y coherente. El cómo los estudiantes aprender está también más claro, y su implicación es una enseñanza centrada en el estudiante y el aprendizaje en vez del profesor yla enseñanza. Estos enfoques han innovado todas las estrategias de aprendizaje/enseñanza y así, es urgente encontrar formas para evaluarlas.

Un intento en esta línea es la “evaluación basada en la evidencia”, tomada de la moda del campo médico. Así, hay grupos que están trabajando para proporcionar guías educativas con la “mejor evidencia”. Sin embargo, es cada vez más evidente que sintetizar y revisar la evidencia es un asunto muy complejo. Algunos de los problemas de esta estrategia, trasplantada desde los métodos rígidos del método científico cuantitativo, que la hacen poco útil para evaluar la formación son:

-Estos intentos son superficialmente tranquilizadores para sus promotores, al mostrar datos numéricos, pero finalmente son impracticables. El rígido método científico cuantitativo de experimentación controlada no puede considerarse válido en un ambiente educativo donde las variables son numerosísimas. No sólo conocimientos previos, motivación, oportunidades, accesibilidad a materiales, efecto Hawthorne, límites de tiempo, situación emocional, situación económica, etc., pueden afectar al aprendizaje, sino que aportes educativos secuenciales y la variabilidad de las escuelas docentes pueden confundir en los resultados. Por otra parte, el valor de los grupos control en educación es muy discutible. La distribución aleatoria de estudiantes puede encubrir diferencias iniciales sistemáticas entre los grupos experimental y control. En el contexto educativo, la “aleatorización” a lo poco está contaminada debido a que raramente hay placebos en educación. Los estudiantes tienen opciones y tendrán actitudes hacia ellas cualesquiera sea el grupo donde estén asignados. Esto, por necesidad, sesga el resultado. Ni es posible limitar a los estudiantes el intercambio de ideas, como teóricamente puede hacerse en un ensayo clínico sobre medicación.

-Otra gran dificultad es la definición clara de resultados. Pueden pensarse varios tipos de evaluación según esté orientada al estudiante, al programa, o a la institución. Losindicadores irán desde la asistencia a clase hasta la satisfacción de pacientes, pasando por encuestas, exámenes y evaluación por colegas. Aunque pueden medirse los resultados, sólo puede hacerse cuando son “pequeños”. Los grandes resultados no pueden medirse cuantitativamente ya que las variables implicadas son demasiado numerosas y complejas, además de que son fuerzas que interactúan y tienen un carácter multifactorial.

La forma más sencilla de medir un resultado es mediante un examen. Así, puede mostrarse este resultado de forma numérica y aplicar análisis estadísticos. Sin embargo, lo que no pueden dar es una imagen verdadera de la evaluación. Porejemplo, el hecho de que el 98% de los estudiantes logren un determinado nivel de conocimiento si se someten a un cierto número de clases según una determinada metodología, no puede extrapolarse a otros grupos, ni nos dice que esa metodología educativa sea el mejor modo de enseñar. Mediante el examen no podemos medir los efectos profundos del aprendizaje. Actualmente no hay métodos adecuados para medir estos efectos profundos del aprendizaje continuado.

Habitualmente, el enfoque más pragmático –el indicador más realista del éxito de un programa formativo- en la evaluación educativa es centrarse en las percepciones de los estudiantes sobre su experiencia con el programa de aprendizaje. Esto es en sí mismo una metodología de investigación cualitativa, cuyo centro es entender más que medir. En el contexto educativo, es primordial que los cuestionarios enfocados a entender percepciones de los estudiantes sean anónimos, y que los grupos focales sean conducidos por personas conocidas por estar alejadas de cualquier visión de evaluación sumativa de resultados. La observación de estudiantes que participan en un programa es otro instrumento de valor, al que habría que incluir el análisis cuantitativo de los factores encontrados o la triangulación para evitar sesgos.

 


     

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *