ECO.92 IA VALORACIÓN Y RAZONAMIENTO MÉDICO (y IV)

IA  Valoración y razonamiento médico (y IV), por Juan M. Ortiz, Doctor en Medicina

(continuación)

Desde que se empezó a generalizar la IA resultó cuando menos sorprendente su capacidad para igualar e incluso superar los resultados de los humanos en los típicos exámenes de opción múltiple en medicina. Mas adelante se comprobó que también podían obtener buenos resultados en el diagnóstico de casos que imitaban a situaciones reales cuando se les proporcionaba una historia clínica (consulta, exploración y datos de laboratorio).

Un estudio¹ más reciente (se llevó a cabo en 2025) analizó el comportamiento de hasta 21 modelos de LLM² en situaciones en las que se valoraba su desempeño en tareas más complejas de la práctica médica.

 

Los autores del estudio justifican su trabajo indicando que el resultado centrado en el rendimiento en exámenes de licencia de opción múltiple, como el Examen de Licencia Médica de EE.UU. o los exámenes de certificación de especialidad [....], tergiversan fundamentalmente las exigencias del razonamiento clínico, incluyendo la síntesis de datos de pacientes en evolución, la gestión de la incertidumbre diagnóstica y la toma de decisiones a lo largo del tiempo. En consecuencia, son inadecuados (para valorar LLM).

Es imposible no preguntarse si también son inadecuados como valoraciones para la Licencia Médica o el MIR.

Por lo tanto, tratan de generar un mecanismo que permita valorar a los LLM en contextos de incertidumbre y en su capacidad para seguir los pasos que se supone que ha de seguir el razonamiento clínico.

Aquí los autores comparan distintos modelos y generaciones de LLM entre sí, pero no con médicos, detalle especialmente importante.

El procedimiento de puntuación que utilizan los investigadores es esencial para entender las conclusiones y por lo tanto merece una explicación.

En cada caso se valoran 5 ítems: diagnóstico diferencial, pruebas diagnósticas, diagnóstico final, tratamiento y razonamiento clínico (D, P, F, T, R). No se trata de una simple respuesta en un test, ni solamente acertar un diagnóstico, es algo más parecido al conjunto de la práctica de un médico en su ejercicio profesional. Aunque finalmente se trata de escoger entre una serie de posibles respuestas a preguntas realizadas en cada situación.

Se puntúan como porcentaje respecto de la respuesta perfecta.

En un pentágono regular (en azul) se trazan líneas desde el centro a cada uno de los vértices. En cada línea se marca la distancia que, desde el centro, se corresponde con la puntuación del aspecto considerado, sobre la base de que la línea original es el 100%.

Por ejemplo, un 50% de acierto correspondería a la mitad de la distancia entre el centro y el vértice del pentágono regular. Está implícito en esta forma de valorar que se le otorga la misma importancia a cada uno de los ítems.

Es lo que se denomina un gráfico radial porque los puntos se sitúan en los radios de la circunferencia en la que se inscribiría el pentágono regular.

Cuando se unen estos puntos se obtiene otro pentágono (en rojo) generalmente irregular (salvo que las puntuaciones de los 5 ítems sean idénticas).

La calificación final de la LLM estudiada es la proporción que representa la superficie del polígono de puntuaciones respecto del polígono regular inicial. Es decir 

100*superficie pentágono menor / superficie pentágono mayor 

El objetivo es que, incluso tratando como de igual importancia cada uno de los ítems, se destaque la existencia de desigualdades entre las puntuaciones de estos. En efecto, cuanto menos regular sea el polígono resultante, mayor será el desequilibrio en las puntuaciones de cada tema. Sin embargo, también es cierto que la diferencia entre las superficies de ambos polígonos puede reflejar simplemente peores resultados en todos los temas simultáneamente, ya que así también se reduce, pero equilibradamente, la superficie del pentágono interior. 

En el ejemplo de la figura el promedio de puntuaciones para esta LLM fue casi del 85% (si es que el promedio de porcentajes tiene sentido porque la suma, desde la que se calcula el promedio, es una operación aritmética poco clara con los promedios; por ejemplo, si pago el 20% del almuerzo y el 30% de la cena es evidente que no he pagado el 50% de las comidas con los amigos), la mediana es 86%. 

Por su parte la proporción de superficies dio un 76%. Lo que se debe a la diferencia entre el diagnóstico diferencial 72% (vértice de la izquierda) frente a los otros 4 con valores superiores al 81% (casi 100% para el inferior que corresponde al diagnóstico final).

Puesto que esta situación se encuentra frecuentemente en los LLM analizados los autores concluyen que estos sistemas, aunque acierten en el diagnóstico final no son buenos en la estimación del diagnóstico diferencial. Así escriben:

“En este estudio transversal de 21 modelos de lógica difusa (LLM), los LLM de vanguardia lograron una alta precisión en los diagnósticos finales, pero tuvieron un desempeño deficiente en la generación de diagnósticos diferenciales y en la gestión de la incertidumbre en relación con otras etapas de razonamiento.”

Pero también presentan resultados interesantes desde otros puntos de vista.

El primero es que, desafortunadamente, no se ha hecho ninguna comparación con los médicos por lo que no es posible saber si lo harían mejor o peor que cualquiera de los 21 modelos probados. Se supone que un profesional experto debería de obtener el 100% en cada item; pero conociendo las pruebas con las que se han valorado sospecho que no todos llegaríamos al 95% de aciertos en el diagnóstico final con facilidad.

El problema es entender cómo se resuelve correctamente el diagnóstico final fracasando en el diagnóstico diferencial. Se supone que el diagnóstico diferencial es el primer paso para decidir qué procesos explican algunos o todos los hallazgos en el paciente y cuáles no, lo que sirve para escoger las pruebas que nos lleven a eliminar los diagnósticos sospechosos inválidos y llegar al correcto. Leyendo los casos que han utilizado los autores se me ocurre una posible explicación.

En primer lugar, la puntuación en la fase de diagnóstico diferencial se considera un fallo si el LLM no escoge todos los posibles y elimina todos los imposibles. Es un criterio demasiado estricto en mi opinión.

En segundo lugar, en alguno de los casos, los datos presentados son tan evidentes que posiblemente el LLM ha llegado al diagnóstico correcto sin necesidad de más información y por lo tanto fracasará en el diagnóstico diferencial porque ya tiene, en esa fase, el diagnóstico final. Cierto es que los hallazgos podrían ser explicados por otras patologías, pero el nivel de aciertos que se encuentra sugiere que algo así es lo que sucede. No se puede olvidar que los autores de los casos son médicos y a lo mejor, para ellos, no es tan evidente la solución desde el principio.

Todavía hay otra posible explicación y es que los LLM conociesen los casos porque se trata de casos públicos, aunque entonces el nivel de aciertos debería haber sido igualmente alto en todos los temas que se preguntaban.

En cualquier caso, el hecho es que mientras que los autores del caso presentado piensan que con los datos iniciales que aportan, un médico debería plantearse varios diagnósticos posibles y excluir específicamente otros, los LLM explorados consideran que tienen suficiente información para llegar correctamente al diagnóstico final.

Los autores también encuentran que el desempeño de los LLM va mejorando con el tiempo y los resultados son mejores todavía con los modelos más recientes de cada familia.

Lo que me lleva a alegrarme de estar jubilado y no a estar empezando el ejercicio de una profesión en la que tendría que competir con “inteligencias” como estas.

------------------------------------------------------------------------------

¹ Large Language Model Performance and Clinical Reasoning Tasks por Rao, Ayra S. y otros   se puede leer en  JAMA Network Open. 2026;9(4):e264003. doi:10.1001/jamanetworkopen.2026.4003

² LLM = Large Language Model

.