IA Valoración y razonamiento médico (y IV), por Juan M. Ortiz, Doctor en Medicina
(continuación)
Desde que se empezó a generalizar
la IA resultó cuando menos sorprendente su capacidad para igualar e incluso
superar los resultados de los humanos en los típicos exámenes de opción
múltiple en medicina. Mas adelante se comprobó que también podían obtener
buenos resultados en el diagnóstico de casos que imitaban a situaciones reales
cuando se les proporcionaba una historia clínica (consulta, exploración y datos
de laboratorio).
Un estudio1 más reciente
(se llevó a cabo en 2025) analizó el comportamiento de hasta 21 modelos de LLM2
en situaciones en las que se valoraba su desempeño en tareas más complejas de
la práctica médica.
Los autores del estudio justifican
su trabajo indicando que el resultado centrado en el rendimiento en exámenes de licencia
de opción múltiple, como el Examen de Licencia Médica de EE.UU. o los exámenes
de certificación de especialidad [....], tergiversan fundamentalmente las
exigencias del razonamiento clínico, incluyendo la síntesis de datos de
pacientes en evolución, la gestión de la incertidumbre diagnóstica y la toma de
decisiones a lo largo del tiempo. En consecuencia, son inadecuados
(para
valorar LLM).
Es imposible no preguntarse si
también son inadecuados como valoraciones para la Licencia Médica o el MIR.
Por lo tanto, tratan de generar un
mecanismo que permita valorar a los LLM en contextos de incertidumbre y en su
capacidad para seguir los pasos que se supone que ha de seguir el razonamiento
clínico.
Aquí los autores comparan distintos modelos y generaciones de LLM entre sí, pero no con médicos, detalle especialmente importante.
El procedimiento de puntuación que
utilizan los investigadores es esencial para entender las conclusiones y por lo
tanto merece una explicación.
En cada caso se valoran 5 ítems:
diagnóstico diferencial, pruebas diagnósticas, diagnóstico final,
tratamiento y razonamiento clínico (D, P, F, T, R). No se trata
de una simple respuesta en un test, ni solamente acertar un diagnóstico, es
algo más parecido al conjunto de la práctica de un médico en su ejercicio
profesional. Aunque finalmente se trata de escoger entre una serie de posibles
respuestas a preguntas realizadas en cada situación.
Se puntúan como porcentaje respecto de la respuesta perfecta.
En un pentágono regular (en azul)
se trazan líneas desde el centro a cada uno de los vértices. En cada línea se
marca la distancia que, desde el centro, se corresponde con la puntuación del
aspecto considerado, sobre la base de que la línea original es el 100%.
Por ejemplo, un 50% de acierto correspondería a la mitad de
la distancia entre el centro y el vértice del pentágono regular. Está implícito
en esta forma de valorar que se le otorga la misma importancia a cada uno de
los ítems.
Es lo que se denomina un gráfico
radial porque los puntos se sitúan en los radios de la circunferencia en la que
se inscribiría el pentágono regular.
Cuando se unen estos puntos se obtiene otro pentágono (en
rojo) generalmente irregular (salvo que las puntuaciones de los 5 ítems sean
idénticas).
La calificación final de la LLM
estudiada es la proporción que representa la superficie del polígono de
puntuaciones respecto del polígono regular inicial. Es decir
100*superficie
pentágono menor / superficie pentágono mayor
El objetivo es que, incluso
tratando como de igual importancia cada uno de los ítems, se destaque la
existencia de desigualdades entre las puntuaciones de estos. En efecto, cuanto
menos regular sea el polígono resultante, mayor será el desequilibrio en las
puntuaciones de cada tema. Sin embargo, también es cierto que la diferencia
entre las superficies de ambos polígonos puede reflejar simplemente peores
resultados en todos los temas simultáneamente, ya que así también se reduce,
pero equilibradamente, la superficie del pentágono interior.
En el ejemplo de la figura el
promedio de puntuaciones para esta LLM fue casi del 85% (si es que el promedio
de porcentajes tiene sentido porque la suma, desde la que se calcula el
promedio, es una operación aritmética poco clara con los promedios; por
ejemplo, si pago el 20% del almuerzo y el 30% de la cena es evidente que no he
pagado el 50% de las comidas con los amigos), la mediana es 86%.
Por su parte la proporción de
superficies dio un 76%. Lo que se debe a la diferencia entre el diagnóstico
diferencial 72% (vértice de la izquierda) frente a los otros 4 con valores
superiores al 81% (casi 100% para el inferior que corresponde al diagnóstico
final).
Puesto que esta situación se
encuentra frecuentemente en los LLM analizados los autores concluyen que estos
sistemas, aunque acierten en el diagnóstico final no son buenos en la
estimación del diagnóstico diferencial. Así escriben:
“En este estudio transversal de
21 modelos de lógica difusa (LLM), los LLM de vanguardia lograron una alta
precisión en los diagnósticos finales, pero tuvieron un desempeño deficiente en
la generación de diagnósticos diferenciales y en la gestión de la incertidumbre
en relación con otras etapas de razonamiento.”
Pero también presentan resultados interesantes desde otros
puntos de vista.
El primero es que,
desafortunadamente, no se ha hecho ninguna comparación con los médicos por lo
que no es posible saber si lo harían mejor o peor que cualquiera de los 21
modelos probados. Se supone que un profesional experto debería de obtener el
100% en cada item; pero conociendo las pruebas con las que se han valorado
sospecho que no todos llegaríamos al 95% de aciertos en el diagnóstico final
con facilidad.
El problema es entender cómo se
resuelve correctamente el diagnóstico final fracasando en el diagnóstico
diferencial. Se supone que el diagnóstico diferencial es el primer paso para
decidir qué procesos explican algunos o todos los hallazgos en el paciente y
cuáles no, lo que sirve para escoger las pruebas que nos lleven a eliminar los
diagnósticos sospechosos inválidos y llegar al correcto. Leyendo los casos que
han utilizado los autores se me ocurre una posible explicación.
En primer lugar, la puntuación en
la fase de diagnóstico diferencial se considera un fallo si el LLM no escoge
todos los posibles y elimina todos los imposibles. Es un criterio demasiado
estricto en mi opinión.
En segundo lugar, en alguno de los
casos, los datos presentados son tan evidentes que posiblemente el LLM ha
llegado al diagnóstico correcto sin necesidad de más información y por lo tanto
fracasará en el diagnóstico diferencial porque ya tiene, en esa fase, el
diagnóstico final. Cierto es que los hallazgos podrían ser explicados por otras
patologías, pero el nivel de aciertos que se encuentra sugiere que algo así es
lo que sucede. No se puede olvidar que los autores de los casos son médicos y a
lo mejor, para ellos, no es tan evidente la solución desde el principio.
Todavía hay otra posible
explicación y es que los LLM conociesen los casos porque se trata de casos
públicos, aunque entonces el nivel de aciertos debería haber sido igualmente
alto en todos los temas que se preguntaban.
En cualquier caso, el hecho es que
mientras que los autores del caso presentado piensan que con los datos
iniciales que aportan, un médico debería plantearse varios diagnósticos
posibles y excluir específicamente otros, los LLM explorados consideran que
tienen suficiente información para llegar correctamente al diagnóstico final.
Los autores también encuentran que
el desempeño de los LLM va mejorando con el tiempo y los resultados son mejores
todavía con los modelos más recientes de cada familia.
Lo que me lleva a alegrarme de
estar jubilado y no a estar empezando el ejercicio de una profesión en la que
tendría que competir con “inteligencias” como estas.
------------------------------------------------------------------------------
1 Large
Language Model Performance and Clinical Reasoning Tasks por Rao, Ayra S. y otros se puede leer en JAMA Network Open. 2026;9(4):e264003. doi:10.1001/jamanetworkopen.2026.4003
2 LLM =
Large Language Model
.
