El UMSLE (United States Medical Licensing Examination) es un examen nacional obligatorio que debe aprobar todo graduado en medicina para poder especializarse o ejercer la medicina en los Estados Unidos. Más o menos equivalente, pues, al examen MIR (médico interno residente) en España o al ENARM (examen nacional de aspirantes a residencias médicas) en Méjico. Como les contaba aquí mismo hace dos años, un grupo de investigadores de Microsoft y OpenAI pidieron a un programa de inteligencia artificial (IA) generativa, GPT-4, que respondiera un examen UMSLE oficial y sus resultados fueron espectaculares: sin ningún tipo de capacitación ni entrenamiento específicos en tareas médicas, GePeTo superó en más de veinte puntos la nota de corte necesaria para aprobar el examen.
Es bien sabido, no obstante, que los modelos masivos de lenguaje natural como GePeTo funcionan mucho mejor cuando trabajan en inglés (que es su lengua primordial de entrenamiento: se calcula que más del 93 % del conjunto de entrenamiento de GPT-3 estaba compuesto por textos escritos en inglés). Enfrentado al examen MIR del año 2023, por ejemplo, GePeTo solo fue capaz de obtener un mediocre 51,4 % de aciertos.
En el ámbito de la IA generativa, no obstante, la evolución está siendo rapidísima, y desde este año tenemos ya un chatbot (específicamente entrenado para afrontar el examen MIR español, eso sí) capaz de obtener resultados aún más espectaculares que los logrados por GePeTo en el UMSLE estadounidense. Se trata de MIRI, quien no solo superó el examen MIR 2025 del Ministerio de Sanidad, sino que lo hizo con un porcentaje récord de aciertos: 195 respuestas acertadas (95,59 %) sobre las 204 que finalmente se dieron como válidas. Muy por encima, pues, del médico humano que obtuvo este año la primera plaza: Óleg Logúnov, ruso afincado en Valencia, con 174 preguntas acertadas.
Tomo el dato de un artículo reciente que ha publicado un grupo de la Universidad de Alcalá. Comparan en él más de veinte modelos masivos de lenguaje natural (AWS Nova Lite, AWS Nova Micro, AWS Nova Pro, Claude Haiku 3.5, Claude Haiku 3.5 New, Claude Sonet 3.5, Deepseek Chat, Deepseek Reasoner, Gemini 1.5 Flash, Gemini 1.5 Flash-BB, Gemini 1.5 Pro, Gemini 2.0 Flash, GPT-3.5 Turbo, GPT-4 Turbo, GPT-4o, GPT-4o Mini, Grok 2, Grok Beta, Grok Vision Beta, Llama 3.2 1B Instruct, Llama 3.2 3B Instruct, MIRI Pro, o1 y o1-mini) enfrentados a situaciones clínicas complejas: los exámenes MIR de las convocatorias 2024 y 2025, con énfasis en su capacidad de razonamiento clínico, interpretación de imágenes y cálculos epidemiológicos. El examen, como es sabido, consta de 210 preguntas de opción múltiple que abarcan diversos ámbitos médicos e incorpora casos prácticos, interpretación de imágenes (25 preguntas) y análisis de datos de laboratorio.
Los más flojos resultaron ser los modelos Llama: Llama 3.2 3B Instruct, por ejemplo, obtuvo apenas un 43,14 % de aciertos (88/210) en el examen MIR 2025. Pero me interesa destacar que varios modelos igualaron o superaron ampliamente el porcentaje de acierto del mejor candidato humano: 88,5 % en 2024 y 78,57 % en 2025. Grok Vision Beta obtuvo sendos porcentajes del 87,80 % y 85,29 %; GPT-4 Turbo, del 89,27 % y 86,27 %; Claude Sonet 3.5, del 92,68 % y 88,73 %; Deepseek Reasoner, del 94,15 % y 93,63 %. El mejor de todos, no obstante, resultó ser una IA entrenada en España: MIRI Pro, con unos deslumbrantes 97,56 % en 2024 (200/205 respuestas acertadas) y 95,59 % en 2025 (195/204 respuestas acertadas).
MIRI, presentada el verano pasado por PROMIR (la plataforma de aprendizaje en línea de Editorial Médica Panamericana), es un chatbot diseñado específicamente para preparar el examen MIR en España, y cuya única y exclusiva fuente de conocimiento son los contenidos editoriales de Panamericana, todo el material didáctico de PROMIR y una base de datos integrada por más de 35 000 preguntas, incluidas las que planteó el Ministerio de Sanidad en las dieciséis últimas convocatorias del examen MIR. Los alumnos se sirven de MIRI como una profesora o preparadora particular que resuelve dudas, explica los errores cometidos y fomenta el razonamiento clínico; y lo hace en formatos muy variados: resúmenes de temas, tablas comparativas, esquemas, tarjetas de memoria (flashcards), algoritmos, mapas mentales y reglas mnemotécnicas, entre otros.
Panamericana no da pistas sobre el origen del nombre MIRI, pero barrunto que pueda ser un cruce entre MIR y Siri, la asistente virtual con IA desarrollada por Apple. ‡‡
Off Fernando A. Navarro Offvia Noticias de diariomedico.... https://ift.tt/4fh7i0w
No hay comentarios:
Publicar un comentario