La última actualización de OpenAI de su gran modelo de lenguaje (LLM), ChatGPT 4.0, ha superado un examen de neurología clínica con un 85% de respuestas correctas en un estudio de prueba de concepto. Los autores de la investigación creen que, tras algunos ajustes, los LLM podrían tener "aplicaciones significativas" en neurología clínica.
Los resultados del experimento, realizado por un grupo de investigadores del Hospital Universitario de Heidelberg y el Centro Alemán de Investigación Oncológica de Heidelberg, se publicaron el 7 de diciembre. La prueba, realizada el 31 de mayo, contó con dos LLM, ChatGPT 3.5 y su versión posterior, ChatGPT 4.0.
Los investigadores utilizaron el banco de preguntas de un examen de neurología de la Junta Americana de Psiquiatría y Neurología con un pequeño grupo de preguntas de la Junta Europea de Neurología.
Mientras que la versión más antigua de ChatGPT obtuvo una puntuación del 66.8%, respondiendo correctamente a 1,306 de 1,956 preguntas, el modelo más reciente, ChatGPT 4.0, obtuvo un 85% con 1,662 respuestas correctas. La puntuación humana media fue del 73.8%. ChatGPT 4.0 superó a los usuarios humanos en las preguntas relacionadas con el comportamiento, la cognición y la psicología y "aprobó" efectivamente el examen de neurología, ya que el 70% de respuestas correctas suele considerarse una puntuación de aprobado en las instituciones educativas.
Sin embargo, ambos modelos demostraron un rendimiento más débil en tareas que requerían un "pensamiento de orden superior" que en preguntas que sólo requerían un "pensamiento de orden inferior".
