Precisión y reproducibilidad de las mediciones realizadas por modelos de lenguaje de gran tamaño en metástasis hepáticas: comparación con las mediciones realizadas por radiólogos.

Para comparar la precisión y la reproducibilidad de las mediciones del diámetro de las lesiones realizadas por tres modelos de lenguaje grandes (LLM) de última generación con las obtenidas por radiólogos. En este estudio retrospectivo que utiliza una base de datos pública, se identificaron 83 pacientes con metástasis hepáticas solitarias de cáncer colorrectal. De cada serie de tomografías computarizadas (TC), un radiólogo extrajo la única imagen axial que mostraba el diámetro tumoral máximo y la convirtió en una imagen PNG de 512 × 512 píxeles (nivel de ventana de 50 unidades Hounsfield, ancho de ventana de 400 unidades Hounsfield) con el tamaño de píxel codificado en el nombre del archivo. Se solicitó a tres LLM (ChatGPT-o3 [OpenAI], Gemini 2.5 Pro [Google] y Claude 4 Opus [Anthropic]) que estimaran el diámetro de la lesión más larga dos veces, con una semana de diferencia.

Dos radiólogos con certificación (12 años de experiencia cada uno) midieron de forma independiente las mismas imágenes de una sola sección, y un radiólogo repitió las mediciones una semana después. Se evaluó la concordancia mediante coeficientes de correlación intraclase (ICC); se obtuvieron intervalos de confianza del 95% mediante remuestreo bootstrap (5000 iteraciones). La concordancia interobservador entre los radiólogos fue excelente (ICC = 0,95, IC del 95% 0,86-0,99); la concordancia intraobservador fue de 0,98 (IC del 95% 0,94-0,99). Gemini logró una buena concordancia entre el modelo y el radiólogo (ICC = 0,81, IC del 95% 0,68-0,89) y una buena reproducibilidad intramodelo (ICC = 0,78, IC del 95% 0,65-0,87).

GPT-o3 mostró una concordancia moderada (ICC = 0,52) y una reproducibilidad deficiente (ICC = 0,25); Claude mostró una concordancia deficiente (ICC = 0,07) y una reproducibilidad deficiente (ICC = 0,47). Los LLM aún no alcanzan el nivel de los radiólogos en la medición de las metástasis hepáticas del cáncer colorrectal; sin embargo, la buena concordancia y reproducibilidad de Gemini destacan el rápido progreso de la capacidad de interpretación de imágenes de los LLM.