Utilización de modelos de lenguaje de gran tamaño para la extracción de síntomas de cáncer colorrectal a partir de las notas clínicas de MIMIC-IV.

Antecedentes: Gran parte de la carga sintomática en pacientes con cáncer colorrectal (CCR) se documenta en narrativas no estructuradas de las notas de alta, y la extracción manual no es escalable.

No se ha evaluado rigurosamente si los modelos de lenguaje grandes (LLM) superan a los métodos basados en reglas y a los métodos de reconocimiento de entidades nombradas (NER). Objetivo: Evaluar comparativamente los métodos basados en reglas, NER y LLM de "zero-shot" para extraer 46 síntomas relacionados con el cáncer de las notas de alta de pacientes con CCR, comparándolos con una "verdad fundamental" adjudicada. Métodos: Analizamos 2.704 notas de alta de pacientes con CCR en MIMIC-IV. Se creó una lista de 46 síntomas objetivo a partir de la Escala de Evaluación de Síntomas de Memorial y el cuestionario EORTC QLQ-CR29.

Se evaluaron cuatro enfoques: coincidencia de reglas basada en un diccionario, NER clínico preentrenado y LLM de "zero-shot" (Claude Haiku y Gemini 3.5 Flash), además de dos variantes híbridas (salida del LLM con filtrado de negación basado en reglas "post-hoc"), comparándolos con un estándar de referencia de 200 notas adjudicado por dos evaluadores (kappa agrupado = 0,71, kappa macro = 0,49), utilizando F1, precisión y exhaustividad Macro/Micro. Resultados: Gemini 3.5 Flash obtuvo el mejor rendimiento (F1 Macro = 0,70, F1 Micro = 0,86, Precisión Macro = 0,74), seguido de Claude Haiku (F1 Macro = 0,63, Exhaustividad Macro = 0,71); ambos superaron sustancialmente a los métodos basados en reglas (F1 Macro = 0,44) y NER (F1 Macro = 0,38).

El filtrado de negación "post-hoc" degradó paradójicamente el rendimiento del LLM (Gemini+Híbrido F1 Macro = 0,58; Claude+Híbrido F1 Macro = 0,54) al anular las predicciones correctas mediante una coincidencia rígida en una ventana fija. Conclusiones: Los LLM de "zero-shot" superan sustancialmente a los enfoques basados en reglas y NER para la extracción de síntomas de CCR; no se debe aplicar la corrección de negación "post-hoc" a las salidas del LLM sin una validación del alcance sintáctico. Implicaciones para la práctica: La extracción de LLM de "zero-shot" ofrece una alternativa escalable y precisa a la revisión manual de historias clínicas y a los métodos tradicionales de PNL para la vigilancia de los síntomas oncológicos, sin necesidad de desarrollar reglas específicas para cada institución ni de entrenar modelos.