La ultrasonografía endorrectal multimosical basada en CLIP mejora la predicción de la respuesta al quimiorradioterapia neoadyuvante en cáncer rectal avanzado localmente.

El cáncer colorrectal es el tercer tipo de cáncer más prevalente a nivel mundial, y se caracteriza por una alta tasa de mortalidad [^[1]]. El manejo del cáncer colorrectal localmente avanzado (CCL) se basa en un enfoque multidisciplinario. El enfoque terapéutico estándar para el CCL generalmente implica el uso de quimiorradioterapia neoadyuvante (QRTN), seguida de resección mesorrectal total (RMT) y quimioterapia adyuvante posterior, con el objetivo de reducir el tamaño y la etapa del tumor [^[2], ^[3]]. Para los cánceres rectales recién diagnosticados clasificados como cT3 o cT4 mediante ecografía endorrectal (EER) o resonancia magnética (RM), generalmente se recomienda la QRTN [^[4]]. Sus beneficios incluyen la reducción de la etapa del tumor y la reducción de la recurrencia local [^[5]]. Una respuesta favorable a la QRTN, como lograr una respuesta patológica completa (RPC) o tener un tumor residual mínimo, se asocia con mejores resultados de supervivencia [^[6], ^[7]]. Aquellos que no responden adecuadamente a la QRTN se enfrentan al doble desafío de un control tumoral ineficaz y los efectos adversos de la QRTN, lo que resulta en un peor pronóstico [^[8]]. Por lo tanto, es esencial desarrollar y evaluar múltiples metodologías predictivas para identificar a los pacientes con CCL que probablemente tendrán una respuesta favorable a la QRTN. Estos enfoques pueden ayudar a personalizar los tratamientos y respaldar las decisiones clínicas para una atención individualizada.

Múltiples estudios han informado sobre el rendimiento predictivo de la RM para la eficacia de la QRTN en pacientes con CCL [^[9], ^[10]]. Estudios recientes sugieren que la ecografía puede ofrecer una mayor precisión en la delimitación de los límites del tumor y en la predicción de la invasión tumoral [^[11], ^[12]]. La evidencia existente sugiere que la ecografía ha demostrado un buen rendimiento en la predicción de la respuesta a la QRTN en el cáncer de mama [^[13]–^[15]]. Si se puede extraer información diagnóstica adicional de las imágenes y los informes de ecografía para identificar a los pacientes con CCL que probablemente responderán bien a la QRTN, esto podría guiar las decisiones de tratamiento personalizadas.

Las guías de la Red Integral Nacional de Cáncer (NCCN) destacan el uso de la clasificación de la regresión tumoral (CRT) como una herramienta valiosa para categorizar la respuesta a la QRTN. La CRT, que evalúa el grado de fibrosis en relación con las células tumorales residuales después de la QRTN, ha demostrado un gran potencial en la predicción de la supervivencia de los pacientes y en la guía de las decisiones diagnósticas y de tratamiento de los clínicos, que van desde CRT 0 (respuesta patológica completa [RPC]) hasta CRT 3 (respuesta deficiente) [^[16]].

Los estudios previos sobre imágenes médicas se han basado predominantemente en datos de imágenes únicamente. Por ejemplo, Chen et al. demostraron que las características radiómicas derivadas tanto de las regiones intratumorales como peritumorales en la RM del cáncer de recto pueden predecir eficazmente la respuesta a la QRTN [^[17]]. De manera similar, Wang et al. utilizaron un modelo de aprendizaje automático basado en imágenes de RM multiparamétricas para predecir los pacientes con respuestas deficientes y buenas a la QRTN [^[18]]. Otro estudio de Wang et al. mostró que la radiómica delta de las imágenes de RM del cáncer de recto puede predecir con precisión la respuesta al tratamiento con QRTN [^[19]]. Sin embargo, los informes médicos de EER generalmente consisten tanto en imágenes como en texto estructurado, y ambos componentes son esenciales para un informe completo.

El preentrenamiento de lenguaje-imagen contrastivo (CLIP) ha demostrado un rendimiento excepcional en varias tareas al aprovechar un gran corpus de imágenes y datos de texto para el preentrenamiento [^[20]]. Al utilizar el modelo CLIP, es posible utilizar completamente los datos combinados de imagen y texto. En la práctica clínica, la integración de las imágenes de ecografía con su texto de informe correspondiente puede mejorar la predicción de la respuesta al tratamiento con QRTN en pacientes con CCL. Para explorar aún más este potencial, empleamos un modelo basado en CLIP para extraer características de pares de imagen y texto, que se utilizarán para la investigación de clasificación posterior.

Por lo tanto, el objetivo de este estudio es evaluar la eficacia del uso del modelo CLIP para predecir la CRT de los pacientes con CCL antes de que se sometan a la QRTN preoperatoria, aprovechando las imágenes y los informes de texto de la EER en conjunto con el modelo CLIP.

Métodos

Selección de pacientes

Este estudio retrospectivo se llevó a cabo de acuerdo con la Declaración de Helsinki y recibió la aprobación del Comité de Ética (ID de aprobación 2024ZSLYEC-120). Toda la información de los participantes se anonimizó durante la recopilación de datos y no se recopiló información de identificación personal. Los autores no tuvieron acceso a información que pudiera identificar a los participantes individuales durante o después de la recopilación de datos, que se llevó a cabo con fines de investigación entre junio y agosto de 2024. Se recopilaron imágenes de EER (incluidas las imágenes en escala de grises y Doppler) e informes de texto para los pacientes diagnosticados con CCL que se sometieron a QRTN antes de la cirugía en nuestro centro médico entre enero de 2018 y diciembre de 2023. Los informes de texto contenían información sobre la edad y el sexo de los pacientes, junto con observaciones detalladas de la EER. Esto incluía detalles sobre el tamaño, el grosor, la forma y los márgenes de las lesiones; la ecoestructura interna de las lesiones; su relación con los tejidos circundantes; los hallazgos de la ecografía Doppler sobre el flujo sanguíneo dentro de las lesiones; el tamaño de los ganglios linfáticos visibles cercanos; y un breve resumen diagnóstico con la etapa del tumor. Los criterios de inclusión fueron: 1. Confirmación de CCL mediante EER, clasificado como uT3-4 [^[21]] (etapa T de ecografía, octava edición del Comité Conjunto Estadounidense sobre Cáncer). 2. Confirmación histológica de CCL con patología post-QRTN. 3. No haber recibido tratamiento previo antes de la QRTN. Los criterios de exclusión fueron: 1. Pacientes que no recibieron QRTN preoperatoria (N = 1016). 2. Imágenes de EER inadecuadas (N = 18). 3. Datos clínicos incompletos (N = 13). Tras la aplicación de estos criterios, se incluyeron un total de 577 pacientes elegibles.

Examen con EER

La EER se realizó utilizando un escáner Pro Focus 2202 (BK Medical, Dinamarca) equipado con un transductor endorrectal tridimensional (8838, 6–16 MHz, BK Medical, Dinamarca). El paciente se colocó de lado izquierdo para optimizar la visibilidad. Para mejorar la calidad de la imagen, se instilaron 50 ml de gel en el recto y el canal anal para dilatar la luz rectal. Luego, el transductor se insertó suavemente a través del recto y se avanzó más allá del área de interés, lo que permitió un examen exhaustivo del tumor. Después de la evaluación inicial, se capturaron imágenes detalladas del tumor. Al mismo tiempo, los clínicos prepararon informes de EER basados en sus hallazgos y utilizaron uT para evaluar la profundidad de la infiltración tumoral.

Características clinicopatológicas

Para los pacientes que se sometieron a cirugía después de la QRTN, la clasificación de la regresión tumoral [^[22]] (CRT) sirve como un indicador de la respuesta del tumor a la QRTN. Basado en la clasificación de la CRT, los pacientes se dividieron en dos categorías: aquellos que se clasificaron como buenos respondedores (CRT 0) y aquellos que se clasificaron como respondedores deficientes (CRT 1-3).

Metodología CLIP

El análisis se realizó utilizando la versión china de OpenAI’s CLIP, Chinese-CLIP [^[23]] (https://github.com/OFA-Sys/Chinese-CLIP, versión 1.5.1). Se extrajeron características de imagen (escala de grises y Doppler) y características de texto utilizando dos variantes de Chinese-CLIP: "ResNet50 + RBT3" (RN50) y "ViT-B/16 + RoBERTa-wwm" (VB16). Cada imagen y informe se extrajeron por separado en 1024 características (RN50) o 512 características (VB16), que luego se fusionaron mediante concatenación. Después de equilibrar las muestras de buenos y deficientes respondedores utilizando SMOTETomek [^[24]], seleccionamos las características utilizando Boruta [^[25]] (versión 0.4.3). Luego, el conjunto de datos se dividió en conjuntos de entrenamiento y prueba en una proporción de 7:3. Empleamos un modelo de aprendizaje conjunto, LightGBM [^[26]], para la clasificación, utilizando los parámetros predeterminados del modelo. LightGBM es conocido por su excelente velocidad de entrenamiento y alta precisión. Está diseñado específicamente para manejar de manera eficiente conjuntos de datos a gran escala y puede procesar vectores de características de alta dimensión con una eficiencia notable (https://lightgbm.readthedocs.io/en/stable/). El modelo se entrenó utilizando el conjunto de datos de entrenamiento y se validó utilizando el conjunto de datos de prueba. El rendimiento del modelo se evaluó utilizando curvas ROC (curva de características operativas del receptor), AUROC (área bajo la curva ROC), curvas de calibración y análisis de curvas de decisión. SHAP (SHapley Additive exPlanations) [^[27]] se utilizó para dilucidar las contribuciones individuales de las características de imagen (CI) y las características de texto (CT) al modelo. SHAP utiliza los valores de Shapley de la teoría de juegos para medir el impacto de cada característica en las predicciones del modelo. Los gráficos de resumen de SHAP muestran los valores de SHAP para múltiples muestras, lo que ayuda a identificar rápidamente las características más influyentes y sus relaciones con las predicciones del modelo. Estos gráficos clasifican las características por importancia, con las más significativas en la parte superior. La posición de las características en el gráfico proporciona una clara indicación visual de su impacto en las predicciones del modelo. Las características clínicas y las características de CLIP se proporcionan en la Tabla S1.

Metodología de radiómica manual

Para comparar el método CLIP con el método de radiómica manual, seleccionamos aleatoriamente 100 pacientes (50 pacientes del grupo de buenos respondedores y 50 pacientes del grupo de deficientes respondedores). Un ecografista con tres años de experiencia colaboró con otro con ocho años de experiencia para segmentar las regiones de interés (ROI) del tumor en las imágenes de EER utilizando 3D Slicer (versión 5.6.2) (https://www.slicer.org/). Se extrajeron características radiómicas que incluyen estadísticas de primer orden, basadas en la forma 2D, matriz de cocorrelación de niveles de gris (GLCM), matriz de longitud de ejecución de niveles de gris (GLRLM), matriz de tamaño de zona de niveles de gris (GLSZM), matriz de dependencia de niveles de gris (GLDM) y matriz de diferencia de tonos de gris vecinos (NGTDM) de estas ROI utilizando Pyradiomics (versión 3.1.0) (https://pypi.org/project/pyradiomics/). Para la evaluación del flujo sanguíneo tumoral dentro de las imágenes de Doppler, dos ecografistas utilizaron la escala de Adler [^[28]] para calificar los hallazgos. Después de la selección de características utilizando Boruta, las características y las etiquetas se dividieron en conjuntos de entrenamiento y prueba en una proporción de 7:3. Luego, se construyeron modelos de regresión logística (LR), máquina de vectores de soporte (SVM) y bosque aleatorio (RF) utilizando Scikit-learn (versión 1.5.1) [^[29]] y su rendimiento se evaluó utilizando curvas ROC y curvas de calibración. El flujo de trabajo general de la investigación se ilustra en la Fig. 1.

Análisis estadístico

El análisis estadístico se realizó utilizando el software SPSS (versión 22.0; IBM Corp, Armonk, Nueva York). Las variables categóricas se representan como números (porcentajes), mientras que las variables continuas se resumen como mediana (rango intercuartílico, IQR) o media ± desviación estándar. La visualización de datos se realizó utilizando Matplotlib (versión 3.9.2) [^[30]]. Se consideró que un valor de p inferior a 0,05 era estadísticamente significativo.

Selección de pacientes

Este estudio retrospectivo se llevó a cabo de acuerdo con la Declaración de Helsinki y recibió la aprobación del Comité de Ética (ID de aprobación 2024ZSLYEC-120). Toda la información de los participantes se anonimizó durante la recopilación de datos y no se recopiló información de identificación personal. Los autores no tuvieron acceso a información que pudiera identificar a los participantes individuales durante o después de la recopilación de datos, que se realizó con fines de investigación entre junio y agosto de 2024. Se recopilaron imágenes de ERUS (ecografía endorrectal), incluidas tanto las imágenes en escala de grises como las imágenes Doppler, e informes de texto para pacientes diagnosticados con Cáncer Colorrectal Localmente Avanzado (LARC) que se sometieron a quimiorradioterapia neoadyuvante (nCRT) antes de la cirugía en nuestro centro médico entre enero de 2018 y diciembre de 2023. Los informes de texto contenían información sobre la edad y el sexo de los pacientes, junto con observaciones detalladas de la ERUS. Esto incluía detalles sobre el tamaño, el grosor, la forma y los márgenes de las lesiones; la ecotextura interna de las lesiones; su relación con los tejidos circundantes; los hallazgos de la ecografía Doppler sobre el flujo sanguíneo dentro de las lesiones; el tamaño de los ganglios linfáticos visibles cercanos; y un breve resumen diagnóstico con estadificación tumoral. Los criterios de inclusión fueron: 1. Confirmación de LARC mediante ERUS, con una estadificación uT3-4 [^[21]] (estadificación tumoral por ecografía, octava edición del Comité Conjunto Estadounidense contra el Cáncer). 2. Confirmación histológica de LARC con patología post-nCRT. 3. No haber recibido tratamiento previo antes de la nCRT. Los criterios de exclusión fueron: 1. Pacientes que no recibieron nCRT preoperatoria (N = 1016). 2. Imágenes de ERUS inadecuadas (N = 18). 3. Datos clínicos incompletos (N = 13). Tras la aplicación de estos criterios, se incluyeron un total de 577 pacientes.

Examen con ERUS

La ERUS se realizó utilizando un escáner Pro Focus 2202 (BK Medical, Dinamarca) equipado con un transductor endorrectal tridimensional (8838, 6–16 MHz, BK Medical, Dinamarca). El paciente se colocó en decúbito lateral izquierdo para optimizar la visibilidad. Para mejorar la calidad de la imagen, se instilaron 50 ml de gel en el recto y el canal anal para dilatar la luz rectal. A continuación, el transductor se insertó suavemente a través del recto y se avanzó más allá del área de interés, lo que permitió un examen exhaustivo del tumor. Tras la evaluación inicial, se capturaron imágenes detalladas del tumor. Al mismo tiempo, los clínicos prepararon informes de ERUS basados en sus hallazgos y utilizaron la estadificación uT para evaluar la profundidad de la infiltración tumoral.

Características clinicopatológicas

Para los pacientes que se sometieron a cirugía después de la nCRT, el grado de regresión tumoral [^[22]] (TRG) sirve como indicador de la respuesta del tumor a la nCRT. Basándose en la clasificación del TRG, los pacientes se dividieron en dos categorías: aquellos que se clasificaron como buenos respondedores (TRG 0) y aquellos que se clasificaron como malos respondedores (TRG 1-3).

Metodología CLIP

El análisis se realizó utilizando la versión china de CLIP de OpenAI, Chinese-CLIP [^[23]] (https://github.com/OFA-Sys/Chinese-CLIP, versión 1.5.1). Se extrajeron características de la imagen (escala de grises y Doppler) y características de texto utilizando dos variantes de Chinese-CLIP: "ResNet50 + RBT3" (RN50) y "ViT-B/16 + RoBERTa-wwm" (VB16). Cada imagen e informe se extrajeron por separado en 1024 características (RN50) o 512 características (VB16), que luego se fusionaron mediante concatenación. Después de equilibrar las muestras de buenos y malos respondedores utilizando SMOTETomek [^[24]], seleccionamos las características utilizando Boruta [^[25]] (versión 0.4.3). A continuación, el conjunto de datos se dividió en conjuntos de entrenamiento y prueba en una proporción de 7:3. Empleamos un modelo de aprendizaje conjunto, LightGBM [^[26]], para la clasificación, utilizando los parámetros predeterminados del modelo. LightGBM es conocido por su excelente velocidad de entrenamiento y su alta precisión. Está diseñado específicamente para manejar de manera eficiente conjuntos de datos a gran escala y puede procesar vectores de características de alta dimensión con una eficiencia notable (https://lightgbm.readthedocs.io/en/stable/). El modelo se entrenó utilizando el conjunto de datos de entrenamiento y se validó utilizando el conjunto de datos de prueba. El rendimiento del modelo se evaluó utilizando curvas ROC (curva de características operativas del receptor), AUROC (área bajo la curva ROC), curvas de calibración y análisis de curvas de decisión. SHAP (SHapley Additive exPlanations) [^[27]] se utilizó para dilucidar las contribuciones individuales de las características de la imagen (IF) y las características de texto (TF) al modelo. SHAP utiliza los valores de Shapley de la teoría de juegos para medir el impacto de cada característica en las predicciones del modelo. Los gráficos de resumen de SHAP muestran los valores de SHAP para múltiples muestras, lo que ayuda a identificar rápidamente las características más influyentes y sus relaciones con las predicciones del modelo. Estos gráficos clasifican las características por importancia, con las más significativas en la parte superior. La posición de las características en el gráfico proporciona una indicación visual clara de su impacto en las predicciones del modelo. Las características clínicas y las características de CLIP se proporcionan en la Tabla S1.

Metodología de radiómica manual

Para comparar el método CLIP con el método de radiómica manual, seleccionamos aleatoriamente 100 pacientes (50 pacientes del grupo de buenos respondedores y 50 pacientes del grupo de malos respondedores). Un ecografista con tres años de experiencia colaboró con otro con ocho años de experiencia para segmentar las regiones de interés (ROIs) del tumor en las imágenes de ERUS utilizando 3D Slicer (versión 5.6.2) (https://www.slicer.org/). Se extrajeron características de radiómica, incluidas las estadísticas de primer orden, las características basadas en la forma 2D, la matriz de coocurrencia de niveles de gris (GLCM), la matriz de longitud de ejecución de niveles de gris (GLRLM), la matriz de zona de tamaño de niveles de gris (GLSZM), la matriz de dependencia de niveles de gris (GLDM) y la matriz de diferencia de tonos de gris vecinos (NGTDM) de estas ROIs utilizando Pyradiomics (versión 3.1.0) (https://pypi.org/project/pyradiomics/). Para la evaluación del flujo sanguíneo tumoral dentro de las imágenes Doppler, dos ecografistas utilizaron la escala de Adler [^[28]] para puntuar los hallazgos. Después de la selección de características utilizando Boruta, las características y las etiquetas se dividieron en conjuntos de entrenamiento y prueba en una proporción de 7:3. Se construyeron modelos de regresión logística (LR), máquinas de vectores de soporte (SVM) y bosques aleatorios (RF) utilizando Scikit-learn (versión 1.5.1) [^[29]] y se evaluó su rendimiento utilizando curvas ROC y curvas de calibración. El flujo de trabajo general de la investigación se ilustra en la Figura 1.

Análisis estadístico

El análisis estadístico se realizó utilizando el software SPSS (versión 22.0; IBM Corp, Armonk, Nueva York). Las variables categóricas se representan como números (porcentajes), mientras que las variables continuas se resumen como mediana (rango intercuartílico, IQR) o media ± desviación estándar. La visualización de datos se realizó utilizando Matplotlib (versión 3.9.2) [^[30]]. Se consideró que un valor de P inferior a 0,05 era estadísticamente significativo.

Resultados

Características de los pacientes

El estudio incluyó 577 pacientes con LARC, de los cuales el 28,94% eran mujeres y el 71,06% hombres. La mediana de edad fue de 57,0 años y el IQR fue de 16. La estadificación uT de la ERUS reveló que el 83,02% y el 16,98% de los pacientes se encontraban en las etapas uT3 y uT4, respectivamente. El 27,56% de los pacientes mostraron una respuesta positiva a la nCRT, mientras que el 72,44% mostraron una respuesta deficiente. Las características clinicopatológicas se resumen en la Tabla 1.

Rendimiento de los modelos

Después de realizar el proceso de selección de características de Boruta, obtuvimos 171 características para RN50 y 120 características para VB16, y 15 características de radiómica manual. La Figura 2 muestra las curvas ROC y las puntuaciones AUROC para la predicción de respondedores en el conjunto de prueba. Las puntuaciones AUROC para los modelos CLIP fueron comparables, con RN50 obteniendo una puntuación de 0,928 (IC del 95%: 0,90-0,96) y VB16 obteniendo una puntuación de 0,900 (IC del 95%: 0,86-0,93). Las puntuaciones AUROC para los modelos de radiómica manual fueron las siguientes: LR 0,781 (IC del 95%: 0,57-0,92), SVM 0,902 (IC del 95%: 0,79-0,99) y RF 0,886 (IC del 95%: 0,73-1,00). La puntuación AUROC es una métrica fundamental para evaluar la capacidad discriminatoria de un modelo. Nuestros resultados demuestran que los modelos basados en CLIP exhiben puntuaciones AUROC más altas en la predicción de respondedores a la nCRT, lo que sugiere una mayor precisión en la identificación de pacientes que tienen probabilidades de responder al tratamiento. Esto tiene implicaciones significativas en la práctica clínica, ya que podría permitir una predicción más precisa de las respuestas al tratamiento, apoyando así la implementación de estrategias terapéuticas personalizadas. Las curvas de calibración (Figura 2) indican que los modelos RN50 y VB16 están más cerca de una calibración perfecta que los modelos de radiómica manual. Las curvas de calibración sirven como medida de la consistencia entre las probabilidades predichas por un modelo y los resultados observados reales. La mayor alineación de los modelos RN50 y VB16 con una calibración perfecta indica una mayor fiabilidad en la predicción de la probabilidad de respuesta. Esto es crucial para la toma de decisiones clínicas, ya que implica que las predicciones de los modelos se pueden traducir con mayor precisión en resultados clínicos tangibles. Los modelos RN50 y VB16 tuvieron valores más altos de precisión, exactitud, sensibilidad y puntuación F en comparación con los modelos LR, SVM y RF (Tabla 2). Los gráficos DCA muestran que el beneficio neto para los pacientes fue generalmente mayor con los modelos CLIP en comparación con los modelos de radiómica manual (Figura 3). El rendimiento superior de los modelos RN50 y VB16 en estas métricas significa que los modelos basados en CLIP son más eficaces en la identificación de verdaderos positivos (exactitud) y la reducción de falsos negativos (sensibilidad), lo que es esencial para garantizar que los pacientes reciban el tratamiento adecuado y evitar intervenciones innecesarias.

Explicaciones de los modelos CLIP

Los gráficos de resumen de SHAP clasifican visualmente las características por su influencia en las predicciones del modelo, destacando las más impactantes. Esto permite una rápida evaluación de la importancia de las características y sus relaciones predictivas. El gráfico de resumen de SHAP del modelo LightGBM proporcionó una clasificación de importancia de las variables de características, destacando prominentemente las 20 variables más influyentes. Curiosamente, tanto en RN50 como en VB16 (Figura 4), las características de la imagen dominaron la lista de las 20 principales. Sin embargo, las características de texto fueron las más importantes en VB16. Esta observación indica que tanto las características de la imagen como las características de texto son cruciales para determinar la precisión de los modelos, y que las características de texto desempeñan un papel notablemente importante en VB16.

Después de realizar el proceso de selección de características de Boruta, obtuvimos 171 características para RN50 y 120 características para VB16, además de 15 características radiómicas manuales. La figura 2 muestra las curvas ROC y las puntuaciones AUROC para la predicción de pacientes que responden al tratamiento en el conjunto de prueba. Las puntuaciones AUROC para los modelos CLIP fueron comparables, con RN50 obteniendo una puntuación de 0,928 (IC del 95%: 0,90–0,96) y VB16 obteniendo una puntuación de 0,900 (IC del 95%: 0,86–0,93). Las puntuaciones AUROC para los modelos radiómicos manuales fueron las siguientes: LR 0,781 (IC del 95%: 0,57–0,92), SVM 0,902 (IC del 95%: 0,79–0,99) y RF 0,886 (IC del 95%: 0,73–1,00). La puntuación AUROC es una métrica fundamental para evaluar la capacidad discriminatoria de un modelo. Nuestros resultados demuestran que los modelos basados en CLIP exhiben puntuaciones AUROC más altas en la predicción de pacientes que responden a la quimiorradioterapia neoadyuvante (nCRT), lo que sugiere una mayor precisión en la identificación de pacientes que probablemente responderán al tratamiento. Esto tiene implicaciones significativas en la práctica clínica, ya que podría permitir una predicción más precisa de las respuestas al tratamiento, apoyando así la implementación de estrategias terapéuticas personalizadas. Las curvas de calibración (figura 2) indican que los modelos RN50 y VB16 están más cerca de una calibración perfecta que los modelos radiómicos manuales. Las curvas de calibración sirven como medida de la consistencia entre las probabilidades predichas por un modelo y los resultados observados reales. La mayor alineación de los modelos RN50 y VB16 con una calibración perfecta indica una mayor fiabilidad en la predicción de la probabilidad de respuesta. Esto es crucial para la toma de decisiones clínicas, ya que implica que las predicciones de los modelos se pueden traducir con mayor precisión en resultados clínicos tangibles. Los modelos RN50 y VB16 tuvieron valores más altos de precisión, exactitud, sensibilidad y puntuación F en comparación con los modelos LR, SVM y RF (tabla 2). Los gráficos DCA muestran que el beneficio neto para los pacientes fue generalmente mayor con los modelos CLIP en comparación con los modelos radiómicos manuales (figura 3). El rendimiento superior de los modelos RN50 y VB16 en estas métricas indica que los modelos basados en CLIP son más eficaces en la identificación de verdaderos positivos (exactitud) y la reducción de falsos negativos (sensibilidad), lo cual es esencial para garantizar que los pacientes reciban el tratamiento adecuado y evitar intervenciones innecesarias.

Explicaciones de los modelos CLIP

Los gráficos de resumen de SHAP clasifican visualmente las características según su influencia en las predicciones del modelo, destacando las más impactantes. Esto permite una evaluación rápida de la importancia de las características y sus relaciones predictivas. El gráfico de resumen de SHAP del modelo LightGBM proporcionó una clasificación de importancia de las variables de características, destacando prominentemente las 20 variables más influyentes. Curiosamente, tanto en RN50 como en VB16 (figura 4), las características de la imagen dominaron la lista de las 20 principales. Sin embargo, las características de texto fueron las más importantes en VB16. Esta observación indica que tanto las características de la imagen como las características de texto son cruciales para determinar la precisión de los modelos, y que las características de texto desempeñan un papel notablemente importante en VB16.

Discusión

En este estudio, desarrollamos modelos eficaces que utilizan características de CLIP para predecir a los pacientes que responderán a la nCRT en una etapa temprana. Primero, recopilamos imágenes de ecografía endorrectal (ERUS) en escala de grises y Doppler, y los informes correspondientes de ERUS de pacientes antes de someterse a nCRT como nuestra muestra de estudio. Luego, utilizamos un modelo Chinese-CLIP preentrenado para extraer características de imagen y texto. A continuación, empleamos estas características para entrenar un clasificador LightGBM y evaluamos su rendimiento. Además, evaluamos su rendimiento en comparación con el enfoque radiómico manual. Finalmente, utilizamos SHAP para examinar el impacto de las características en las predicciones realizadas por el modelo CLIP. Nuestros resultados mostraron que los modelos RN50 y VB16 lograron un fuerte rendimiento predictivo, con AUROC de 0,928 y 0,900, respectivamente. Estos dos modelos superaron a los modelos LR, SVM y RF en términos de métricas de rendimiento. Este enfoque ofrece un método no invasivo y oportuno para identificar a los pacientes que no responden bien a la nCRT antes del tratamiento, lo que permite una intervención temprana y una atención personalizada.

Desde una perspectiva terapéutica, identificar a los pacientes que responderán a la nCRT es crucial para optimizar los resultados del tratamiento. Sin embargo, depender de las evaluaciones patológicas de los especímenes quirúrgicos para guiar las decisiones de tratamiento no es práctico debido al importante retraso en el tiempo que implica. En contraste, la predicción temprana de los pacientes que no responderán bien podría permitirles ajustar su plan de tratamiento de manera oportuna.

Múltiples estudios han destacado la eficacia de diferentes metodologías para identificar a los individuos que no responden bien. Chen [^[31]] y colaboradores evaluaron el potencial predictivo de la resonancia magnética ponderada en protones de amida (APTw) y la imagen ponderada en difusión (DWI) en pacientes con cáncer colorrectal localizado (LARC), y concluyeron que el uso combinado de APTw y DWI podría ofrecer un biomarcador no invasivo para evaluar la respuesta a la nCRT. De manera similar, Capelli [^[32]] y colaboradores evaluaron la capacidad predictiva de la tomografía por emisión de positrones con 18F-FDG/resonancia magnética en pacientes con LARC que se someten a cirugía con intención curativa, y sugirieron que el análisis de texturas de la tomografía por emisión de positrones/resonancia magnética podría servir como una herramienta valiosa para identificar a los pacientes con una respuesta patológica completa a la nCRT. Zhou [^[33]] y colaboradores investigaron la aplicación de una estrategia de fusión multisecuencial basada en un mecanismo de autoatención en la resonancia magnética multiparamétrica para mejorar la predicción de la respuesta a la nCRT en LARC. Si bien estos estudios demostraron un rendimiento predictivo superior, su enfoque principal fue en las imágenes médicas en lugar del texto médico.

CLIP, al entrenar conjuntamente incrustaciones de imagen y texto a partir de un vasto conjunto de datos, marca una contribución fundamental al campo contemporáneo de la investigación multimodal. Afirmamos que nuestra investigación, que combina CLIP con ERUS, es una iniciativa pionera en este campo. Además, al utilizar un tamaño de muestra sustancial (N = 577), no solo reforzamos la credibilidad de nuestro estudio, sino que también facilitamos una comprensión más profunda de los atributos de las características de CLIP. Wang y colaboradores [^[18]] demostraron que la resonancia magnética multiparamétrica podría distinguir con precisión entre los pacientes que no responden bien y los que responden bien después de la nCRT. En contraste, nuestro estudio aprovechó las características derivadas tanto de las imágenes de ERUS como de los informes, en lugar de depender de una sola modalidad. Estas características multimodales sirven para complementarse entre sí, y en el contexto específico de ERUS, la síntesis de datos de imagen y texto forma un resultado diagnóstico completo, lo que podría mejorar la precisión pronóstica.

Comparamos RN50 y VB16 de Chinese-CLIP a través de un análisis comparativo. Ambos demostraron un rendimiento predictivo excepcionalmente preciso, logrando puntuaciones AUROC de 0,928 y 0,900, respectivamente. Sin embargo, VB16 demostró una mayor alineación con la línea de calibración perfecta en las curvas de calibración. En el frente interpretativo, nuestro análisis utilizando SHAP reveló que RN50 utiliza predominantemente las características derivadas de la imagen para las predicciones, mientras que VB16 incorpora una proporción de características derivadas del texto, posiblemente debido al mayor número de parámetros de la parte de texto de VB16, RoBERTa-wwm, en comparación con RBT3 de RN50. El uso de VB16 o modelos a mayor escala para la extracción de características de imagen y texto podría capturar de manera más eficaz las características textuales. Chinese-CLIP [^[23]], un modelo de código abierto entrenado en un vasto conjunto de datos, permite a los investigadores examinar minuciosamente los detalles de la implementación, lo que mejora su reproducibilidad y transparencia. En contraste, cuando comparamos nuestro método CLIP con el enfoque radiómico manual, descubrimos que, si bien el método manual alcanzó un cierto nivel de rendimiento de clasificación (AUROC de SVM = 0,902), el proceso de segmentación manual fue muy largo, requirió mucha mano de obra y generalmente exigió un alto nivel de experiencia. Por otro lado, el método CLIP puede reducir significativamente el tiempo y la mano de obra necesarios, mejorando la consistencia.

Hasta la fecha, no existe una definición estandarizada de la respuesta clínica completa (cCR) que prediga de manera fiable la respuesta patológica completa (pCR). De las muchas modalidades de imagen disponibles, la resonancia magnética ha demostrado un rendimiento y una precisión superiores. Dinapoli y colaboradores [^[34]] analizaron la radiómica de 221 pacientes en tres centros diferentes y concluyeron que un modelo de radiómica basado en la resonancia magnética podría predecir la pCR utilizando imágenes pretratamiento. Zhou y colaboradores [^[35]] analizaron datos de resonancia magnética multiparamétrica de 425 pacientes con LARC antes de la nCRT, y encontraron que características específicas podrían predecir eficazmente a los pacientes que no responderían a la nCRT. Por otro lado, la resonancia magnética es más costosa y requiere más tiempo que la ERUS, que tiene el beneficio de duraciones de examen más cortas. Hay muy pocos informes sobre el uso de ERUS para predecir la respuesta a la nCRT en pacientes con LARC. Recientemente, Abbaspour y colaboradores [^[36]] estudiaron el valor predictivo de la ERUS para la respuesta a la nCRT en pacientes con LARC, y encontraron que las puntuaciones de ultrasómica podrían predecir las características patológicas (AUROC = 0,83). Qin y colaboradores [^[37]] evaluaron el rendimiento de un modelo de ultrasómica multimodal para predecir la eficacia de la nCRT, y concluyeron que el modelo combinado tenía un mejor rendimiento predictivo (AUROC = 0,893). En contraste con estos estudios, nuestro estudio logró resultados relativamente mejores (AUROC = 0,928) con un tamaño de muestra mayor. En resumen, la ERUS desempeña un papel importante en la evaluación de la pCR después de la nCRT y puede proporcionar una base más sólida para el tratamiento personalizado.

Este estudio tiene varias limitaciones. En primer lugar, es un estudio retrospectivo unicéntrico, lo que significa que el modelo entrenado con datos de una sola institución puede estar sesgado y ser propenso a un sobreajuste. Para abordar esto, nuestro próximo paso será validar el modelo utilizando datos de múltiples centros, lo que proporcionará una evaluación más completa de su rendimiento en diversas poblaciones y entornos clínicos. Si bien CLIP representa un nuevo modelo multimodal, requiere datos de entrada con una relación clara entre la imagen y el texto para garantizar la interpretabilidad de su resultado. Esta característica define su alcance específico de aplicación clínica, lo que destaca tanto sus fortalezas como sus limitaciones.

La investigación futura debería centrarse en la implementación de estos modelos. Existen soluciones establecidas para la implementación en línea, como las aplicaciones basadas en Flask [^[38], ^[39]], que permitirían a los clínicos ingresar imágenes e informes de texto para predecir la respuesta a la nCRT en pacientes con LARC. Sin embargo, la implementación en línea introduce varios desafíos, que incluyen la privacidad y la seguridad de los datos, las preocupaciones éticas y de responsabilidad, así como la calidad y la estandarización de los datos. Superar estos desafíos requerirá la colaboración entre varios sectores de la sociedad y los profesionales clínicos.

En conclusión, si bien nuestro estudio propone un enfoque prometedor, reconocemos la necesidad de más investigación para abordar las limitaciones identificadas y explorar la aplicación práctica de nuestro modelo en entornos clínicos. Esperamos contribuir al desarrollo y perfeccionamiento continuo de estos modelos para beneficiar la atención al paciente.

Conclusión

Un modelo basado en CLIP combinado con LightGBM para imágenes de ERUS mostró una precisión predictiva superior para identificar a los pacientes que no responderán bien a la nCRT. Este enfoque podría mejorar significativamente la toma de decisiones clínicas al ofrecer estrategias de tratamiento más precisas y personalizadas, lo que en última instancia mejoraría los resultados de los pacientes y la utilización de los recursos. La integración de estos modelos en la práctica clínica podría conducir a una atención médica más eficiente y personalizada.