Histopatología con aprendizaje profundo y análisis de múltiples imágenes para la estratificación pronóstica y terapéutica en el cáncer colorrectal en estadio II: un estudio multicéntrico retrospectivo.

El cáncer colorrectal (CCR) se sitúa como el tercer cáncer más común a nivel mundial y la cuarta causa principal de mortalidad relacionada con el cáncer. Aproximadamente el 25% de todos los casos de CCR diagnosticados anualmente se clasifican como etapa II [^[1]]. Desafortunadamente, alrededor del 20% de estos pacientes experimentan recurrencia fatal a pesar de someterse a una resección quirúrgica [^[2]]. Las guías de la Red Integral Nacional del Cáncer (NCCN) recomiendan la quimioterapia adyuvante (QAd) para los pacientes con CCR en etapa II que presentan características clinicopatológicas de alto riesgo, como etapa pT4, perforación localizada o muestreo insuficiente de ganglios linfáticos (menos de 12 ganglios) [^[3],^[4]]. Sin embargo, la eficacia de la QAd en estos pacientes tradicionalmente de alto riesgo es limitada, y la selección de pacientes que se beneficiarían de las terapias adyuvantes sigue siendo un desafío considerable [^[5]]. Además, la QAd se asocia con riesgos significativos, incluido un índice de mortalidad del 0,5%–1% y efectos secundarios graves en aproximadamente el 20% de los pacientes, junto con importantes cargas financieras [^[6]–^[8]].

En los últimos años, los avances en los enfoques genéticos y moleculares han llevado al desarrollo de biomarcadores pronósticos, como la reparación deficiente del emparejamiento de ADN (MMR), los microARN y el ADN tumoral circulante [^[9]–^[11]]. Estos biomarcadores han demostrado potencial para mejorar la estratificación del riesgo y guiar las decisiones de tratamiento para los pacientes con CCR. Sin embargo, solo una pequeña proporción de pacientes con CCR en etapa II (menos del 15%) presentan MMR deficiente, y el valor pronóstico de otros biomarcadores no se ha validado de manera concluyente en la práctica clínica [^[12],^[13]]. Además, la mayoría de los biomarcadores genéticos requieren ensayos especializados que pueden no estar disponibles fácilmente en todos los entornos clínicos, lo que limita su adopción generalizada. Esto destaca la necesidad de biomarcadores pronósticos y predictivos eficientes y accesibles que se puedan obtener a partir de datos clínicos de rutina.

Las láminas histopatológicas teñidas con hematoxilina y eosina (H&E), que están disponibles de forma rutinaria para todos los pacientes con CCR, contienen una gran cantidad de información histomorfológica crítica para el diagnóstico y el pronóstico. Los avances recientes en la patología digital han aprovechado los modelos de aprendizaje profundo (DL) para las láminas H&E para diversas tareas, incluido el diagnóstico, la clasificación molecular y la predicción pronóstica en el CCR [^[14]–^[16]]. Al analizar directamente las imágenes de toda la lámina (WSIs), los modelos de DL pueden evaluar patrones histopatológicos complejos, contextualizarlos con patrones coexistentes y generar puntajes de riesgo sin depender de características de imagen predefinidas [^[17]].

En este estudio, planteamos la hipótesis de que el DL podría identificar de manera sólida biomarcadores histológicos que sean predictivos del pronóstico y el beneficio terapéutico en el CCR en etapa II. Para abordar esta cuestión, desarrollamos y validamos un marco de aprendizaje profundo explicable en múltiples cohortes independientes para descubrir características tisulares relevantes para el pronóstico e integrarlas con variables clinicopatológicas para una estratificación integral del riesgo y una toma de decisiones terapéuticas informada.

Métodos

Participantes del estudio

Toda la información relacionada con los pacientes en este estudio fue revisada y aprobada por el Comité de Ética Institucional del Centro Oncológico de la Universidad Sun Yat-sen (Número de aprobación: SL-B2024-229-01). Dado que no se reclutaron pacientes directamente para este estudio, se dispensó del consentimiento informado.

Este estudio retrospectivo se llevó a cabo para desarrollar SurvFinder, utilizando datos de cuatro cohortes: tres cohortes independientes de centros médicos separados y una cohorte del conjunto de datos TCGA de acceso público. Todas las cohortes contribuyeron tanto al desarrollo del modelo como a los análisis pronósticos. Cada cohorte consistió en pacientes con un diagnóstico confirmado de CCR en etapa II mediante pruebas moleculares e inmunohistoquímicas de muestras FFPE. Para los pacientes que recibieron QAd en las cohortes internas y externas, los regímenes de tratamiento se administraron de acuerdo con los protocolos estándar recomendados por las guías de la NCCN [^[3],^[4]]. La mayoría de los pacientes fueron tratados con terapias basadas en fluoropirimidinas, que incluyen: (1) monoterapia, principalmente con capecitabina; (2) regímenes de doble combinación, principalmente FOLFOX o XELOX; y (3) regímenes de triple combinación, típicamente FOLFOX o XELOX combinados con anticuerpos monoclonales.

La cohorte Internal-CRCII, utilizada para el entrenamiento del modelo y la evaluación interna, incluyó 842 casos diagnosticados en el Centro Oncológico de la Universidad Sun Yat-sen entre el 1 de noviembre de 2014 y el 31 de diciembre de 2018. Se utilizaron dos cohortes externas para la validación: la cohorte External-CRCII-1 (438 casos diagnosticados entre el 1 de agosto de 2012 y el 31 de octubre de 2018, con información de seguimiento accesible del Instituto y Hospital de Oncología de la Universidad Médica de Tianjin) y la cohorte External-CRCII-2 (405 pacientes diagnosticados entre el 1 de enero de 2015 y el 31 de diciembre de 2018, con información de seguimiento disponible del Sexto Hospital Afiliado de la Universidad Sun Yat-sen). Para cada caso en estas tres cohortes, se recopilaron parámetros clinicopatológicos, incluidos 14 factores de riesgo convencionales y la aplicación de QAd. Todos los indicadores relacionados con el tumor (por ejemplo, brotamiento tumoral, invasión perineural, invasión vascular, diferenciación tumoral, etc.) fueron evaluados por el mismo patólogo experimentado en todas las cohortes para garantizar la coherencia.

Los pacientes de todos los conjuntos de datos se sometieron a un filtrado adicional antes del entrenamiento en función de los siguientes criterios de exclusión: (1) Pacientes que habían recibido tratamientos preoperatorios, incluidos la quimioterapia o la radioterapia neoadyuvante; (2) Pacientes con antecedentes de tratamiento previo para otros cánceres antes del diagnóstico de CCR en etapa II; (3) Pacientes sin recurrencia observada y un período de seguimiento de menos de 24 meses; (4) Pacientes que carecen de una o más de las 14 variables clinicopatológicas clave utilizadas para la comparación con MVNet (Tabla S7); (5) Pacientes que murieron por causas no relacionadas con el cáncer; y (6) Pacientes con menos de tres láminas disponibles después de las comprobaciones de control de calidad (por ejemplo, láminas con problemas como pliegues de tejido, fracturas, ausencia de tejido tumoral o láminas que no están enfocadas). Los experimentos de muestreo aleatorio muestran que el rendimiento pronóstico del modelo mejora a medida que aumenta el número de láminas tumorales incluidas por paciente (Tabla S8). Tras la aplicación de estos criterios de exclusión, los números finales de casos en los conjuntos de datos Internal-CRCII, External-CRCII-1 y External-CRCII-2 fueron de 743, 352 y 331 casos, respectivamente.

Además, el estudio incorporó el conjunto de datos TCGA-CRCII, que comprendía 229 casos de los proyectos TCGA-COAD y TCGA-READ. Debido a la menor calidad de los datos en el conjunto de datos TCGA, los criterios de exclusión se modificaron: se excluyeron los pacientes sin datos de seguimiento, láminas de diagnóstico o láminas que cumplieran con los estándares de calidad. Para evaluar la generalizabilidad de nuestro modelo en casos con un muestreo de tejido limitado, no se aplicó ninguna restricción de número de láminas a la cohorte TCGA-CRCII durante la validación. Esto resultó en 178 casos utilizados para la validación.

Digitalización, inmunohistoquímica y preprocesamiento de WSI

Para cada caso, se incluyeron todas las láminas tumorales teñidas con H&E disponibles para análisis posteriores. Todas las WSIs incluidas en este estudio se escanearon con un aumento de 40×, correspondiente a una resolución de 0,25 μm/píxel, lo que garantiza un tamaño de píxel uniforme en todos los conjuntos de datos. Las láminas de las cohortes Internal-CRCII y External-CRCII-1 se escanearon con un escáner PHILIPS Ultra Fast (Philips Electronics N.V., Ámsterdam, Países Bajos) y se guardaron en formato iSyntax, mientras que las de la cohorte External-CRCII-2 se escanearon utilizando un escáner SQS-600P (Shengqiang Technology, Shenzhen, China) y se almacenaron en formato SVS. Las láminas tumorales para el conjunto de datos TCGA-CRCII se descargaron del portal Genomic Data Commons (https://portal.gdc.cancer.gov/).

WSINet se entrenó sin ninguna anotación a nivel de píxel o a nivel de región. Solo se utilizaron etiquetas a nivel de lámina (recurrencia frente a no recurrencia) para la supervisión. Se seleccionaron aleatoriamente un total de 120 láminas de las cohortes Internal-CRCII y External-CRCII para anotar las regiones normal, tumoral y de estructura linfoide terciaria (TLS) para el desarrollo de SegNet. Se utilizó la tinción de inmunohistoquímica (IHQ), utilizando los marcadores CD20, CD21 y CD10, para identificar y definir los fenotipos de TLS [^[18]]. Un patólogo experimentado delimitó las regiones de TLS en función de los resultados de la IHQ (Figura S11). Específicamente, las anotaciones de TLS en las láminas H&E se derivaron manualmente haciendo referencia a láminas teñidas con IHQ consecutivas (CD20, CD21, CD10), en función de la correspondencia morfológica entre las secciones en serie.

Para mejorar la coherencia y la precisión de la anotación, se aplicó un método de meta-anotación al procedimiento de etiquetado de tejidos tumoral y normal [^[19]]. Para cada WSI, se extrajeron al menos cuatro cuadros rectangulares que contenían áreas representativas de tejido normal y tumoral. Estas áreas incluían varios tipos de tejido, como vascular, músculo liso, necrosis, glándulas normales y tumorales. Dos patólogos con amplia experiencia en el diagnóstico de CCR participaron en el proceso de anotación y revisión de tejidos. Utilizaron el software de código abierto QuPath (v0.2.3) y realizaron las anotaciones de forma ciega a la información del paciente y al propósito del estudio para minimizar el sesgo. Después de la anotación, las WSIs se segmentaron aún más en mosaicos de tejido no superpuestos de 256 × 256, y el fondo blanco se eliminó utilizando el método de Otsu. Los resultados de la visualización comparativa demuestran que el método de Otsu elimina eficazmente el fondo blanco (Figura S12). Para tener en cuenta las variaciones en el color del tejido de diferentes dispositivos de escaneo, todos los mosaicos de la cohorte External-CRCII-2 se normalizaron en color con los de la cohorte Internal-CRCII utilizando el método Vahadane [^[20]]. El rendimiento predictivo exhibió tendencias similares en los conjuntos de datos teñidos y no teñidos, aunque el grupo teñido demostró consistentemente una mayor precisión (Figura S13).

Arquitectura del modelo de aprendizaje profundo

El marco SurvFinder consta de cuatro redes neuronales principales: WSINet, SegNet, MVNet y MMF (Fig. 1), cada una diseñada para realizar una tarea específica dentro de la arquitectura general.

WSINet identifica biomarcadores tisulares pronósticos a partir de WSIs. SegNet luego segmenta las regiones de los biomarcadores identificados por WSINet, generando mapas de calor de tejido. MVNet procesa aún más estos biomarcadores histológicos segmentados extrayendo e integrando características multimodales para la estratificación del riesgo. MMF combina las características multimodales de MVNet con los datos clínicos para producir una predicción basada en la fusión integral.

WSINet, inspirado en Lu y sus colegas [^[21]], predice el pronóstico del paciente identificando patrones de tejido dentro de las WSIs. Utilizamos el modelo CTransPath preentrenado, desarrollado por Wang y sus colegas [^[22]], que aprovecha la arquitectura Swin Transformer y se entrenó en los conjuntos de datos TCGA y PAIP. Se extrajeron características de todos los parches de imagen en cada WSI. Para capturar de manera integral el microambiente tumoral, cada caso incluyó al menos tres láminas tumorales, agregando características de parche en todas las WSIs por caso. Estas características del caso se procesan luego a través de una red de atención simplificada, que asigna puntajes de atención a cada parche. Sea denota el conjunto de características para todos los N parches de un caso dado. El puntaje de atención para el -ésimo parche se estima por

donde , , y son matrices de peso entrenables, y es el vector de características del -ésimo parche, obtenido al pasar a través de dos capas totalmente conectadas. y representan las funciones de activación tangente hiperbólica y sigmoide, respectivamente. denota la multiplicación elemento por elemento. cuantifica la contribución relativa del -ésimo parche al resultado pronóstico general para el caso. Utilizando estos puntajes, realizamos una suma ponderada de todas las características del parche para agregar las características del caso. Finalmente, se utiliza una capa lineal para predecir el resultado pronóstico del paciente como

donde denota matrices de peso entrenables.

Las regiones de tejido con puntuaciones de atención elevadas obtenidas con WSINet se segmentaron utilizando SegNet, que consta de dos modelos de clasificación a nivel de parche secuenciales: TNTM y TLSM. TNTM clasifica inicialmente las teselas de tejido en categorías de TLS, tejido normal y tumor, mientras que TLSM categoriza aún más las regiones de TLS identificadas por TNTM en fenotipos específicos de TLS. Ambos modelos utilizan ResNet18 como arquitectura base para la clasificación de parches. Los resultados de TNTM se concatenan para formar un mapa de calor de predicción de tejido para cada WSI. Después de entrenar TLSM, sus parámetros del modelo se fijaron y se extrajeron características morfológicas de TLS para un análisis posterior.

MVNet integra las características pronósticas multivariadas extraídas por SegNet. Consta de dos ramas: la Rama Espacial (SpB) y la Rama Morfológica (MpB). SpB utiliza el mapa de calor de distribución de tejido TLS para cada WSI, que es generado por SegNet, como entrada para el modelo. Específicamente, este mapa de calor proporciona una representación espacial de los bloques de tejido TLS dentro del WSI. Se extraen características que capturan las características espaciales de estos bloques de tejido TLS, incluyendo sus posiciones en el mapa de calor, las relaciones espaciales con los tejidos tumorales adyacentes, así como su área e información de subtipo. Estas características espaciales exhaustivas se procesan luego utilizando un perceptrón multicapa, lo que da como resultado el vector de características espacial. MpB emplea TLSM para convertir las imágenes de TLS obtenidas de SegNet en características. Estas características se agrupan para cada caso individual en 7 categorías distintas. Los centros de los grupos derivados de este proceso sirven como las características linfoides representativas para cada paciente [^[23]]. A través del agrupamiento, el tamaño del lote de entrenamiento del modelo ya no está restringido a 1. El aumento del tamaño del lote permite un entrenamiento más estable del modelo. Estas características se procesan luego utilizando una red de atención simplificada, similar a la utilizada en WSINet, para obtener las características finales para cada caso. La visualización de la arquitectura de MpB se ilustra en la Figura S3b. Las características de ambas ramas se concatenan para formar la representación de características multivariadas para cada paciente. Un módulo de predicción de fusión de características integra aún más estas características, es decir:

donde representa el vector de características profundamente fusionado que integra tanto la información espacial como la morfológica. y se obtienen aplicando transformaciones lineales a y utilizando diferentes matrices de peso. y son las características multivariadas, obtenidas aplicando dos transformaciones lineales separadas a , respectivamente. es la matriz de peso utilizada para la fusión final de las características multimodales.

Los dos vectores de características fusionados se concatenan en un solo vector, que luego se utiliza para una predicción adicional. Finalmente, se emplea una capa lineal para realizar la clasificación pronóstica. La arquitectura de MVNet se muestra en la Figura S3a.

La red final, Fusión Multimodal (MMF), integra los datos clínicos a través de un perceptrón multicapa de cuatro capas. Catorce variables clinicopatológicas se concatenaron en un vector de 14 dimensiones y se pasaron a través de cuatro capas totalmente conectadas (FC), cada una seguida de una capa BatchNorm1d y una función de activación ReLU, lo que resultó en una incrustación de 32 dimensiones (Figura S3a). Cabe destacar que la red no se entrenó con un objetivo separado; sus parámetros se optimizaron de extremo a extremo junto con el modelo multimodal utilizando la pérdida de predicción final. Esta incrustación clínica se concatenó con la salida de 32 dimensiones de la penúltima capa FC de MVNet para formar un vector de características fusionado de 64 dimensiones, que fue procesado por una capa FC final para producir la puntuación de predicción de MMF. Las características clínicas se concatenan con , y se emplea una capa lineal para la predicción pronóstica final. Al integrar las características de TLS multivariadas y los datos clínicos, SurvFinder proporciona predicciones pronósticas precisas para pacientes con CRC en estadio II.### Entrenamiento y evaluación

Durante la fase de desarrollo del modelo, las tareas de predicción en SurvFinder variaron según el modelo específico. Para WSINet y MVNet, las etiquetas predictivas se basaron en el estado de recurrencia, que incluyó recurrencia, metástasis o muerte relacionada con el CRC en estadio II. En SegNet, el clasificador TNTM tuvo la tarea de predecir los tipos de tejido (TLS, tejido normal y tejido tumoral), mientras que el clasificador TLSM se centró en los subtipos de TLS (Agg, FL-1, FL-2). Para garantizar predicciones sólidas, el conjunto de datos Internal-CRCII se dividió en cinco partes iguales a nivel de caso y se aplicó una estrategia de validación cruzada de 5 pliegues. Esta división de datos consistente en los diferentes modelos aseguró la comparabilidad de los resultados. Cabe destacar que todos los modelos, incluidos WSINet, SegNet, MVNet y MMF, se desarrollaron y validaron internamente exclusivamente utilizando el conjunto de datos Internal-CRCII. Para evitar cualquier forma de fuga de información o sesgo de adaptación, los modelos entrenados se aplicaron directamente, sin volver a entrenar ni ajustar los parámetros, a tres cohortes de validación externas independientes. Todos los modelos pronósticos se entrenaron durante 500 épocas, mientras que los modelos predictivos se entrenaron durante 100 épocas, con todos los parámetros del modelo entrenables durante el proceso [^[24]]. El número de épocas de entrenamiento se determinó empíricamente en función del rendimiento y las tendencias de pérdida observadas en los conjuntos de entrenamiento y validación.

WSINet se inicializó con parámetros aleatorios y se entrenó utilizando el optimizador AdamW con decaimiento de peso. Se utilizó la función de pérdida de entropía cruzada para la optimización. La tasa de aprendizaje comenzó en 0, seguida de un calentamiento lineal para las primeras 10 épocas, alcanzando un máximo de 1e-3, y luego disminuyó a 0 mediante un programa de recocido coseno al final del entrenamiento.

SegNet consta de dos clasificadores: TNTM (para la clasificación del tipo de tejido) y TLSM (para la clasificación del subtipo de TLS). TNTM se entrenó en teselas de tejido anotadas (TLS, tejido normal y tumor) de regiones de WSI. Se aplicaron varias técnicas de aumento, como cambiar el tamaño, rotaciones aleatorias, volteos verticales y horizontales y manipulación del color (ajustar el brillo, el contraste y la saturación/tono). El modelo se inicializó con pesos preentrenados de ResNet18 de ImageNet y se optimizó utilizando el optimizador SGD con un momento de 0.9, un decaimiento de peso de 1e-5 y un tamaño de lote de 128. La función de pérdida utilizada fue la entropía cruzada. TLSM se entrenó en imágenes de TLS unidas (512 × 512 píxeles) derivadas de los mapas de calor de predicción de TNTM. De manera similar a TNTM, TLSM se inicializó con pesos preentrenados de ResNet18 y se entrenó con la misma configuración.

MVNet comprende dos ramas: MpB y SpB. Ambas ramas se entrenaron inicialmente con pesos inicializados aleatoriamente, mientras que todo el modelo MVNet se entrenó con pesos preentrenados de MpB y SpB. Se utilizó el optimizador Adam con una tasa de aprendizaje inicial de 1e-3 y una función de pérdida de entropía cruzada. Los pesos de clase se establecieron en 0.5 para "Sin recurrencia" y 1.2 para "Recurrencia" para abordar el desequilibrio de clases. Se utilizó una estrategia de decaimiento de tiempo inverso (tasa de decaimiento: 9e-3) para mejorar la estabilidad y la eficiencia del entrenamiento. El entrenamiento se realizó con el conjunto de datos completo en un solo lote. El modelo MMF integró la información clínica con las características de MVNet. La configuración de entrenamiento de MMF se mantuvo consistente con MVNet para una comparación justa, incluido el número de épocas, el optimizador (Adam), la función de pérdida (entropía cruzada) y los pesos de clase. Se utilizó un decaimiento de la tasa de aprendizaje coseno con un calentamiento lineal durante 10 épocas y un tamaño de lote de 128. Se utilizó un tamaño de lote de 128. Para la validación interna, cada pliegue sirvió como conjunto de prueba una vez, con un modelo entrenado exclusivamente en los pliegues restantes. Las predicciones de los cinco pliegues se concatenaron para formar el conjunto de prueba interno completo. Para la validación externa, las probabilidades predichas de los cinco modelos de validación cruzada se promediaron primero para formar una predicción de conjunto, y solo esta predicción de conjunto se binarizó utilizando el umbral para obtener la predicción categórica final. Este enfoque de conjunto se aplicó de manera consistente a todas las cohortes externas tanto para la estratificación de riesgos como para los análisis de supervivencia. En este estudio, los umbrales de estratificación se calcularon por separado para cada conjunto de datos. Evaluamos aún más el rendimiento de la estratificación del modelo bajo múltiples umbrales fijos, y los resultados muestran que MVNet logra una estratificación altamente significativa en todos los conjuntos de datos, independientemente de si los umbrales son fijos o específicos del conjunto de datos (Figura S14 y Tabla S3). Todos los pacientes con un seguimiento 6,4 mm. Para External-CRCII-1, el número de TLS ubicadas fuera del área tumoral se distribuyó uniformemente en cada intervalo de distancia. Se aplicó un ajuste de intervalo uniforme a cada conjunto de datos. De manera similar, los valores continuos del área de TLS se dividieron en siete intervalos distintos y no superpuestos: (0, 0,03] mm2, (0,03, 0,05] mm2, (0,05, 0,07] mm2, (0,07, 0,10] mm2, (0,10, 0,15] mm2, (0,15, 0,28] mm2 y >0,28 mm2. Según el área total y la cantidad de los tres subtipos de TLS pertenecientes a cada intervalo, se diseñaron un total de 226 características para describir la información espacial. El número de intervalos de segmentación se fijó para equilibrar la captura de la heterogeneidad espacial con el mantenimiento de la estabilidad computacional, con referencia a estudios previos [^[28]]. El resumen detallado se muestra en la Tabla S9.### Interpretabilidad

Se realizaron métodos de interpretabilidad basados tanto en la atención como en la atribución para la explicación de SurvFinder. Se seleccionó el modelo con mejor rendimiento en la validación cruzada para la observación. Para WSINet, las puntuaciones de atención obtenidas de las capas de atención se normalizaron, lo que indica la importancia relativa de todas las teselas de WSI introducidas. Se seleccionaron las 50 teselas con las puntuaciones de atención más altas como teselas representativas para cada paciente. Estas teselas resaltadas de pacientes con predicciones correctas de "Recaída" y "Sin recaída" se agregaron y se agruparon en cinco grupos por separado. El método de agrupación adoptado fue k-means, con t-SNE utilizado para la visualización. Para cada grupo, un patólogo experimentado resumió las características morfológicas específicas, lo que resultó en la identificación de 10 características morfológicas relacionadas con el pronóstico.

Debido a las diferentes estructuras de las ramas del modelo, se aplicaron métodos de interpretabilidad distintos a las dos ramas de MVNet. La interpretación de MpB fue similar a la de WSINet, donde la característica con la atención más alta para cada caso se extrajo para el análisis estadístico posterior. Se empleó el método de explicación aditiva de Shapley (SHAP) para SpB [^[29]–^[31]]. Se utilizaron diagramas de decisión de atribución de estilo SHAP para visualizar los pesos de atribución y la dirección de las características espaciales para análisis adicionales.### Análisis estadístico

Las hipótesis del estudio y los análisis planificados se definieron de antemano. Se llevaron a cabo todos los análisis planificados según lo descrito, y cualquier desviación del plan original, incluidos los análisis exploratorios o basados en datos, se indica claramente. Los métodos estadísticos utilizados se describen a continuación. SurvFinder se entrenó y validó utilizando la validación cruzada de 5 pliegues a nivel del paciente, lo que garantiza divisiones de datos consistentes en todos los modelos. El rendimiento del modelo predictivo se evaluó utilizando la sensibilidad, la especificidad y el área bajo la curva de características operativas del receptor (AUROC). Los modelos de pronóstico se evaluaron utilizando el AUROC. Los grupos de alto y bajo riesgo, estratificados por los modelos de pronóstico, se basaron en la clase predicha (1 para alto riesgo y 0 para bajo riesgo). El umbral de corte de la curva ROC del modelo de aprendizaje profundo se determinó mediante el criterio de la tasa de error igual para dicotomizar las probabilidades del modelo en predicciones binarias. El punto final primario de este estudio fue la supervivencia libre de recurrencia (SLR), definida como el tiempo desde la fecha de la cirugía hasta la fecha de la primera recurrencia de la enfermedad, metástasis o muerte por tumor. Las pruebas estadísticas incluyeron pruebas de chi-cuadrado para las matrices de confusión, la prueba de DeLong para las comparaciones de AUC y las pruebas de log-rank para las curvas de supervivencia. Se utilizaron análisis de regresión de Cox univariante y multivariante para identificar los factores de pronóstico, con una significación definida como p < 0,05. Los diagramas de caja mostraron los cuantiles 25, 50 y 75. Todos los análisis estadísticos se realizaron en R versión 4.2.1 (2022-06-23). Los modelos de aprendizaje profundo se implementaron en Python 3.8.12 utilizando el marco PyTorch 1.10.1. Este estudio se presenta de acuerdo con la guía Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) (Lista de verificación S1) y la guía Transparent Reporting of a multivariable prediction model for Individual Prognosis Or Diagnosis (TRIPOD) (Lista de verificación S2).

Participantes del estudio

Toda la información relacionada con los pacientes en este estudio fue revisada y aprobada por el Comité de Ética Institucional del Centro Oncológico de la Universidad Sun Yat-sen (Número de aprobación: SL-B2024-229-01). Dado que no se reclutaron pacientes directamente para este estudio, se renunció al consentimiento informado.

Este estudio retrospectivo se llevó a cabo para desarrollar SurvFinder, utilizando datos de cuatro cohortes: tres cohortes independientes de centros médicos separados y una cohorte del conjunto de datos TCGA disponible públicamente. Todas las cohortes contribuyeron tanto al desarrollo del modelo como a los análisis de pronóstico. Cada cohorte consistió en pacientes con un diagnóstico confirmado de CRC en estadio II mediante pruebas moleculares e inmunohistoquímicas de muestras de FFPE. Para los pacientes que recibieron ACT en las cohortes internas y externas, los regímenes de tratamiento se administraron de acuerdo con los protocolos estándar recomendados por las directrices de la NCCN [^[3],^[4]]. La mayoría de los pacientes fueron tratados con terapias basadas en fluoropirimidinas, que incluyen: (1) monoterapia, principalmente con capecitabina; (2) regímenes de doble combinación, principalmente FOLFOX o XELOX; y (3) regímenes de triple combinación, típicamente FOLFOX o XELOX combinados con anticuerpos monoclonales.

La cohorte Internal-CRCII, utilizada para el entrenamiento del modelo y la evaluación interna, incluyó 842 casos diagnosticados en el Centro Oncológico de la Universidad Sun Yat-sen entre el 1 de noviembre de 2014 y el 31 de diciembre de 2018. Se utilizaron dos cohortes externas para la validación: la cohorte External-CRCII-1 (438 casos diagnosticados entre el 1 de agosto de 2012 y el 31 de octubre de 2018, con información de seguimiento accesible del Instituto y Hospital de Oncología de la Universidad de Tianjin) y la cohorte External-CRCII-2 (405 pacientes diagnosticados entre el 1 de enero de 2015 y el 31 de diciembre de 2018, con información de seguimiento disponible del Sexto Hospital Afiliado de la Universidad Sun Yat-sen). Para cada caso en estas tres cohortes, se recopilaron parámetros clinicopatológicos, incluidos 14 factores de riesgo convencionales y la aplicación de ACT. Todos los indicadores relacionados con el tumor (por ejemplo, brotes tumorales, invasión perineural, invasión vascular, diferenciación tumoral, etc.) fueron evaluados por el mismo patólogo experimentado en todas las cohortes para garantizar la coherencia.

Los pacientes de todos los conjuntos de datos se sometieron a un filtrado adicional antes del entrenamiento en función de los siguientes criterios de exclusión: (1) Pacientes que habían recibido tratamientos preoperatorios, incluidos la quimioterapia o la radioterapia neoadyuvante; (2) Pacientes con antecedentes de tratamiento previo para otros cánceres antes del diagnóstico de CRC en estadio II; (3) Pacientes sin recurrencia observada y un período de seguimiento inferior a 24 meses; (4) Pacientes que carecen de una o más de las 14 variables clinicopatológicas clave utilizadas para la comparación con MVNet (Tabla S7); (5) Pacientes que murieron por causas no relacionadas con el cáncer; y (6) Pacientes con menos de tres porta disponibles después de las comprobaciones de control de calidad (por ejemplo, porta con problemas como pliegues de tejido, fracturas, ausencia de tejido tumoral o porta que no están enfocadas). Los experimentos de muestreo aleatorio muestran que el rendimiento pronóstico del modelo mejora a medida que aumenta el número de porta de tumor incluidas por paciente (Tabla S8). Tras la aplicación de estos criterios de exclusión, el número final de casos en los conjuntos de datos Internal-CRCII, External-CRCII-1 y External-CRCII-2 fue de 743, 352 y 331 casos, respectivamente.

Además, el estudio incorporó el conjunto de datos TCGA-CRCII, que comprendía 229 casos de los proyectos TCGA-COAD y TCGA-READ. Debido a la menor calidad de los datos en el conjunto de datos TCGA, los criterios de exclusión se modificaron: se excluyeron los pacientes sin datos de seguimiento, porta de diagnóstico o porta que cumplieran los estándares de calidad. Para evaluar la generalizabilidad de nuestro modelo en casos con un muestreo de tejido limitado, no se aplicó ninguna restricción al número de porta al conjunto de datos TCGA-CRCII durante la validación. Esto resultó en 178 casos utilizados para la validación.

Digitalización, inmunohistoquímica y preprocesamiento de WSI

Para cada caso, se incluyeron todas las porta de tumor teñidas con H&E disponibles para análisis posteriores. Todas las WSI incluidas en este estudio se escanearon con un aumento de 40×, lo que corresponde a una resolución de 0,25 μm/píxel, lo que garantiza un tamaño de píxel uniforme en todos los conjuntos de datos. Las porta de las cohortes Internal-CRCII y External-CRCII-1 se escanearon con un escáner PHILIPS Ultra Fast (Philips Electronics N.V., Ámsterdam, Países Bajos) y se guardaron en formato iSyntax, mientras que las de la cohorte External-CRCII-2 se escanearon utilizando un escáner SQS-600P (Shengqiang Technology, Shenzhen, China) y se almacenaron en formato SVS. Las porta de tumor para el conjunto de datos TCGA-CRCII se descargaron del portal Genomic Data Commons (https://portal.gdc.cancer.gov/).

WSINet se entrenó sin ninguna anotación a nivel de píxel o a nivel de región. Solo se utilizaron etiquetas a nivel de lámina (recaída frente a no recaída) para la supervisión. Se seleccionaron aleatoriamente un total de 120 láminas de los conjuntos Internal-CRCII y External-CRCII para anotar las regiones normales, tumorales y de estructura linfoide terciaria (TLS) para el desarrollo de SegNet. Se empleó tinción de inmunohistoquímica (IHQ), utilizando los marcadores CD20, CD21 y CD10, para identificar y definir los fenotipos de TLS [^[18]]. Un patólogo experimentado delimitó las regiones de TLS basándose en los resultados de la IHQ (Figura S11). Específicamente, las anotaciones de TLS en las láminas de H&E se derivaron manualmente mediante la referencia de láminas teñidas con IHQ consecutivas (CD20, CD21, CD10), basándose en la correspondencia morfológica entre las secciones seriadas.

Para mejorar la consistencia y la precisión de las anotaciones, se aplicó un método de meta-anotación al procedimiento de etiquetado de tejidos tumorales y normales [^[19]]. Para cada LSI, se extrajeron al menos cuatro cuadros rectangulares que contenían áreas representativas de tejido normal y tumoral. Estas áreas incluían varios tipos de tejido, como vascular, músculo liso, necrosis, glándulas normales y tumorales. Dos patólogos con amplia experiencia en el diagnóstico de CRC participaron en el proceso de anotación y revisión de tejidos. Utilizaron el software de código abierto QuPath (v0.2.3) y realizaron las anotaciones de forma ciega a la información del paciente y al propósito del estudio para minimizar el sesgo. Después de la anotación, las LSI se segmentaron aún más en mosaicos de tejido no superpuestos de 256 × 256, eliminando el fondo blanco mediante el método de Otsu. Los resultados de la visualización comparativa demuestran que el método de Otsu elimina eficazmente el fondo blanco (Figura S12). Para tener en cuenta las variaciones en el color del tejido de diferentes dispositivos de escaneo, todos los mosaicos del conjunto External-CRCII-2 se normalizaron en color con respecto a los del conjunto Internal-CRCII utilizando el método de Vahadane [^[20]]. El rendimiento predictivo mostró tendencias similares en los conjuntos de datos teñidos y no teñidos, aunque el grupo teñido demostró consistentemente una mayor precisión (Figura S13).

Arquitectura del modelo de aprendizaje profundo

El marco SurvFinder consta de cuatro redes neuronales principales: WSINet, SegNet, MVNet y MMF (Figura 1), cada una diseñada para realizar una tarea específica dentro de la arquitectura general.

WSINet identifica biomarcadores tisulares pronósticos a partir de las LSI. SegNet luego segmenta las regiones de los biomarcadores identificados por WSINet, generando mapas de calor tisulares. MVNet procesa aún más estos biomarcadores histológicos segmentados extrayendo e integrando características multivariadas para la estratificación del riesgo. MMF combina las características multivariadas de MVNet con los datos clínicos para producir una predicción integral basada en la fusión.

WSINet, inspirado en Lu y sus colegas [^[21]], predice el pronóstico del paciente identificando patrones tisulares dentro de las LSI. Utilizamos el modelo CTransPath preentrenado, desarrollado por Wang y sus colegas [^[22]], que aprovecha la arquitectura Swin Transformer y se entrenó en los conjuntos de datos TCGA y PAIP. Se extrajeron características de todos los parches de imagen en cada LSI. Para capturar de manera integral el microambiente tumoral, cada caso incluyó al menos tres láminas tumorales, agregando características de parches en todas las LSI por caso. Estas características del caso se procesan luego a través de una red de atención simplificada, que asigna puntajes de atención a cada parche. Sea denota el conjunto de características para todos los N parches de un caso dado. El puntaje de atención para el -ésimo parche se estima por

donde , , y son matrices de peso entrenables, y es el vector de características del -ésimo parche, obtenido al pasar a través de dos capas totalmente conectadas. y representan las funciones de activación tangente hiperbólica y sigmoide, respectivamente. denota la multiplicación elemento por elemento. cuantifica la contribución relativa del -ésimo parche al resultado pronóstico general para el caso. Utilizando estos puntajes, realizamos una suma ponderada de todas las características de los parches para agregar las características del caso. Finalmente, se utiliza una capa lineal para predecir el resultado pronóstico del paciente como

donde denota matrices de peso entrenables.

Las regiones tisulares con puntajes de atención altos de WSINet se segmentaron utilizando SegNet, que consta de dos modelos de clasificación a nivel de parche secuenciales: TNTM y TLSM. TNTM clasifica inicialmente los mosaicos de tejido en categorías de TLS, tejido normal y tejido tumoral, mientras que TLSM categoriza aún más las regiones de TLS identificadas por TNTM en fenotipos específicos de TLS. Ambos modelos utilizan ResNet18 como la arquitectura base para la clasificación de parches. Los resultados de TNTM se concatenan para formar un mapa de calor de predicción de tejido para cada LSI. Después de entrenar TLSM, sus parámetros del modelo se fijaron y se extrajeron las características morfológicas de TLS para un análisis posterior.

MVNet integra las características pronósticas multivariadas extraídas por SegNet. Consta de dos ramas: la Rama Espacial (SpB) y la Rama Morfológica (MpB). SpB utiliza el mapa de calor de la distribución del tejido TLS para cada LSI, que es generado por SegNet, como entrada al modelo. Específicamente, este mapa de calor proporciona una representación espacial de los bloques de tejido TLS dentro de la LSI. Se extraen características que capturan las características espaciales de estos bloques de tejido TLS, incluyendo sus posiciones en el mapa de calor, las relaciones espaciales con los tejidos tumorales adyacentes, así como su área e información de subtipo. Estas características espaciales integrales se procesan luego utilizando un perceptrón multicapa, lo que da como resultado el vector de características espacial . La MpB emplea TLSM para convertir las imágenes de TLS obtenidas de SegNet en características . Estas características se agrupan para cada caso individual en 7 categorías distintas. Los centroides derivados de este proceso sirven como las características linfoides representativas para cada paciente [^[23]]. A través del agrupamiento, el tamaño del lote de entrenamiento del modelo ya no está restringido a 1. Aumentar el tamaño del lote permite un entrenamiento más estable del modelo. Estas características se procesan luego utilizando una red de atención simplificada, similar a la utilizada en WSINet, para obtener las características finales para cada caso. La visualización de la arquitectura de MpB se ilustra en la Figura S3b. Las características de ambas ramas se concatenan para formar la representación de características multivariadas para cada paciente. Un módulo de predicción de fusión de características integra aún más estas características, es decir:

donde representa el vector de características profundamente fusionado que integra tanto la información espacial como la morfológica. y se obtienen aplicando transformaciones lineales a y utilizando diferentes matrices de peso. y son las características multivariadas, obtenidas aplicando dos transformaciones lineales separadas a , respectivamente. es la matriz de peso utilizada para la fusión final de características multimodales.

Los dos vectores de características fusionados se concatenan en un solo vector, que luego se utiliza para una predicción adicional. Finalmente, se emplea una capa lineal para realizar la clasificación pronóstica. La arquitectura de MVNet se muestra en la Figura S3a.

La red final, Fusión Multimodal (MMF), integra los datos clínicos a través de un perceptrón multicapa de cuatro capas. Se concatenaron catorce variables clinicopatológicas en un vector de 14 dimensiones y se pasaron a través de cuatro capas totalmente conectadas (FC), cada una seguida de una capa BatchNorm1d y una función de activación ReLU, lo que resultó en una incrustación de 32 dimensiones (Figura S3a). Cabe destacar que la red no se entrenó con un objetivo separado; sus parámetros se optimizaron de extremo a extremo junto con el modelo multimodal utilizando la pérdida de predicción final. Esta incrustación clínica se concatenó con la salida de 32 dimensiones de la penúltima capa FC de MVNet para formar un vector de características fusionado de 64 dimensiones, que fue procesado por una capa FC final para producir la puntuación de predicción de MMF. Las características clínicas se concatenan con , y se emplea una capa lineal para la predicción pronóstica final. Al integrar las características de TLS multivariadas y los datos clínicos, SurvFinder proporciona predicciones pronósticas precisas para pacientes con CRC en etapa II.

Entrenamiento y evaluación

Durante la fase de desarrollo del modelo, las tareas de predicción en SurvFinder variaron según el modelo específico. Para WSINet y MVNet, las etiquetas predictivas se basaron en el estado de recurrencia, que incluyó recurrencia, metástasis o muerte relacionada con el CRC en etapa II. En SegNet, el clasificador TNTM tuvo la tarea de predecir los tipos de tejido (TLS, tejido normal y tejido tumoral), mientras que el clasificador TLSM se centró en los subtipos de TLS (Agg, FL-1, FL-2). Para garantizar predicciones sólidas, el conjunto de datos Internal-CRCII se dividió en cinco partes iguales a nivel de caso y se aplicó una estrategia de validación cruzada de 5 pliegues. Esta división de datos consistente en los diferentes modelos aseguró la comparabilidad de los resultados. Cabe destacar que todos los modelos, incluidos WSINet, SegNet, MVNet y MMF, se desarrollaron y validaron internamente utilizando exclusivamente el conjunto de datos Internal-CRCII. Para evitar cualquier forma de fuga de información o sesgo de adaptación, los modelos entrenados se aplicaron directamente, sin volver a entrenar ni ajustar los parámetros, a tres cohortes de validación externas independientes. Todos los modelos pronósticos se entrenaron durante 500 épocas, mientras que los modelos predictivos se entrenaron durante 100 épocas, con todos los parámetros del modelo entrenables durante el proceso [^[24]]. El número de épocas de entrenamiento se determinó empíricamente en función del rendimiento y las tendencias de pérdida observadas en los conjuntos de entrenamiento y validación.

WSINet se inicializó con parámetros aleatorios y se entrenó utilizando el optimizador AdamW con decaimiento de peso. Se utilizó la función de pérdida de entropía cruzada para la optimización. La tasa de aprendizaje comenzó en 0, seguida de un calentamiento lineal para las primeras 10 épocas, alcanzando un máximo de 1e-3 y luego disminuyendo a 0 mediante un programa de decaimiento de coseno al final del entrenamiento.

SegNet consta de dos clasificadores: TNTM (para la clasificación de tipos de tejido) y TLSM (para la clasificación de subtipos de TLS). TNTM se entrenó en mosaicos de tejido anotados (TLS, tejido normal y tejido tumoral) de las regiones de la LSI. Se aplicaron varias técnicas de aumento, como cambiar el tamaño, rotaciones aleatorias, volteos verticales y horizontales y ajuste de color (ajustar el brillo, el contraste y la saturación/tono). El modelo se inicializó con pesos de ResNet18 preentrenados de ImageNet y se optimizó utilizando el optimizador SGD con un momento de 0.9, un decaimiento de peso de 1e-5 y un tamaño de lote de 128. La función de pérdida utilizada fue la entropía cruzada. TLSM se entrenó en imágenes de TLS unidas (512 × 512 píxeles) derivadas de los mapas de calor de predicción de TNTM. De manera similar a TNTM, TLSM se inicializó con pesos de ResNet18 preentrenados y se entrenó con la misma configuración.

MVNet comprende dos ramas: MpB y SpB. Ambas ramas se entrenaron inicialmente con pesos inicializados aleatoriamente, mientras que todo el modelo MVNet se entrenó con pesos preentrenados de MpB y SpB. Se utilizó el optimizador Adam con una tasa de aprendizaje inicial de 1e-3 y una función de pérdida de entropía cruzada. Los pesos de clase se establecieron en 0,5 para "Sin recurrencia" y en 1,2 para "Recurrencia" para abordar el desequilibrio de clases. Se utilizó una estrategia de decaimiento de tiempo inverso (tasa de decaimiento: 9e-3) para mejorar la estabilidad y la eficiencia del entrenamiento. El entrenamiento se realizó con el conjunto de datos completo en un solo lote. El modelo MMF integró información clínica con las características de MVNet. La configuración de entrenamiento de MMF se mantuvo consistente con MVNet para una comparación justa, incluyendo el número de épocas, el optimizador (Adam), la función de pérdida (entropía cruzada) y los pesos de clase. Se empleó un decaimiento de la tasa de aprendizaje coseno con un calentamiento lineal durante 10 épocas y un tamaño de lote de 128. Se utilizó un tamaño de lote de 128. Para la validación interna, cada pliegue sirvió como conjunto de prueba una vez, con un modelo entrenado exclusivamente con los pliegues restantes. Las predicciones de los cinco pliegues se concatenaron para formar el conjunto de prueba interno completo. Para la validación externa, las probabilidades predichas de los cinco modelos de validación cruzada se promediaron primero para formar una predicción de conjunto, y solo esta predicción de conjunto se binarizó utilizando el umbral para obtener la predicción categórica final. Este enfoque de conjunto se aplicó de manera consistente a todos los cohortes externos tanto para la estratificación de riesgos como para los análisis de supervivencia. En este estudio, los umbrales de estratificación se calcularon por separado para cada conjunto de datos. Evaluamos además el rendimiento de la estratificación del modelo utilizando múltiples umbrales fijos, y los resultados muestran que MVNet logra una estratificación altamente significativa en todos los conjuntos de datos, independientemente de si los umbrales son fijos o específicos del conjunto de datos (S14 Fig y S3 Table). Todos los pacientes con un seguimiento 6,4 mm. Para External-CRCII-1, el número de TLS ubicadas fuera del área del tumor se distribuyó uniformemente en cada intervalo de distancia. Se aplicó un ajuste de intervalo uniforme a cada conjunto de datos. De manera similar, los valores continuos del área de TLS se dividieron en siete intervalos distintos y no superpuestos: (0, 0,03] mm2, (0,03, 0,05] mm2, (0,05, 0,07] mm2, (0,07, 0,10] mm2, (0,10, 0,15] mm2, (0,15, 0,28] mm2 y >0,28 mm2. Según el área total y la cantidad de los tres subtipos de TLS pertenecientes a cada bin, se diseñaron un total de 226 características para describir la información espacial. El número de bins de segmentación se estableció para equilibrar la captura de la heterogeneidad espacial con el mantenimiento de la estabilidad computacional, con referencia a estudios previos [^[28]]. El resumen detallado se muestra en S9 Table.

Interpretabilidad

Se realizaron métodos de interpretabilidad basados en la atención y en la atribución para la explicación de SurvFinder. Se seleccionó el modelo con el mejor rendimiento en la validación cruzada para la observación. Para WSINet, las puntuaciones de atención obtenidas de las capas de atención se normalizaron, lo que indica la importancia relativa de todos los mosaicos de WSI ingresados. Se seleccionaron los 50 mosaicos con las puntuaciones de atención más altas como mosaicos representativos para cada paciente. Estos mosaicos resaltados de pacientes con predicciones correctas de "Recurrencia" y "Sin recurrencia" se agregaron y se agruparon en cinco grupos por separado. El método de agrupamiento adoptado fue k-means, con t-SNE utilizado para la visualización. Para cada grupo, un patólogo experimentado resumió las características morfológicas específicas, lo que resultó en la identificación de 10 características morfológicas relacionadas con el pronóstico.

Debido a las diferentes estructuras de las ramas del modelo, se aplicaron diferentes métodos de interpretabilidad a las dos ramas de MVNet. La interpretación de MpB fue similar a la de WSINet, donde la característica con la atención más alta para cada caso se extrajo para el análisis estadístico posterior. Se empleó el método basado en la explicación aditiva de Shapley (SHAP) para SpB [^[29]–^[31]]. Se utilizaron diagramas de decisión de atribución de estilo SHAP para visualizar los pesos de atribución y la dirección de las características espaciales para análisis adicionales.

Análisis estadístico

Las hipótesis del estudio y los análisis planificados se definieron previamente. Todos los análisis planificados se llevaron a cabo según lo descrito, y cualquier desviación del plan original, incluidos los análisis exploratorios o basados en datos, se indica claramente. Los métodos estadísticos utilizados se describen a continuación. SurvFinder se entrenó y validó utilizando la validación cruzada de 5 pliegues a nivel del paciente, lo que garantiza divisiones de datos consistentes en todos los modelos. El rendimiento del modelo predictivo se evaluó utilizando la sensibilidad, la especificidad y el área bajo la curva de características operativas del receptor (AUROC). Los modelos de pronóstico se evaluaron utilizando el AUROC. Los grupos de alto y bajo riesgo, estratificados por los modelos de pronóstico, se basaron en la clase predicha (1 para alto riesgo y 0 para bajo riesgo). El umbral de corte de la curva ROC del modelo de aprendizaje profundo se determinó mediante el criterio de la tasa de error igual para dicotomizar las probabilidades del modelo en predicciones binarias. El punto final primario de este estudio fue la supervivencia libre de recurrencia (SLR), definida como el tiempo desde la fecha de la cirugía hasta la fecha de la primera recurrencia de la enfermedad, metástasis o muerte por tumor. Las pruebas estadísticas incluyeron pruebas de chi-cuadrado para las matrices de confusión, la prueba de DeLong para las comparaciones de AUC y las pruebas de log-rank para las curvas de supervivencia. Se utilizaron análisis de regresión de Cox univariados y multivariados para identificar los factores de pronóstico, con una significación definida como p < 0,05. Los diagramas de caja mostraron los cuantiles 25, 50 y 75. Todos los análisis estadísticos se realizaron en R versión 4.2.1 (2022-06-23). Los modelos de aprendizaje profundo se implementaron en Python 3.8.12 utilizando el marco PyTorch 1.10.1. Este estudio se presenta de acuerdo con la guía Strengthening the Reporting of Observational Studies in Epidemiology (STROBE) (S1 Checklist) y la guía Transparent Reporting of a multivariable prediction model for Individual Prognosis Or Diagnosis (TRIPOD) (S2 Checklist).

Resultados

Diseño del estudio y cohortes de pacientes

El marco SurvFinder, como se describe en la Fig. 1, se desarrolló y validó utilizando datos de cuatro cohortes de pacientes distintas. Tras un riguroso filtrado de datos, incluimos un total de 6950 diapositivas de histología con tinción de H&E de 1604 pacientes para el desarrollo del modelo. Los criterios de inclusión y exclusión detallados se proporcionan en la sección de Métodos. La cohorte Internal-CRCII, que se utilizó para el entrenamiento del modelo y la validación interna, comprendió 3494 diapositivas de 743 pacientes con CRC en estadio II de un solo centro médico. Para la validación externa, utilizamos las cohortes External-CRCII-1 y External-CRCII-2, que consistieron en 1315 diapositivas de 352 casos y 1708 diapositivas de 331 casos, respectivamente, recopiladas de dos centros médicos independientes. Para garantizar una representación precisa del microambiente tumoral, cada caso en los conjuntos de datos internos y externos incluyó al menos tres diapositivas de parafina incrustada en formalina que contenían tejido tumoral. Además, la cohorte TCGA-CRCII, derivada de los proyectos TCGA-COAD y TCGA-READ, incluyó 433 diapositivas de 178 casos en estadio II. Se proporciona una descripción completa de estos conjuntos de datos en S1 Fig.### WSINet identifica biomarcadores tisulares relacionados con el pronóstico a partir de WSI

Para identificar las características tisulares relevantes para el pronóstico a partir de las imágenes de porta completa (WSI), desarrollamos WSINet, un modelo de aprendizaje de múltiples instancias basado en la atención que sirve como componente inicial del marco SurvFinder. WSINet agrega las características de todas las WSI de cada caso para generar una entrada a nivel del paciente para la predicción del pronóstico. El modelo se entrenó y se evaluó en el conjunto de datos Internal-CRCII utilizando una validación cruzada de 5 pliegues, logrando un AUROC de 0,695 (intervalo de confianza del 95% [IC] [0,639, 0,751]), lo que indica una correlación estadísticamente significativa entre las predicciones del modelo y el estado real de recurrencia (Fig. 2a y 2b). El mecanismo de atención en WSINet se aprovechó para identificar las regiones tisulares con mayor atención, que luego se analizaron utilizando el agrupamiento k-means para delimitar cinco biomarcadores tisulares significativos tanto para los grupos sin recurrencia como para los grupos con recurrencia (Fig. 2c y 2d). En particular, el grupo más grande dentro del grupo sin recurrencia se enriqueció con regiones que exhiben agregados linfoides densos y una arquitectura similar a folículos, características morfológicas de los TLS (Fig. S2). Es importante destacar que todos los análisis de agrupamiento e identificación de características se restringieron a la cohorte de desarrollo interna. Los conjuntos de datos externos se utilizaron exclusivamente para la validación independiente, lo que garantiza que no haya fugas de datos y que se preserve la integridad del proceso de evaluación. En conjunto, estos resultados sugieren que los TLS podrían servir como biomarcadores tisulares pronósticos favorables clave en el CRC de etapa II.

SegNet segmenta automáticamente biomarcadores tisulares multiclasificados

Para categorizar y segmentar aún más las regiones de TLS identificadas por WSINet, así como otros biomarcadores tisulares, como el tejido tumoral, desarrollamos SegNet, una red de clasificación multi-tisular a nivel de parche. SegNet comprende dos modelos: la clasificación de tejidos TLS, normal y tumoral (TNTM) y la clasificación de fenotipos de TLS (TLSM). Ambos modelos se entrenaron en Internal-CRCII y se validaron tanto en conjuntos de datos internos como externos. El modelo TNTM demostró un excelente rendimiento con AUROC de 0,9997 (IC del 95% [0,9997, 0,9997]) para el tejido similar a TLS, 0,9991 (IC del 95% [0,9991, 0,9992]) para el tejido normal y 0,9997 (IC del 95% [0,9996, 0,9997]) para el tejido tumoral en el conjunto de datos Internal-CRCII (Fig. 3a y 3b), con un rendimiento igualmente alto en External-CRCII-1 y External-CRCII-2, lo que confirma la solidez del modelo en diferentes conjuntos de datos (Fig. 3c–3f). Las métricas de rendimiento detalladas se proporcionan en la Tabla S1.

El modelo TLSM se diseñó para clasificar aún más los TLS en tres fenotipos distintos: agregados (Agg), folículos primarios (FL-1) y folículos secundarios (FL-2) [^[32]]. En el conjunto de datos Internal-CRCII, el modelo TLSM logró AUROC de 0,9476 (IC del 95% [0,9366, 0,9586]) para Agg, 0,91 (IC del 95% [0,8941, 0,9259]) para FL-1 y 0,9851 (IC del 95% [0,9787, 0,9916]) para FL-2. Se observó un rendimiento similar en los conjuntos de datos External-CRCII-1 y External-CRCII-2 (Fig. 3g–3l y Tabla S2). Estos resultados validan la capacidad de SegNet para segmentar y subtipar con precisión los biomarcadores tisulares, sentando una base histológica para la extracción e integración adicionales de características pronósticas multivariadas de las WSI.

MVNet predice el pronóstico de los pacientes con CRC de etapa II mediante la combinación de múltiples vistas

Luego, desarrollamos MVNet, un modelo de fusión de múltiples vistas que integra las características espaciales y morfológicas de los TLS para la predicción del pronóstico. MVNet constaba de tres componentes: un SpB, un MpB y un predictor de fusión (Fig. S3). Se comparó el rendimiento predictivo de estos modelos en todos los conjuntos de datos (Fig. 4a–4d). El MpB, entrenado con características latentes derivadas de TLSM, logró AUROC de 0,688 (IC del 95% [0,637, 0,739]), 0,65 (IC del 95% [0,581, 0,719]) y 0,659 (IC del 95% [0,584, 0,734]) en los conjuntos de datos Internal-CRCII, External-CRCII-1 y External-CRCII-2, respectivamente. El SpB, entrenado con características espaciales como la distancia, el área y los fenotipos de los TLS, logró AUROC de 0,746 (IC del 95% [0,699, 0,793]), 0,737 (IC del 95% [0,667, 0,808]) y 0,775 (IC del 95% [0,717, 0,833]) en las mismas cohortes. La combinación de características espaciales y morfológicas en el predictor de fusión resultó en AUROC de 0,827 (IC del 95% [0,789, 0,864]), 0,805 (IC del 95% [0,749, 0,860]) y 0,805 (IC del 95% [0,748, 0,861]), lo que demuestra una concordancia estadísticamente significativa entre las predicciones de MVNet y la verdad fundamental (Fig. S4). MVNet superó consistentemente tanto a WSINet como a los modelos de una sola rama, lo que demuestra la eficacia de la integración de múltiples vistas para la evaluación pronóstica (Fig. S5).

MVNet supera y complementa los factores pronósticos clinicopatológicos en el CRC de etapa II

Para evaluar el rendimiento de MVNet en un escenario de la vida real, primero evaluamos la supervivencia libre de recurrencia (RFS) en los subgrupos de alto y bajo riesgo predichos por MVNet utilizando el análisis de Kaplan-Meier (K-M). Se observaron diferencias de supervivencia significativas (P < 0,0001) en todos los conjuntos de datos en las pruebas de log-rank (Fig. 4e–4h). A continuación, comparamos MVNet con 16 indicadores clinicopatológicos que se utilizan con frecuencia para la estratificación del riesgo, así como con el estado de la terapia adyuvante (ACT) en el CRC de etapa II. En el análisis de regresión de Cox univariado en Internal-CRCII, cuatro factores fueron significativos, incluido el brotamiento tumoral (P = 0,044), MMR (P = 0,003), el muestreo de ganglios linfáticos (LNS, P < 0,001) y MVNet (P < 0,001) (Fig. S6). LNS se definió como el número de ganglios linfáticos examinados durante la cirugía, y se consideró insuficiente si se examinaron menos de 12 ganglios, de acuerdo con las pautas de la NCCN [^[3], ^[4]]. En la regresión de Cox multivariado, MVNet demostró la razón de riesgo (HR) más alta (HR: 8,23, IC del 95%: 5,43–12,47; p < 0,001), superando a otros factores significativos (Fig. S6). Estos resultados confirmaron que MVNet es un factor pronóstico independiente sólido, que supera significativamente a otros biomarcadores establecidos. El análisis de correlación también validó la independencia de la predicción del modelo (Fig. S7). Se observaron hallazgos similares en los conjuntos de datos externos (Fig. S6c–S6h y Fig. S7b–S7d). Además, se evaluó el rendimiento del modelo en varios umbrales fijos (Tabla S3).

MVNet demostró consistentemente un rendimiento pronóstico superior, estableciéndose como un predictor independiente y sólido. Para explorar el potencial de combinar MVNet con datos clinicopatológicos, desarrollamos un modelo de fusión multivariado (MMF). Este modelo de fusión exhibió AUROC consistentemente más altos que tanto MVNet como el modelo clínico solo en todos los conjuntos de datos (Fig. 4i–4l y Fig. S8), lo que confirma la naturaleza complementaria de SurvFinder con los biomarcadores establecidos.

Además, integramos MVNet en nomogramas junto con los factores clinicopatológicos (Fig. S7e–S7h), y las curvas de calibración se alinearon estrechamente con los modelos predictivos ideales (Fig. S7i–S7l). Estos hallazgos indican que MVNet mejora el poder predictivo de los biomarcadores clinicopatológicos establecidos, lo que confirma su potencial como una herramienta pronóstica independiente y un activo complementario en el manejo clínico del CRC de etapa II.

El potencial de MVNet para informar las decisiones de ACT en el CRC de etapa II

A continuación, exploramos el potencial de MVNet para informar las decisiones de ACT en el CRC de etapa II. Primero, evaluamos el impacto de la ACT en el pronóstico en los diferentes conjuntos de datos (Fig. 5a–5c). Si bien se observó una asociación significativa entre la ACT y la mejora del pronóstico en la cohorte External-CRCII-2 (p = 0,014), el análisis de K-M indicó que no hubo una mejora significativa en el pronóstico con la ACT en Internal-CRCII (p = 0,12) y en los conjuntos de datos External-CRCII-1 (p = 0,53). Posteriormente, analizamos el subgrupo de alto riesgo predicho por MVNet (Fig. 5d–5f). En este grupo, la ACT se asoció significativamente con una respuesta pronóstica favorable en las cohortes Internal-CRCII (p = 0,023) y External-CRCII-1 (p = 0,026). En particular, en la cohorte External-CRCII-2, el grupo de alto riesgo mostró una significación estadística aún mayor y un mayor beneficio en la curva de K-M (p = 0,00081) en comparación con la cohorte completa. En contraste, los pacientes de bajo riesgo predichos por MVNet no obtuvieron un beneficio de supervivencia significativo de la ACT en ninguna cohorte (Fig. 5g–5i). Además, MVNet sirvió consistentemente como un factor pronóstico significativo en ambos subgrupos de ACT y sin ACT (Tabla S4 y Fig. S9). La distribución de las características clinicopatológicas de alto riesgo en cada subgrupo se presenta en la Tabla S5. Realizamos además modelos de riesgos proporcionales de Cox que incluyen un término de interacción entre la ACT y el grupo de riesgo de MVNet. Si bien no se observó una interacción significativa en el conjunto de datos interno, se identificaron interacciones significativas o casi significativas en dos cohortes externas (Tabla S6). Estos resultados sugieren que MVNet puede servir como una herramienta clínicamente significativa para guiar las decisiones de ACT en el CRC de etapa II.

La XAI en SurvFinder revela las características de los TLS relevantes para el pronóstico

Para mejorar la interpretabilidad de SurvFinder y comprender mejor las características relevantes para el pronóstico aprendidas por el modelo, aplicamos técnicas de XAI a los modelos de predicción de riesgo, según se detalla en la sección de Métodos. Se identificaron las 10 características espaciales principales que contribuyen al pronóstico en los conjuntos de datos internos y externos (Fig. 6a–6c). La mayoría de estas características espaciales se asociaron con un pronóstico favorable, mientras que el área tumoral media por porta se correlacionó con un peor pronóstico. Estos hallazgos se alinean con la investigación existente en el CRC y confirman que SurvFinder se basa en principios biológicos establecidos [^[33]–^[35]]. Es interesante destacar que más de la mitad de las características identificadas se ubicaron entre 1 y 4,5 mm del margen tumoral, lo que sugiere que los TLS en esta región son críticos para el pronóstico. Además, los subtipos de TLS ubicados entre 2,2 y 4,5 mm del margen tumoral se correlacionaron consistentemente con un pronóstico favorable, lo que indica que los TLS en esta área pueden servir como indicadores importantes de resultados de bajo riesgo en el CRC de etapa II.

También investigamos las características morfológicas de los TLS destacadas por el modelo. Los mapas de atención revelaron que los TLS maduros (FL-2) fueron más frecuentes en el grupo sin recurrencia, mientras que los TLS inmaduros (Agg y FL-1) fueron más frecuentes en el grupo con recurrencia (Fig. 6d–6f). Este patrón fue consistente en todos los conjuntos de datos, lo que sugiere que la madurez de los TLS se correlaciona positivamente con un mejor pronóstico en el CRC de etapa II. Las visualizaciones de WSI de los resultados interpretables se presentan en la Fig. S10. En general, los análisis de interpretación respaldan la relevancia biológica de las características utilizadas por SurvFinder y brindan nuevas ideas sobre el papel de los TLS en el pronóstico del CRC de etapa II.

La precisión predictiva de SurvFinder en el conjunto de datos TCGA

Para validar la generalizabilidad de SurvFinder, probamos su rendimiento predictivo y pronóstico en el conjunto de datos TCGA. Las predicciones pronósticas en la cohorte TCGA-CRCII produjeron AUROC de 0,575 (IC del 95% [0,455, 0,694]) para el MpB, 0,606 (IC del 95% [0,508, 0,703]) para el SpB y 0,712 (IC del 95% [0,621, 0,804]) para MVNet (Fig. 4d). Estos resultados demuestran que SurvFinder mantiene un rendimiento sólido en el conjunto de datos TCGA (Fig. S4d y Fig. S5d), con una estratificación de riesgo estable como se muestra en las curvas de K-M (Fig. 4h).

Debido a la información clínica incompleta en la cohorte TCGA, se realizaron análisis de regresión de Cox utilizando solo los factores clinicopatológicos disponibles y la puntuación de MVNet. En el análisis de regresión de Cox univariado, cinco factores fueron estadísticamente significativos: brotamiento tumoral (p = 0,007), grado (p = 0,037), etapa T (p = 0,002), BD3 (p = 0,034) y MVNet (p = 0,002) (Fig. S6g). La regresión de Cox multivariado confirmó que MVNet es un factor pronóstico independiente (Fig. S6h). MVNet continuó superando a otros parámetros clinicopatológicos y mantuvo un rendimiento estable en la integración de datos multimodales (Fig. 4l, Fig. S7d, Fig. S7h y Fig. S7l). Estos resultados subrayan la capacidad de SurvFinder para estratificar el riesgo y predecir los resultados en diversas poblaciones de pacientes, lo que respalda su potencial de generalización en múltiples conjuntos de datos.

Diseño del estudio y cohortes de pacientes

El marco SurvFinder, tal como se describe en la Fig. 1, se desarrolló y validó utilizando datos de cuatro cohortes de pacientes distintas. Tras una rigurosa filtración de datos, incluimos un total de 6.950 portaobjetos de histología teñidos con H&E de 1.604 pacientes para el desarrollo del modelo. Los criterios de inclusión y exclusión detallados se proporcionan en la sección de Métodos. La cohorte Internal-CRCII, que se utilizó para el entrenamiento del modelo y la validación interna, comprendió 3.494 portaobjetos de 743 pacientes con CRC en estadio II de un único centro médico. Para la validación externa, utilizamos las cohortes External-CRCII-1 y External-CRCII-2, que consistieron en 1.315 portaobjetos de 352 casos y 1.708 portaobjetos de 331 casos, respectivamente, recogidos de dos centros médicos independientes. Para garantizar una representación precisa del microambiente tumoral, cada caso en los conjuntos de datos internos y externos incluyó al menos tres portaobjetos incluidos en parafina y fijados en formalina que contenían tejido tumoral. Además, la cohorte TCGA-CRCII, derivada de los proyectos TCGA-COAD y TCGA-READ, incluyó 433 portaobjetos de 178 casos en estadio II. Se proporciona una descripción completa de estos conjuntos de datos en la Fig. S1.

WSINet identifica biomarcadores tisulares relacionados con el pronóstico a partir de las imágenes de toda la portaobjetos (WSI)

Para identificar las características tisulares relevantes para el pronóstico a partir de las WSIs, desarrollamos WSINet, un modelo de aprendizaje de múltiples instancias basado en la atención que sirve como componente inicial del marco SurvFinder. WSINet agrega las características de todas las WSIs de cada caso para generar una entrada a nivel de paciente para la predicción del pronóstico. El modelo se entrenó y se evaluó en el conjunto de datos Internal-CRCII utilizando una validación cruzada de 5 pliegues, logrando un AUROC de 0,695 (intervalo de confianza del 95% [IC] [0,639, 0,751]), lo que indica una correlación estadísticamente significativa entre las predicciones del modelo y el estado real de recurrencia (Fig. 2a y 2b). El mecanismo de atención en WSINet se aprovechó para identificar las regiones tisulares con mayor atención, que luego se analizaron utilizando el agrupamiento k-means para delimitar cinco biomarcadores tisulares significativos tanto para los grupos sin recurrencia como para los grupos con recurrencia (Fig. 2c y 2d). En particular, el clúster más grande dentro del grupo sin recurrencia se enriqueció con regiones que exhibían agregados linfoides densos y una arquitectura similar a folículos, características morfológicas de los TLS (Fig. S2). Es importante destacar que todos los análisis de agrupamiento e identificación de características se restringieron a la cohorte de desarrollo interna. Los conjuntos de datos externos se utilizaron exclusivamente para la validación independiente, lo que garantiza que no haya fugas de datos y que se preserve la integridad del proceso de evaluación. En conjunto, estos resultados sugieren que los TLS podrían servir como biomarcadores tisulares favorables clave para el pronóstico en el CRC en estadio II.

SegNet segmenta automáticamente biomarcadores tisulares multiclase

Para categorizar y segmentar aún más las regiones de TLS identificadas por WSINet, así como otros biomarcadores tisulares, como el tejido tumoral, desarrollamos SegNet, una red de clasificación multi-tisular a nivel de parche. SegNet comprende dos modelos: la clasificación de tejidos TLS, normal y tumoral (TNTM) y la clasificación de fenotipos de TLS (TLSM). Ambos modelos se entrenaron en Internal-CRCII y se validaron tanto en los conjuntos de datos internos como en los externos. El modelo TNTM demostró un excelente rendimiento con AUROCs de 0,9997 (IC del 95% [0,9997, 0,9997]) para el tejido similar a TLS, 0,9991 (IC del 95% [0,9991, 0,9992]) para el tejido normal y 0,9997 (IC del 95% [0,9996, 0,9997]) para el tejido tumoral en el conjunto de datos Internal-CRCII (Fig. 3a y 3b), con un rendimiento igualmente alto en External-CRCII-1 y External-CRCII-2, lo que confirma la solidez del modelo en diferentes conjuntos de datos (Fig. 3c–3f). Se proporcionan métricas de rendimiento detalladas en la Tabla S1.

El modelo TLSM se diseñó para clasificar aún más los TLS en tres fenotipos distintos: agregados (Agg), folículos primarios (FL-1) y folículos secundarios (FL-2) [^[32]]. En el conjunto de datos Internal-CRCII, el modelo TLSM logró AUROCs de 0,9476 (IC del 95% [0,9366, 0,9586]) para Agg, 0,91 (IC del 95% [0,8941, 0,9259]) para FL-1 y 0,9851 (IC del 95% [0,9787, 0,9916]) para FL-2. Se observó un rendimiento similar en los conjuntos de datos External-CRCII-1 y External-CRCII-2 (Fig. 3g–3l y Tabla S2). Estos resultados validan la capacidad de SegNet para segmentar y subtipar con precisión los biomarcadores tisulares, sentando una base histológica para la extracción e integración adicionales de características pronósticas multivariadas a partir de las WSIs.

MVNet predice el pronóstico de los pacientes con CRC en estadio II mediante la combinación de múltiples vistas

Luego, desarrollamos MVNet, un modelo de fusión de múltiples vistas que integra las características espaciales y morfológicas de los TLS para la predicción del pronóstico. MVNet consistió en tres componentes: un SpB, un MpB y un predictor de fusión (Fig. S3). Se comparó el rendimiento predictivo de estos modelos en todos los conjuntos de datos (Fig. 4a–4d). El MpB, entrenado en características latentes derivadas de TLSM, logró AUROCs de 0,688 (IC del 95% [0,637, 0,739]), 0,65 (IC del 95% [0,581, 0,719]) y 0,659 (IC del 95% [0,584, 0,734]) en los conjuntos de datos Internal-CRCII, External-CRCII-1 y External-CRCII-2, respectivamente. El SpB, entrenado en características espaciales como la distancia, el área y los fenotipos de los TLS, logró AUROCs de 0,746 (IC del 95% [0,699, 0,793]), 0,737 (IC del 95% [0,667, 0,808]) y 0,775 (IC del 95% [0,717, 0,833]) en las mismas cohortes. La combinación de características espaciales y morfológicas en el predictor de fusión dio como resultado AUROCs de 0,827 (IC del 95% [0,789, 0,864]), 0,805 (IC del 95% [0,749, 0,860]) y 0,805 (IC del 95% [0,748, 0,861]), lo que demuestra una concordancia estadísticamente significativa entre las predicciones de MVNet y la verdad fundamental (Fig. S4). MVNet superó consistentemente tanto a WSINet como a los modelos de una sola rama, lo que demuestra la eficacia de la integración de múltiples vistas para la evaluación pronóstica (Fig. S5).

MVNet supera y complementa los factores pronósticos clinicopatológicos en el CRC en estadio II

Para evaluar el rendimiento de MVNet en un escenario de la vida real, primero evaluamos la supervivencia libre de recurrencia (SLR) en los subgrupos de alto y bajo riesgo predichos por MVNet utilizando el análisis de Kaplan-Meier (K-M). Se observaron diferencias de supervivencia significativas (P < 0,0001) en todos los conjuntos de datos en las pruebas de rangos logarítmicos (Fig. 4e–4h). A continuación, comparamos MVNet con 16 indicadores clinicopatológicos que se utilizan con frecuencia para la estratificación del riesgo, así como con el estado de la quimioterapia adyuvante (ACT) en el CRC en estadio II. En el análisis de regresión de Cox univariado en Internal-CRCII, cuatro factores fueron significativos, incluido el brotamiento tumoral (P = 0,044), MMR (P = 0,003), el muestreo de ganglios linfáticos (LNS, P < 0,001) y MVNet (P < 0,001) (Fig. S6). LNS se definió como el número de ganglios linfáticos examinados durante la cirugía, y se consideró insuficiente un número de