Modelos de difusión contrafácticos para explicaciones interpretables de modelos de inteligencia artificial en patología.

El aprendizaje profundo (DL) es preferible para las tareas de visión artificial en las ciencias biomédicas que requieren una toma de decisiones, predicción o percepción complejas. En particular, en la patología computacional, el DL puede predecir biomarcadores diagnósticos y pronósticos a partir de imágenes de porta de muestra completa (WSI) teñidas con hematoxilina y eosina (H&E) obtenidas de porta de muestra de patología^[1]–^[4]. El DL funciona bien para muchas tareas clínicamente relevantes, como la automatización de los flujos de trabajo de patología para realizar diagnósticos o extraer información visual sutil relacionada con los biomarcadores^[5]. Sin embargo, la llamada naturaleza de "caja negra" del DL puede ser problemática porque a menudo no está claro qué características visuales utiliza el modelo como base para sus predicciones, lo que limita la interpretabilidad y la confianza en el clasificador^[6]. Los métodos de interpretabilidad establecidos, como la visualización de características^[7] y la atribución de píxeles (por ejemplo, mapas de saliencia, incluidos los mapas de calor de atención)^[8], son limitados y no pueden garantizar que la decisión de un modelo sea correcta^[6]. Aunque se utilizan ampliamente en el campo biomédico, la interpretación de estos métodos es un desafío, que a menudo requiere experiencia en el dominio y puede dar lugar a una sobreestimación del rendimiento de un modelo debido al sesgo de confirmación^[6],^[9],^[10].

Existe un enfoque alternativo, las explicaciones contrafácticas^[11],^[12], pero se ha explorado poco en la patología computacional. Las explicaciones contrafácticas responden a la pregunta: "¿cómo debería verse una imagen para que se clasifique como clase X?" (Fig. 1a). Aquí, desarrollamos y validamos MoPaDi (Morphing histoPathology Diffusion), un marco para la generación de explicaciones contrafácticas para imágenes de histopatología. Nuestro objetivo es hacer que el proceso de toma de decisiones de los modelos de inteligencia artificial (IA) de "caja negra" sea más comprensible y confiable.

Estudios previos en otros dominios de análisis de imágenes han demostrado que las explicaciones contrafácticas pueden ayudar a descubrir sesgos y variables de confusión, así como proporcionar explicaciones de las predicciones del modelo; sin embargo, estos esfuerzos se limitan a datos de radiología o a modelos de IA generativa obsoletos^[13]–^[16]. Por lo tanto, proponemos utilizar modelos de difusión de última generación para generar explicaciones contrafácticas. Un enfoque alternativo a los modelos de difusión son las redes generativas adversarias (GAN), que se han explorado en estudios anteriores^[17]–^[23]. Sin embargo, los modelos de difusión se consideran ahora la técnica de vanguardia, superando a las GAN en calidad de imagen sintética y estabilidad del entrenamiento^[24]. Los modelos de difusión funcionan transformando gradualmente las imágenes en ruido y aprendiendo el proceso inverso, lo que permite la generación de nuevas imágenes mediante el muestreo de la distribución de datos aprendida^[25]. Una de las principales ventajas de los modelos de difusión sobre los métodos basados en GAN es su capacidad para modificar imágenes reales al tiempo que preservan los detalles no relacionados con la manipulación específica^[26]. Además, la mayoría de los problemas de patología computacional requieren un enfoque de supervisión débil, ya que las etiquetas suelen estar disponibles solo para las WSI que consisten en muchos parches, pero no para cada parche individualmente^[27]. Estas tareas se suelen abordar mediante el aprendizaje de múltiples instancias (MIL)^[28]. Por lo tanto, extendemos el concepto de generación de imágenes contrafácticas al escenario de supervisión débil, en el que entrenamos un clasificador basado en la atención en conjuntos de mosaicos con una etiqueta a nivel de paciente y, a continuación, generamos explicaciones contrafácticas para los mosaicos más predictivos. MoPaDi combina autoencoders de difusión^[26] con MIL para generar imágenes contrafácticas de alta calidad de mosaicos de histopatología, preservando los detalles originales de los mosaicos de histopatología y permitiendo a los patólogos evaluar de forma exhaustiva las morfologías aprendidas por un clasificador. Hasta donde sabemos, los métodos de interpretabilidad basados en la difusión no se han aplicado a los datos de histopatología para la generación de imágenes contrafácticas combinadas con MIL.

El objetivo de MoPaDi es revelar qué características morfológicas en las imágenes de histopatología impulsan las predicciones de los clasificadores de DL mediante la creación de explicaciones contrafácticas, guiadas por clasificadores específicos de la tarea y autoencoders de difusión entrenados de forma autosupervisada en datos no etiquetados. Para validar nuestro marco, primero demostramos que el modelo aprendió características significativas generando imágenes contrafácticas de tipos de tejido. Además, aplicamos MoPaDi para explicar las predicciones del modelo de DL para una amplia gama de tareas clínicamente relevantes. Las tareas de evaluación incluyen clasificadores que diferencian entre los sitios de procesamiento de WSI para el análisis de los efectos de lote y el estado de inestabilidad de microsatélites (MSI), un biomarcador del cáncer colorrectal que se puede predecir a partir de las WSI teñidas con H&E^[3],^[29]. Se utilizaron cuatro conjuntos de datos: dos conjuntos de datos de carcinoma colorrectal (CRC), un conjunto de datos de cáncer de mama (BRCA) y un conjunto de datos de cáncer que comprende 32 tipos de cáncer. Para este último, nos centramos en los cánceres hepatobiliares (carcinoma hepatocelular [HCC] y colangiocarcinoma [CCA]) y los cánceres de pulmón (adenocarcinoma de pulmón [LUAD] y carcinoma de células escamosas de pulmón [LUSC]) (Fig. 1b). Nuestro marco, validado en diversos conjuntos de datos, revela las características morfológicas clave que impulsan las predicciones de los clasificadores mediante la manipulación automatizada y dirigida de las imágenes histopatológicas hacia imágenes contrafácticas, lo que permite comprender los patrones morfológicos aprendidos por el modelo de DL en los diferentes tipos de cáncer y un biomarcador.

Resultados

Los autoencoders de difusión codifican de forma eficiente las imágenes de histopatología

El primer paso para evaluar un modelo generativo es evaluar la fidelidad de las incrustaciones de imágenes. Por lo tanto, evaluamos el rendimiento de nuestros autoencoders de difusión personalizados en la reconstrucción de imágenes de histopatología comparando 1.000 imágenes originales y reconstruidas utilizando los valores de error cuadrático medio (MSE) y el índice de similitud estructural multiescala (MS-SSIM). Descubrimos que los modelos lograron un alto rendimiento en los diferentes conjuntos de datos, como lo indican los bajos valores de MSE y los altos valores de MS-SSIM (Tabla 1). Una evaluación cualitativa confirmó una alta tasa de reconstrucciones casi perfectas, aunque a veces se observó que algunos artefactos menores se acentuaban mediante el proceso de compresión-descompresión (Fig. S1). Para evaluar aún más la capacidad del codificador para aprender características histopatológicas significativas, entrenamos modelos implícitos de difusión de eliminación de ruido (DDIM) adicionales en los vectores de características extraídos por la parte del extractor de características del autoencoder de difusión. Esto permitió el muestreo de vectores de características sintéticos que se utilizan posteriormente para la generación de nuevas imágenes. Estos modelos produjeron imágenes sintéticas de alta calidad, lo que indica una baja distancia de Fréchet Inception (FID) entre un conjunto de imágenes originales retenido y 10.000 imágenes sintéticas generadas (Fig. S2) para la mayoría de los conjuntos de datos: 16,85 para TCGA CRC, 17,85 para TCGA BRCA y 4,71 para TCGA Pan-cancer. En contraste, el CRC-VAL-HE-7K tuvo una puntuación de FID más alta de 36,95 (Tabla 1). En conjunto, estos datos muestran que nuestros autoencoders de difusión personalizados capturan eficazmente las características clave de la imagen y reconstruyen los parches de histopatología en varios conjuntos de datos, lo que demuestra su potencial como una base adecuada para generar explicaciones contrafácticas.

Los contrafácticos de tipo de tejido exhiben patrones significativos

A continuación, evaluamos las capacidades de MoPaDi para generar imágenes contrafácticas para el clasificador de tipo de tejido, es decir, para cambiar la clase predicha de una imagen determinada. Primero, entrenamos un autoencoder de difusión junto con un extractor de características (Fig. 1c) en el conjunto de datos NCT-CRC-HE-100k, que representa 9 clases de tejido en el cáncer colorrectal (Fig. S3a). Las características extraídas del conjunto de datos de entrenamiento formaron grupos distintos tras la reducción de la dimensionalidad, lo que sugiere que el modelo aprendió representaciones específicas de la clase significativas (Fig. 2a). A continuación, entrenamos un clasificador de regresión logística en las características extraídas para predecir conjuntamente las nueve clases de tejido. Para la generación de explicaciones contrafácticas, nos centramos en el par clínicamente más relevante: la mucosa del colon normal (NORM) y el epitelio displásico (TUM). Sin embargo, también se pueden generar imágenes contrafácticas para otros tipos de tejido predichos por el clasificador (se muestran ejemplos representativos de contrafácticos de tejido adiposo, músculo liso, moco, detritos, linfocitos y estroma asociado al cáncer en la Figura S4 del Apéndice). Evaluado en el conjunto de datos independiente CRC-VAL-HE-7K, el clasificador alcanzó un área bajo la curva de características operativas del receptor (AUROC) de 0,91 ± 0,01 para NORM y 0,98 ± 0,01 para TUM (intervalos de confianza [IC] del 95% obtenidos mediante bootstrapping; Fig. 2b). Los valores de AUROC para las clases restantes oscilaron entre 0,79 y 1,00 (Fig. S3b). Utilizamos el vector de dirección de clase del clasificador para desplazar las características latentes hacia una clase objetivo X seleccionada. Las características manipuladas condicionaron entonces el decodificador basado en la difusión (Fig. 1f), lo que nos permitió generar imágenes contrafácticas para parches del conjunto de datos CRC-VAL-HE-7K en amplitudes de manipulación cada vez mayores ( ). Las características manipuladas también se desplazaron más cerca de la clase opuesta en el espacio de menor dimensión (Fig. 2a, diagrama ampliado), especialmente cuando las características están cerca del límite entre las clases (como se observa en el mosaico de la mucosa del colon que limita con el tejido displásico y sano en la Fig. 2c). Para cuantificar la eficacia de la generación de contrafácticos, calculamos el porcentaje de mosaicos manipulados que se predijeron como la clase opuesta en las amplitudes crecientes (Fig. S5c). Observamos que las transiciones de NORM a TUM generalmente requerían amplitudes más bajas para cambiar la predicción del clasificador, lo que es consistente con el AUC más bajo para NORM. Además, para evaluar si las imágenes contrafácticas generadas satisfacen otras propiedades axiomáticas^[30] además de la eficacia, examinamos las transformaciones nulas e inversas para evaluar la composición y la reversibilidad (Figura S6 del Apéndice). En el caso nulo (NORM a NORM), observamos cambios mínimos en la apariencia y valores altos de SSIM, lo que confirma que las manipulaciones consistentes con la clase preservan la fidelidad visual y no introducen alteraciones espurias (Figura S6a del Apéndice). En contraste, la inversión de una transformación (por ejemplo, TUM a NORM a TUM) no produce la imagen original (Figura S6b del Apéndice), lo que se espera debido al diseño del marco de MoPaDi, que prioriza la interpretabilidad específica del clasificador sobre las transformaciones biyectivas.

Para evaluar aún más la calidad de las imágenes generadas, realizamos un estudio de evaluación a ciegas con dos patólogos. A cada observador se le mostraron 30 transiciones a una imagen contrafáctica (15 para TUM y 15 para NORM) y se le pidió que identificara los cambios morfológicos. Por ejemplo, las imágenes contrafácticas mostraron que el mosaico se clasificó como NORM en lugar de TUM debido a la presencia de células caliciformes sanas y bien ordenadas (Fig. 2c). Por el contrario, el par contrafáctico inverso (NORM a TUM) mostró la pérdida de células caliciformes y tejido conectivo, junto con la aparición de núcleos hipercromáticos, lo que revela cambios morfológicos plausibles que cambiarían la clasificación hacia TUM (Fig. 2d).

Evaluamos aún más la calidad de las imágenes generadas cuantitativamente analizando la distribución de seis tipos de células en imágenes reales y sintéticas (es decir, células epiteliales, células del tejido conectivo, linfocitos, células plasmáticas, eosinófilos y neutrófilos). Para ello, aplicamos un modelo de segmentación y clasificación de núcleos basado en DL previamente entrenado. Los resultados indicaron que las imágenes sintéticas de la mucosa del colon sano tenían distribuciones de tipos de células similares a las imágenes reales (Fig. 2e). Los mosaicos de epitelio displásico sintético contenían predominantemente células epiteliales, con algunas células del tejido conectivo y células inmunitarias (Fig. 2f).

En conjunto, estos hallazgos demuestran que nuestro modelo aprendió y pudo generar características histológicas clave asociadas con la mucosa del colon normal y el epitelio displásico, y que las imágenes contrafácticas pueden servir como herramientas visuales intuitivas para revelar qué características morfológicas influyen en las predicciones del clasificador.

Los contrafácticos mejoran la interpretación de las predicciones lineales del cáncer de hígado

SPANISH TRANSLATION:

Validamos aún más nuestro método entrenando un clasificador lineal MoPaDi (Fig. 1d) para distinguir dos tipos de cáncer hepatobiliar, CHC y CCA, y generando contrafactuales relacionados. Un modelo de regresión logística entrenado con características extraídas de casos de CHC y CCA en el conjunto de datos TCGA Pan-cáncer, logró un AUROC de 0,90 ± 0,01 (IC del 95%) y una precisión media (AP) de 0,57 ± 0,03 en el conjunto de prueba independiente (Fig. 3a). La menor AP se atribuye al desequilibrio del conjunto de datos, con solo el 10% de los pacientes que presentan CCA (Tabla S1). El promedio de las predicciones a nivel de parche para obtener resultados a nivel de paciente arrojó un AUROC de 0,94 ± 0,10, lo que indica una distinción efectiva entre los tipos de cáncer hepatobiliar a pesar de algunos errores a nivel de parche. Un análisis cualitativo de las imágenes contrafactuales generadas reveló que el modelo aprendió con precisión características morfológicas representativas para ambas clases. Los parches de CHC, manipulados para que se asemejen a CCA, mostraron un patrón más glandular, citoplasma eosinofílico reducido y una arquitectura trabecular menor (Fig. 3d). Mientras tanto, los parches de CCA, manipulados para que se asemejen a CHC, mostraron un patrón de crecimiento más trabecular con pérdida de la estructura glandular, inclusiones citoplasmáticas eosinofílicas, posibles cuerpos de Mallory y una reducción del tejido estromal (Fig. 3e). El aumento de los niveles de manipulación resultó en una disminución de los valores de MS-SSIM y un aumento de las predicciones de la clase opuesta. Estos distintos cambios morfológicos en las imágenes contrafactuales demuestran la capacidad del modelo para capturar las características del cáncer hepatobiliar al tiempo que mejora la interpretabilidad del clasificador.

MIL Permite la Clasificación de Tipos de Cáncer a Nivel de Imagen de Toda la Lámpara (WSI) a través de Contrafactuales

Dada la complejidad de las tareas de WSI supervisadas débilmente, donde los fenotipos histológicos son visibles solo en regiones seleccionadas, reemplazamos el clasificador lineal en MoPaDi con MIL basado en la atención para evaluar su potencial para generar explicaciones contrafactuales para las propiedades de los tejidos que solo se definen mediante anotaciones a nivel de lámina, no a nivel de parche. Para ello, entrenamos un autoencoder de difusión, que contiene un extractor de características, y lo combinamos con un clasificador basado en la atención de las características extraídas, lo que permite la generación dirigida de imágenes contrafactuales que revelan características morfológicas clave asociadas con diferentes clases. Investigamos la eficacia de este enfoque en problemas de clasificación de tumores: cáncer de pulmón (LUAD vs. LUSC), cáncer de mama (carcinoma lobulillar invasivo [ILC] vs. carcinoma ductal invasivo [IDC]) y el CHC vs. CCA discutido anteriormente. Utilizando las características de CHC y CCA del extractor de características de nuestro autoencoder de difusión, entrenamos un clasificador MIL basado en la atención. La integración de MIL condujo a un rendimiento predictivo similar al enfoque lineal basado en parches para esta tarea, alcanzando una AUROC media de 0,96 ± 0,01 (Fig. 3b) y una AP de 0,82 ± 0,07 (Fig. S7a) en la validación cruzada de 5 pliegues. Los mosaicos superiores de los pacientes clasificados correctamente mostraron características distintivas: los mosaicos originales de CHC mostraron células dispuestas en láminas o patrones trabeculares con gotitas de lípidos, carentes de estructuras glandulares y estroma fibroso, mientras que los mosaicos originales de CCA mostraron estructuras glandulares y más estroma fibroso (Fig. S7b). Las imágenes contrafactuales guiadas por el clasificador MIL se asemejaron a las generadas utilizando el enfoque lineal con regresión logística a nivel de parche (Fig. S7c, d). El análisis del tipo de célula mostró distribuciones similares entre las imágenes contrafactuales y reales (Fig. S7e, f). El aumento de la amplitud de la manipulación resultó en valores de MS-SSIM más bajos y predicciones más altas de la clase opuesta. Estos distintos cambios morfológicos en las imágenes contrafactuales demuestran la capacidad del modelo para capturar las características del cáncer hepatobiliar al tiempo que mejora la interpretabilidad del clasificador.

Validamos aún más la generación de imágenes contrafactuales guiada por el clasificador MIL entrenando un clasificador LUSC-LUAD, logrando una AUROC media de 0,91 ± 0,01 (con una mejora de 0,10 sobre el método lineal) y una AP de 0,89 ± 0,02 (Fig. S8a). Los patólogos analizaron las transiciones contrafactuales de LUSC a LUAD (Fig. 4a), y uno de ellos notó un aumento de la diferenciación glandular en 4 de 8 pacientes y el otro en 5 de 8 (dos mosaicos superiores por paciente revisado), mientras que ambos observaron una menor pleomorfismo (6/8). Otras características identificadas incluyeron un aumento de la vacuolización (4/8), células más claras (4/8) y una disminución de la solidez tumoral (3/8), lo que sugiere que la ausencia de estas características contribuye a la clasificación como LUSC. Sin embargo, algunos mosaicos contrafactuales conservaron características de LUSC atípicas de LUAD, como cambios discarióticos prominentes, moldeamiento nuclear y diferenciación escamosa residual (Fig. S8c), lo que indica que el modelo puede priorizar otras características al tomar decisiones de clasificación. Además, las transiciones de LUAD a LUSC mostraron una disminución de la arquitectura glandular, un aumento de los patrones de crecimiento sólidos o nidos de células tumorales (4/8; 5/8) y un aumento de la densidad celular (2/8; 5/8). Otras características incluyeron una menor atipia (1/8; 2/8), puentes intercelulares y una perla de queratina (Fig. S8d). Las imágenes contrafactuales mantuvieron composiciones de tipos de células en gran medida estables en la mayoría de los tipos de células, con diferencias menores observadas, notablemente en las células inmunitarias (Fig. S8e). La eficacia de la generación de imágenes contrafactuales se mantuvo alta en ambas clases, con un total del 98,8% de las imágenes contrafactuales con una amplitud de 0,06 que se predijo como la clase opuesta en relación con la original (Fig. S8f). En conjunto, estos datos demuestran que la generación de imágenes contrafactuales guiada por el clasificador MIL funciona eficazmente; por lo tanto, MoPaDi se puede aplicar a conjuntos de datos a nivel de WSI.

Luego, investigamos si se podían identificar características morfológicas significativas en los contrafactuales para la clasificación de IDC e ILC en la cohorte TCGA BRCA. El clasificador entrenado alcanzó una AUROC media de 0,86 ± 0,02 y una AP de 0,64 ± 0,04 (Fig. S9a). En las transiciones contrafactuales de ILC a IDC (Fig. 4b superior), los cambios más consistentemente observados fueron un aumento de la hipercromasia (5/8) y la atipia (4/8), lo que muestra que los mosaicos se clasificaron como ILC debido a la ausencia de estas características. Otras características notables incluyeron un cambio hacia una disposición menos unicelular sin una formación clara del patrón glandular (2-3/8), células tumorales más grandes (3/8) y una disposición de las células tumorales en nidos más grandes (2/8). Algunos mosaicos superiores contenían solo músculo con células tumorales únicas, lo que hacía que la evaluación de las características no fuera factible, pero que potencialmente representaba la naturaleza difusamente infiltrante de estos neoplasmas. Mientras tanto, las transiciones contrafactuales de IDC a ILC (Fig. 4b inferior) carecían de arquitectura glandular (7/8), mostraron nucléolos menos prominentes (8/8) y exhibieron una disposición unicelular de células tumorales (8/8), lo que sugiere que el clasificador distingue IDC en función de la prominencia de los nucléolos y los patrones de crecimiento. Aunque las imágenes generadas parecían representaciones realistas de ILC con el 97,4% de los contrafactuales predichos como la clase invertida (Fig. S9e), los mosaicos superiores que contribuyeron para los que se generaron contrafactuales a menudo carecían de características características de IDC. Sin embargo, a pesar del rendimiento moderado del clasificador y las características inconsistentes en los mosaicos superiores, identificamos características morfológicas distintas de ILC e IDC, lo que indica que el clasificador aprendió distinciones significativas entre estos tipos de cáncer.

Las Transiciones Contrafactuales Explican los Efectos de Lote

Considerando el impacto de los efectos de lote en los análisis histopatológicos, nos centramos a continuación en si se podían identificar los efectos de lote generando explicaciones contrafactuales para los clasificadores que diferencian el centro de origen de las WSI. Primero, demostramos que las características extraídas con un autoencoder de difusión preentrenado, cuando se visualizan en un espacio dimensional reducido, revelaron la agrupación de mosaicos de WSI obtenidos en el mismo centro, es decir, la institución de la que se derivó la muestra, lo que destaca el potencial de la estructura relacionada con el lote en los datos (Fig. 5a).

Hipótesis que la institución de origen de las WSI podría predecirse con precisión con un modelo de aprendizaje profundo. Para probar esto, entrenamos un clasificador MIL para distinguir las WSI en la cohorte BRCA del Roswell Park Comprehensive Cancer Center en Buffalo, NY (identificador E2) de las de otras instituciones. Los modelos de validación cruzada de 5 pliegues lograron una AUROC media de 0,98 ± 0,00 y una AP de 0,87 ± 0,04 (Fig. 5b), lo que confirma estudios anteriores, que demostraron que la institución de origen está codificada en los patrones de las imágenes histopatológicas ^[31].

Para evaluar si estas señales predictivas reflejan factores de confusión subyacentes, comparamos las variables clínicas y moleculares entre los centros. Como se muestra en la Tabla Suplementaria S5, el centro E2 difería de los demás en las frecuencias de subtipos de cáncer de mama, el estado de mutación BRCA1/2 y la etnia del paciente. Luego, generamos explicaciones contrafactuales para los parches de histología de otros centros (no E2) (Fig. 5c). El análisis cuantitativo de las transiciones reveló un aumento en el recuento de células epiteliales, mientras que el número de células del tejido conectivo se mantuvo relativamente constante (Fig. S10). Algunas imágenes contrafactuales revelaron cambios significativos (p < 0,01 o p < 0,05) en el tamaño y la intensidad media del núcleo. Los análisis cualitativos a nivel de tejido revelaron una transición hacia una tinción de eosina más intensa en el estroma, un mayor contraste entre los componentes del tejido, la aparición de grupos de glóbulos rojos y la desaparición o reducción de los adipocitos (Fig. 5c). Por el contrario, cuando se manipulan las muestras de E2 para que se parezcan menos a E2 (Fig. S11b), los recuentos de células epiteliales y del tejido conectivo tenían una relación inversa, es decir, las células epiteliales disminuyeron, mientras que las células del tejido conectivo aumentaron o se mantuvieron en un rango similar (Fig. S12). Las imágenes contrafactuales también exhibieron disminuciones significativas (p < 0,001) en la intensidad nuclear media para ambos tipos de células en todos los ejemplos representativos (Fig. S12).

En conjunto, estos datos confirman los pronunciados efectos de lote entre las instituciones en TCGA y muestran que MoPaDi puede descubrir los patrones morfológicos asociados con ellos.

Las Imágenes Contrafactuales Ayudan a Identificar las Características de un Biomarcador Molecular

Habiendo desarrollado y refinado MoPaDi, finalmente evaluamos su capacidad para predecir biomarcadores moleculares a partir de imágenes de patología y para explicar los patrones morfológicos. Exploramos el vínculo entre el genotipo y el fenotipo investigando las explicaciones contrafactuales para MSI en la cohorte TCGA CRC. Se realizó una validación cruzada de 5 pliegues con MIL para predecir MSI-alto (MSI-H) versus no MSI-alto (no MSI-H), logrando una AUROC media de 0,73 ± 0,08 y una AP media de 0,40 ± 0,09, con una AP más baja que refleja un alto desequilibrio de clases (Fig. 6a). Luego, visualizamos los mosaicos predictivos superiores, que mostraron una alta variabilidad en la tinción (Fig. 6b) y, posteriormente, generamos transiciones contrafactuales para explicar las predicciones del clasificador. Estas transiciones revelaron efectos de lote específicos del centro a través de cambios de color claramente visibles (Fig. 6c, d). Las mediciones cuantitativas respaldaron estas observaciones, mostrando cambios significativos (p < 0,001 o p < 0,01) en la intensidad nuclear media para ambos tipos de células epiteliales y del tejido conectivo (Fig. S13, S14).

Los patólogos identificaron que las imágenes representativas de pacientes MSIH típicamente contenían células inflamatorias, epitelio atípico que carecía de la estructura normal de las criptas intestinales, detritos, pleomorfismo nuclear de alto grado y, en algunos casos, morfología medular o mucinosa, y células en anillo de sello (Fig. 6c y S15). Las transiciones contrafácticas de MSIH a no-MSIH típicamente mostraban un patrón más glandular (7/8), disminución de la mucina (4/8) y un patrón de crecimiento menos sólido o en forma de lámina cuando la imagen original mostraba un crecimiento medular (1/8). El análisis cuantitativo mostró un marcado aumento en el recuento de células epiteliales y de tejido conectivo (Fig. S13). En cuanto a las transiciones contrafácticas de no-MSIH a MSIH (Fig. 6d), los patólogos identificaron la pérdida de la arquitectura glandular como la característica más prominente (7/8). Otras características incluyeron patrones de crecimiento más sólidos (5/8), aumento de la apariencia mucosa (3/8) y una apariencia más vacuolada (4/8). El análisis cuantitativo reveló un aumento en las células inflamatorias, junto con disminuciones en el recuento de células epiteliales y la excentricidad nuclear tanto de las células epiteliales como de las células del tejido conectivo (Fig. S14).

Para cuantificar aún más el realismo de las imágenes contrafácticas generadas, comparamos la composición de los tipos de células entre las imágenes reales y las manipuladas, confirmando que las imágenes contrafácticas preservaron la composición de los tejidos epitelial y conectivo (Fig. S16a,b). Además, evaluamos la eficacia de nuestro enfoque de generación contrafáctica evaluando las predicciones del clasificador en función de las amplitudes de manipulación crecientes ( ), y encontramos que la mayoría de las imágenes contrafácticas alcanzaron la clase objetivo incluso con valores bajos de (Fig. S16c). Además, para evaluar aún más la calidad perceptiva de las imágenes contrafácticas, realizamos una evaluación a ciegas con dos patólogos. Cada observador revisó 300 imágenes (150 reales, 150 sintéticas) y clasificó cada imagen como real o sintética (Fig. S17a). Los patólogos clasificaron erróneamente entre el 26,7% y el 63,3% de las imágenes sintéticas como reales en todas las tareas, lo que indica que las imágenes generadas por MoPaDi a menudo exhiben un alto realismo perceptivo (Fig. S17b).

Estos hallazgos, desde las observaciones de los patólogos sobre los cambios arquitectónicos en las transiciones contrafácticas hasta los análisis cuantitativos de la composición celular, revelan las características que el clasificador de aprendizaje profundo utiliza para distinguir los tumores MSIH de los tumores no-MSIH, mejorando la interpretabilidad del proceso de predicción.

Los autoencoders de difusión codifican de manera eficiente las imágenes de histopatología

El primer paso para evaluar un modelo generativo es evaluar la fidelidad de las incrustaciones de imágenes. Por lo tanto, evaluamos el rendimiento de nuestros autoencoders de difusión personalizados en la reconstrucción de imágenes de histopatología, comparando 1000 imágenes originales y reconstruidas utilizando la métrica de error cuadrático medio (MSE) y la métrica de índice de similitud estructural multiescala (MS-SSIM). Encontramos que los modelos lograron un alto rendimiento en diferentes conjuntos de datos, como lo indican los bajos valores de MSE y los altos valores de MS-SSIM (Tabla 1). Una evaluación cualitativa confirmó una alta tasa de reconstrucciones casi perfectas, aunque a veces se observó que algunos artefactos menores se acentuaban mediante el proceso de compresión-descompresión (Fig. S1). Para evaluar aún más la capacidad del codificador para aprender características histopatológicas significativas, entrenamos modelos implícitos de difusión de eliminación de ruido (DDIM) adicionales en vectores de características extraídos por la parte del extractor de características del autoencoder de difusión. Esto permitió el muestreo de vectores de características sintéticos que se utilizan posteriormente para la generación de nuevas imágenes. Estos modelos produjeron imágenes sintéticas de alta calidad, indicado por la baja distancia de Fréchet Inception (FID) entre un conjunto de imágenes originales reservado y 10.000 imágenes sintéticas generadas (Fig. S2) para la mayoría de los conjuntos de datos: 16,85 para TCGA CRC, 17,85 para TCGA BRCA y 4,71 para TCGA Pan-cancer. En contraste, el CRC-VAL-HE-7K tuvo una puntuación FID más alta de 36,95 (Tabla 1). En conjunto, estos datos muestran que nuestros autoencoders de difusión personalizados capturan eficazmente las características clave de la imagen y reconstruyen parches histopatológicos en múltiples conjuntos de datos, lo que demuestra su potencial como una base adecuada para generar explicaciones contrafácticas.

Las imágenes contrafácticas de tipo de tejido exhiben patrones significativos

A continuación, evaluamos las capacidades de MoPaDi para generar imágenes contrafácticas para el clasificador de tipo de tejido, es decir, para cambiar la clase predicha de una imagen determinada. Primero, entrenamos un autoencoder de difusión junto con un extractor de características (Fig. 1c) en el conjunto de datos NCT-CRC-HE-100k, que representa 9 clases de tejido en el cáncer colorrectal (Fig. S3a). Las características extraídas del conjunto de datos de entrenamiento formaron grupos distintos tras la reducción de dimensionalidad, lo que sugiere que el modelo aprendió representaciones específicas de la clase significativas (Fig. 2a). Luego, entrenamos un clasificador de regresión logística en las características extraídas para predecir conjuntamente las nueve clases de tejido. Para la generación de explicaciones contrafácticas, nos centramos en el par clínicamente más relevante: mucosa del colon normal (NORM) y epitelio displásico (TUM). Sin embargo, también se pueden generar imágenes contrafácticas para otros tipos de tejido predichos por el clasificador (ejemplos representativos de contrafácticos de tejido adiposo, músculo liso, moco, detritos, linfocitos y estroma asociado al cáncer que se muestran en la Figura S4 complementaria). Evaluado en el conjunto de datos independiente CRC-VAL-HE-7K, el clasificador alcanzó un área bajo la curva de características operativas del receptor (AUROC) de 0,91 ± 0,01 para NORM y 0,98 ± 0,01 para TUM (intervalos de confianza [IC] del 95% obtenidos mediante bootstrapping; Fig. 2b). Los valores de AUROC para las clases restantes oscilaron entre 0,79 y 1,00 (Fig. S3b). Utilizamos el vector de dirección de clase del clasificador para desplazar las características latentes hacia una clase objetivo seleccionada X. Las características manipuladas luego condicionaron el decodificador basado en difusión (Fig. 1f), lo que nos permitió generar imágenes contrafácticas para parches del conjunto de datos CRC-VAL-HE-7K con amplitudes de manipulación cada vez mayores ( ). Las características manipuladas también se desplazaron más cerca de la clase opuesta en el espacio de menor dimensión (Fig. 2a, diagrama ampliado), particularmente cuando las características están cerca del límite entre las clases (como se ve en la imagen de la mucosa del colon que limita con el tejido displásico y sano en la Fig. 2c). Para cuantificar la eficacia de la generación de contrafácticos, calculamos el porcentaje de imágenes manipuladas que se predijeron como la clase opuesta en función de las amplitudes crecientes (Fig. S5c). Observamos que las transiciones de NORM a TUM generalmente requirieron amplitudes más bajas para cambiar la predicción del clasificador, lo que es consistente con el AUC más bajo para NORM. Además, para evaluar si las imágenes contrafácticas generadas satisfacen otras propiedades axiomáticas ^[30] además de la eficacia, examinamos las transformaciones nulas e inversas para evaluar la composición y la reversibilidad (Fig. S6 complementaria). En el caso nulo (NORM a NORM), observamos cambios mínimos en la apariencia y altos valores de SSIM, lo que confirma que las manipulaciones consistentes con la clase preservan la fidelidad visual y no introducen alteraciones espurias (Fig. S6a complementaria). En contraste, la inversión de una transformación (por ejemplo, TUM a NORM a TUM) no produce la imagen original (Fig. S6b complementaria), lo que se espera debido al diseño del marco de MoPaDi, que prioriza la interpretabilidad específica del clasificador sobre las transformaciones biyectivas.

Para evaluar aún más la calidad de las imágenes contrafácticas, realizamos un estudio de evaluación a ciegas con dos patólogos. A cada observador se le mostraron 30 transiciones a una imagen contrafáctica (15 para TUM y 15 para NORM) y se le pidió que identificara los cambios morfológicos. Por ejemplo, las imágenes contrafácticas mostraron que la imagen se clasificó como NORM en lugar de TUM debido a la presencia de células caliciformes sanas y bien ordenadas (Fig. 2c). Por el contrario, el par contrafáctico inverso (NORM a TUM) mostró la pérdida de células caliciformes y tejido conectivo, junto con la aparición de núcleos hipercromáticos, lo que revela cambios morfológicos plausibles que cambiarían la clasificación hacia TUM (Fig. 2d).

Además, evaluamos cuantitativamente la calidad de las imágenes generadas analizando la distribución de seis tipos de células en imágenes reales y sintéticas (es decir, células epiteliales, células del tejido conectivo, linfocitos, células plasmáticas, eosinófilos y neutrófilos). Para ello, aplicamos un modelo de segmentación y clasificación de núcleos basado en aprendizaje profundo previamente entrenado. Los resultados indicaron que las imágenes sintéticas de la mucosa del colon sano tenían distribuciones de tipos de células similares a las imágenes reales (Fig. 2e). Las imágenes sintéticas de epitelio displásico contenían predominantemente células epiteliales, con algunas células del tejido conectivo y células inmunitarias (Fig. 2f).

En conjunto, estos hallazgos demuestran que nuestro modelo aprendió y pudo generar características histológicas clave asociadas con la mucosa del colon normal y el epitelio displásico, y que las imágenes contrafácticas pueden servir como herramientas visuales intuitivas para revelar qué características morfológicas influyen en las predicciones del clasificador.

Los contrafácticos mejoran la interpretación de las predicciones lineales del cáncer de hígado

Validamos aún más nuestro método entrenando un clasificador lineal MoPaDi (Fig. 1d) para distinguir dos tipos de cáncer hepatobiliar, HCC y CCA, y generando contrafácticos relacionados. Un modelo de regresión logística entrenado en características extraídas de casos de HCC y CCA en el conjunto de datos TCGA Pan-cancer logró un AUROC de 0,90 ± 0,01 (IC del 95%) y una precisión promedio (AP) de 0,57 ± 0,03 en el conjunto de prueba reservado (Fig. 3a). La AP más baja se atribuye al conjunto de datos desequilibrado, con solo el 10% de los pacientes que tienen CCA (Tabla S1). El promedio de las predicciones a nivel de parche para obtener predicciones a nivel de paciente produjo un AUROC de 0,94 ± 0,10, lo que indica una distinción eficaz entre los tipos de cáncer hepatobiliar a pesar de algunos errores a nivel de parche. Un análisis cualitativo de las imágenes contrafácticas generadas reveló que el modelo aprendió con precisión las características morfológicas representativas de ambas clases. Los parches de HCC manipulados para que se parecieran a CCA mostraron un patrón más glandular, una reducción del citoplasma eosinofílico y una menor arquitectura trabecular (Fig. 3d). Mientras tanto, los parches de CCA manipulados para que se parecieran a HCC mostraron un patrón de crecimiento más trabecular con pérdida de la estructura glandular, inclusiones citoplasmáticas eosinofílicas, posibles cuerpos de Mallory y una reducción del tejido del estroma (Fig. 3e). El aumento de los niveles de manipulación resultó en una disminución de los valores de MS-SSIM y un aumento de las predicciones de la clase opuesta. Estos distintos cambios morfológicos en las imágenes contrafácticas demuestran la capacidad del modelo para capturar las características del cáncer hepatobiliar y, al mismo tiempo, mejorar la interpretabilidad del clasificador.

MIL permite la clasificación de cáncer a nivel de WSI y los contrafácticos

SPANISH TRANSLATION:

Dada la complejidad de las tareas de WSI con supervisión débil, donde los fenotipos histológicos solo son visibles en regiones específicas, reemplazamos el clasificador lineal en MoPaDi con MIL basado en atención para evaluar su potencial para generar explicaciones contrafácticas para las propiedades de los tejidos que solo se definen mediante anotaciones a nivel de lámina, y no mediante anotaciones a nivel de parche. Para ello, entrenamos un autoencoder de difusión, que contiene un extractor de características, y lo combinamos con un clasificador basado en atención de las características extraídas, lo que permite la generación dirigida de imágenes contrafácticas que revelan características morfológicas clave asociadas con diferentes clases. Investigamos la eficacia de este enfoque en problemas de clasificación de tumores: cáncer de pulmón (LUAD frente a LUSC), cáncer de mama (carcinoma lobulillar invasivo [ILC] frente a carcinoma ductal invasivo [IDC]) y el HCC frente a CCA discutido anteriormente. Utilizando las características de HCC y CCA del extractor de características de nuestro autoencoder de difusión, entrenamos un clasificador MIL basado en atención. La integración de MIL condujo a un rendimiento predictivo similar al del enfoque lineal basado en parches para esta tarea, alcanzando un AUROC medio de 0,96 ± 0,01 (Fig. 3b) y un AP de 0,82 ± 0,07 (Fig. S7a) en la validación cruzada de 5 pliegues. Los parches superiores de los pacientes clasificados correctamente mostraron características distintivas: los parches originales de HCC mostraron células dispuestas en láminas o patrones trabeculares con gotitas de lípidos, carentes de estructuras glandulares y estroma fibroso, mientras que los parches originales de CCA mostraron estructuras glandulares y un estroma más fibroso (Fig. S7b). Las imágenes contrafácticas guiadas por el clasificador MIL se asemejaron a las generadas utilizando el enfoque lineal con regresión logística a nivel de parche (Fig. S7c, d). El análisis del tipo celular mostró distribuciones similares entre las imágenes contrafácticas y reales (Fig. S7e, f). El aumento de la amplitud de manipulación ( ) resultó en predicciones más altas de la clase opuesta, con el 100% de las imágenes generadas predichas como la clase opuesta en ? = 0,08 (Fig. 3c).

Validamos aún más la generación de imágenes contrafácticas guiada por el clasificador MIL entrenando un clasificador LUSC-LUAD, logrando un AUROC medio de 0,91 ± 0,01 (con una mejora de 0,10 sobre el método lineal) y un AP de 0,89 ± 0,02 (Fig. S8a). Los patólogos analizaron las transiciones contrafácticas de LUSC a LUAD (Fig. 4a), y uno de ellos observó un aumento de la diferenciación glandular en 4 de 8 pacientes y el otro en 5 de 8 (dos parches superiores por paciente revisado), mientras que ambos observaron una menor pleomorfismo (6/8). Otras características identificadas incluyeron un aumento de la vacuolización (4/8), células más claras (4/8) y una disminución de la solidez tumoral (3/8), lo que sugiere que la ausencia de estas características contribuye a la clasificación como LUSC. Sin embargo, algunos parches contrafácticos conservaron características de LUSC atípicas de LUAD, como cambios discarióticos prominentes, moldeamiento nuclear y diferenciación escamosa residual (Fig. S8c), lo que indica que el modelo puede priorizar otras características al tomar decisiones de clasificación. Además, las transiciones de LUAD a LUSC mostraron una disminución de la arquitectura glandular, un aumento de los patrones de crecimiento sólido o nidos de células tumorales (4/8; 5/8) y un aumento de la densidad celular (2/8; 5/8). Otras características incluyeron una menor atipia (1/8; 2/8), puentes intercelulares y una perla de queratina (Fig. S8d). Las imágenes contrafácticas mantuvieron en gran medida composiciones estables del tipo celular en la mayoría de los tipos celulares, con pequeñas diferencias observadas, notablemente en las células inmunitarias (Fig. S8e). La eficacia de la generación de imágenes contrafácticas se mantuvo alta en ambas clases, con un total del 98,8% de las imágenes contrafácticas con una amplitud de ? = 0,06 predichas como la clase opuesta en relación con la original (Fig. S8f). En conjunto, estos datos demuestran que la generación de imágenes contrafácticas guiada por el clasificador MIL funciona eficazmente; por lo tanto, MoPaDi se puede aplicar a conjuntos de datos a nivel de WSI.

Luego, investigamos si se podían identificar características morfológicas significativas en los contrafácticos para la clasificación de IDC e ILC en la cohorte TCGA BRCA. El clasificador entrenado alcanzó un AUROC medio de 0,86 ± 0,02 y un AP de 0,64 ± 0,04 (Fig. S9a). En las transiciones contrafácticas de ILC a IDC (Fig. 4b superior), los cambios más consistentemente observados fueron un aumento de la hipercromasia (5/8) y la atipia (4/8), lo que muestra que los parches se clasificaron como ILC debido a la ausencia de estas características. Otras características notables incluyeron un cambio hacia una disposición menos unicelular sin una formación clara del patrón glandular (2-3/8), células tumorales más grandes (3/8) y una disposición de las células tumorales en nidos más grandes (2/8). Algunos parches superiores contenían solo músculo con células tumorales únicas, lo que hacía que la evaluación de las características no fuera factible, pero potencialmente representando la naturaleza difusamente infiltrativa de estos neoplasmas. Mientras tanto, las transiciones contrafácticas de IDC a ILC (Fig. 4b inferior) carecían de arquitectura glandular (7/8), mostraron nucléolos menos prominentes (8/8) y exhibieron una disposición unicelular de las células tumorales (8/8), lo que sugiere que el clasificador distingue IDC en función de la prominencia de los nucléolos y los patrones de crecimiento. Aunque las imágenes generadas parecían representaciones realistas de ILC, con el 97,4% de los contrafácticos predichos como la clase invertida (Fig. S9e), los parches superiores que contribuyeron para los que se generaron contrafácticos a menudo carecían de características características de IDC. Sin embargo, a pesar del rendimiento moderado del clasificador y las características inconsistentes en los parches superiores, identificamos características morfológicas distintas de ILC e IDC, lo que indica que el clasificador aprendió distinciones significativas entre estos tipos de cáncer.

Las transiciones contrafácticas explican los efectos de lote

Considerando el impacto de los efectos de lote en los análisis histopatológicos, nos centramos a continuación en si se podían identificar los efectos de lote mediante la generación de explicaciones contrafácticas para los clasificadores que diferencian el centro de origen de las WSI. Primero, demostramos que las características extraídas con un autoencoder de difusión preentrenado, cuando se visualizan en un espacio de dimensión reducida, revelaron la agrupación de parches de WSI obtenidos en el mismo centro, es decir, la institución de la que se derivó la muestra, lo que destaca el potencial de la estructura relacionada con el lote en los datos (Fig. 5a).

Hipótesis que la institución de origen de las WSI podría predecirse con precisión con un modelo de aprendizaje profundo. Para probar esto, entrenamos un clasificador MIL para distinguir las WSI en la cohorte BRCA del Roswell Park Comprehensive Cancer Center en Buffalo, NY (identificador E2 en TCGA) de las de otras instituciones. Los modelos de validación cruzada de 5 pliegues lograron un AUROC medio de 0,98 ± 0,00 y un AP de 0,87 ± 0,04 (Fig. 5b), lo que confirma estudios anteriores, que demostraron que la institución de origen está codificada en los patrones de las imágenes de histopatología ^[31].

Para evaluar si estas señales predictivas reflejan factores de confusión subyacentes, comparamos las variables clínicas y moleculares entre los centros. Como se muestra en la Tabla Suplementaria S5, el centro E2 difería de los demás en las frecuencias de subtipos de cáncer de mama, el estado de mutación BRCA1/2 y la etnia del paciente. Luego, generamos explicaciones contrafácticas para los parches de histología de otros centros (no E2) (Fig. 5c). El análisis cuantitativo de las transiciones reveló un aumento en el recuento de células epiteliales, mientras que el número de células del tejido conectivo se mantuvo relativamente constante (Fig. S10). Algunas imágenes contrafácticas revelaron cambios significativos (p < 0,01 o p < 0,05) en el tamaño y la intensidad media del núcleo. Los análisis cualitativos a nivel de tejido revelaron una transición hacia una tinción de eosina más intensa en el estroma, un mayor contraste entre los componentes del tejido, la aparición de grupos de glóbulos rojos y la desaparición o reducción de los adipocitos (Fig. 5c). Por el contrario, cuando se manipulan las muestras de E2 para que se parezcan menos a E2 (Fig. S11b), los recuentos de células epiteliales y del tejido conectivo tenían una relación inversa, es decir, las células epiteliales disminuyeron, mientras que las células del tejido conectivo aumentaron o se mantuvieron en un rango similar (Fig. S12). Las imágenes contrafácticas también exhibieron disminuciones significativas (p < 0,001) en la intensidad nuclear media para ambos tipos de células en todos los ejemplos representativos (Fig. S12).

En conjunto, estos datos confirman los pronunciados efectos de lote entre las instituciones en TCGA y muestran que MoPaDi puede descubrir los patrones morfológicos asociados con ellos.

Las imágenes contrafácticas ayudan a identificar las características de un biomarcador molecular

Habiendo desarrollado y refinado MoPaDi, finalmente evaluamos su capacidad para predecir biomarcadores moleculares a partir de imágenes de patología y para explicar los patrones morfológicos. Exploramos el vínculo entre el genotipo y el fenotipo investigando las explicaciones contrafácticas para MSI en la cohorte TCGA CRC. Se realizó una validación cruzada de 5 pliegues con MIL para predecir MSI-alto (MSIH) frente a no MSIH-alto (noMSIH), logrando un AUROC medio de 0,73 ± 0,08 y un AP medio de 0,40 ± 0,09, con un AP más bajo que refleja un alto desequilibrio de clases (Fig. 6a). Luego, visualizamos los parches predictivos superiores, que mostraron una alta variabilidad en la tinción (Fig. 6b) y, posteriormente, generamos transiciones contrafácticas para explicar las predicciones del clasificador. Estas transiciones revelaron efectos de lote específicos del centro a través de cambios de color claramente visibles (Fig. 6c, d). Las mediciones cuantitativas respaldaron estas observaciones, mostrando cambios significativos (p < 0,001 o p < 0,01) en la intensidad nuclear media para ambos tipos de células epiteliales y del tejido conectivo (Fig. S13, S14).

Los patólogos identificaron que los parches predictivos superiores de los pacientes MSIH típicamente contenían células inflamatorias, epitelio atípico que carecía de la estructura normal de las criptas intestinales, detritos, pleomorfismo nuclear de alto grado y, en algunos casos, morfología medular o mucinosa y células en anillo de sello (Fig. 6c y S15). Las transiciones contrafácticas de MSIH a noMSIH típicamente mostraron un patrón más glandular (7/8), disminución de la mucina (4/8) y un patrón de crecimiento menos sólido o en forma de lámina cuando el parche original mostraba un crecimiento medular (1/8). El análisis cuantitativo mostró un marcado aumento en los recuentos de células epiteliales y del tejido conectivo (Fig. S13). En cuanto a las transiciones contrafácticas de noMSIH a MSIH (Fig. 6d), los patólogos identificaron la pérdida de la arquitectura glandular como la característica más prominente (7/8). Otras características incluyeron patrones de crecimiento más sólidos (5/8), una apariencia más mucosa (3/8) y una apariencia más vacuolada (4/8). El análisis cuantitativo reveló un aumento de las células inflamatorias, junto con disminuciones en los recuentos de células epiteliales y la excentricidad nuclear de las células epiteliales y del tejido conectivo (Fig. S14).

Para cuantificar aún más el realismo de las imágenes contrafácticas generadas, comparamos la composición del tipo celular entre los parches reales y manipulados, confirmando que las imágenes contrafácticas preservaron la composición de los tipos de células epiteliales y del tejido conectivo (Fig. S16a, b). Además, evaluamos la eficacia de nuestro enfoque de generación contrafáctica evaluando las predicciones del clasificador en las amplitudes de manipulación crecientes ( ), y encontramos que la mayoría de los contrafácticos alcanzaron la clase objetivo incluso en valores bajos de ? (Fig. S16c). Además, para evaluar aún más la calidad perceptual de las imágenes contrafácticas, realizamos una evaluación a ciegas con dos patólogos. Cada observador revisó 300 parches (150 reales, 150 sintéticos) y clasificó cada parche como real o sintético (Fig. S17a). Los patólogos clasificaron erróneamente entre el 26,7% y el 63,3% de las imágenes sintéticas como reales en todas las tareas, lo que indica que las imágenes generadas por MoPaDi a menudo exhiben un alto realismo perceptual (Fig. S17b).

Estos hallazgos, desde las observaciones de los patólogos sobre los cambios arquitectónicos en las transiciones contrafácticas hasta los análisis cuantitativos de la composición celular, revelan las características que el clasificador de aprendizaje profundo utiliza para distinguir los tumores MSIH de los noMSIH, lo que mejora la interpretabilidad del proceso de predicción.

Discusión

A lo largo de este estudio, desarrollamos un modelo de difusión, MoPaDi, capaz de generar imágenes contrafácticas significativas y lo mejoramos con MIL para manejar imágenes de portaobjetos completos (WSIs). MoPaDi demuestra cómo los modelos de difusión pueden transformar la patología computacional de una herramienta descriptiva pasiva en un instrumento para la experimentación virtual. A diferencia de los enfoques tradicionales de aprendizaje profundo (DL) que simplemente asignan imágenes a predicciones, MoPaDi permite a los investigadores formular y responder preguntas del tipo "¿qué pasaría si?" sobre especímenes biológicos a través de la generación de imágenes contrafácticas.

La eficacia de este enfoque se validó exhaustivamente en múltiples escenarios experimentales, abarcando múltiples tipos de tumores y proporcionando evidencia cuantitativa y cualitativa de la plausibilidad de las imágenes generadas mediante el uso de varias métricas ortogonales. Nuestro autoencoder de difusión logró una excelente calidad de reconstrucción de imágenes (MS-SSIM) y generó imágenes contrafácticas altamente realistas que a menudo eran indistinguibles de las muestras histológicas reales en evaluaciones ciegas realizadas por patólogos. Además, proporcionamos evidencia de que MoPaDi captura y recapitula procesos biológicos clave. Por ejemplo, la tendencia general de las distribuciones de tipos de células en las imágenes generadas de cáncer colorrectal se alinea con las características establecidas del microambiente tumoral y del tejido normal adyacente^[32]. Las teselas tumorales mostraron altas concentraciones de células epiteliales, especialmente en las transiciones de tejido normal a tumoral, lo que sugiere que el modelo reconoce la abundancia epitelial como una característica tumoral clave, lo que es consistente con la biología tumoral^[33]. De manera similar, para distinguir los tipos de tumores hepáticos y los tipos de tumores pulmonares, nuestro modelo recapitula propiedades biológicas clave^[34]–^[36]. Finalmente, extendimos nuestro análisis a biomarcadores moleculares investigando el estado de MSI en el cáncer colorrectal. Si bien se logró un rendimiento moderado en comparación con los modelos de última generación^[3], MoPaDi reveló patrones morfológicos clave asociados con el estado de MSI a través de explicaciones contrafácticas. Incluso con un conjunto limitado de teselas predictivas principales, los patólogos identificaron características características como las células en anillo de sello, los patrones mucinosos y medulares, la infiltración inflamatoria y la diferenciación deficiente, que se sabe que están asociadas con el MSI en el cáncer colorrectal^[37]–^[41]. Estos hallazgos son relevantes porque demuestran que los modelos de DL no solo pueden reconocer patrones en las imágenes de patología, sino que también pueden manipularlos de manera biológicamente significativa. A diferencia de los mapas de calor de atención estándar que se utilizan típicamente en la histopatología computacional, que resaltan amplias regiones de interés y pueden conducir a un sesgo de confirmación^[6], nuestro enfoque identifica características específicas que el modelo utiliza para las predicciones.

Como otra aplicación de MoPaDi, demostramos que puede identificar la razón subyacente de los efectos de lote. Los efectos de lote son otro problema importante en la patología computacional porque los modelos de DL a menudo aprenden las variaciones en las técnicas de recopilación de datos entre diferentes centros en lugar de centrarse en las características morfológicas específicas del objetivo^[42]. Nosotros y otros hemos demostrado que las WSIs del centro específico se pueden predecir con alta precisión^[31],^[43]. Nuestro análisis cualitativo y cuantitativo de las imágenes contrafácticas generadas indicó que el clasificador aprende no solo las variaciones de tinción, sino también las diferencias histológicas que pueden provenir de las variaciones biológicas en las poblaciones de pacientes tratados en diferentes centros, como las diferentes composiciones de la cohorte. Estos hallazgos son consistentes con la literatura que muestra que las WSIs de TCGA contienen una firma multifactorial específica del sitio^[31]. La ventaja de MoPaDi es que estas diferencias a nivel de centro se pueden visualizar y cuantificar para cada imagen, profundizando nuestra comprensión de los efectos de lote a un nivel granular.

Finalmente, MoPaDi es el primer modelo generativo que funciona en un marco MIL para generar explicaciones contrafácticas para biomarcadores que solo se definen a nivel de anotaciones de portaobjetos. Esta capacidad es importante porque muchos biomarcadores moleculares y clínicos importantes en la patología computacional solo están disponibles a nivel de portaobjetos completo, no a nivel de parche. Al combinar los modelos de difusión con MIL, habilitamos la interpretación de problemas de aprendizaje supervisado débil que son comunes en la práctica clínica.

Nuestro enfoque tiene varias limitaciones importantes. Los resultados se limitan actualmente al análisis a nivel de parche y requieren una validación cuidadosa por parte de expertos en el campo para garantizar la plausibilidad biológica. Cada conjunto de datos requiere el entrenamiento de un modelo de autoencoder de difusión personalizado, lo que es computacionalmente intensivo y requiere mucho tiempo, desde varios días hasta semanas en hardware de consumo, según la complejidad del conjunto de datos. Aunque el modelo generalmente genera imágenes realistas, a veces no logra capturar matices biológicos sutiles; por ejemplo, en las transiciones del cáncer colorrectal, observamos casos en los que las imágenes generadas carecían de una estructura adecuada de la membrana basal o mostraban una hipercromasia nuclear insuficiente. Además, si bien nuestras distribuciones de tipos de células generalmente se alinean con la biología tumoral conocida, el modelo muestra sesgos consistentes en la generación de ciertos tipos de células sobre otros. El trabajo futuro podría abordar estas limitaciones integrando modelos de base de patología con la generación contrafáctica basada en la difusión para mejorar tanto el rendimiento predictivo como la precisión biológica, al tiempo que se mantienen las ventajas de la síntesis de imágenes de alta calidad y la manipulación selectiva de características.

De cara al futuro, este trabajo abre nuevas posibilidades para la patología computacional. Al permitir la experimentación virtual, herramientas como MoPaDi podrían ayudar a los investigadores a preseleccionar hipótesis antes de realizar experimentos de laboratorio húmedo costosos y que requieren mucho tiempo. Esto podría ser particularmente valioso dada la creciente restricción de las pruebas con animales y el desafío de traducir los resultados de los modelos animales a los humanos. Además, estos métodos podrían proporcionar nuevas perspectivas sobre las características morfológicas que se correlacionan con los resultados, lo que podría revelar mecanismos biológicos previamente desconocidos. A medida que estos métodos continúen evolucionando, pueden convertirse en una parte integral del conjunto de herramientas de investigación del cáncer, complementando los enfoques experimentales tradicionales y acelerando el ritmo del descubrimiento en la biología del cáncer.

Métodos

Declaración ética

Este estudio se llevó a cabo de acuerdo con la Declaración de Helsinki. Analizamos retrospectivamente muestras de pacientes anonimizadas utilizando datos disponibles públicamente de "The Cancer Genome Atlas" (TCGA, https://portal.gdc.cancer.gov) y Zenodo. La comisión de ética de la Facultad de Medicina de la Universidad Técnica de Dresde proporcionó directrices para los procedimientos del estudio.

Conjuntos de datos

Este estudio exploró múltiples conjuntos de datos (Fig. 1b), comenzando con el conjunto de datos NCT-CRC-HE-100K de acceso público^[44]. Este conjunto de datos comprende 100 000 imágenes histopatológicas teñidas con H&E derivadas de 86 muestras fijadas en formalina y embebidas en parafina (FFPE). Estas muestras representan tanto tejidos humanos de CRC como tejidos normales. El conjunto de datos abarca nueve clases distintas de tejidos: tejido adiposo, fondo, detritos, linfocitos, moco, músculo liso, mucosa normal del colon, estroma asociado al cáncer, epitelio de adenocarcinoma colorrectal (Fig. S3a). Se utilizaron todas las clases para entrenar el autoencoder de difusión. Las imágenes, cada una con una resolución de 224 × 224 píxeles a 0,5 micras por píxel (MPP), se normalizaron el color con el método de Macenko^[45]. El modelo entrenado se evaluó en 7180 parches de imágenes no normalizados en color del conjunto de datos CRC-VAL-HE-7K, publicado junto con el conjunto de datos NCT-CRC-HE-100K y que sirve como un conjunto de datos no superpuesto para fines de prueba^[44]. La investigación se extendió a un segundo conjunto de datos de CRC del Cancer Genome Atlas Research Network (TCGA), que comprende WSIs obtenidas de muestras FFPE. La cohorte de TCGA BRCA también se utilizó para explorar explicaciones contrafácticas para este tipo de cáncer. Finalmente, utilizamos otro conjunto de datos de acceso público, denominado TCGA Pan-cancer, donde se extrajeron parches de resolución variable (256 × 256 píxeles a MPP que oscila entre 0,5 y 1) de regiones tumorales de WSIs de 32 tipos de cáncer^[46].

Preprocesamiento de datos

Se realizó una división del 10-20% de los datos a nivel del paciente, según el tamaño original de la cohorte, antes del preprocesamiento para crear los conjuntos de entrenamiento y prueba, con el número exacto de pacientes indicado en la Tabla S1. Los datos de prueba se utilizaron para evaluar el rendimiento del clasificador y evaluar la calidad de la reconstrucción, generación y manipulación de imágenes. Nos aseguramos de que muchos centros estuvieran solo en el conjunto de prueba, excepto uno más grande para el análisis de los efectos de lote en TCGA BRCA. Posteriormente, para los conjuntos de datos de TCGA, donde se procesaron directamente las WSIs sin procesar, las imágenes se teselaron para obtener parches que midieran 512 × 512 píxeles a 0,5 MPP. Las WSIs que no tenían el valor MPP original en los metadatos o no tenían anotaciones de tumores disponibles se descartaron. Esto resultó en 1115 WSIs de 1046 pacientes y 588 WSIs de 582 pacientes para las cohortes de BRCA y CRC, respectivamente. Los parches se derivaron de las regiones de tejido determinadas mediante la detección de bordes de Canny. Luego, para ambas cohortes, se filtraron los parches derivados de las regiones no tumorales, conservando solo aquellos que se originaban en las áreas tumorales. Este proceso de selección se guió por las anotaciones de área tumoral proporcionadas por los residentes de patología supervisados por un patólogo experto. Se incluyeron los parches que se superponían al menos en un 60% con las áreas tumorales anotadas. Durante el entrenamiento del modelo de difusión, los canales de cada imagen se escalaron para lograr una media de 0,5 y una desviación estándar de 0,5, estandarizando así la distribución de los valores de píxeles en todo el conjunto de datos.

Autoencoders de difusión

La arquitectura de MoPaDi se basa en la implementación oficial de autoencoders de difusión de Preechakul et al.^[26]. Consiste en un decodificador de imágenes DDIM condicional, condicionado en un vector de características obtenido con una red neuronal convolucional (CNN) de aprendizaje automático (el codificador). Nos referimos a este codificador como el extractor de características, que aprende a extraer información de alto nivel significativa (vectores de características) de las imágenes de entrada (Fig. 1c). El codificador y el decodificador se entrenan conjuntamente optimizando una función de pérdida de predicción de ruido simplificada (Ecuación 1):

donde es el ruido predicho en el paso de difusión , es la imagen ruidosa en ese paso, es el vector de características codificado y es el ruido gaussiano muestreado. Esta función de pérdida anima al codificador a producir vectores de características significativos y permite al decodificador reconstruir imágenes de alta fidelidad a partir de ellos.

Entrenamos cuatro modelos de autoencoder separados para diferentes conjuntos de datos. Para los conjuntos de datos con imágenes más pequeñas (224 × 224 o 256 × 256 píxeles), utilizamos 8 unidades de procesamiento gráfico (GPU) Nvidia A100 de 40 GB, mientras que para los conjuntos de datos con imágenes más grandes (512 × 512 píxeles), utilizamos 4 GPU Nvidia A100 de 80 GB. Los modelos se entrenaron hasta la convergencia, es decir, hasta que la puntuación FID aproximada, calculada en 5000 imágenes, fuera inferior a 20 (~10 para los conjuntos de datos con parches más pequeños). La duración del entrenamiento varió de varios días a semanas debido a las diferentes complejidades de los conjuntos de datos. Se utilizó un tamaño de lote global de 24 para los modelos de 512 × 512 píxeles y 64 para los modelos más pequeños, divididos uniformemente entre las GPU, y una tasa de aprendizaje de 10-4. Para evaluar la calidad del espacio latente aprendido por el modelo de autoencoder y generar nuevas imágenes sintéticas, también entrenamos un DDIM latente en la distribución de vectores de características obtenidos del codificador basado en la difusión.

Clasificadores y generación de imágenes contrafácticas

Para permitir la generación de imágenes contrafácticas guiada por clasificadores, primero establecemos modelos de clasificación tanto para tareas linealmente separables como no separables. Para las tareas linealmente separables, como la clasificación de tipos de tejido, entrenamos un clasificador de regresión logística multiclase con características de 512 dimensiones extraídas con un extractor de características MoPaDi preentrenado (Fig. 1d). Cada tesela se anota con un vector objetivo "one-hot" que indica su clase real. Las características se normalizan a una media cero y una varianza unitaria antes de la clasificación. Aunque la tarea es multiclase, la tratamos como un problema "uno contra el resto" aplicando la pérdida de entropía cruzada binaria de forma independiente a cada clase. El proceso de entrenamiento involucró 300.000 exposiciones de teselas.

Para las clases linealmente no separables, como el estado de biomarcadores a nivel del paciente, adoptamos un enfoque MIL (Multiple Instance Learning) utilizando "pooling" basado en transformadores. Un clasificador basado en transformadores procesa conjuntos de características a nivel de tesela, aplicando normalización de capa, atención cruzada multi-cabeza y un bloque de autoatención, seguido de una cabeza de clasificador con dos capas totalmente conectadas (con "dropout" y activación SiLU^[47]) y una capa de salida lineal final (Fig. 1e). Los clasificadores se entrenaron utilizando el optimizador Adam, una tasa de aprendizaje de 0,0001, parada temprana con una paciencia de 20 épocas y la pérdida de entropía cruzada con ponderación de clases para abordar el desequilibrio de clases. La variabilidad del modelo se evalúa mediante una validación cruzada de 5 pliegues. Para la generación de imágenes contrafácticas, se entrena un clasificador final en el conjunto de entrenamiento completo, utilizando entre 50 y 200 épocas en función de los resultados de la validación cruzada.

Tanto los clasificadores lineales como los MIL guían la generación de imágenes contrafácticas definiendo una dirección de manipulación específica de la clase en el espacio de características. En el caso lineal, el vector de peso aprendido del modelo de regresión logística define la dirección en el espacio de características que aumenta el "logit" para la clase objetivo. Esta dirección se utiliza para desplazar el vector de características de la tesela a través del límite de decisión. En el entorno MIL, donde la relación entre las teselas individuales y la etiqueta es no lineal, calculamos el gradiente de la pérdida para una clase "contrafáctica" elegida con respecto al vector de características de la tesela seleccionada y utilizamos este gradiente como la dirección de manipulación:

donde denota el "logit" sin procesar que el clasificador asigna a una clase dada un vector de características.

Después de modificar el vector de características original agregando (escalado por una amplitud de manipulación?) (Ecuación 4), el vector de características actualizado se pasa al decodificador de difusión condicional, junto con la imagen original codificada en ruido, para generar la imagen contrafáctica (Fig. 1f, Ecuación 5).

Aplicamos la manipulación contrafáctica aumentando progresivamente a lo largo de la dirección del gradiente de la clase objetivo en el espacio latente. Para cada conjunto de datos, utilizamos un conjunto fijo de amplitudes de manipulación (por ejemplo, para el enfoque lineal y para el enfoque MIL). Incluso si algunas teselas manipuladas no cruzan el límite de decisión del clasificador en el valor más grande de , aplicamos los mismos valores de uniformemente en toda la cohorte para garantizar la comparabilidad. Aumentamos hasta que la mayoría de las imágenes contrafácticas re-codificadas se clasifican como la clase objetivo. Las predicciones se basan en lo que el clasificador predeciría si solo hubiera visto la tesela en particular. Para el enfoque MIL, generamos imágenes contrafácticas para las 5 teselas más contribuyentes por WSI, manipulando cada tesela individualmente.

Métricas de evaluación

Utilizamos el MSE (error cuadrático medio) entre los píxeles de la imagen original y la reconstruida a partir del espacio latente de difusión, y SM-SSIM^[48] para evaluar la calidad de la capacidad de reconstrucción del autoencoder para 1.000 imágenes en cada conjunto de datos. Se utilizó el índice de similitud estructural^[49] para representar visualmente las regiones similares y diferentes entre las dos imágenes convertidas a escala de grises para una interpretación más sencilla de los resultados. La capacidad del espacio latente para retener información semánticamente significativa también se evaluó muestreando 10.000 imágenes sintéticas y calculando la puntuación FID para comparar la distribución de las imágenes generadas con la distribución de las imágenes reales en el conjunto de prueba utilizando la biblioteca clean-fid^[50]. Una puntuación FID más baja indica una mayor similitud.

Para evaluar el rendimiento de los clasificadores para cada experimento, calculamos el AUROC para el conjunto de prueba retenido. Se utilizó el "bootstrapping" como técnica de remuestreo para estimar la robustez y los intervalos de confianza. El remuestreo se realizó con reemplazo 1.000 veces. Construimos curvas ROC para cada conjunto remuestreado e interpolamos entre ellas para obtener un conjunto de curvas suavizadas. Se extrajeron intervalos de confianza del 95% de las curvas suavizadas. El espacio latente y la dirección de manipulación se visualizaron utilizando t-SNE, lo que permite una representación de los vectores de características de 512 dimensiones extraídos en un formato bidimensional reducido. Para el conjunto de datos TCGA BRCA, utilizamos UMAP en lugar de t-SNE debido al gran número de teselas, lo que hacía que t-SNE fuera computacionalmente ineficiente.

Estudios de observadores

Para evaluar el realismo de las imágenes contrafácticas generadas, un patólogo y un residente de patología supervisados por un patólogo certificado revisaron un total de 300 imágenes (150 reales y 150 sintéticas, seleccionadas aleatoriamente) en un entorno ciego (Fig. S17a). Para cada tarea, se seleccionaron aleatoriamente 30 teselas reales (15 por clase) del conjunto de prueba, y se generaron las contrafácticas correspondientes haciendo que cada tesela transicione a la clase opuesta. Se presentó a los observadores un conjunto mixto de teselas y se les pidió que clasificaran cada una como real o sintética. La proporción de imágenes identificadas correctamente sirvió como medida de la capacidad del modelo de difusión para generar imágenes de histopatología realistas y visualmente convincentes.

Para evaluar aún más si los clasificadores capturan características morfológicas significativas asociadas con clases específicas, también se pidió a los observadores que identificaran las características que cambian durante la transición a una imagen contrafáctica. En estos experimentos, se proporcionaron las etiquetas de clase tanto para las imágenes originales como para las contrafácticas, y se pidió a los patólogos que identificaran las características histopatológicas que cambian durante la transición (Fig. 1g). Se les proporcionaron 16 ejemplos para cada clasificador (8 ejemplos por clase), cada uno conteniendo dos teselas predictivas principales del mismo paciente que fueron predichas correctamente por el modelo con alta confianza.

Evaluación cuantitativa de los cambios morfológicos

Se aplicaron modelos de segmentación de núcleos y clasificación de tipos de células preentrenados a las imágenes originales y contrafácticas para cuantificar los cambios en ciertos tipos de células y características morfológicas. Los modelos DeepCMorph se utilizaron para este propósito^[51]. Estos modelos se entrenaron para clasificar los núcleos de seis tipos de células: epiteliales, tejido conectivo, linfocitos, células plasmáticas, neutrófilos y eosinófilos. Se utilizaron parches de resolución variable de 224 × 224 píxeles de WSIs de H&E provenientes de muchos conjuntos de datos diferentes para entrenar DeepCMorph, incluidos los conjuntos de datos NCT-CRC-HE-100K y TCGA pan-cáncer. Sin embargo, los modelos se entrenaron principalmente para clasificar los tipos de cáncer y tejidos, con el objetivo de mejorar el rendimiento al permitir que el modelo aprenda características biológicas como los tipos de células. Por lo tanto, pudimos utilizar las máscaras de segmentación intermedias para nuestros conjuntos de datos.

Para obtener máscaras de segmentación de instancias solo de los núcleos de las células epiteliales, realizamos una división basada en cuencas hidrográficas de los objetos que se tocan en una máscara de segmentación semántica de estas células, una operación de erosión binaria adicional para dividir los núcleos restantes que se tocan y, posteriormente, el etiquetado de componentes conectados seguido de una dilatación binaria para volver al tamaño original de los núcleos. Eliminamos las etiquetas con un área inferior a 30 píxeles, ya que normalmente eran artefactos. En cuanto a las máscaras de segmentación de instancias de los núcleos de las células del tejido conectivo, omitimos estos pasos de preprocesamiento porque los núcleos son más alargados y más dispersos. Estos pasos permitieron el conteo automático de células en las imágenes originales y contrafácticas. Finalmente, se extrajeron mediciones cuantitativas basadas en la forma y la intensidad, es decir, área, intensidad media y excentricidad, utilizando la biblioteca scikit-image. También cuantificamos la organización arquitectónica de los tejidos calculando la entropía espacial de las distribuciones celulares. Esto implica crear un histograma 2D de los centroides de las células, normalizarlo a una distribución de probabilidad y calcular la entropía de Shannon. Se esperaba que esta medición capturara los patrones de diferenciación de los tejidos, pero su fuerte correlación con el recuento de células sugiere la necesidad de métricas más refinadas para caracterizar la organización arquitectónica en los parches de histopatología. Por último, realizamos pruebas de hipótesis estadísticas para comparar las mediciones de las imágenes originales y contrafácticas. Dado que las imágenes generadas no son independientes y las mediciones no se distribuyen normalmente, realizamos una prueba de permutación de dos colas con 10.000 remuestreos. Para cada tipo de célula (epitelial o tejido conectivo), la hipótesis nula asume que no hay diferencia en las proporciones de ese tipo de célula entre las imágenes originales y contrafácticas. Para evaluar esto, las mediciones de las imágenes originales y contrafácticas se barajaron aleatoriamente para crear una distribución nula de la estadística de prueba bajo la hipótesis nula. El valor p se calculó entonces como la proporción de estadísticas de prueba permutadas que son tan extremas o más extremas que la estadística de prueba observada. Los recuentos de tipos de células, medidos como recuentos de píxeles en las máscaras de segmentación, también se compararon entre las imágenes originales y contrafácticas de la clase opuesta (es decir, manipuladas para que parezcan la clase de las imágenes comparadas). Para cada tipo de célula, se utilizó la prueba U de Mann-Whitney para evaluar si la distribución de los porcentajes difería entre los grupos originales y contrafácticos. Para tener en cuenta las múltiples comparaciones entre los tipos de células, se aplicó la corrección de Bonferroni para ajustar los valores p. Además, se calculó el delta de Cliff para cuantificar el tamaño del efecto y evaluar la significación práctica.

Declaración ética

Este estudio se llevó a cabo de acuerdo con la Declaración de Helsinki. Analizamos retrospectivamente muestras de pacientes anonimizadas utilizando datos disponibles públicamente de "The Cancer Genome Atlas" (TCGA, https://portal.gdc.cancer.gov) y Zenodo. La comisión de ética de la Facultad de Medicina de la Universidad Técnica de Dresde proporcionó directrices para los procedimientos del estudio.

Conjuntos de datos

Este estudio exploró múltiples conjuntos de datos (Fig. 1b), comenzando con el conjunto de datos NCT-CRC-HE-100K de acceso público^[44]. Este conjunto de datos comprende 100.000 imágenes de histopatología teñidas con H&E derivadas de 86 muestras fijadas en formalina y embebidas en parafina (FFPE). Estas muestras representan tanto tejidos humanos de CRC como tejidos normales. El conjunto de datos abarca nueve clases distintas de tejidos: tejido adiposo, fondo, detritos, linfocitos, moco, músculo liso, mucosa normal del colon, estroma asociado al cáncer y epitelio de adenocarcinoma colorrectal (Fig. S3a). Se utilizaron todas las clases para entrenar el autoencoder de difusión. Las imágenes, cada una con una resolución de 224 × 224 píxeles a 0,5 micras por píxel (MPP), se normalizaron el color con el método de Macenko^[45]. El modelo entrenado se evaluó en 7.180 parches de imágenes no normalizados en color del conjunto de datos CRC-VAL-HE-7K, publicado junto con el NCT-CRC-HE-100K, y que sirve como un conjunto de datos no superpuesto para fines de prueba^[44]. La investigación se extendió a un segundo conjunto de datos de CRC del Cancer Genome Atlas Research Network (TCGA), que comprende WSIs obtenidas de muestras FFPE. El grupo TCGA BRCA también se utilizó para explorar explicaciones contrafácticas para este tipo de cáncer. Finalmente, utilizamos otro conjunto de datos de acceso público, al que nos referiremos en adelante como el conjunto de datos TCGA Pan-cáncer, donde se extrajeron parches de resolución variable (256 × 256 píxeles a MPP que oscilan entre 0,5 y 1) de regiones tumorales de WSIs de 32 tipos de cáncer^[46].

Preprocesamiento de datos

Se realizó una división del 10–20% de los datos a nivel del paciente, dependiendo del tamaño original de la cohorte, antes del preprocesamiento para crear los conjuntos de entrenamiento y de prueba, con el número exacto de pacientes indicado en la Tabla S1. Los datos de prueba se utilizaron para evaluar el rendimiento del clasificador y evaluar la calidad de la reconstrucción, generación y manipulación de las imágenes. Nos aseguramos de que muchos centros estuvieran solo en el conjunto de prueba, excepto uno más grande para el análisis de los efectos de lote en TCGA BRCA. Posteriormente, para los conjuntos de datos de TCGA, donde las WSIs sin procesar se procesaron directamente, las imágenes se teselaron para obtener parches que midieran 512 × 512 píxeles a 0,5 MPP. Las WSIs que no tenían el valor original de MPP en los metadatos o que no tenían anotaciones de tumores disponibles se descartaron. Esto resultó en 1.115 WSIs de 1.046 pacientes y 588 WSIs de 582 pacientes para las cohortes de BRCA y CRC, respectivamente. Los parches se derivaron de las regiones de tejido determinadas mediante la detección de bordes de Canny. Luego, para ambas cohortes, los parches derivados de las regiones no tumorales se eliminaron, conservando solo aquellos que se originaban en las áreas tumorales. Este proceso de selección se guio por las anotaciones del área tumoral proporcionadas por los residentes de patología bajo la supervisión de un patólogo experto. Se incluyeron los parches que se superponían en al menos un 60% con las áreas tumorales anotadas. Durante el entrenamiento del modelo de difusión, los canales de cada imagen se escalaron para lograr una media de 0,5 y una desviación estándar de 0,5, estandarizando así la distribución de los valores de píxeles en todo el conjunto de datos.

Autoencoders de Difusión

La arquitectura de MoPaDi se basa en la implementación oficial de autoencoders de difusión de Preechakul et al.^[26]. Consiste en un decodificador de imágenes DDIM condicional, condicionado en un vector de características obtenido con un codificador de red neuronal convolucional (CNN) aprendible. Nos referimos a este codificador como el extractor de características, que aprende a extraer información de alto nivel significativa (vectores de características) de las imágenes de entrada (Fig. 1c). El codificador y el decodificador se entrenan conjuntamente optimizando una función de pérdida simplificada de predicción de ruido (Ecuación 1):

donde es el ruido predicho en el paso de tiempo de difusión, es la imagen ruidosa en ese paso, es el vector de características codificado y es el ruido gaussiano muestreado. Esta función de pérdida anima al codificador a producir vectores de características significativos y, al mismo tiempo, permite al decodificador reconstruir imágenes de alta fidelidad a partir de ellos.

Entrenamos cuatro modelos de autoencoders separados para diferentes conjuntos de datos. Para los conjuntos de datos con imágenes más pequeñas (224 × 224 o 256 × 256 píxeles), utilizamos 8 unidades de procesamiento gráfico (GPU) Nvidia A100 de 40 GB, mientras que para los conjuntos de datos con imágenes más grandes (512 × 512 píxeles), utilizamos 4 GPU Nvidia A100 de 80 GB. Los modelos se entrenaron hasta la convergencia, es decir, hasta que la puntuación FID aproximada, calculada en 5.000 imágenes, fuera inferior a 20 (~10 para los conjuntos de datos con parches más pequeños). La duración del entrenamiento varió desde varios días hasta semanas debido a las diferentes complejidades de los conjuntos de datos. Se utilizó un tamaño de lote global de 24 para los modelos de 512 × 512 píxeles y 64 para los modelos más pequeños, dividido uniformemente entre las GPU, y una tasa de aprendizaje de 10-4. Para evaluar la calidad del espacio latente aprendido por el modelo de autoencoder y generar nuevas imágenes sintéticas, también entrenamos un DDIM latente en la distribución de vectores de características obtenidos del codificador basado en difusión.

Clasificadores y Generación de Imágenes Contrafácticas

Para habilitar la generación de imágenes contrafácticas guiada por el clasificador, primero establecemos modelos de clasificación para tareas linealmente separables y no separables. Para las tareas linealmente separables, como la clasificación de tipos de tejido, entrenamos un clasificador de regresión logística multiclase en características de 512 dimensiones extraídas con un extractor de características MoPaDi preentrenado (Fig. 1d). Cada mosaico se anota con un vector objetivo de un solo punto que indica su clase verdadera. Las características se normalizan a una media cero y una varianza unitaria antes de la clasificación. Aunque la tarea es multiclase, la tratamos como un problema de uno contra el resto aplicando la pérdida de entropía cruzada binaria de forma independiente a cada clase. El proceso de entrenamiento involucró 300.000 exposiciones de mosaicos.

Para las clases linealmente no separables, como el estado del biomarcador a nivel del paciente, adoptamos un enfoque MIL utilizando el agrupamiento basado en transformadores. Un clasificador basado en transformadores procesa conjuntos de características a nivel de mosaico, aplicando la normalización de capas, la atención cruzada de múltiples cabezales y un bloque de autoatención, seguido de una cabeza de clasificador con dos capas totalmente conectadas (con abandono y activación SiLU^[47]) y una capa de salida lineal final (Fig. 1e). Los clasificadores se entrenaron utilizando el optimizador Adam, una tasa de aprendizaje de 0,0001, detención temprana con una paciencia de 20 épocas y la pérdida de entropía cruzada con ponderación de clases para abordar el desequilibrio de clases. La variabilidad del modelo se evalúa mediante una validación cruzada de 5 pliegues. Para la generación de imágenes contrafácticas, se entrena un clasificador final en el conjunto de entrenamiento completo, utilizando de 50 a 200 épocas según los resultados de la validación cruzada.

Tanto los clasificadores lineales como los MIL guían la generación de imágenes contrafácticas definiendo una dirección de manipulación específica de la clase en el espacio de características. En el caso lineal, el vector de peso aprendido del modelo de regresión logística define la dirección en el espacio de características que aumenta el logit para la clase objetivo. Esta dirección se utiliza para desplazar el vector de características del mosaico a través del límite de decisión. En el entorno MIL, donde la relación entre los mosaicos individuales y la etiqueta es no lineal, calculamos el gradiente de la pérdida para una clase "contrafáctica" elegida con respecto al vector de características del mosaico seleccionado y utilizamos este gradiente como la dirección de manipulación:

donde denota el logit sin procesar que el clasificador asigna a una clase dado un vector de características.

Después de modificar el vector de características original agregando (¿escalado por una amplitud de manipulación?) (Ecuación 4), el vector de características actualizado se pasa al decodificador de difusión condicional , junto con la imagen original codificada en ruido , para generar la imagen contrafáctica (Fig. 1f, Ecuación 5).

Aplicamos la manipulación contrafáctica aumentando progresivamente a lo largo de la dirección del gradiente de la clase objetivo en el espacio latente. Para cada conjunto de datos, utilizamos un conjunto fijo de amplitudes de manipulación (por ejemplo, para el enfoque lineal y para el enfoque MIL). Incluso si algunos mosaicos manipulados no cruzan el límite de decisión del clasificador en el más grande, aplicamos los mismos valores uniformemente en toda la cohorte para garantizar la comparabilidad. Aumentamos hasta que la mayoría de las imágenes contrafácticas re-codificadas se clasifican como la clase objetivo. Las predicciones se basan en lo que el clasificador predeciría si solo hubiera visto el mosaico en particular. Para el enfoque MIL, generamos imágenes contrafácticas para los 5 mosaicos más importantes por WSI, y cada mosaico se manipula individualmente.

Métricas de Evaluación

Utilizamos el MSE entre los píxeles de la imagen original y la reconstruida a partir del espacio latente de difusión y SM-SSIM^[48] para evaluar la calidad de la capacidad de reconstrucción del autoencoder para 1.000 imágenes en cada conjunto de datos. El índice de similitud estructural^[49] se utilizó para representar visualmente las regiones similares y diferentes entre las dos imágenes, convirtiéndolas a escala de grises para una interpretación más sencilla de los resultados. La capacidad del espacio latente para retener información semánticamente significativa también se evaluó muestreando 10.000 imágenes sintéticas y calculando la puntuación FID para comparar la distribución de las imágenes generadas con la distribución de las imágenes reales en el conjunto de prueba utilizando la biblioteca clean-fid^[50]. Una puntuación FID más baja indica una mayor similitud.

Para evaluar el rendimiento de los clasificadores para cada experimento, calculamos AUROC para el conjunto de prueba retenido. Se utilizó el bootstrapping como técnica de remuestreo para estimar la robustez y los intervalos de confianza. El remuestreo se realizó con reemplazo 1.000 veces. Construimos curvas ROC para cada conjunto remuestreado e interpolamos entre ellas para obtener un conjunto de curvas suavizadas. Se extrajeron intervalos de confianza del 95% de las curvas suavizadas. El espacio latente y la dirección de manipulación se visualizaron utilizando t-SNE, lo que permitió una representación de los vectores de características de 512 dimensiones extraídos en un formato bidimensional reducido. Para el conjunto de datos TCGA BRCA, utilizamos UMAP en lugar de t-SNE debido al gran número de mosaicos, lo que hizo que t-SNE fuera computacionalmente ineficiente.

Estudios de Observadores

Para evaluar el realismo de las imágenes contrafácticas generadas, un patólogo y un residente de patología supervisados por un patólogo certificado revisaron un total de 300 imágenes (150 reales y 150 sintéticas, seleccionadas aleatoriamente) en un entorno ciego (Fig. S17a). Para cada tarea, se seleccionaron aleatoriamente 30 mosaicos reales (15 por clase) del conjunto de prueba y se generaron las contrafácticas correspondientes haciendo que cada mosaico se desplazara a la clase opuesta. Se presentó a los observadores un conjunto mixto de mosaicos y se les pidió que clasificaran cada uno como real o sintético. La proporción de imágenes identificadas correctamente sirvió como medida de la capacidad del modelo de difusión para generar imágenes de histopatología realistas y visualmente convincentes.

Para evaluar aún más si los clasificadores capturan características morfológicas significativas asociadas con clases específicas, también se pidió a los observadores que identificaran las características que cambian durante la transición a una imagen contrafáctica. En estos experimentos, se proporcionaron las etiquetas de clase tanto para las imágenes originales como para las contrafácticas, y se pidió a los patólogos que identificaran las características histopatológicas que cambian durante la transición (Fig. 1g). Se les proporcionaron 16 ejemplos para cada clasificador (8 ejemplos por clase), cada uno de los cuales contenía dos mosaicos predictivos principales del mismo paciente que el modelo predijo correctamente con alta confianza.

Evaluación Cuantitativa de los Cambios Morfológicos

Se aplicaron modelos de segmentación de núcleos y clasificación de tipos de células preentrenados a las imágenes originales y contrafácticas para cuantificar los cambios en ciertos tipos de células y características morfológicas. Los modelos DeepCMorph se utilizaron para este propósito^[51]. Estos modelos se entrenaron para clasificar los núcleos de seis tipos de células: epiteliales, tejido conectivo, linfocitos, células plasmáticas, neutrófilos y eosinófilos. Se utilizaron parches de resolución variable de 224 × 224 píxeles de WSIs de H&E provenientes de muchos conjuntos de datos diferentes para entrenar DeepCMorph, incluido NCT-CRC-HE-100K y los conjuntos de datos de cáncer pan TCGA. Sin embargo, los modelos se entrenaron principalmente para clasificar los tipos de cáncer y tejido, con el objetivo de mejorar el rendimiento al permitir que el modelo aprenda características biológicas como los tipos de células. Por lo tanto, pudimos utilizar las máscaras de segmentación intermedias para nuestros conjuntos de datos.

Para obtener máscaras de segmentación de instancias únicamente de los núcleos de las células epiteliales, realizamos una división basada en cuencas hidrográficas de los objetos que se tocan en una máscara de segmentación semántica de estas células, una operación adicional de erosión binaria para dividir los núcleos restantes que se tocan y, posteriormente, un etiquetado de componentes conectados seguido de una dilatación binaria para volver al tamaño original de los núcleos. Eliminamos las etiquetas con un área inferior a 30 píxeles, ya que normalmente se trataba de artefactos. En cuanto a las máscaras de segmentación de instancias de los núcleos de las células del tejido conectivo, omitimos estos pasos de preprocesamiento porque los núcleos son más alargados y están más dispersos. Estos pasos permitieron el recuento automático de células en las imágenes originales y contrafácticas. Finalmente, se extrajeron mediciones cuantitativas basadas en la forma y la intensidad, es decir, área, intensidad media y excentricidad, utilizando la biblioteca scikit-image. Además, cuantificamos la organización arquitectónica del tejido calculando la entropía espacial de las distribuciones celulares. Esto implica crear un histograma 2D de los centroides de las células, normalizarlo a una distribución de probabilidad y calcular la entropía de Shannon. Se esperaba que esta medición capturara los patrones de diferenciación del tejido, pero su fuerte correlación con el recuento de células sugiere la necesidad de métricas más refinadas para caracterizar la organización arquitectónica en los parches de histopatología. Por último, realizamos pruebas de hipótesis estadísticas para comparar las mediciones de las imágenes originales y contrafácticas. Dado que las imágenes generadas no son independientes y las mediciones no tienen una distribución normal, realizamos una prueba de permutación de dos colas con 10.000 remuestreos. Para cada tipo de célula (epitelial o conectiva), la hipótesis nula asume que no hay diferencia en las proporciones de ese tipo de célula entre las imágenes originales y contrafácticas. Para evaluar esto, las mediciones de las imágenes originales y contrafácticas se mezclaron aleatoriamente para crear una distribución nula del estadístico de prueba bajo la hipótesis nula. El valor p se calculó entonces como la proporción de estadísticos de prueba permutados que son tan extremos o más extremos que el estadístico de prueba observado. Los recuentos de tipos de células, medidos como recuentos de píxeles en las máscaras de segmentación, también se compararon entre las imágenes originales y contrafácticas de la clase opuesta (es decir, manipuladas para que parezcan la clase de las imágenes comparadas). Para cada tipo de célula, se utilizó la prueba U de Mann-Whitney para evaluar si la distribución de los porcentajes difería entre los grupos original y contrafáctico. Para tener en cuenta las múltiples comparaciones entre los tipos de células, se aplicó la corrección de Bonferroni para ajustar los valores p. Además, se calculó el delta de Cliff para cuantificar el tamaño del efecto y evaluar la significación práctica.