Revisitar Desafíos en el Mundo Real con Video Colonscopia utilizando un Transformador de Detección de Pólipos Dos Flujo End-to-End (TS-PDTR).

La detección precisa de pólipos es esencial para el diagnóstico temprano y el tratamiento efectivo del cáncer colorrectal (CRC).

Sin embargo, los videos de colonoscopia en entornos clínicos reales presentan desafíos significativos, lo que a menudo causa el fracaso de los algoritmos existentes. A diferencia de las imágenes individuales, los videos contienen información temporal y contextual más rica, lo que los hace valiosos para el desarrollo de sistemas de detección basados en aprendizaje profundo. Para abordar estos desafíos, proponemos una red neuronal Two-Stream Polyp Detection Transformer (TS-PDTR) end-to-end. En primer lugar, nuestro marco utiliza una red de extracción de características a dos flujos para capturar tanto las características espaciales como temporales de los fotogramas RGB y el flujo óptico.

Luego, el módulo propuesto Detail-Aware Convolution (DAConv) mejora la información contextual fina en características de bajo nivel. A continuación, el módulo Detail-Guided Attention (DGA) genera Mapas de Atención Espacial (SAMs) específicos por canal para refinar las matrices de características profundas, mejorando la sensibilidad del modelo a los pólipos pequeños y camuflados. Finalmente, un módulo Flow Fusion Encoder (FFE) combina señales temporales del flujo óptico para aumentar la robustez frente a una calidad de imagen individual pobre. Experimentos en tres conjuntos de datos de colonoscopia de video de referencia muestran que TS-PDTR supera consistentemente a los métodos anteriores de estado del arte basados en imágenes y videos para la detección de pólipos.

Específicamente, nuestro modelo alcanza una precisión media (mAP) de 33,2 en el conjunto de datos LDPolypVideo más desafiante. También mejora la mAP a 64,0 y 55,6 en la base de datos SUN Colonoscopy Video Database y CVC-VideoClinicDB, respectivamente.

En resumen, TS-PDTR es un método prometedor para la detección de pólipos basado en video con fuertes posibilidades para el desarrollo adicional y la aplicación clínica real.