Revisión implícita de vídeos quirúrgicos con tecnología de modelos de lenguaje de gran tamaño.

La interpretación de vídeos quirúrgicos es una prometedora aplicación de la inteligencia artificial en el ámbito médico.

Sin embargo, ningún método de anotación de vídeo existente preserva la complejidad espacio-temporal del razonamiento del cirujano. Aquí demostramos que el razonamiento verbal y la atención visual pueden convertirse en registros estructurados y procesables por máquinas de las conductas intraoperatorias. Nuestro método descompone el comentario verbal transcrito en fragmentos de retroalimentación semántica anclados al vídeo, que se clasifican mediante un modelo de lenguaje extenso, con una ubicación espacial en las escenas quirúrgicas mediante el seguimiento de la mirada o del cursor. Demostramos la validez y la escalabilidad del método en tareas de anotación estructuradas y no estructuradas.

Para obtener una retroalimentación de calidad sobre procedimientos completos de cirugía colorrectal, el método alcanzó una fidelidad casi humana para la fragmentación (media de la similitud del coseno: 0,95, DE: 0,01) y la clasificación semántica en todas las observaciones (media del coeficiente Kappa de Cohen: 0,71, DE: 0,07) y los desencadenantes de evaluación (media del coeficiente Kappa de Cohen: 0,67, DE: 0,14), con excelentes calificaciones de usabilidad. Para la evaluación estructurada de la visión crítica de seguridad en la colecistectomía laparoscópica, la anotación implícita arrojó una excelente concordancia con las calificaciones explícitas de los revisores (coeficiente Kappa de Cohen: 0,83, 0,49 y 0,81 en tres criterios). Prevemos que este método impulsará la ciencia de datos quirúrgicos al permitir la construcción escalable de conjuntos de datos de vídeo quirúrgicos anotados de manera significativa.