Capacidades de procesamiento de modelos de lenguaje extensos de ChatGPT 4.0 para generar recomendaciones de la junta multidisciplinar de tumores moleculares: una evaluación crítica basada en datos del mundo real.

La oncología de precisión adapta los tratamientos contra el cáncer a los perfiles tumorales individuales mediante la identificación de alteraciones moleculares específicas que guían la terapia dirigida.[1–3] Sin embargo, la creciente variedad de herramientas de diagnóstico, como la secuenciación genómica integral y la secuenciación del exoma o del genoma, hace que la anotación clínica y la interpretación de la evidencia sean cada vez más complejas.^[4],^[5] Más allá de los hallazgos moleculares, el contexto y las preferencias del paciente también influyen en las decisiones terapéuticas.^[3] Para abordar esta complejidad, los Consejos de Tumores Moleculares (MTB, por sus siglas en inglés) integran la experiencia multidisciplinaria, que incluye oncología, patología, genética y bioinformática.^[6] Sin embargo, la falta de estándares universales para la evaluación de los datos moleculares y la recomendación de tratamientos da como resultado una variabilidad significativa entre los MTB,^[7],^[8], impulsada en parte por la disparidad en la disponibilidad e interpretación de los datos.^[9] Múltiples sistemas proponen niveles de evidencia (LoE) para las aberraciones genéticas, pero el consenso sigue siendo esquivo.^[10],^[11]

Los recientes avances en los modelos de lenguaje de gran tamaño (LLM, por sus siglas en inglés), como ChatGPT, han despertado el interés en su potencial para optimizar los flujos de trabajo de los MTB.^[12] Estos modelos pueden generar texto detallado y contextualmente relevante, y responder a consultas complejas, superando a los motores de búsqueda tradicionales en ciertos escenarios.^[13],^[14] En principio, los LLM podrían ayudar a los MTB analizando los datos moleculares, identificando mutaciones que puedan ser objeto de terapia dirigida y proporcionando resúmenes de alto nivel. Los primeros estudios sugieren que los chatbots de IA a veces igualan o superan a los médicos en la calidad y la empatía de las respuestas médicas.^[15] No obstante, la experiencia humana es indispensable para manejar datos clínicos multidimensionales y tomar decisiones matizadas, como lo demuestra la investigación reciente que indica que la supervisión experta sigue siendo fundamental en casos complejos.^[16] Por lo tanto, la integración de los LLM en los MTB plantea tanto oportunidades para mejorar la eficiencia como riesgos si se producen imprecisiones o interpretaciones erróneas, lo que subraya la necesidad de una evaluación cuidadosa de los resultados del modelo.

Este estudio explora cómo ChatGPT y LLM similares podrían ayudar a los MTB a anotar e interpretar los biomarcadores posteriores al tratamiento de última línea. Evaluamos la fiabilidad, la calidad y la eficiencia de las recomendaciones derivadas de los LLM y analizamos cómo estos modelos podrían apoyar, y no reemplazar, el juicio experto. A medida que la demanda de atención personalizada se expande en un contexto de recursos clínicos limitados, el aprovechamiento de los LLM puede ayudar a optimizar la toma de decisiones y avanzar en la oncología de precisión al mejorar el acceso a información integral y basada en la evidencia.

Pacientes y métodos

Consejo de Tumores Moleculares del Centro Oncológico Integral de Augsburgo

El Consejo de Tumores Moleculares (MTB) del Centro Oncológico Integral de Augsburgo (CCCA) se estableció en 2018 para mejorar los resultados del tratamiento de los pacientes con cáncer avanzado o tumores raros que carecen de opciones terapéuticas estándar. El MTB se reúne semanalmente y está compuesto por expertos interdisciplinarios en oncología, patología, patología molecular, genética humana y bioinformática. Después de cada discusión, el MTB emite recomendaciones terapéuticas o diagnósticas estructuradas, junto con un resumen de la evidencia, siguiendo la clasificación de los niveles de evidencia (LoE) basada en NCT (1A–4A).^[11] Los detalles se proporcionan en la Tabla S1. Las recomendaciones pueden ayudar en las solicitudes de reembolso e informar las estrategias de tratamiento específicas del paciente.

Selección de pacientes y datos

Para este estudio, se incluyeron casos reales y secuenciales del MTB de junio a agosto de 2021 para que coincidieran con la fecha límite de conocimiento de ChatGPT 4.0 en septiembre de 2021. Entre estos, 20 casos consecutivos mostraron al menos una aberración genética confirmada. Todos los pacientes dieron su consentimiento para el uso retrospectivo y anónimo de sus datos. No se requirió una aprobación ética adicional según la Ley del Hospital de Baviera (BayKrG Art. 27 Párrafo 4). No se incluyeron los datos demográficos de los pacientes (por ejemplo, edad, comorbilidades), ya que las decisiones terapéuticas dependían principalmente de la biología del tumor y los tratamientos previos, y las recomendaciones terapéuticas finales quedaron a discreción del médico tratante. El perfilado molecular utilizó paneles NGS multigen (por ejemplo, AmpliSeq para el Panel de Hotspots de Cáncer v2 de Illumina), que identificaron SNV, CNV o fusiones. Se realizó inmunohistoquímica si fue relevante (por ejemplo, para conjugados anticuerpo-fármaco).

Estrategia de diseño de indicaciones

Se utilizaron resúmenes clínicos de pacientes e informes de patología para extraer manualmente los datos relevantes para las discusiones de los casos del MTB. Los mismos datos se proporcionaron al LLM mediante su inclusión en una indicación estandarizada en inglés (Tabla S2). Los datos extraídos se condensan en un informe resumido, sobre el cual se basa la discusión y la preparación del caso del MTB. No se integraron otras fuentes para la discusión real del caso.

Antes de ejecutar las indicaciones, se informó a ChatGPT que todos los resultados eran para debates de casos educativos, no para uso clínico directo. Cada caso se indicó en triplicado, y las respuestas se copiaron para capturar la variabilidad entre las respuestas. Se observó que la interpretación o la omisión de información crítica desencadenó una nueva indicación con el mismo contenido, destacando la omisión o la interpretación errónea al sistema, si fue necesario. Se muestra un ejemplo de indicación para el caso 18, que mostró el valor Kappa Fleiss más alto como el triplicado internamente más consistente, junto con la primera iteración de la respuesta correspondiente. La transcripción completa se puede encontrar en la Tabla S3 junto con todas las demás transcripciones de triplicados.

Las indicaciones para consultar a ChatGPT 4.0 se estructuraron sistemáticamente para simular las discusiones del Consejo de Tumores Moleculares (MTB) multidisciplinario. Cada indicación posicionó al LLM como un hematólogo/oncólogo que colabora con especialistas en patología, patología molecular, genética humana y oncología pediátrica. Se utilizó terminología técnica. Se proporcionó un contexto clínico detallado, que incluía el diagnóstico de la enfermedad, la etapa UICC, las características histopatológicas, los perfiles inmunohistoquímicos integrales (por ejemplo, TPS, CPS, ICS, ER, PR, HER2/neu, Ki-67, estado de HPV) y las alteraciones genéticas moleculares específicas identificadas mediante la secuenciación dirigida (Panel AmpliSeq Focus, Panel AmpliSeq BRCA; Illumina). También se incluyó un historial terapéutico detallado, que describía las intervenciones quirúrgicas, quimioterapéuticas, dirigidas, inmunoterapéuticas y radioterapéuticas previas. No se proporcionó ninguna interpretación del posible mecanismo de resistencia. La longitud de la indicación fue uniforme en todos los casos (palabras medianas utilizadas = 149, rango = 125-180). No se alcanzaron los límites de la ventana de contexto para ningún caso.

Se solicitó al LLM que recomendara opciones terapéuticas posteriores, solicitando explícitamente tanto las clases de fármacos como los agentes específicos, respaldados por ensayos clínicos o directrices relevantes o cualquier evidencia disponible. Además, se le pidió que sugiriera cualquier prueba diagnóstica adicional necesaria. Las respuestas se estructuraron en forma de tabla con citas claras de las fuentes de evidencia, enfatizando los principios de la medicina de precisión y las recomendaciones basadas en la evidencia.

Usted es un hematólogo/oncólogo en un consejo de tumores moleculares y discute el siguiente caso con un patólogo, un patólogo molecular, un genetista humano y un oncólogo pediátrico: Enfermedad: cáncer de recto; Etapa UICC: IIIC; Patología: adenocarcinoma; Inmunohistoquímica: desconocido; Estado de microsatélites: MSS; Genética molecular: PIK3CA R88Q, PIK3CA R1023Q, EGFR E758K, JAK1 T688P, ALK F1193L, ROS1 E1958Ter, RET I913S, DCUN1D1 R13C, POLE P286R; secuenciado con: Panel AmpliSeq Focus (Illumina), Análisis de mutación POLE; Terapia previa: Primera línea de terapia: FOLFOXIRI neoadyuvante. ¿Qué tratamiento recomendaría usted y su equipo a continuación? Si indica una clase de fármacos adecuada, también proporcione una recomendación específica para un fármaco específico e incluya los datos o el ensayo en el que se basa su recomendación. ¿Hay alguna prueba diagnóstica que recomendaría en esta situación? Tenga en cuenta todos los hallazgos proporcionados. Por favor, ponga su respuesta en una tabla, incluyendo las fuentes precisas en las que se basan sus decisiones.

Dado el cuadro clínico y el perfil genético del paciente, se consideran las posibles opciones terapéuticas. Sin embargo, debe tenerse en cuenta que los tratamientos dirigidos a nivel molecular no son actualmente el estándar de atención para el cáncer de recto en etapa IIIC, aunque existen ensayos en curso. Asegúrese de que las siguientes sugerencias se tengan en cuenta en el contexto de las directrices locales disponibles y considere la relación beneficio-riesgo para el paciente.

Aquí hay una tabla de resumen:

Además de lo anterior, debe considerar el estado general de salud y las comorbilidades del paciente, los posibles efectos secundarios de los tratamientos, así como las preferencias del paciente.

Fuentes:

Montagut C, Dalmases A, Bellosillo B, et al. Identificación de una mutación en el dominio extracelular del receptor del factor de crecimiento epidérmico que confiere resistencia al cetuximab en el cáncer colorrectal. Nat Med. 2012;18:221-223.

Lin JJ, Riely GJ, Shaw AT. Dirigirse a ALK: la medicina de precisión aborda la resistencia a los fármacos. Cancer Discov. 2017;7:137-155.

Vainchenker W, Leroy E, Gilles L, Marty C, Plo I, Constantinescu SN. Inhibidores de JAK para el tratamiento de las neoplasias mieloproliferativas y otros trastornos. F1000 Research. 2018;7:82.

Recomendaciones de las directrices para las pruebas de inmunohistoquímica de los receptores de estrógeno y progesterona en el cáncer de mama. Arch Pathol Lab Med. 2010;134:907-922.

Samstein RM, Lee CH, Shoushtari AN, et al. La carga de mutación tumoral predice la supervivencia después de la inmunoterapia en múltiples tipos de cáncer. Nat Genet. 2019;51:202-206.

Taube JM, Klein A, Brahmer JR, et al. Asociación de PD-1, ligandos de PD-1 y otras características del microambiente inmunitario tumoral con la respuesta a la terapia anti-PD-1. Clin Cancer Res. 2014;20:5064-5074.

Estrategia analítica

Para el análisis del rendimiento de ChatGPT, se desarrolló una estrategia analítica de múltiples capas. La Figura 1 proporciona una visión general del flujo de trabajo del análisis. Se utilizaron cinco métricas clave. Antes del análisis de los casos, se evaluó la corrección de las recomendaciones estándar de ChatGPT 4.0 en comparación con las directrices publicadas de NCCN (2021) en 3 tipos de cáncer establecidos (colorrectal, pulmón, mama).[17–19]

Métricas de rendimiento y análisis estadístico

Se definieron cinco métricas clave de rendimiento para evaluar las recomendaciones de ChatGPT para los casos del MTB. La densidad y la calidad de la información fueron evaluadas por los 2 expertos independientes:

Los detalles sobre los pacientes y los métodos se proporcionan en "Pacientes y métodos complementarios" (consulte el texto complementario para obtener más detalles sobre los criterios de elegibilidad del MTB, la estructura de las indicaciones, el manejo de los datos y las transcripciones completas de los casos).

Consejo de Tumores Moleculares del Centro Oncológico Integral de Augsburgo

El Consejo de Tumores Moleculares (MTB) del Centro Oncológico Integral de Augsburgo (CCCA) se estableció en 2018 para mejorar los resultados del tratamiento de los pacientes con cáncer avanzado o tumores raros que carecen de opciones terapéuticas estándar. El MTB se reúne semanalmente y está compuesto por expertos interdisciplinarios en oncología, patología, patología molecular, genética humana y bioinformática. Después de cada discusión, el MTB emite recomendaciones terapéuticas o diagnósticas estructuradas, junto con un resumen de la evidencia, siguiendo la clasificación de los niveles de evidencia (LoE) basada en NCT (1A–4A).^[11] Los detalles se proporcionan en la Tabla S1. Las recomendaciones pueden ayudar en las solicitudes de reembolso e informar las estrategias de tratamiento específicas del paciente.

Selección de pacientes y datos

Para este estudio, se incluyeron casos reales y secuenciales de MTB correspondientes a los meses de junio a agosto de 2021, con el fin de que coincidieran con la fecha límite de conocimiento de ChatGPT 4.0, que fue en septiembre de 2021. Entre estos, 20 casos consecutivos mostraron al menos una alteración genética confirmada. Todos los pacientes dieron su consentimiento para el uso retrospectivo y anónimo de sus datos. No se requirió ninguna aprobación ética adicional, según lo establecido en la Ley del Hospital de Baviera (BayKrG Art. 27 Para. 4). No se incluyeron datos demográficos de los pacientes (por ejemplo, edad, comorbilidades), ya que las decisiones terapéuticas dependían principalmente de la biología tumoral y los tratamientos previos, y las recomendaciones terapéuticas finales quedaron a discreción del médico tratante. El perfilado molecular se realizó mediante paneles NGS multigénicos (por ejemplo, AmpliSeq para el panel Illumina Cancer HotSpot v2), identificando SNV, CNV o fusiones. Se realizó inmunohistoquímica si era relevante (por ejemplo, para conjugados anticuerpo-fármaco).

Estrategia de diseño de indicaciones (prompts)

Se utilizaron resúmenes clínicos de pacientes e informes de patología para extraer manualmente los datos relevantes para las discusiones de casos hMTB. Los mismos datos se proporcionaron al LLM mediante su inclusión en una indicación (prompt) estandarizada en inglés (Tabla S2). Los datos extraídos se condensan en un informe resumido, sobre el cual se basan la discusión y la preparación del caso hMTB. No se integraron otras fuentes para la discusión real del caso.

Se informó a ChatGPT que todas las respuestas eran para discusiones educativas de casos, no para uso clínico directo, antes de ejecutar las indicaciones. Cada caso se presentó en tres ocasiones, y las respuestas se copiaron para capturar la variabilidad entre las respuestas. Se observó que la mala interpretación u omisión de información crítica provocaba una nueva indicación con el mismo contenido, destacando la omisión o mala interpretación al sistema, si era necesario. Se muestra un ejemplo de indicación para el caso 18, que mostró el valor Kappa Fleiss más alto como el triplete internamente más consistente, junto con la primera iteración de la respuesta correspondiente. La transcripción completa se puede encontrar en la Tabla S3 junto con todas las demás transcripciones de los tripletes.

Las indicaciones para consultar a ChatGPT 4.0 se estructuraron sistemáticamente para simular las discusiones multidisciplinarias de la junta tumoral molecular (MTB). Cada indicación posicionó al LLM como un hematólogo/oncólogo que colabora con especialistas en patología, patología molecular, genética humana y oncología pediátrica. Se utilizó terminología técnica. Se proporcionó un contexto clínico detallado, que incluía el diagnóstico de la enfermedad, el estadio UICC, las características histopatológicas, los perfiles inmunohistoquímicos (IHC) completos (por ejemplo, TPS, CPS, ICS, ER, PR, HER2/neu, Ki-67, estado de HPV) y el estado de estabilidad de microsatélites (MSS/MSI), así como las alteraciones genéticas moleculares específicas identificadas mediante secuenciación dirigida (Panel AmpliSeq Focus, Panel AmpliSeq BRCA; Illumina). También se incluyó un historial terapéutico detallado, que describía las intervenciones quirúrgicas, quimioterapéuticas, dirigidas, inmunoterapéuticas y radioterapéuticas previas. No se proporcionó ninguna interpretación del posible mecanismo de resistencia. La longitud de la indicación fue uniforme en todos los casos (palabras medianas utilizadas = 149, rango = 125-180). No se alcanzaron los límites de la ventana de contexto para ningún caso.

Se solicitó al LLM que recomendara opciones terapéuticas posteriores, solicitando explícitamente tanto las clases de fármacos como los agentes específicos, respaldados por ensayos clínicos o guías relevantes, o cualquier evidencia disponible. Además, se le pidió que sugiriera cualquier prueba diagnóstica adicional necesaria. Las respuestas se estructuraron en forma de tabla con citas claras de las fuentes de evidencia, enfatizando los principios de la medicina de precisión y las recomendaciones basadas en la evidencia. Usted es un hematólogo/oncólogo en una junta tumoral molecular y discute el siguiente caso con un patólogo, un patólogo molecular, un genetista humano y un oncólogo pediátrico: Enfermedad: cáncer de recto; Estadio UICC: IIIC; Patología: adenocarcinoma; Inmunohistoquímica: desconocido; Estado de microsatélites: MSS; Genética molecular: PIK3CA R88Q, PIK3CA R1023Q, EGFR E758K, JAK1 T688P, ALK F1193L, ROS1 E1958Ter, RET I913S, DCUN1D1 R13C, POLE P286R; secuenciado con: Panel AmpliSeq Focus (Illumina), Análisis de mutación de POLE; Terapia previa: Terapia de primera línea: FOLFOXIRI neoadyuvante. ¿Qué tratamiento recomendaría usted y su equipo a continuación? Si indica una clase de fármacos adecuada, proporcione también una recomendación específica para un fármaco específico e incluya los datos o el ensayo en el que se basa su recomendación. ¿Hay alguna prueba diagnóstica que recomendaría en esta situación? Tenga en cuenta todos los hallazgos proporcionados. Por favor, presente su respuesta en forma de tabla, incluyendo las fuentes precisas en las que se basan sus decisiones.

Dados la presentación y el perfil genético del paciente, se consideran las posibles opciones terapéuticas. Sin embargo, debe tenerse en cuenta que los tratamientos dirigidos molecularmente no son actualmente el estándar de atención para el cáncer de recto en estadio IIIC, aunque existen ensayos en curso. Asegúrese de que las siguientes sugerencias se tengan en cuenta en el contexto de las guías locales disponibles y considere la relación beneficio-riesgo para el paciente.

Aquí hay una tabla de resumen:

Además de lo anterior, debe considerar el estado general de salud y las comorbilidades del paciente, los posibles efectos secundarios de los tratamientos, así como las preferencias del paciente.

Fuentes:

Montagut C, Dalmases A, Bellosillo B, et al. Identificación de una mutación en el dominio extracelular del receptor del factor de crecimiento epidérmico que confiere resistencia al cetuximab en el cáncer colorrectal. Nat Med. 2012;18:221-223.

Lin JJ, Riely GJ, Shaw AT. Dirigirse a ALK: la medicina de precisión aborda la resistencia a los fármacos. Cancer Discov. 2017;7:137-155.

Vainchenker W, Leroy E, Gilles L, Marty C, Plo I, Constantinescu SN. Inhibidores de JAK para el tratamiento de neoplasias mieloproliferativas y otros trastornos. F1000­Research. 2018;7:82.

Recomendaciones de la guía para las pruebas de inmunohistoquímica de los receptores de estrógeno y progesterona en el cáncer de mama. Arch Pathol Lab Med. 2010;134:907-922.

Samstein RM, Lee CH, Shoushtari AN, et al. La carga mutacional tumoral predice la supervivencia después de la inmunoterapia en múltiples tipos de cáncer. Nat Genet. 2019;51:202-206.

Taube JM, Klein A, Brahmer JR, et al. Asociación de PD-1, ligandos de PD-1 y otras características del microambiente inmunitario tumoral con la respuesta a la terapia anti-PD-1. Clin Cancer Res. 2014;20:5064-5074.

Estrategia analítica

Para el análisis del rendimiento de ChatGPT, se desarrolló una estrategia analítica de múltiples capas. La Figura 1 proporciona una visión general del flujo de trabajo del análisis. Se utilizaron cinco métricas clave. Antes del análisis de los casos, se evaluó la capacidad de ChatGPT 4.0 para generar recomendaciones estándar de atención contra las guías NCCN publicadas (2021) en 3 tipos de cáncer establecidos (colorrectal, pulmón, mama).[17–19]

Métricas de rendimiento y análisis estadístico

Se definieron cinco métricas clave de rendimiento para evaluar las recomendaciones de ChatGPT para los casos de MTB. La densidad y la calidad de la información fueron evaluadas por los 2 expertos independientes:

Los detalles sobre los pacientes y los métodos se proporcionan en "Pacientes y métodos complementarios" (consulte el texto complementario para obtener más detalles sobre los criterios de elegibilidad de MTB, la estructura de las indicaciones, el manejo de datos y las transcripciones completas de los casos).

Resultados

Caracterización de la cohorte de la junta tumoral molecular en el Centro Integral del Cáncer de Augsburgo

Se analizaron retrospectivamente 20 casos consecutivos de MTB de junio a agosto de 2021 en el Centro Integral del Cáncer de Augsburgo (CCCA). Los pacientes (n = 20) tenían una distribución de sexos equitativa y una edad media de 56 años (ICR 42-76; rango: 32-78)). Las entidades tumorales variaron, siendo el cáncer de mama, el cáncer colorrectal o las neoplasias del SNC/cerebro las más frecuentes (3 casos cada una, 15%) (Tabla S5). En el 80% de los casos, los análisis genéticos dirigidos utilizaron el Panel AmpliSeq Focus (Illumina), mientras que el 20% utilizó el Panel AmpliSeq BRCA. Un paciente se sometió además a un análisis de mutación de POLE mediante PCR de gota digital.

En general, se identificaron 39 variantes de un solo nucleótido (SNV) (mediana de 2 por paciente, rango 1-9), junto con 6 variaciones del número de copias (CNV), que incluyen una deleción 1p19q y 5 amplificaciones (número de copias 5-10) (Figura S1A). El gen más afectado fue PIK3CA. También se realizaron tinciones de inmunohistoquímica seleccionadas, que incluyen PD-L1 (TPS/CPS/ICS), HER2/neu y el estado de los receptores hormonales (AR, ER, PR) (Figura S1B).

Para evaluar la representatividad de nuestra cohorte, comparamos las características de los pacientes y las características de la mutación con las informadas por Höfflin et al.^[21], un estudio nacional de referencia de MTB realizado en un centro integral del cáncer alemán (n = 488), así como con datos del Consorcio AACR Project GENIE (conjunto de datos público 18.0), una gran colección internacional de datos genómicos y clínicos del cáncer.[21–23]

A pesar del menor tamaño de la muestra en nuestro estudio (n = 20), observamos una edad media similar (56 frente a 54 años en Höfflin et al.) y una distribución de sexos equilibrada (50/50% frente a 47/53%) (Tabla S6). Las entidades tumorales comunes, como el cáncer de intestino (tracto gastrointestinal superior e inferior), el SNC y el cáncer de mama, estaban representadas en ambas cohortes, pero no de manera similar. Esto reflejó nuestro enfoque en la cohorte secuencial del mundo real. Además, nuestra cohorte también incluyó entidades más raras, como CUP, ovario y cáncer de piel, lo que refleja la heterogeneidad típica de la práctica de MTB.

Las alteraciones genómicas, como PIK3CA, BRCA2, KRAS y BRAF, se encontraron entre las más frecuentes tanto en nuestra cohorte como en las cohortes de comparación, lo que demuestra una superposición biológica. Esto se refleja aún más en nuestro diagrama de distribución de mutaciones (Figura S2), que refleja la heterogeneidad informada en estudios de MTB a gran escala. Utilizando ESCAT Tier IIB o superior como umbral de acción, 10 de 20 casos (50%) presentaban al menos una alteración susceptible de ser tratada. Ningún caso contenía más de 2 de dichas alteraciones. (Se proporcionan anotaciones completas en la Tabla S7).

Además, comparamos las alteraciones genómicas más frecuentes (Tabla S8) entre las 3 cohortes. Varias alteraciones recurrentes, que incluyen PIK3CA, BRCA2, KRAS y BRAF, se observaron de manera consistente en nuestra cohorte y en ambos conjuntos de datos de comparación, lo que indica un panorama molecular subyacente similar a pesar de las diferencias en el tamaño de la muestra, la composición de los casos y las plataformas de secuenciación.

ChatGPT 4.0 interpreta correctamente los casos de las guías estándar y proporciona recomendaciones terapéuticas correctas

Para probar la capacidad básica de ChatGPT para generar recomendaciones de tratamiento basadas en las guías, se presentaron 3 tipos comunes de cáncer en estadio IV con estándares internacionalmente establecidos: cáncer colorrectal (CRC), cáncer de pulmón de células no pequeñas (CPCNP) y cáncer de mama (CM). ChatGPT 4.0 resumió con precisión los detalles del caso y proporcionó recomendaciones terapéuticas correctas de primera a última línea de acuerdo con las guías NCCN de 2021 (Tabla S9). Todas las salidas (indicadas 3 veces por caso) coincidieron constantemente con el tratamiento de acuerdo con las guías sin información alucinada, lo que indica una alta reproducibilidad en escenarios clínicos estandarizados.

La cantidad y el tipo de recomendación difieren significativamente entre ChatGPT 4.0 y el hMTB con respecto a las recomendaciones terapéuticas, pero no a las recomendaciones diagnósticas

Las comparaciones cuantitativas de las salidas de triplete de ChatGPT 4.0 y el hMTB revelaron diferencias significativas en el número de recomendaciones terapéuticas (P = 0,005), pero no en las recomendaciones diagnósticas (P = 0,501) (Figura 2A). ChatGPT 4.0 tendía a proponer más opciones terapéuticas (mediana de medianas 3, rango 1-6) que el hMTB (mediana 1, rango 0-3), mientras que el hMTB a menudo sugería más medidas diagnósticas (mediana 2, rango 0-4) en comparación con ChatGPT (mediana de medianas 1, rango 0-4).

Un diagrama de Bland-Altman (Figura 2B) de las recomendaciones terapéuticas mostró una pequeña diferencia constante de aproximadamente una opción adicional propuesta por ChatGPT. Todos los puntos de datos, excepto uno, se encontraron dentro de los límites de acuerdo del 95%, aunque la dispersión general sugirió una mayor variación en las recomendaciones de ChatGPT. Para las recomendaciones diagnósticas, la diferencia media fue cercana a cero.

Ejemplos representativos incluyen el caso 3 (CRC metastásico con mutación en KRAS tras 6 líneas de terapia) y el caso 15 (glioblastoma con promotor MGMT hipermetilado y múltiples amplificaciones). En el caso 3, el hMTB proporcionó más recomendaciones diagnósticas, mientras que ChatGPT no ofreció recomendaciones diagnósticas, sino más opciones terapéuticas. En el caso 15, ChatGPT propuso nuevamente múltiples enfoques terapéuticos, mientras que el hMTB no ofreció ninguno. En general, el alcance diagnóstico de ChatGPT se superpuso sustancialmente con el de los expertos humanos, pero consistentemente generó más ideas terapéuticas.

La profundidad de la información no difiere significativamente entre ChatGPT 4.0 y el hMTB

Para evaluar la profundidad del contenido, se desarrolló y aplicó una métrica de profundidad de la información (IDM) por 2 revisores independientes, quienes calificaron cada conjunto de recomendaciones de ChatGPT 4.0 y del hMTB (Figura 3A). Las puntuaciones de IDM de ChatGPT oscilaron entre 0,25 y 0,89 (mediana 0,67) para el revisor 1 y entre 0,125 y 0,89 (mediana 0,67) para el revisor 2, lo que muestra una variabilidad moderada entre las evaluaciones repetidas y los revisores. Las puntuaciones de IDM del hMTB oscilaron entre 0,5 y 0,86 (mediana 0,75) para el revisor 1 y entre 0,5 y 0,8 (mediana 0,67) para el revisor 2 (Figura 3B). Aunque el hMTB mostró una variabilidad ligeramente mayor, las puntuaciones de ninguno de los grupos fueron estadísticamente superiores (P = 0,084), lo que sugiere una profundidad de información general comparable en cada caso.

El acuerdo entre los revisores fue generalmente mayor para ChatGPT que para el hMTB, con coeficientes de correlación de Pearson de 0,799 (P = 0,001) frente a 0,256 (P = 0,277), respectivamente (Figura S3A). Una matriz de correlación de todos los pares de revisores indicó correlaciones positivas moderadas a fuertes para los resultados de ChatGPT y correlaciones moderadas para el hMTB (Figura S3B).

La fiabilidad inter-evaluador asociada al rol entre las cuentas da como resultado un acuerdo moderado

Las recomendaciones repetidas de ChatGPT para cada paciente se evaluaron para determinar su consistencia utilizando el kappa de Fleiss (Figura 4). La mediana del kappa de Fleiss fue de 0,51 (rango 0,12-1,0), lo que indica un acuerdo general moderado. Los valores atípicos en el cuartil inferior (Q1 < 0,36) incluyeron los casos 3, 5, 12, 17 y 19, principalmente debido a inconsistencias en la orientación terapéutica, como si se debía utilizar agentes dirigidos específicos o incluir a los pacientes en ensayos clínicos.

Para complementar la evaluación cuantitativa de la consistencia interna de ChatGPT, realizamos un análisis cualitativo de la variabilidad entre las evaluaciones repetidas para cada caso. Clasificamos los patrones de variabilidad recurrentes en categorías clave: (i) introducción de nuevas clases de fármacos, (ii) omisión de clases de fármacos sugeridas previamente, (iii) extrapolación de la evidencia, (iv) alucinaciones, (v) expansión de las sugerencias diagnósticas (por ejemplo, NGS, rebiopsia), (vi) recomendaciones de ensayos clínicos y (vii) sugerencias para el mejor cuidado de apoyo. Las características más frecuentes observadas incluyeron la introducción consistente de nuevas clases de fármacos (en 18 de 20 casos), la omisión de recomendaciones previas (en 5 casos) y las sugerencias de inclusión en ensayos (en 13 casos). Se proporciona un desglose detallado por caso en la Figura S4 (incluidas las definiciones en la Tabla S11).

La comparación de la calidad de las recomendaciones terapéuticas revela diferencias entre ChatGPT 4.0 y las recomendaciones derivadas de expertos humanos

Se evaluó aún más la calidad de las recomendaciones terapéuticas de ChatGPT 4.0 asignando una calificación de nivel de evidencia (LoE) de 1A (el más alto) a 4 (el más bajo) (Tabla S1). Tanto ChatGPT como el hMTB recibieron con frecuencia calificaciones de 1A o de evidencia moderada (por ejemplo, 2B) (Figura 5A). 1A fue el más común para ambos enfoques, y 2B fue un segundo frecuente. Sin embargo, ChatGPT generó ocasionalmente recomendaciones de nivel inferior (3 o 4), algo ausente o muy raro en el grupo hMTB.

Cuando se compararon las calificaciones de LoE caso por caso (promedio de ChatGPT menos promedio de hMTB), surgieron divergencias en algunos casos, y la prueba de rangos con signo de Wilcoxon (P = 0,0019) sugirió una diferencia sistemática entre los dos grupos (Figura 5B).

Para el revisor 1, la fracción media de recomendaciones de bajo LoE por caso fue del 15%, con una mediana del 0% (rango del 0% al 60%). En total, el 15% de los casos (3 de 20) contenían más de una recomendación de bajo LoE. Para el revisor 2, la media fue del 6%, con una mediana del 0% (rango del 0% al 82%), y nuevamente, el 15% de los casos mostraron múltiples resultados de bajo LoE. El hMTB se abstuvo por completo de dar recomendaciones con un nivel de LoE bajo.

Las recomendaciones de evidencia de bajo nivel (LoE 3 o 4) se produjeron en una minoría de los casos, y las fracciones más altas se observaron en el caso 11 (carcinoma de origen desconocido), el caso 13 (carcinoma de células escamosas esofágico) y el caso 15 (glioblastoma). Estos casos se caracterizaron por un mayor número de alteraciones genéticas, incluidas amplificaciones y mutaciones concurrentes con diferentes grados de anotación clínica.

Evaluación temporal del rendimiento del LLM en diferentes versiones del modelo

Para evaluar si el rendimiento del modelo de lenguaje grande en las tareas de recomendación del MTB mejora con el tiempo, reevaluamos 4 casos representativos (MTB002, MTB009, MTB018, MTB019) utilizando 3 versiones distintas de ChatGPT: GPT-4o (agosto de 2024), GPT-4o (agosto de 2025) y GPT-4o con modo de investigación profunda (agosto de 2025) y comparamos los resultados con nuestro análisis de referencia de ChatGPT 4.0. La selección de los casos se basó en las puntuaciones iniciales de IDM, la variabilidad de LoE y el perfil de complejidad.

Todos los modelos se consultaron utilizando el prompt original, con la excepción del modo de investigación profunda, que nos permitió obtener aclaraciones de seguimiento (menores, por ejemplo, estado ECOG o comorbilidades). Las puntuaciones de IDM para GPT-4o de agosto de 2024 oscilaron entre 0,33 y 0,67 (media: 0,5), con múltiples evaluaciones repetidas que mostraron sugerencias terapéuticas inconsistentes o de menor calidad. En contraste, ambos modelos de agosto de 2025 demostraron puntuaciones de IDM aumentadas y una mayor concordancia entre las evaluaciones repetidas (rango 0,86-0,89, media 0,88 (4o-2025) y rango 0,67-0,88, media 0,8 (Investigación profunda-2025) (Figura 6). En particular, no se identificaron recomendaciones de LoE 3-4 en los resultados de GPT-4o de investigación profunda. Además, las respuestas de investigación profunda siempre incluyeron el contexto del estudio y la justificación, características ausentes en los resultados anteriores. Se asignaron correctamente citas sólidas en todas las versiones de 4o.

Eficiencia de ChatGPT frente a expertos humanos

Finalmente, el tiempo transcurrido desde la recepción de los datos del paciente hasta la recomendación final del MTB fue significativamente menor para ChatGPT 4.0 que para el hMTB (P < 0,001). En promedio, ChatGPT tardó una mediana de 15,2 minutos por caso (rango 11,0-22,7; IQR 5,2). En contraste, el hMTB requirió una mediana de 34,7 minutos por caso (rango 22,0-48,5; IQR 13,6) (Figura 7). Estos hallazgos indican una notable ventaja en eficiencia para el enfoque asistido por LLM en relación con una revisión puramente humana.

Caracterización de la cohorte del consejo tumoral molecular en el Centro Integral de Cáncer de Augsburgo

Veinte casos consecutivos de MTB de junio a agosto de 2021 en el Centro Integral de Cáncer de Augsburgo (CCCA) se analizaron de forma retrospectiva. Los pacientes (n = 20) tenían una distribución de sexos equitativa y una edad media de 56 años (IQR 42-76; rango: 32-78)). Las entidades tumorales variaron, siendo los cánceres de mama, colorrectal o del SNC/cerebro los más frecuentes (3 casos cada uno, 15%) (Tabla S5). En el 80% de los casos, los análisis genéticos dirigidos utilizaron el panel AmpliSeq Focus (Illumina), mientras que en el 20% se utilizó el panel AmpliSeq BRCA. Un paciente se sometió además a un análisis de mutación POLE mediante PCR de gota digital.

En general, se identificaron 39 variantes de nucleótido único (SNV) (mediana de 2 por paciente, rango 1-9), junto con 6 variaciones del número de copias (CNV), que incluyen una deleción 1p19q y 5 amplificaciones (número de copias 5-10) (Figura S1A). El gen más afectado fue PIK3CA. También se realizaron tinciones inmunohistoquímicas seleccionadas, que incluyen PD-L1 (TPS/CPS/ICS), HER2/neu y el estado del receptor hormonal (AR, ER, PR) (Figura S1B).

Para evaluar la representatividad de nuestra cohorte, comparamos las características de los pacientes y las características de la mutación con las informadas por Höfflin et al.^[21], un estudio nacional de referencia del MTB realizado en un centro integral de cáncer alemán (n = 488), así como con datos del Consorcio AACR Project GENIE (conjunto de datos público 18.0), una gran colección internacional de datos genómicos y clínicos del cáncer.[21–23]

A pesar del tamaño de muestra más pequeño en nuestro estudio (n = 20), observamos una edad media similar (56 frente a 54 años en Höfflin et al.) y una distribución de sexos equilibrada (50/50% frente a 47/53%) (Tabla S6). Las entidades tumorales comunes, como el cáncer de intestino (tracto gastrointestinal superior e inferior), SNC y mama, estaban representadas en ambas cohortes, pero no de manera similar. Esto reflejó nuestro enfoque en la cohorte secuencial del mundo real. Además, nuestra cohorte también incluyó entidades más raras, como CUP, ovario y cáncer de piel, lo que refleja la heterogeneidad típica de la práctica del MTB.

Las alteraciones genómicas, como PIK3CA, BRCA2, KRAS y BRAF, se encuentran entre las más frecuentes en nuestra cohorte y en las cohortes de comparación, lo que demuestra una superposición biológica. Esto se refleja aún más en nuestro diagrama de distribución de mutaciones (Figura S2), que refleja la heterogeneidad informada en estudios de MTB a gran escala. Utilizando ESCAT Tier IIB o superior como umbral de acción, 10 de 20 casos (50%) albergaron al menos una alteración susceptible de ser objeto de tratamiento. Ningún caso contenía más de 2 de tales alteraciones. (Se proporcionan anotaciones completas en la Tabla S7).

Comparamos además las alteraciones genómicas más frecuentes (Tabla S8) entre las 3 cohortes. Varias alteraciones recurrentes, que incluyen PIK3CA, BRCA2, KRAS y BRAF, se observaron constantemente en nuestra cohorte y en ambos conjuntos de datos de comparación, lo que indica un panorama molecular subyacente similar a pesar de las diferencias en el tamaño de la muestra, la composición de los casos y las plataformas de secuenciación.

ChatGPT 4.0 interpreta correctamente los casos estándar de las guías y proporciona recomendaciones terapéuticas correctas

Para probar la capacidad básica de ChatGPT para generar recomendaciones de tratamiento basadas en guías, se presentaron 3 cánceres comunes en etapa IV con estándares internacionales establecidos: cáncer colorrectal (CRC), cáncer de pulmón de células no pequeñas (CPCNP) y cáncer de mama (CM). ChatGPT 4.0 resumió con precisión los detalles del caso y proporcionó recomendaciones terapéuticas correctas de primera a última línea de acuerdo con las guías NCCN de 2021 (Tabla S9). Todos los resultados (solicitados 3 veces por caso) coincidieron constantemente con el tratamiento conforme a las guías sin información alucinada, lo que indica una alta reproducibilidad en escenarios clínicos estandarizados.

La cantidad y el tipo de recomendaciones difieren significativamente entre ChatGPT 4.0 y el hMTB con respecto a las recomendaciones terapéuticas, pero no a las diagnósticas

Las comparaciones cuantitativas de las evaluaciones repetidas de ChatGPT 4.0 y el hMTB revelaron diferencias significativas en el número de recomendaciones terapéuticas (P = 0,005) pero no en las recomendaciones diagnósticas (P = 0,501) (Figura 2A). ChatGPT 4.0 tendió a proponer más opciones terapéuticas (mediana de medianas 3, rango 1-6) que el hMTB (mediana 1, rango 0-3), mientras que el hMTB a menudo sugirió más medidas diagnósticas (mediana 2, rango 0-4) en comparación con ChatGPT (mediana de medianas 1, rango 0-4).

Un diagrama de Bland-Altman (Figura 2B) de las recomendaciones terapéuticas mostró una pequeña diferencia consistente de aproximadamente una opción adicional propuesta por ChatGPT. Todos los puntos de datos, excepto uno, se encontraron dentro de los límites de acuerdo del 95%, aunque la dispersión general sugirió una mayor variación en las recomendaciones de ChatGPT. Para las recomendaciones diagnósticas, la diferencia media fue cercana a cero.

Ejemplos representativos incluyen el caso 3 (CRC metastásico con mutación en KRAS tras 6 líneas de terapia) y el caso 15 (glioblastoma con promotor MGMT hipermetilado y múltiples amplificaciones). En el caso 3, el hMTB proporcionó más recomendaciones diagnósticas, mientras que ChatGPT no ofreció recomendaciones diagnósticas, sino más opciones terapéuticas. En el caso 15, ChatGPT propuso nuevamente múltiples enfoques terapéuticos, mientras que el hMTB no ofreció ninguno. En general, el alcance diagnóstico de ChatGPT se superpuso sustancialmente con el de los expertos humanos, pero consistentemente generó más ideas terapéuticas.

La profundidad de la información no difiere significativamente entre ChatGPT 4.0 y el hMTB

Para evaluar la profundidad del contenido, se desarrolló una métrica de profundidad de la información (IDM) y se aplicó por 2 revisores independientes, quienes calificaron cada conjunto de recomendaciones de ChatGPT 4.0 y del hMTB (Figura 3A). Las puntuaciones de IDM de ChatGPT oscilaron entre 0,25 y 0,89 (mediana de 0,67) para el revisor 1 y entre 0,125 y 0,89 (mediana de 0,67) para el revisor 2, lo que muestra una variabilidad moderada entre las evaluaciones repetidas y entre los revisores. Las puntuaciones de IDM del hMTB oscilaron entre 0,5 y 0,86 (mediana de 0,75) para el revisor 1 y entre 0,5 y 0,8 (mediana de 0,67) para el revisor 2 (Figura 3B). Aunque el hMTB mostró una variabilidad ligeramente mayor, las puntuaciones de ninguno de los dos grupos fueron estadísticamente superiores (P = 0,084), lo que sugiere una profundidad general comparable de la información en cada caso.

El acuerdo entre los revisores fue generalmente mayor para ChatGPT que para el hMTB, con coeficientes de correlación de Pearson de 0,799 (P = 0,001) frente a 0,256 (P = 0,277), respectivamente (Figura S3A). Una matriz de correlación de todos los pares de revisores indicó correlaciones positivas moderadas a fuertes para los resultados de ChatGPT y correlaciones moderadas para el hMTB (Figura S3B).

La fiabilidad inter-evaluador asociada al rol en diferentes cuentas da como resultado un acuerdo moderado

Las recomendaciones repetidas de ChatGPT para cada paciente se evaluaron para determinar su consistencia utilizando el kappa de Fleiss (Figura 4). La mediana del kappa de Fleiss fue de 0,51 (rango de 0,12 a 1,0), lo que indica un acuerdo moderado en general. Los valores atípicos en el cuartil inferior (Q1 < 0,36) incluyeron los casos 3, 5, 12, 17 y 19, principalmente debido a inconsistencias en la orientación terapéutica, como si se debía utilizar agentes dirigidos específicos o incluir a los pacientes en ensayos clínicos.

Para complementar la evaluación cuantitativa de la consistencia interna de ChatGPT, realizamos un análisis cualitativo de la variabilidad entre las evaluaciones repetidas para cada caso. Clasificamos los patrones de variabilidad recurrentes en categorías clave: (i) introducción de nuevas clases de fármacos, (ii) omisión de clases de fármacos sugeridas previamente, (iii) extrapolación de la evidencia, (iv) alucinaciones, (v) ampliación de las sugerencias diagnósticas (por ejemplo, NGS, rebiopsia), (vi) recomendaciones de ensayos clínicos y (vii) sugerencias para la mejor atención de apoyo. Las características más frecuentes observadas incluyeron la introducción constante de nuevas clases de fármacos (en 18 de 20 casos), la omisión de recomendaciones previas (en 5 casos) y las sugerencias de inclusión en ensayos (en 13 casos). Se proporciona un desglose detallado por caso en la Figura S4 (incluidas las definiciones en la Tabla S11).

La comparación de la calidad de la evidencia de las recomendaciones terapéuticas revela diferencias entre las recomendaciones de ChatGPT 4.0 y las de los expertos humanos

La calidad de las recomendaciones terapéuticas de ChatGPT 4.0 se evaluó aún más asignando una calificación de nivel de evidencia (LoE) de 1A (el más alto) a 4 (el más bajo) (Tabla S1). Tanto ChatGPT como el hMTB recibieron con frecuencia calificaciones de 1A o de evidencia moderada (por ejemplo, 2B) (Figura 5A). 1A fue el más común para ambos enfoques, y 2B fue un segundo frecuente. Sin embargo, ChatGPT generó ocasionalmente recomendaciones de nivel inferior (3 o 4), algo que no ocurrió o fue muy raro en el grupo hMTB.

Cuando se compararon las calificaciones de LoE caso por caso (promedio de ChatGPT menos promedio de hMTB), surgieron divergencias en algunos casos, y la prueba de rangos con signo de Wilcoxon (P = 0,0019) sugirió una diferencia sistemática entre los dos grupos (Figura 5B).

Para el revisor 1, la fracción media de recomendaciones de bajo LoE por caso fue del 15%, con una mediana del 0% (rango del 0% al 60%). En total, el 15% de los casos (3 de 20) contenían más de una recomendación de bajo LoE. Para el revisor 2, la media fue del 6%, con una mediana del 0% (rango del 0% al 82%), y de nuevo, el 15% de los casos mostraron múltiples resultados de bajo LoE. El hMTB se abstuvo por completo de dar recomendaciones con un nivel de LoE bajo.

Las recomendaciones de evidencia de bajo nivel (LoE 3 o 4) ocurrieron en una minoría de los casos, y las fracciones más altas se observaron en el caso 11 (carcinoma de origen desconocido), el caso 13 (carcinoma de células escamosas esofágico) y el caso 15 (glioblastoma). Estos casos se caracterizaron por un mayor número de alteraciones genéticas, incluidas amplificaciones y mutaciones concurrentes con diferentes grados de anotación clínica.

Evaluación temporal del rendimiento del LLM en diferentes versiones del modelo

Para evaluar si el rendimiento del modelo de lenguaje grande en las tareas de recomendación del MTB mejora con el tiempo, reevaluamos 4 casos representativos (MTB002, MTB009, MTB018, MTB019) utilizando 3 versiones distintas de ChatGPT: GPT-4o (agosto de 2024), GPT-4o (agosto de 2025) y GPT-4o con modo de investigación profunda (agosto de 2025) y comparamos los resultados con nuestro análisis de referencia de ChatGPT 4.0. La selección de los casos se basó en las puntuaciones iniciales de IDM, la variabilidad de LoE y el perfil de complejidad:

Se consultó a todos los modelos utilizando el prompt original, con la excepción del modo de investigación profunda, que nos permitió obtener aclaraciones de seguimiento (menores, por ejemplo, estado ECOG o comorbilidades). Las puntuaciones de IDM para GPT-4o de agosto de 2024 oscilaron entre 0,33 y 0,67 (media: 0,5), con múltiples evaluaciones repetidas que mostraron sugerencias terapéuticas inconsistentes o de menor calidad. En contraste, ambos modelos de agosto de 2025 demostraron un aumento de las puntuaciones de IDM y una mayor concordancia entre las evaluaciones repetidas (rango de 0,86 a 0,89, media de 0,88 (4o-2025) y rango de 0,67 a 0,88, media de 0,8 (Investigación profunda-2025) (Figura 6). En particular, no se identificaron recomendaciones de LoE 3-4 en los resultados de GPT-4o de investigación profunda. Además, las respuestas de investigación profunda siempre incluyeron el contexto del estudio y la justificación, características ausentes en los resultados anteriores. Se asignaron correctamente citas sólidas en todas las versiones de 4o.

Eficiencia de ChatGPT frente a los expertos humanos

Finalmente, el tiempo transcurrido desde la recepción de los datos del paciente hasta la recomendación final del MTB fue significativamente menor para ChatGPT 4.0 que para el hMTB (P < 0,001). En promedio, ChatGPT tardó una mediana de 15,2 minutos por caso (rango de 11,0 a 22,7; IQR de 5,2). En contraste, el hMTB requirió una mediana de 34,7 minutos por caso (rango de 22,0 a 48,5; IQR de 13,6) (Figura 7). Estos hallazgos indican una notable ventaja en eficiencia para el enfoque asistido por LLM en relación con una revisión puramente humana.

Discusión

Este estudio proporciona una evaluación sistemática de ChatGPT 4.0 en casos reales de oncología en un entorno de Junta Molecular del Tumor (MTB), centrándose en 5 métricas clave: tipo de recomendación, profundidad de la información, consistencia inter-evaluador, nivel de evidencia (LoE) y eficiencia. Evaluamos 20 casos anonimizados en triplicado, comparando el rendimiento de ChatGPT 4.0 con el de una Junta Molecular del Tumor (hMTB) humana convencional. Para casos seleccionados, evaluamos además iteraciones más modernas de ChatGPT (4o en agosto de 2024 y agosto de 2025, así como investigación profunda en agosto de 2025). El análisis, que tiene en cuenta la evolución de los modelos GPT-4.0 y GPT-4o, destaca la dinámica del rendimiento del LLM en el apoyo a las decisiones clínicas. Nuestros hallazgos demuestran una desviación medible en la calidad de la salida a lo largo del tiempo, incluido el aumento de la densidad de la información, una base de evidencia más sólida y justificaciones más claras para las sugerencias de tratamiento. Estas mejoras parecen no solo cuantitativas sino también cualitativas, lo que sugiere que las arquitecturas de modelos en evolución (por ejemplo, GPT-4o) y las características (por ejemplo, investigación profunda) pueden mejorar la fiabilidad de los LLM en dominios de alto riesgo, como la oncología de precisión.

Este enfoque, al que nos referimos como mapeo de la evolución del LLM, ofrece un ángulo complementario importante a los estudios de evaluación comparativa transversales tradicionales. Permite a las partes interesadas supervisar el progreso, detectar regresiones (desviación del rendimiento) y evaluar la preparación para la integración clínica. Si bien limitamos nuestro análisis a los modelos de OpenAI en este estudio, el trabajo futuro podría aplicar el mismo marco para comparar otros sistemas (por ejemplo, Gemini, Claude, MedPaLM), especialmente si se pueden adoptar prompts y métricas de evaluación estándar en todas las plataformas de LLM. Nuestros hallazgos ofrecen información sobre la promesa y las limitaciones de los modelos de lenguaje grandes (LLM) en la toma de decisiones médicas complejas, particularmente en la oncología de precisión.

La oncología de precisión se basa en análisis moleculares cada vez más detallados para guiar las recomendaciones terapéuticas. Si bien las sofisticadas pruebas de diagnóstico (por ejemplo, paneles NGS, WES o WGS) generan grandes cantidades de datos, los clínicos deben analizar una base de evidencia en constante evolución que abarca la investigación preclínica, los ensayos clínicos y los estudios retrospectivos. Las Juntas Moleculares del Tumor (MTB) humanas generalmente lo hacen a través de un proceso manual que requiere mucho tiempo y es difícil de ampliar. Los LLM, incluido ChatGPT, podrían mejorar sustancialmente la eficiencia del flujo de trabajo al sintetizar información relevante, examinar posibles vías terapéuticas y proporcionar análisis preliminares, lo que permitiría a los expertos centrarse en la toma de decisiones matizadas.

Para 3 tipos de cáncer de referencia (colorrectal, de mama y de pulmón de células no pequeñas), ChatGPT 4.0 reprodujo con precisión las pautas de tratamiento reconocidas internacionalmente sin alucinaciones. Este resultado contrasta con las evaluaciones de versiones anteriores del modelo (por ejemplo, ChatGPT 3.5, con una superposición del 70% en las recomendaciones para el cáncer de mama ^[24]), lo que ilustra la rápida evolución de las capacidades del LLM.

Las recomendaciones de diagnóstico coincidieron en gran medida con las del hMTB, lo que sugiere que ChatGPT puede procesar eficazmente los protocolos de diagnóstico establecidos. En contraste, produjo un número significativamente mayor de sugerencias terapéuticas. Estas opciones terapéuticas adicionales a menudo incorporaron hallazgos preclínicos o de menor LoE, lo que podría reflejar la amplia ingesta de datos del modelo. Si bien esta abundancia puede descubrir nuevas terapias, existe el riesgo de desviar la atención clínica hacia intervenciones menos validadas, lo que subraya la importancia de la supervisión de expertos.

A continuación, presentamos la métrica de densidad de la información (IDM) para evaluar el equilibrio entre las propuestas correctas e incorrectas, con el objetivo de capturar la mayor "carga de información" que los LLM pueden ofrecer en casos de zona gris más allá de las pautas existentes. La IDM de ChatGPT fue comparable a la del hMTB, pero mostró una variabilidad ligeramente mayor, probablemente debido a su tendencia a proponer múltiples enfoques fuera de etiqueta. La IDM penaliza eficazmente las sugerencias incorrectas y recompensa las sugerencias correctas significativas, aunque los conjuntos de datos pequeños o los grandes números de opciones válidas pueden sesgar los resultados. Otro estudio que comparó 4 LLM encontró que, si bien identificaron ciertas terapias cruciales, también divergieron sustancialmente de las recomendaciones de los expertos, a veces de manera beneficiosa ^[16]. Nuestros hallazgos reflejan esa dualidad, ya que ChatGPT puede generar información única, pero no todas las sugerencias tienen una evidencia clínica sólida. Una limitación de la métrica de profundidad de la información (IDM) actual radica en su ponderación igual de todas las recomendaciones incorrectas. Clínicamente, es esencial distinguir entre imprecisiones menores y desinformación dañina para cuantificar adecuadamente el riesgo de rendimiento de la IA. Proponemos un sistema de puntuación ponderado por gravedad para estudios futuros que categorice los resultados incorrectos en 3 clases con penalizaciones proporcionales para reflejar mejor su impacto clínico. Estos incluyen: (1) recomendaciones no graves, que abarcan sugerencias irrelevantes o marginales, como imprecisiones menores o tratamientos fuera de etiqueta terapéuticamente plausibles que se aceptan comúnmente en la práctica de la Junta Molecular del Tumor (MTB); (2) recomendaciones moderadamente graves, que representan sugerencias fuera de etiqueta que, si bien no son estándar en la actualidad, siguen siendo plausibles según la justificación molecular o la evidencia emergente, pero que requieren una interpretación cautelosa; y (3) recomendaciones graves, que son sugerencias contraindicadas o potencialmente dañinas que podrían afectar negativamente la seguridad del paciente o los resultados clínicos, como terapias que carecen de una justificación biológica o que están contraindicadas por la biología del tumor o la condición del paciente. Este enfoque graduado reconoce la naturaleza matizada de la toma de decisiones de la MTB, donde muchas terapias fuera de etiqueta forman parte de una práctica rutinaria pero adecuada. La incorporación de una puntuación ponderada por gravedad en las evaluaciones futuras facilitará una evaluación más clínicamente relevante del soporte de decisiones asistido por IA, lo que permitirá distinguir entre imprecisiones menores y errores potencialmente peligrosos.

Al analizar el índice Kappa de Fleiss en los resultados obtenidos en tres ocasiones, observamos un valor medio de 0,51, lo que indica un acuerdo moderado. Los casos complejos y con un tratamiento previo extenso, que a menudo implican variantes consideradas “no tratables” o que carecen de datos clínicos sólidos, fueron los que generaron la mayor variabilidad. Estas discrepancias pueden indicar la incertidumbre del modelo cuando las fuentes de información fiables son escasas o contradictorias. Las réplicas divergentes podrían indicar una recomendación forzada en la que el modelo no tenía una respuesta adecuada. Además, una recomendación estable que se repite en todas las réplicas no indica necesariamente su corrección, ya que ChatGPT podría proponer constantemente una terapia inapropiada, como se muestra anteriormente.

El nivel de evidencia (LoE) ofrece una medida fundamental de la calidad de la recomendación, destacando la jerarquía de la evidencia, que va desde datos clínicos de alto nivel (por ejemplo, ensayos prospectivos) hasta estudios preclínicos o menos sólidos. Tanto ChatGPT como el hMTB se basaron en gran medida en evidencia bien establecida (1A, 2B). Sin embargo, ChatGPT demostró una mayor tendencia a asignar o referenciar niveles de evidencia más bajos (3 o 4), lo que sugiere que, en ocasiones, elevó tratamientos menos validados a un nivel similar a las intervenciones estándar. Si bien este enfoque puede identificar opciones emergentes, también plantea la preocupación de que un LLM generalizado pueda malinterpretar hallazgos ambiguos. En los casos clínicamente desafiantes, como los tumores con mutaciones de KRAS o BRCA1 después de múltiples líneas de terapia, ChatGPT a menudo se desvió del hMTB, lo que probablemente refleja la mayor cantidad de datos no validados o ensayos clínicos que aún no han recibido la aprobación regulatoria que utiliza el modelo.

Para evaluar las circunstancias en las que ChatGPT se excedió al sugerir terapias con poca evidencia o fuera de indicación, analizamos el subconjunto de casos en los que las recomendaciones se marcaron con niveles de evidencia bajos (LoE 3 o 4). Específicamente, los casos 11 (CUP), 13 (carcinoma esofágico) y 15 (glioblastoma) demostraron las mayores proporciones de sugerencias con bajo nivel de evidencia.

En los tres casos, se observaron varios factores convergentes, como una alta complejidad genómica con múltiples variantes coexistentes, así como amplificaciones, especialmente amplificaciones raras en el glioblastoma. Además, las entidades tumorales con pocas o ninguna terapia dirigida estándar, incluido el CUP y el glioblastoma, formaron parte de este subconjunto. Una extrapolación a las clases terapéuticas aún no está respaldada por las guías para la combinación específica de mutación y tumor (por ejemplo, inhibidores de PARP en el carcinoma de células escamosas esofágico con mutación BRCA2, o inhibidores de RAF en el GBM).

Estos ejemplos subrayan la tendencia del modelo a llenar los vacíos clínicos con argumentos exploratorios o preclínicos, especialmente en situaciones raras, refractarias a la terapia o genéticamente complejas. El desacuerdo entre los revisores en la puntuación del nivel de evidencia (véase arriba) sugiere además que se produjo un cierto exceso en escenarios límite en los que la evidencia clínica está en evolución.

Curiosamente, aunque ambos revisores señalaron estas tendencias, el grado de reducción del nivel de evidencia varió, y el Revisor 1 identificó una mayor proporción de sugerencias con bajo nivel de evidencia que el Revisor 2. Interpretamos esta divergencia no como una inconsistencia, sino como un reflejo realista de la variabilidad clínica en las evaluaciones del consejo tumoral molecular (MTB). Incluso entre expertos experimentados, la clasificación de la evidencia, especialmente en casos genéticamente complejos o poco caracterizados, puede verse influenciada por la experiencia local, la interpretación de los datos emergentes y la plausibilidad percibida de las hipótesis terapéuticas. Esto subraya la importancia de incorporar la puntuación estructurada de la evidencia, los mecanismos de transparencia (por ejemplo, el etiquetado de citas) y la supervisión interactiva en los futuros flujos de trabajo clínicos asistidos por LLM para garantizar una implementación segura e interpretable.

Un descubrimiento fundamental fue la capacidad de ChatGPT para generar recomendaciones en un tiempo significativamente menor que el hMTB (15,2 frente a 34,7 minutos en promedio). Esto se alinea con nuestra premisa de que los LLM pueden acelerar ciertos aspectos del flujo de trabajo del MTB. Sin embargo, la preparación de indicaciones, la verificación de los resultados y la reformulación de las sugerencias erróneas aún requieren una vigilancia experta. En consecuencia, el beneficio neto depende de la eficacia con la que los clínicos integren el análisis de ChatGPT en su proceso de toma de decisiones, minimizando la carga de trabajo de la verificación de las recomendaciones dudosas. En este estudio, la medición del tiempo transcurrido para generar recomendaciones con ChatGPT y el consejo tumoral molecular humano (hMTB) comenzó en el momento en que todos los datos clínicos necesarios se recopilaron y estuvieron disponibles para su procesamiento. Para ChatGPT, esto incluyó el tiempo necesario para preparar y formatear los datos clínicos del paciente en una indicación estandarizada. Para el hMTB, el tiempo comenzó una vez que los resúmenes de los casos y la información relevante se prepararon manualmente para la consideración de los expertos. Este diseño garantizó que el tiempo reflejara exclusivamente la fase activa de generación de recomendaciones, excluyendo las discusiones multidisciplinarias posteriores, que son integrales y comunes en ambos flujos de trabajo.

Si bien nuestros resultados demuestran que ChatGPT produjo recomendaciones más rápidamente que el hMTB en términos de tiempo de generación bruto, esta métrica subestima el costo general del flujo de trabajo clínico. Se requiere experiencia para validar, interpretar y modificar críticamente los resultados generados por la IA antes de su aplicación segura, lo que impone cargas cognitivas y temporales que no se capturan únicamente con el tiempo de procesamiento bruto. Además, la toma de decisiones clínicas incorpora consideraciones de seguridad del paciente que requieren una supervisión experta más allá de la redacción de las recomendaciones.

Por lo tanto, la eficiencia clínica debe concebirse como un constructo multidimensional, que abarque no solo el tiempo necesario para generar los resultados, sino también el esfuerzo de validación experta, la carga cognitiva y la gobernanza de la seguridad. Las investigaciones futuras deberían desarrollar marcos que integren estos factores para dilucidar completamente el impacto de los LLM en los flujos de trabajo del consejo tumoral molecular y la práctica de la oncología de precisión.

Aunque ChatGPT 4.0 puede agilizar ciertas tareas, no reemplaza a los equipos de expertos. En particular, el mayor volumen de terapias recomendadas, algunas con bajo nivel de evidencia, ilustra las áreas en las que los consejos derivados de los LLM entran en conflicto con el razonamiento clínico convencional. Esta tensión subraya que, si bien los LLM funcionan bien al identificar patrones o al hacer referencia a múltiples fuentes, pueden carecer del cálculo de riesgo-beneficio matizado que aplican los oncólogos experimentados. En los casos estándar o guiados por las directrices, el historial de ChatGPT fue sólido, pero los casos más complejos, raros o con un tratamiento previo extenso expusieron sus deficiencias.

Se deben reconocer críticamente varias limitaciones. En primer lugar, utilizamos un panel de genes limitado que puede no reflejar las prácticas actuales de secuenciación de nueva generación, que a menudo implican cientos de genes o análisis del exoma completo. En segundo lugar, ChatGPT 4.0 se evaluó con un corte de conocimiento de septiembre de 2021, excluyendo las nuevas directrices o los resultados de los ensayos publicados. En tercer lugar, los propios expertos a veces se basan en datos que no están disponibles para el LLM, como publicaciones patentadas, lo que restringe la comparabilidad directa. Por último, la evaluación sistemática de los LLM más nuevos se vuelve cada vez más difícil cuando no está claro qué datos o publicaciones se integran en su entrenamiento. El uso de un panel de genes enfocado limita inherentemente el alcance genómico de nuestro análisis. Si bien esto refleja la práctica clínica común durante nuestro período de estudio, omite la vasta complejidad que la secuenciación del exoma completo (WES) o la secuenciación del genoma completo (WGS) introducirían. Un WES típico puede generar entre 25 000 y 50 000 variantes (y WGS >3 millones) por paciente, lo que resulta en entre 10 y 20 variantes después del filtrado. Esta amplitud de datos es mayor en comparación con las variantes que se informan en nuestra cohorte. Es probable que un LLM como ChatGPT exhiba un comportamiento y limitaciones diferentes. Más variantes, especialmente cuando se generan mediante WES, pueden carecer de una importancia clínica clara o de documentación previa, lo que podría confundir el análisis del modelo o llevarlo a priorizar asociaciones espurias. El modelo podría tener dificultades para identificar las mutaciones realmente impactantes y, además, tener dificultades para priorizar y combinar los hallazgos. Esto aumenta el riesgo de alucinaciones o recomendaciones irrelevantes, ya que el LLM intenta conectar hallazgos dispares. En un escenario de WES/WGS, incluso después del filtrado, el conjunto final de variantes candidatas podría comprender entre 5 y 15 variantes, lo que ya es una escala en la que los mecanismos descritos podrían estar en funcionamiento. En la práctica, los LLM actuales están limitados por la longitud de entrada y pueden necesitar omitir o resumir los datos; por lo tanto, una mayor entrada genómica podría diluir el enfoque y la precisión de sus resultados. Reconocemos que el rendimiento de ChatGPT puede disminuir o cambiar de forma impredecible con perfiles mutacionales más grandes y complejos, y el trabajo futuro debería explorar estrategias para manejar el aumento de la complejidad y la amplitud de la entrada (por ejemplo, filtrado inteligente de variantes o análisis por niveles) para mitigar la sobrecarga de información. Fundamentalmente, se necesita una evaluación rigurosa del comportamiento del LLM en WES/WGS y datos de mayor dimensión, ya que el rendimiento observado en paneles pequeños puede no extrapolarse directamente a entradas a escala del genoma. Los estudios futuros deberían probar estos modelos en contextos genómicos ampliados para identificar nuevos modos de fallo y requisitos de adaptación.

Para evaluar la relevancia clínica y la complejidad molecular, se anotaron todas las alteraciones genómicas accionables según la escala ESCAT para la capacidad de acción clínica de los objetivos moleculares.^[25] Las asignaciones de niveles siguieron las definiciones de ESCAT revisadas por pares e incorporaron la evidencia actualizada hasta 2024, incluidos los datos específicos del tumor de las aprobaciones regulatorias, las directrices clínicas y las bases de conocimiento seleccionadas (por ejemplo, OncoKB) y la literatura revisada por pares. Por ejemplo, las mutaciones de PIK3CA se clasificaron como Nivel IIIA en el cáncer colorrectal, lo que refleja una evidencia limitada, pero como Nivel IIB en el cáncer de ovario, respaldado por datos de ensayos en fase inicial que sugieren un beneficio clínico (tablas S7 y S10).

Aplicando un umbral de Nivel IIB de ESCAT o superior, el 50% de los casos de nuestra cohorte albergaban al menos una alteración tratable, sin que ningún caso contuviera más de 2 de dichas alteraciones. Esta distribución refleja un espectro realista de capacidad de acción y complejidad molecular, consistente con las poblaciones de MTB del mundo real, y subraya la relevancia de esta cohorte para la evaluación de intervenciones de apoyo a la decisión, como los modelos de lenguaje grandes.

Una de las principales fortalezas de este estudio es la inclusión consecutiva de casos de pacientes, diseñada para reflejar la práctica del mundo real y evitar el sesgo de selección. Al hacerlo, nuestra cohorte captura la distribución típica de las entidades tumorales que se encuentran en los flujos de trabajo rutinarios del MTB en nuestra institución. Sin embargo, comparamos nuestra cohorte piloto con Höfflin et al. (2021; n = 488) y AACR Project GENIE v18.0-public (n = 250 363; Pugh et al., 2022). La edad media en el momento de las pruebas genómicas (56 años) coincidió estrechamente con Höfflin (54 años) y fue ligeramente menor que GENIE (61 años; rango 89). La distribución por sexo fue equilibrada (50% mujeres), lo que es consistente con ambos conjuntos de datos de referencia (47% y 52%).

Nuestra mezcla de casos reflejó la práctica rutinaria del MTB, que abarcó cánceres comunes (mama, colorrectal, SNC) y entidades más raras (CUP, ovario, piel), lo que se asemeja a la serie de Höfflin. En contraste, GENIE reflejó el panorama oncológico más amplio, con una proporción mayor de cáncer de próstata y pulmón. Las cohortes del MTB se caracterizan por estar enriquecidas con casos genéticamente complejos o refractarios a la terapia; sin embargo, estos tumores raros y molecularmente complejos representan una minoría en lugar de la mayoría de los casos, como se observa en nuestra cohorte y en conjuntos de datos externos.

Las alteraciones recurrentes en PIK3CA, BRCA2, KRAS y BRAF se compartieron en los tres conjuntos de datos, lo que indica que, a pesar de su tamaño más pequeño, nuestra cohorte captura un panorama molecular comparable. Las diferencias en las frecuencias de mutación probablemente reflejen variaciones en el tamaño de la muestra, las plataformas de secuenciación y la distribución de tumores.

La inclusión consecutiva de pacientes minimizó el sesgo de selección, y la armonización de los criterios DNPM garantizó la alineación con las prácticas nacionales de oncología de precisión. Si bien el tamaño limitado de la muestra restringe los análisis de subgrupos, particularmente para tumores poco frecuentes, una evaluación exhaustiva del rendimiento de los modelos de lenguaje grandes (LLM) en estos subgrupos requerirá cohortes más amplias y dedicadas. En lugar de comparar los resultados institucionales, este estudio proporciona una evaluación exploratoria de la integración de los LLM en la toma de decisiones de MTB en el mundo real.

La información clínica extraída de los documentos originales en alemán de los casos de MTB se tradujo manualmente y se formateó en indicaciones estandarizadas en inglés para ChatGPT 4.0. Este enfoque garantizó datos de entrada consistentes, al tiempo que expertos humanos revisaron el contenido original en alemán. Se seleccionó el inglés como idioma de las indicaciones porque los modelos GPT están entrenados principalmente con conjuntos de datos en inglés, lo que proporciona una mayor precisión y coherencia en este idioma.^[26],^[27] Los modelos de lenguaje ajustados mediante instrucciones, entrenados principalmente en inglés, pueden transferir capacidades a otros idiomas, pero con cierta degradación en la precisión factual y la fluidez cuando se utilizan en idiomas menos representados o en indicaciones multilingües. Al mantener una indicación en un solo idioma, nuestro objetivo fue minimizar la variabilidad lingüística. Investigar los efectos de las indicaciones en el idioma nativo o multilingües sobre la calidad de las recomendaciones de los LLM sigue siendo un área importante para futuros estudios.

Otra limitación notable de este estudio es la dependencia de las recomendaciones de un único MTB institucional en el CCCA. Si bien esto refleja la práctica clínica estándar y garantiza la coherencia en la recopilación de datos y la revisión por parte de expertos, limita inherentemente la generalización de los hallazgos. Además, no se realizó ninguna comparación formal interinstitucional ni una evaluación ciega de las recomendaciones de hMTB, y no evaluamos la fiabilidad interobservador entre diferentes equipos de expertos. Esto limita la comparación directa con la variabilidad interna observada en los resultados de ChatGPT (mediana de Fleiss’ ? = 0,51). Cabe destacar que un trabajo anterior de Rieke et al. demostró que también puede producirse una variabilidad considerable entre diferentes MTB cuando se revisan casos virtuales de oncología idénticos, lo que pone de manifiesto que la divergencia interpretativa es una característica intrínseca de la práctica de la oncología de precisión, incluso entre los expertos humanos.^[28]

Para abordar estos aspectos importantes, actualmente se está llevando a cabo una iniciativa de comparación multiinstitucional dentro del Centro de Investigación del Cáncer de Baviera (BZKF). En este estudio comparativo, todos los MTB de los hospitales universitarios de Baviera revisan de forma independiente y proporcionan recomendaciones para casos de oncología del mundo real y anonimizados. Estas recomendaciones se comparan sistemáticamente, lo que ofrece un valioso conjunto de datos para evaluar la concordancia inter-MTB y el consenso de los expertos. Si bien este estudio aún no se ha publicado, se espera que proporcione una referencia estandarizada y un modelo para futuras evaluaciones de los resultados generados por humanos y por LLM.

Por lo tanto, nuestro estudio actual debe considerarse complementario a este esfuerzo, centrándose en evaluar la viabilidad, la coherencia y la calidad de ChatGPT 4.0 en la generación de recomendaciones de MTB. Las investigaciones futuras deberían integrar los hallazgos de estas iniciativas comparativas para permitir comparaciones multiinstitucionales ciegas y contextualizar el rendimiento de los LLM no solo en relación con los estándares de las guías clínicas, sino también dentro de la variabilidad realista observada entre los comités de tumores expertos.

Otra limitación de nuestro estudio es que las recomendaciones terapéuticas de ChatGPT se generaron sobre una base por variante, sin una priorización explícita entre múltiples alteraciones tratables. Nuestra estrategia de indicaciones obtuvo respuestas separadas y específicas para cada variante, en lugar de planes de tratamiento integrados y clasificados. Por lo tanto, la capacidad del modelo para diferenciar o priorizar las opciones terapéuticas en competencia sigue sin estar clara. Evaluar dicha priorización es clínicamente importante, ya que la oncología de precisión a menudo requiere equilibrar múltiples objetivos tratables. Las investigaciones futuras deberían abordar específicamente cómo los modelos de lenguaje pueden integrar datos moleculares complejos para producir recomendaciones de tratamiento jerárquicamente ordenadas, lo que refleja las prioridades de toma de decisiones clínicas del mundo real.

Aumentar la fiabilidad de los LLM puede implicar la incorporación de datos específicos del dominio, el aumento de la recuperación o el ajuste fino con conjuntos de datos clínicos cuidadosamente seleccionados.^[24],^[29] Los modelos híbridos que combinan la comprensión a nivel fundamental con módulos médicos especializados podrían lograr una priorización de la evidencia más precisa, al tiempo que preservan las capacidades de razonamiento flexibles de los modelos grandes. Por ejemplo, el ensayo RECTIFIER utilizó GPT-4.0 con procesamiento avanzado del lenguaje natural para la selección de elegibilidad en la insuficiencia cardíaca, superando a los métodos tradicionales tanto en velocidad como en precisión.^[30] Enfoques similares en oncología podrían acelerar las comprobaciones de elegibilidad de los pacientes para los ensayos clínicos, reducir la anotación manual y proporcionar un razonamiento más transparente.

Aún así, la transparencia en los resultados generados por la IA sigue siendo un gran desafío. Los clínicos necesitan información sobre cómo los modelos producen sugerencias o asignaciones de nivel de evidencia (LoE) específicas, especialmente cuando faltan referencias o bases de evidencia clave. Los comportamientos opacos de "caja negra" erosionan la confianza en las recomendaciones basadas en la IA, especialmente cuando las sugerencias se desvían de las normas establecidas. Una preocupación igualmente importante para el despliegue clínico es la explicabilidad de la recomendación de un LLM. A diferencia de los algoritmos tradicionales que podrían ofrecer reglas de decisión claras, los LLM operan como cajas negras, lo que hace que los clínicos se pregunten por qué se hizo una sugerencia en particular. La falta de transparencia es una barrera conocida para la confianza, y los clínicos son comprensiblemente reacios a actuar sobre recomendaciones que no pueden validar. Para aumentar la confianza de los clínicos y garantizar un uso seguro, las iteraciones futuras de sistemas como ChatGPT deberían incorporar mecanismos para un razonamiento visible y el seguimiento de la evidencia. Un enfoque prometedor es la salida habilitada para citas, donde la respuesta del LLM se complementa con referencias a guías, libros de texto o estudios revisados por pares que respaldan cada afirmación. Por ejemplo, una sugerencia de diagnóstico generada por un LLM podría ir acompañada de una cita a la literatura médica relevante e incluso una nota que la vincule a los datos específicos del paciente. En nuestro enfoque, solicitamos resultados respaldados por citas que se vincularon a las fuentes de cita correctas, según se evaluó mediante búsquedas individuales en cada caso. Este etiquetado de la evidencia permite a los clínicos verificar los hechos más fácilmente y ver la base de la conclusión del LLM, transformando el razonamiento de caja negra del modelo en un proceso más transparente y auditable. Además, la integración de una forma de puntuación de confianza para cada recomendación podría mejorar aún más la transparencia. Si el modelo comunicara la incertidumbre, la confianza podría modularse en consecuencia, lo que permitiría señalar la confianza o la falta de fiabilidad de las respuestas.

En el futuro, la combinación de estas características (fundamentar las respuestas en citas, resaltar la evidencia de respaldo e indicar los niveles de confianza) puede mejorar significativamente la explicabilidad de los LLM. Especialmente con la aparición de funcionalidades de modelos de "investigación profunda" o de razonamiento, estas herramientas ya se pueden imaginar.^[31] En última instancia, mejorar la transparencia a través de estos mecanismos es fundamental para generar la confianza necesaria para el uso clínico de los modelos de IA, y prevemos que los LLM clínicos futuros operarán en un modo de "caja de cristal", donde cada recomendación viene con un registro de auditoría de por qué se hizo y cuán fuertemente el modelo la respalda. Esto será esencial para garantizar que los sistemas de IA generativa se puedan integrar de forma segura en la medicina genómica y otros flujos de trabajo de atención médica de alto riesgo.

La integración de los LLM en los flujos de trabajo clínicos también plantea importantes consideraciones éticas, legales y regulatorias. La privacidad de los datos de los pacientes, la responsabilidad del modelo y la posible responsabilidad médico-legal son todas preocupaciones relevantes, especialmente si las recomendaciones generadas por la IA se aplican sin verificación humana. El despliegue responsable de estas herramientas requerirá una supervisión rigurosa, registros de auditoría transparentes y marcos regulatorios que garanticen que la supervisión humana siga siendo fundamental para la toma de decisiones clínicas. Los sistemas futuros deben diseñarse para admitir la trazabilidad de los resultados, la puntuación de la confianza y la atribución de la evidencia. El despliegue de los marcos debe evolucionar más allá de las métricas de rendimiento sin procesar. En primer lugar, la auditabilidad y la trazabilidad son esenciales: cada resultado del modelo debe registrarse, marcarse con la fecha y la hora y controlarse por versiones para respaldar el cumplimiento normativo y la validación retrospectiva. En segundo lugar, las herramientas de IA deben funcionar dentro de flujos de trabajo clínicos híbridos, donde los usuarios expertos validan o rechazan las sugerencias y generan comentarios para la mejora del sistema. Además, los mecanismos para la actualización continua del modelo, vinculados a las guías clínicas y los registros de ensayos clínicos actuales, son fundamentales para mantener la relevancia en un campo en rápida evolución.

La supervisión institucional también será clave. Prevemos que los LLM se evalúen y acrediten como otros sistemas de apoyo a la decisión clínica, con una gobernanza, documentación y capacitación de usuarios adecuados. Por último, los sistemas de IA deben adaptarse a los contextos locales, teniendo en cuenta el acceso a los ensayos y los protocolos institucionales, y deben probarse en estudios comparativos multiinstitucionales cegados para garantizar una amplia generalización y seguridad.

Nuestros resultados sugieren que ChatGPT 4.0, y posiblemente otros LLM avanzados, podrían servir como una herramienta de selección o triaje inicial, señalando posibles vías terapéuticas. El hMTB validaría entonces estas recomendaciones, aplicando consideraciones del mundo real, como la accesibilidad de los fármacos, la tolerancia del paciente, las comorbilidades y la rentabilidad. Este modelo híbrido aprovecha la velocidad de la IA para escanear grandes cantidades de datos, al tiempo que salvaguarda el rigor clínico a través de la experiencia humana. Paradigmas similares ya han demostrado ser exitosos en otros dominios médicos, desde el manejo de la hepatitis C crónica hasta la enfermedad renal.[32–34]

Sin embargo, una consideración importante es si agregar sugerencias basadas en LLM introduce una complejidad adicional o fomenta una eficiencia genuina. En ciertos casos, el conocimiento exhaustivo del hMTB podría hacer que la información de ChatGPT sea redundante. Por lo tanto, una implementación efectiva exige procesos bien definidos: establecer umbrales para la revisión de las terapias propuestas por la IA, aclarar cómo abordar las recomendaciones "fuera de etiqueta" o con poca evidencia, y desarrollar indicaciones y datos de entrada estandarizados.

Conclusión

ChatGPT 4.0, aunque no está específicamente entrenado en contextos médicos, muestra una promesa considerable para generar recomendaciones de terapia en la oncología de precisión. En entornos estándar guiados por las directrices, se alinea estrechamente con los juicios de los expertos, ofreciendo una síntesis rápida de las intervenciones terapéuticas comunes. En escenarios más complejos, ChatGPT amplía el alcance de los posibles tratamientos, pero puede depender de evidencia de menor nivel. Si bien esto puede descubrir opciones que los expertos humanos podrían pasar por alto, también subraya las limitaciones del modelo en la aplicación de las prioridades clínicas del mundo real.

Nuestros hallazgos refuerzan el valor de un enfoque híbrido que combina las fortalezas de la IA (eficiencia, integración rápida de datos y recuperación integral) con el juicio crítico y la comprensión contextual que ofrecen los oncólogos expertos. A medida que los LLM evolucionen, el objetivo es pasar de una tecnología disruptiva a un componente transparente, interpretable y totalmente integrado de los flujos de trabajo de MTB. Las investigaciones en curso deberían examinar cómo incorporar mejor las fuentes de datos actuales, mantener un razonamiento transparente y equilibrar la necesidad de velocidad con las responsabilidades éticas y clínicas inherentes a la atención del cáncer.