Evaluación de la simulación basada en agentes para la estimación de la salud pública a nivel local.

Los agentes generativos basados en modelos de lenguaje grandes (LLM) pueden reproducir aspectos del comportamiento individual humano, pero no está claro si se pueden ampliar para abarcar poblaciones geográficamente definidas que reproduzcan comportamientos de salud del mundo real. Aquí, presentamos LLMPopSim, un marco de simulación de poblaciones basado en agentes que utiliza datos del Censo de los Estados Unidos y de los Centros para el Control y la Prevención de Enfermedades para construir poblaciones de agentes de IA cuyos comportamientos de salud individuales simulados pueden agregarse y evaluarse a nivel comunitario. Desarrollamos el marco utilizando datos históricos de Hawái en 2018 y evaluamos la generalización temporal y geográfica utilizando cohortes de 2022 de Hawái y el estado de Nueva York, con la detección del cáncer colorrectal y la mamografía como comportamientos de prueba de concepto. En las cuatro evaluaciones de resultados estatales, el error absoluto medio osciló entre 3,5 y 15,0 puntos porcentuales, y las correlaciones entre la prevalencia simulada y observada a nivel de ZCTA oscilaron entre 0,26 y 0,69.

El sesgo medio de la predicción fue de +15,0 y +10,2 puntos porcentuales para la detección del cáncer colorrectal en Hawái y el estado de Nueva York, respectivamente, y de +2,9 y +0,9 puntos porcentuales para la mamografía; las ratios de la desviación estándar geográfica predicha a la observada fueron de 0,60 y 0,68 para la detección del cáncer colorrectal y de 1,12 y 1,96 para la mamografía, respectivamente. El error de predicción fue mayor en las comunidades con menor prevalencia observada de detección y varió según las características de la comunidad sin un gradiente socioeconómico uniforme.

Estos hallazgos demuestran que los agentes de IA representados individualmente pueden agregarse en patrones a nivel de población que conservan características medibles del comportamiento de salud del mundo real en la transferencia temporal y geográfica, al tiempo que identifican la calibración, la fidelidad de la distribución y el rendimiento de los subgrupos como desafíos clave para la simulación de poblaciones generativas. LLMPopSim proporciona una base empírica para desarrollar poblaciones sintéticas que, en última instancia, puedan permitir la simulación de respuestas heterogéneas de la población a las intervenciones de salud pública.