Búsqueda Arbórea de Monte Carlo Persistente para Agentes en Entornos Complejos: Un Estudio de Caso en Citadels

Resumen

La toma de decisiones en juegos multijugador con observabilidad parcial plantea desafíos significativos debido a la información oculta y los altos factores de ramificación. Este estudio presenta un framework de Búsqueda Arbórea de Monte Carlo (MCTS) persistente, diseñado para operar eficientemente en dichos entornos, utilizando el juego de mesa estratégico Citadels como caso de estudio. La contribución principal es el desacoplamiento entre la fase de construcción del árbol y la fase de aplicación: los árboles de decisión se generan fuera de línea mediante simulaciones del entorno, y las estadísticas relevantes se almacenan en forma tabular, permitiendo consultas rápidas durante la ejecución sin necesidad de simulaciones adicionales. La evaluación experimental demuestra que la exposición a oponentes diversos durante el entrenamiento produce modelos con estrategias robustas y generalizables, capaces de un rendimiento sólido en una amplia gama de escenarios de juego. En particular, los modelos entrenados en un entorno donde los oponentes se muestreaban estocásticamente superaron consistentemente a los entrenados contra un único tipo de oponente y mostraron un rendimiento estable a lo largo de las sesiones de entrenamiento. Estos hallazgos subrayan la efectividad de combinar MCTS con el almacenamiento persistente de conocimiento para producir agentes rápidos, fiables y adaptables en dominios complejos.