Busca em Árvore de Monte Carlo Persistente para Agentes Operando em Ambientes Complexos: Um Estudo de Caso em Citadels

Resumo

A tomada de decisão em jogos multiplayer com observabilidade parcial apresenta desafios significativos devido à informação oculta e ao alto fator de ramificação. Este estudo introduz um framework de Busca em Árvore de Monte Carlo (MCTS) persistente, projetado para operar de forma eficiente nesses ambientes, utilizando o jogo de tabuleiro estratégico Citadels como estudo de caso. A principal contribuição é o desacoplamento entre a fase de construção da árvore e a fase de aplicação: as árvores de decisão são geradas offline por meio de simulações do ambiente, e as estatísticas relevantes são armazenadas em formato tabular, permitindo consultas rápidas durante a execução sem necessidade de simulações adicionais. A avaliação experimental demonstra que a exposição a oponentes diversificados durante o treinamento produz modelos com estratégias robustas e generalizáveis, capazes de obter desempenho elevado em uma ampla gama de cenários de jogo. Em particular, modelos treinados em um ambiente onde os oponentes eram amostrados estocasticamente superaram consistentemente aqueles treinados contra um único tipo de oponente e apresentaram desempenho estável entre diferentes execuções de treinamento. Esses resultados destacam a eficácia de combinar MCTS com armazenamento persistente de conhecimento para produzir agentes rápidos, confiáveis e adaptáveis em domínios complexos.