Persistente Monte Carlo Tree Search voor Agenten in Complexe Omgevingen: Een Casestudy over Citadels

Abstract

Besluitvorming in multiplayer-spellen met gedeeltelijke observeerbaarheid stelt aanzienlijke uitdagingen vanwege verborgen informatie en grote vertakkingsfactoren. In dit onderzoek wordt een persistent Monte Carlo Tree Search (MCTS)-framework geïntroduceerd dat is ontworpen om efficiënt te opereren in dergelijke omgevingen, waarbij het strategische bordspel Citadels als casestudy wordt gebruikt. De kernbijdrage is de ontkoppeling van de boomconstructiefase en de toepassingsfase: beslissingsbomen worden offline gegenereerd via omgevingssimulaties, en relevante statistieken worden in tabelvorm opgeslagen, waardoor snelle opvragingen tijdens uitvoering mogelijk zijn zonder extra simulaties. Experimentele evaluatie toont aan dat blootstelling aan diverse tegenstanders tijdens de training modellen oplevert met robuuste en generaliseerbare strategieën, die in staat zijn tot sterke prestaties in een breed scala aan spelscenario's. Met name modellen die zijn getraind in een omgeving waar tegenstanders stochastisch werden gesampleed, presteerden consistent beter dan die getraind tegen één type tegenstander en vertoonden stabiele prestaties over trainingsruns. Deze bevindingen onderstrepen de effectiviteit van het combineren van MCTS met persistente kennisopslag voor het produceren van snelle, betrouwbare en aanpasbare agents in complexe domeinen.