Persistente Monte-Carlo-Baumsuche für Agenten in Komplexen Umgebungen: Eine Fallstudie zu Citadels

Abstrakt

Die Entscheidungsfindung in Mehrspielerspielen mit partieller Beobachtbarkeit stellt erhebliche Herausforderungen durch versteckte Informationen und hohe Verzweigungsfaktoren dar. Diese Studie präsentiert ein persistentes Monte-Carlo-Baumsuche (MCTS)-Framework, das für den effizienten Einsatz in solchen Umgebungen konzipiert wurde, wobei das strategische Brettspiel Citadels als Fallstudie dient. Der wesentliche Beitrag ist die Entkopplung der Baumkonstruktionsphase von der Anwendungsphase: Entscheidungsbäume werden offline durch Umgebungssimulationen generiert, und relevante Statistiken werden in tabellarischer Form gespeichert, was schnelle Abfragen während der Ausführung ohne zusätzliche Simulationen ermöglicht. Die experimentelle Evaluierung zeigt, dass die Exposition gegenüber vielfältigen Gegnern während des Trainings Modelle mit robusten und verallgemeinerbaren Strategien erzeugt, die in einem breiten Spektrum von Spielszenarien gute Leistungen erzielen können. Insbesondere übertrafen Modelle, die in einer Umgebung mit stochastisch gezogenen Gegnern trainiert wurden, konsistent solche, die gegen einen einzelnen Gegnertyp trainiert wurden, und zeigten stabile Leistungen über mehrere Trainingsläufe hinweg. Diese Ergebnisse unterstreichen die Wirksamkeit der Kombination von MCTS mit persistenter Wissensspeicherung zur Erzeugung schneller, zuverlässiger und anpassungsfähiger Agenten in komplexen Domänen.