Badania i pisanie
Pisanie i badania nad inżynierią oprogramowania, AI, informatyką i kulturą cyfrową.
Niniejsza praca bada, jak modelowanie przeciwników wpływa na trening hybrydowego frameworku MCTS-RL zastosowanego do wieloosobowej gry planszowej Citadels, która charakteryzuje się ukrytymi informacjami, wieloma graczami i ograniczeniami czasowymi. Propozycja oddziela planowanie od wykonania poprzez persistentną strukturę decyzyjną budowaną offline z symulacji, zmniejszając internetowe koszty obliczeniowe MCTS. W środowisku symulacyjnym z agentami-ekspertami i agentem losowym porównuje się różne sesje treningowe (w tym zróżnicowane środowisko) według wskaźnika wygranych. Wyniki wskazują, że różnorodność strategii w treningu ma tendencję do tworzenia bardziej robustenego i generalistycznego agenta niż trening przeciwko indywidualnie silnym przeciwnikom.
Podejmowanie decyzji w wieloosobowych grach z częściową obserwowalnością stawia istotne wyzwania ze względu na ukryte informacje i duże współczynniki rozgałęzień. W niniejszym badaniu przedstawiono trwały framework Monte Carlo Tree Search (MCTS), zaprojektowany do efektywnego działania w takich środowiskach, z wykorzystaniem strategicznej gry planszowej Citadels jako studium przypadku. Kluczowym wkładem jest rozdzielenie fazy budowania drzewa od fazy stosowania: drzewa decyzyjne są generowane w trybie offline przez symulacje środowiska, a odpowiednie statystyki są przechowywane w formie tabelarycznej, umożliwiając szybkie zapytania podczas wykonywania bez potrzeby dodatkowych symulacji. Ocena eksperymentalna pokazuje, że ekspozycja na różnorodnych przeciwników podczas treningu daje modele z odpornymi i uogólnialnymi strategiami, zdolne do osiągania wysokich wyników w szerokim zakresie scenariuszy gry. W szczególności modele trenowane w środowisku, w którym przeciwnicy byli losowo próbkowani, konsekwentnie przewyższały te trenowane przeciwko jednemu typowi przeciwnika i wykazywały stabilne wyniki w kolejnych uruchomieniach treningowych. Wyniki te podkreślają skuteczność łączenia MCTS z trwałym przechowywaniem wiedzy w celu tworzenia szybkich, niezawodnych i adaptowalnych agentów w złożonych domenach.
