Постійний пошук по дереву Монте-Карло для агентів, що діють у складних середовищах: приклад дослідження гри «Цитаделі»

Прийняття рішень у багатокористувацьких, частково спостережуваних іграх становить значні труднощі через приховану інформацію та великі фактори розгалуження. Це дослідження представляє стійку структуру Монте-Карло пошуку по дереву (MCTS), розроблену для ефективної роботи в таких середовищах, використовуючи стратегічну настільну гру Citadels як приклад. Ключовий внесок полягає у розділенні фази побудови дерева від фази застосування: дерева рішень генеруються офлайн через симуляції середовища, а відповідна статистика зберігається у табличній формі, що дозволяє швидко виконувати запити під час виконання без потреби в додаткових симуляціях. Експериментальне оцінювання демонструє, що вплив різноманітних супротивників під час навчання створює моделі з надійними та узагальнюваними стратегіями, здатними до сильної продуктивності в широкому діапазоні ігрових сценаріїв. Зокрема, моделі, навчені в середовищі, де супротивники вибиралися стохастично, послідовно перевершували ті, що навчалися проти одного типу супротивника, і демонстрували стабільну продуктивність протягом навчальних запусків. Ці результати підкреслюють ефективність поєднання MCTS із постійним зберіганням знань для створення швидких, надійних та адаптивних агентів у складних доменах.