Несмотря на свой солидный возраст, игра Pac-Man, разные ее версии, все еще пользуется бешеной популярностью. Поклонники игры регулярно соревнуются друг с другом в том, кто наберет большее количество очков при прохождении. Изучают ее и разработчики ИИ, совершенствуя навыки своих систем в прохождении игр.
Группе разработчиков из канадского стартапа Maluuba, который был ранее приобретен корпорацией Microsoft, удалось создать программную платформу, которая показала необычайно хорошие результаты при прохождении Ms. Pac-Man, версии этой игры для Atari 2600. Программа побила все ранее поставленные рекорды, набрав 999 990 очков.
Кстати, игра была создана в 1982 году. Тогда компания Atari Inc. выпустила порт хитовой аркадной игры Pac-Man от Namco. Как и в оригинальной версии, управлять протагонистом нужно при помощи джойстика. Главный герой должен двигаться по лабиринту, набирая баллы, при этом требуется избегать призраков. Создателем портированной игры является Тод Фрай.
По мнению некоторых специалистов, то, что программная платформа набрала максимальное количество очков в игре, является значительным достижением в сфере искусственного интеллекта (слабой его формы). Дело в том, что другие программные платформы показывали гораздо менее успешные результаты — игра оказалась достаточно сложной для ИИ. Конечно, далеко не все разработчики создавали свои проекты из расчета на взятие рекорда в Ms. Pac-Man, но те, кто над этим работал, говорили о большом количестве технических проблем при попытке показать сколь-нибудь значимые результаты.
Для того, чтобы достичь успеха, команда Maluuba решила разбить игру на группу мелких элементов, с поиском решения для взаимодействия с каждым из них. Далее эти элементы были распределены среди ИИ-агентов, каждый из которых решал свою определенную задачу. Дойна Прекап, профессор из McGill University в Монреале, заявила о том, что идея, предложенная разработчиками, заслуживает внимания. По ее мнению, именно так работает в некоторых случаях мозг человека — разбивает какую-то проблему на несколько составляющих и решает последовательно каждый из элементов.
Свой метод разработчики назвали Hybrid Reward Architecture, в нем используется более 150 агентов ИИ, каждый из которых работает параллельно с другими в процессе прохождения игры. Причем каждый из агентов получает «награду» при успешном прохождении своего участка игры.
Кроме «мелких» агентов, существует еще один агент высшего уровня, который занимается сведением воедино всех данных, полученных от всех «подчиненных». Он же и принимает решение о том, куда должна двигаться фигурка героя. При этом анализируется большое количество данных. Главный фактор — это направление движения, выбранное максимальным количеством элементарных агентов. С другой стороны, если 100 агентов хотят идти направо, чтобы получить трофей, но 3 агента планируют свернуть налево, поскольку заметили призрака, то главный агент «послушает» этих троих.
По словам главного разработчика, система начала показывать лучшие результаты после того, как агентов запрограммировали на эгоистичное поведение. То есть каждый из них принимает решение без оглядки на других. А вот общее решение о направлении движения героя принимает уже главный агент. Он оценивает различные факторы и командует, куда нужно идти.
К сожалению, не доступен сервер mySQL