Искусственный интеллект улучшает качество графики старых видеоигр и делает это действительно хорошо +28





Технологии искусственного интеллекта постепенно развиваются, помогая решать задачи и проблемы самых разных сфер — от бизнеса до медицины и развлечений. Недавно стало известно еще об одной задаче, которую ИИ решает очень хорошо. Речь идет об игровых модах — как оказалось, машинное обучение отличный инструмент для улучшения графики классических компьютерных игр.

Технология, о которой идет речь, получила название “AI upscaling”. Все просто, как часы: алгоритму «скармливается» изображение из игры низкого разрешения, и чуть позже ИИ выдает улучшенную версию этого экземпляра. Конечно, в начале работы необходимо обучить нейросеть, иначе никакого улучшения не будет. Но после обучения ИИ демонстрирует весьма интересные результаты работы.

Пример — графика из The Elder Scrolls III: Morrowind. Поклонник этой игры обработал все графические файлы при помощи алгоритма и получилось если не идеально, то близко к тому.


Обычно на улучшение качества текстур из какой-либо игры нужна работа целой команды энтузиастов, которые тратят дни, недели и месяцы личного времени на достижение нужного результата. Это сотни и сотни часов всей команды, причем далеко не всегда проект удается закончить.

При помощи ИИ графику нельзя улучшить за пару минут, но все же работа выполняется гораздо быстрее — уже за недели, а не месяцы или даже годы. Причем работу может выполнить один-единственный человек. Вполне может быть, что вскоре мы увидим большое количество «перелицованных» старых игр, которые будут выглядеть по-новому.

Улучшениям уже подверглись такие известные тайтлы, как Doom, Half-Life 2, Metroid Prime 2, Final Fantasy VII, и Grand Theft Auto: Vice City. Недавно даже Mass Effect 2 улучшили, получив очень неплохой результат.

По словам одного из «оптимизаторов», у него ушло около 200 часов работы на настройку работы алгоритма и получение желаемого результата. Но зато всего один человек смог обновить Doom.

Оптимизаторы ведут работу с играми, где текстуры хранятся в специальных файлах. Это изображения камней, металла, травы, оружия и всего прочего, что есть в игре. При запуске все эти изображения «натягиваются» на карты уровней и мы видим то, что видим.

По словам тех, кто уже занимался улучшением графики, после работы ИИ остаются графические артефакты, которые приходится убирать вручную. На это и уходит время. К слову, примерно то же происходит и во всех остальных случаях, когда используется искусственный интеллект — его наличие в проекте вовсе не означает отсутствие человека. «Ручная» работа все еще нужна.

Вот один из сервисов, которые активно используются моддерами и оптимизаторами.

Сервис имеет две функциональных части. Первая переводит изображение (вернее, пытается перевести) из low-res в high-res. Ну а вторая часть занимается сравнением того, что получилось с накопленным после обучения «опытом». Если вторая часть оценивает картинку как «удачную», она принимается в качестве результата.



При этом с течением времени ИИ совершенствует методы своей работы и усложняет алгоритмы. Это не просто «растягивание» изображений, что может делать графический редактор, а реальное многоступенчатое преобразование.


Геймеры, которые играют в оптимизированные игры (и помнят оригинальные версии) говорят, что впечатление при прохождении остается прежним, эмоции все те же. Но добавляется еще и восхищением качеством «новой» картинкой. Раньше геймеры видели более качественную картинку благодаря тому, что графика отображалась на кинескопах старых версий, так что многие графические артефакты были просто незаметны. А вот сейчас, при запуске старой игры на современном мониторе все недостатки видны, как на ладони, что в некоторых случаях снижает удовольствие при прохождении.


Выше уже говорилось, что вскоре мы увидим старые игры в новой упаковке — и это действительно так. Все больше появляется сервисов, позволяющих оптимизировать графику и моддеры всех мастей работают над различными проектами. Остается немного подождать и мы сможем насладиться новыми впечатлениями от игры в известные тайтлы.


Вы можете помочь и перевести немного средств на развитие сайта



Комментарии (45):

  1. Zmiy666
    /#20057538

    А почему не научить нейросети вылавливать графические артефакты и убирать их, чтоб еще больше ускорить процесс и снизить трудозатраты??

    • kin63camapa
      /#20057644

      Учить как? Это мы знаем как трава и деревья выглядят, а для нейросети придется брать реальные пейзажи и отрисовывать на движке игры

      • masai
        /#20062002

        Сети, построенные на архитектуре GAN (как упомянутый ESRGAN), так и учат — показывают реальные траву и деревья. Сеть запоминает закономерности, характерные для реальных объектов и соответственно этому вносит коррекцию при повышении разрешения.

      • Zmiy666
        /#20062674

        если человек может отличить графический артефакт, то и нейросеть сможет — а как обучать — да так же нарезать картинки с артефактами и без, и учить. Артефакты же не уникальны, нейросеть сможет их распознать и возможно удалить, налепив заплатку.

  2. KvanTTT
    /#20057628

    На видео не хватает разделения экрана, чтобы сравнивать «до» и «после».

    • TheShock
      /#20057640

      Абсолютно согласен. Есть только в видео по ФФ7 и там что-то невероятно крутое как по мне.

    • Hidon
      /#20058256 / +1

      можно и картинки глянуть, например здесь. вполне наглядно.

  3. kin63camapa
    /#20057650

    Готовимся к тому, что скоро на видеокартах будет еще и fpga для нейросети…

    • Druu
      /#20057678

      Ну tensor cores на RTX'ах есть уже.

  4. n0th1ng
    /#20057672

    Так последних видеокартах на NVidia уже есть же тензорные ядра для нейросетей. Используется для как раз для повышения разрешения.

    • darthmaul
      /#20066036

      Т.е, когда выставляешь разрешение 4к, кадр рендерится с меньшим и потом апскейлится до нужного?

  5. Taciturn
    /#20058000

    Вот бы посмотреть сравнение не с Nearest neighbor, а с Lanczos.

    • DrZlodberg
      /#20058108

      Будет просто мыло. IMHO лучше уж квадраты.
      DOOM с новыми текстурами очень порадовал.

      • CoolCmd
        /#20059376

        можно ссылку для дума? тоже хочу порадоваться.

        • DrZlodberg
          /#20059482

          Если не ошибаюсь — вот тут. Не помню уже откуда качал.

          • CoolCmd
            /#20061240

            посмотрел в doom 1. стиль итоговой картинки мода похож на встроенный в gzdoom режим xbrz 2x, только деталей побольше. если бы не знал, то не уверен, что заметил бы разницу. мне с пикселами как-то привычнее, не так заметна низкая детализация. я только оружие сглаживаю.

            • DrZlodberg
              /#20063018

              Такого режима не пробовал, но текстуры были больше чем *2. Вроде писали, что алгоритм несколько раз прогоняли для больших разрешений. По крайней мере артефакты были очень характерные для этого способа.

  6. dmitryredkin
    /#20058282

    Ну здравствуй, Глубина!

  7. Ruddymetor
    /#20058316

    «Геймеры, которые играют в оптимизированные игры (и помнят оригинальные версии) говорят, что впечатление при прохождении остается прежним, эмоции все те же. » — это самое главное!

    Морра была великолепна, она такой остается и до сих пор.

  8. Andrey_Dolg
    /#20058516

    Прощай рынок ремастер поделок.

    • qw1
      /#20059012

      Наоборот, здравствуй рынок простых ремастеров. Теперь не нужно рисовать новые текстуры, а можно апскейлить старые и заново продать.

      • juray
        /#20059228

        Это упирается в вопрос общедоступности такого софта.
        Если он будет работать на среднем компьютере и стоить недорого — то для многих игр пользователь сам сможет сделать ремастер, и зачем ему покупать всякие там «enhanced edition»?

        А, да, есть еще второй вопрос — сложность выковыривания ресурсов из игры и заковыривания обратно после улучшения. Могут быть проблемы, если ресурсы хранятся достаточно жестко и обфусцированно. Но это крайне редкий вариант.

        • ffs
          /#20060736

          Ну, многие старые игры надо адаптировать к широкому экрану, починить интерфейс и возможность запуска на win10 например.

          • juray
            /#20061908

            Надо-то надо, но если игроки смогут это делать самостоятельно (а нейросети для апскейла изображений уже вполне доступны — Let's Enhance, waifu2x, Mail.ru Vision, и даже в Фотошопе такой фильтр есть, в общем — см. habr.com/ru/post/438886), то рынок ремастеров коммерческих («продать второй раз то же, но с перламутровыми пуговицами») может таки потерять свою прибыльность.

            • Andrey_Dolg
              /#20062398

              Одумайтесь не повторяйте мою ошибку. Если вдруг ремастер будет сделать сложнее чем запустить косынку, то это выгодный рынок и потребитель будет.

        • qw1
          /#20061178

          Могут быть проблемы, если где-то есть константы типа MAX_TEXTURE_WIDTH и буферы выделяются с их учётом. Как эти константы легли в код при компиляции — тоже нетривиальная задача выяснить.

          • juray
            /#20061888

            Я именно про эти проблемы. Так-то обычно ресурсы не обфусцируют.

  9. Kugata
    /#20058536

    Мне кажется все пошло от статьи про Монти и его 4к
    Я тогда тоже скачал эту программу чтобы хоть как то улучшить свой любимый сериал The Golden Girls в итоге ничего не вышло, нейросеть практически не улучшила его

  10. Sadler
    /#20059188

    Логичным продолжением нейросетевой модернизации графики стала бы модернизация 3d-моделей (где они есть), а не только текстур. Наиболее приемлемым для таких целей мне видится воксельное представление моделей.

  11. Tsimur_S
    /#20060268

    Может теперь TesRenewal Skywind выпустят в этом столетии.

  12. Mykola_Von_Raybokobylko
    /#20060562 / +1

    Было бы любопытно посмотреть на обновленного первого макс пейна если это вообще возможно.

    • Hidon
      /#20062064 / +2

      у старых 3d игр есть большая проблема — очень простенькие модельки. на «квадратную» голову первого макса хоть какую текстуру не натяни, лучше она от этого не станет.
      вот когда нейросети научатся полноценно воссоздавать старые игры на новых движках с полной заменой всего и вся — тогда да.
      думаю, что и до этого доживём, причём довольно скоро.

      • Согласен. Может быть в будущем при подобной переделке в игру добавят нсп, а то город малолюдный очень.

        • Druu
          /#20064330

          а потом все это будет тормозить на топовых печах, т.к. движок на такое не рассчитывался :)

      • juray
        /#20064712

        Сейчас не вспомню конкретики, но бывали случаи, когда грамотно сделанная текстура маскировала недостаток детальности модели.

        Но для совсем примитивных моделей да, это плохо работает. Впрочем, даже в этом случае можно добиться интересных результатов:
        image
        (скины для Quake 1)

        • Hidon
          /#20066474

          на картинке текстуры как раз под стать модели, поэтому смотрится вполне нормально. а вот если на эту модель натянуть текстуры высокого разрешения с хорошей детализацией и чёткостью — то вся убогость модельки мгновенно вылезет наружу.
          можно конечно и замаскировать, но для этого нужен талантливый художник и далеко не факт, что на выходе получится что-то похожее на оригинал.

  13. darthmaul
    /#20062384 / +2

    Ещё бы саму 3д детализацию улучшать…

  14. ordoss
    /#20062584

    Жду того момента, когда нейронке будет достаточно «скормить» бинарник лобой игры, а та сможет его полностью перекомпилировать на современный движок, с детально проработанными текстурами, модельками и анимациями. Вот тогда нас ждет настоящий ренессанс ретрогейминга. Но для этого нужен уровень едва ли не полноценного ИИ.

  15. Femistoklov
    /#20063016

    У меня было подозрение, что мой мозг улучшает качество картинки, теперь же я в этом просто уверен.

    • Так оно и происходит, мозг дорисовывает, буквально додумывает то, чего на картинке не было. Исключение наверно просмотр корявых экранок.

      • qw1
        /#20065444

        И на корявые экранки можно натренироваться, вопрос практики…

  16. Sotis
    /#20064064

    Подскажите, где можно посмотреть на Vice City и есть ли такой мод для American McGee's Alice?

    • Hidon
      /#20066490

      набрать в youtube «vice city esrgan». или надо именно вживую? ну тогда гугл в помощь. про алису не интересовался, мож и делал кто, сейчас чуть ли не каждый день что-то новое по этой теме появляется(не в смысле готовых текстур, а в смысле проектов).

  17. Flakky
    /#20071188

    В действительности графика не улучшается, просто картинка становится четче.

    Как по мне, куда важнее освещение, а не качество текстур. Чего только стоит Minecraft с рейтрейсингом. Думаю, что нужно совмещать такие вещи. А если добавить ещё и деталей через Меш-шейдер, постобработку, то вообще сахарно будет :)