ИИ научился создавать видео с одного кадра. Старые картины теперь можно сделать живыми +56





Технология из Гарри Поттера дошла до наших дней. Теперь для создания полноценного видео человека достаточно одной его картинки или фотографии. Исследователи машинного обучения из «Сколково» и центра Samsung AI из Москвы опубликовали свою работу о создании такой системы, вместе с целым рядом видео знаменитостей и предметов искусства, получивших новую жизнь.




Текст научной работы можно почитать тут. Там всё довольно интересно, с массой формул, но смысл прост: их система руководствуется «ориентирами», достопримечательностями лица, вроде носа, двух глаз, двух бровей, линии подбородка. Так она мгновенно улавливает, что человек собой представляет. И потом может переносить всё остальное (цвет, текстуру лица, усы, щетину и прочее) на любое другое видео человека. Адаптируя старое лицо к новым ситуациям.




Разумеется, это пока работает только на портретах. Модели нужен только один человек, с лицом, повернутым к нам, чтобы у него было хотя бы видно оба глаза. Тогда система может делать с ним что угодно, передавать ему любую мимику. Достаточно дать ей подходящее видео (с другим человеком с головой примерно в том же положении).


Ранее ИИ уже научился делать дипфейки, и интернет-пользователи знатно поиздевались над знаменитостями, вставляя их лица в порно и делая мемы с Николасом Кейджем. Но для этого им приходилось тренировать алгоритмы мегабайтами (а лучше – гигабайтами) данных, находить как можно больше изображений и видео с лицами знаменитостей, чтобы выдать более-менее пристойный результат. Сам создатель Deepfakes говорил, что на компиляцию одного короткого ролика у него уходит 8-12 часов. Новая система генерирует результат моментально, а на входе ей достаточно одной картинки.


С предыдущей системой мы никогда бы не смогли посмотреть на живую Мону Лизу, у нас есть только один её ракурс. Теперь, с алгоритмами, работающими по ориентирам, это становится возможным. Идеала не достичь, но уже что-то близко.


image

В работе московских исследователей также используется генеративно-состязательная сеть. Две модели алгоритма сражаются друг с другом. Каждая пытается обмануть оппонента, и доказать ему, что то видео, которое она создает – настоящее. Так достигается определенный уровень реализма: картинка человеческого лица не выпускается «в свет», если модель-критик не уверена в её подлинности более чем на 90%. Как говорят авторы в своей работе, в изображениях регулируются десятки миллионов параметров, но за счет такой системы, работа кипит очень быстро.




Если картинок несколько, результат улучшается. Опять же, проще всего получается работать со знаменитостями, которые уже сняты со всех возможных ракурсов. Для достижения «идеального реализма» нужны 32 снимка. В этом случае сгенерированные ИИ фото в невысоком разрешении будут неотличимы от настоящих фото человека. Нетренированные люди на этом этапе уже не способны выявить фейк – возможно, шансы остаются у экспертов или у близких родственников «подопытного» со всех этих изображений.


Если фото или картинка только одна, итог пока не всегда самый лучший. Увидеть артефакты на видео, когда голова находится в движении, можно без особых проблем. Сами исследователи говорят, что их самое слабое место – взгляд. Модель, основанная на ориентирах лица, пока не всегда понимает, как и куда человек должен смотреть.  


Вы можете помочь и перевести немного средств на развитие сайта



Комментарии (82):

  1. prostofilya
    /#20188158

    и зачем? новые фильтры для очередной соцсети?

    • BlazerLuna
      /#20188196 / +1

      Как минимум вижу очевидное применение в кино, чтобы «оживлять» умерших актёров. Или омолодить постаревших. Учитывая, что для алгоритма нужно мало данных — результаты впечатляют.

      • Keyten
        /#20191832 / +1

        Довольно скоро можно будет создавать мультфильмы, анимируя каждого персонажа из одного-единственного рисунка.

        • IGHOR
          /#20192520 / +1

          А еще позже, рендер фильма по тексту книги.

          • Keyten
            /#20195978

            Я уже давно и много мечтаю об этом. Но тут есть проблема: вы откроете фильм, а там персонаж выглядит совсем не так, как вы представляли. И вообще у него усы (ну а что, автор же не говорил, что усов нет, а сети показалось, что они тут логичны).
            Так что рисовать персонажей руками и анимировать затем их — гораздо лучше.

            • IGHOR
              /#20195990

              Зато можно будет генерировать N вариантов фильма по тому же сюжету.
              И будет рейтинг не только фильмов, а его вариантов.
              Проголосуете за вариант без усов :)

            • masai
              /#20201534

              ну а что, автор же не говорил, что усов нет, а сети показалось, что они тут логичны

              Намекаете на штаны Арагона?


              А если серьёзно, то такое и с обычными фильмами, снятыми людьми, сплошь и рядом бывает.

    • ladomirr
      /#20188238

      Я бы, например, с радостью «оживил» своих родственников, от которых только фотографии остались и которых я даже не видел вживую.

      • prostofilya
        /#20188260

        А смысл? Это же случайная мимика, а не достоверная.

        • ladomirr
          /#20188264

          лучше, чем ничего)

          • Umpiro
            /#20190650

            Ну, в данном случае, я вижу Мону Лизу, анимированную с маннеризмом кудере. Выглядит как химера. Вы точно хотите такого для ваших родственников? В отношении уже умерших, это по-моему уже какая-то форма некрофилии.

            • BOM
              /#20191768 / -2

              Кудере? Господи, зачем это здесь?

              • Spaceoddity
                /#20193070 / +1

                По аватарке не понятно? )) И да, пришлось гуглить!

                • BOM
                  /#20196588

                  Мне тоже пришлось загуглить. Крайне-крайне специфическая информация, чтобы предполагать, что она достаточно очевидна, для референции в комментарии.

                • KodyWiremane
                  /#20196652

                  Нужна статья на Хабре, чтоб можно было просто дать одну ссылку на любой случай)

            • Keyten
              /#20191840

              Со временем качество будет становиться всё лучше и лучше.

              • rPman
                /#20191920

                Речь даже не о качестве, а об отсутствии информации, которую невозможно восстановить, только подменить другой.

                Вы увидите человека в маске указанной фото, с мимикой и движениями другого человека а не того что на фото.

                • Keyten
                  /#20192474 / +1

                  А, так-то да, не спорю. Но, весьма вероятно, в будущем можно будет вбухивать туда сразу много разных кадров или куски видео. С умершим 100 лет назад предком, от которого одно фото, положим, так не получится, но большинство остальных реквестов вполне.

                • dimm_ddr
                  /#20194220

                  Вы увидите человека в маске указанной фото, с мимикой и движениями другого человека а не того что на фото.
                  Ну, память штука такая, вы все равно не помните человека каким он был. Большая ли разница будет от того что на картинке он будет еще немного другим? То есть понятно что для кого-то это будет прямо сразу нет, но для большинства я думаю будет вполне нормально. Суть же будет не в том чтобы узнать человека после того как он умер, суть в том, чтобы его вспоминать и уменьшить боль от утраты — тут уже абсолютная точность не так уж и важна. В конце концов сейчас людям и просто фотографии хватает.

                  • Umpiro
                    /#20195312

                    Большая ли разница будет от того что на картинке он будет еще немного другим?
                    Личное дело каждого, конечно. Но для кого-то это очень даже большая разница. Возникает, можно сказать, вопрос об уважении к мертвым. Хотя некоторые, удивительно, и кремирования не допускают. Но. Надо еще понимать как это оживление происходит. Вспоминается 'Отчего это у вас шрам на лбу, потрудитесь объяснить этой даме.' И отношение 'большинства' как-то сразу меняется.

          • ua30
            /#20191440 / -3

            Кто в курсе, по одному изображению, при условии что мы знаем что на изображении представлено лицо, нельзя составить его трехмерную модель? Я почти уверен что можно. Недостающие полигоны генерируем на основе полученных. И все выйдет в сто раз реалистичней, и полностью управляемо.

            Но с усопшими, по крайней мере со своими родными, я бы так точно делать не стал. Жутко как то.

            • rawzes
              /#20193332 / +1

              В прошлом году на конференции Яндекса Николай Чинаев из VisionLabs делал доклад по этой теме

              • kopch
                /#20195412

                В этом году на YAC, риггинг и мокап тела по видео представили

      • inferrna
        /#20188306

        Скоро у каждой второй бабки в смартфоне будет анимированный давно почивший дедка. Советы будет ей давать, «ну ты старая, таво, не тужи», успокаивать.
        «Кладбище домашних животных» ещё вспомнилось.

        • Yuuri
          /#20192248

          «Чёрное зеркало», первая серия второго сезона.

    • oracle_and_delphi
      /#20189618

      Как зачем?!
      В исторических фильмах должны быть достоверные лица исторических лиц!
      image
      А не левые рожи актёров!
      image

    • Kate1313
      /#20190352

      Картины в музеях? Дикторы нарисованные для всяких обучающих программ или даже новостей? Анимация, мультики? Просто по приколу?)

    • ClearAirTurbulence
      /#20192326 / +3

      для прона, конечно же!
      загружаешь фото из соцсети, и вуаля.
      осталось ещё только с телами разобраться, и довести до совершенства.

    • ClearAirTurbulence
      /#20192692

      для прона, конечно же!
      загружаешь фото из соцсети, и вуаля.
      осталось ещё только с телами разобраться, и довести до совершенства.

      • perfect_genius
        /#20196510

        Вы о чём? Тут вон Хабр не может простую технологию проверки на дубликат реализовать, а вы как далеко замахнулись.

    • Deymos
      /#20193664

      Человек, похожий на прокурора будет вытворять куда более жуткие вещи. И либо это можно быть фейком, либо преступник будет прикрываться тем, что есть технологии, которые могут реалистично что-то нарисовать и он невиновен.

      • rPman
        /#20193886

        Рынок давно ждет относительно надежные камеры с цифровой подписью, технически это реально сделать (чтобы взлом был относительно дорогим удовольствием) но потребует как минимум новых стандартов для этого

      • Squoworode
        /#20194888

        А ещё он сможет нарисовать своё лицо поверх себя, чтобы все признаки фейка были, а сделал всё равно сам

    • dotfinal
      /#20196014

      Порно.

      Если не ошибаюсь, как раз порноиндустрия начала первыми в эту сторону копать. Скоро можно будет взять девушку, похожую на Монро, снять видео и заменить ее на Монро.
      Еще немного продвинется, чтоб результат был более качественный — и это уже можно использовать.

      Дальше — больше. Допустим, можно такую идею придумать — каталог заготовленных видео и каталог заготовленных селебрити. И сам выбирай, кто и как будет сегодня тебя развлекать.
      Ну а когда сеть реально сможет обучаться по нескольким фото, и результат будет не совсем вырвиглазным — то будет тебе каталог видео и возможность загружать любых девушек. Думаю, школьники не поскупятся, чтоб увидеть старшеклассниц in action.

      И, кстати, с точки зрения бизнеса очень удобно — обучение и рендер на удаленном сервере, никакого пиратства.

  2. DS28
    /#20188170

    Увидел КДПВ — 4 разных человека, а вот Мона Лиза уже неплохо…

  3. kinall
    /#20188266

    Следующий шаг — прикрутить тот ИИ, который делает upscale. И добро пожаловать в Зловещую Долину)

  4. foxyrus
    /#20188278

    Алгоритм «натягивания» фото на живого актера выглядит намного круче.

  5. BackDoorMan
    /#20188302

    "Из одного кадра", простите. "С одного", это звучит как "с Ростова"

    • Sanovskiy
      /#20188876

      ИМХО это отсылка к «Я угадаю эту мелодию с восьми нот»
      Т.е. он делает видео не из этого фото, а на основе всего лишь одного фото.
      КМК предлог «с» тут вполне применим с учетом смысла

  6. Legomegger
    /#20188352

    Вот как в Хогвартсе оно работало…

    • vikarti
      /#20189060

      Не так. Там еще и беседовать с портретами можно было по тем вопросам что знал оригинал. До этого пока еще далеко.

      • dimm_ddr
        /#20190600

        Да ну, это как раз совсем не сложно — нужно только загрузить информацию которой фото может делиться. Разве что лицевая мимика скорее всего пока что будет отставать, но это скорее инженерный сейчас вопрос. Игровым персонажам же научились делать лица которые выглядят правдоподобно, да еще и губы правильно шевелятся при разговоре. Берем такого персонажа с правильными фразами, обучаем на нем описанную сеть — и готово. Ничего непреодолимого уже и не осталось в общем-то. А если еще и изначально брать не персонажа, а специально подготовленную болванку с ключевыми точками, то вообще никаких проблем не должно быть.

      • extempl
        /#20191362

        С портретами — да. А вот с живыми газетными снимками, насколько я помню, нет.

      • r0ck3r
        /#20192704 / +1

        не только оригинал: во второй, кажется, части, когда разгромили спальню гриффиндора, у дамы с портрета спрашивали что случилось

        • dimm_ddr
          /#20194238

          Портреты в той вселенной сильно отличались от живых фотографий, там фактически своя разумная сущность сидела, которая, например, вполне могла из портрета уйти к соседу пообщаться. Я кстати не помню чтобы там именно с фотографиями разговаривали, мне кажется это опять же про портреты было.

  7. Loki3000
    /#20188648

    С Моной Лизой можно любую дичь втирать — никто не проверит. А вот как выглядела Мерлин Монро все прекрасно представляют. Так что совершенно очевидно что результат работы сети даже близко не похож на то, что должно быть.

    • vav180480
      /#20188872

      я так понял там изображение как шкурку накладывают на захваченый скелет видео другого человека, т.е. если строение черепа человека на изображении не совпадает со строением черепа человека на видео то получится как получится, т.е. человека на которого натягивают шкурку с изображения нежно еще и специально подбирать, хотя можно трансформировать скелет изображения под скелелет на видео

      • masai
        /#20189912

        Нет, там не «натягивают» изображение на скелет, а сразу генерируют портрет. Просто объяснение в статье написано как для домохозяек. Лучше оригинальную статью от авторов посмотрите.

    • roscomtheend
      /#20189780

      Несчастную приклеили волосами к стенке так, что временами при разговоре кожа с черепа натягивается. Впрочем, в документальном фильме "Люди в чёрном" была объяснена причина столь непохожей на землян мимике.
      А М.Л. на первом "фото" выглядит страдающей — "Ну сколько можно меня использовать для демонстрации ваших ужасных алгоритмов".

  8. Bookvarenko
    /#20188708

    Сначала вот это пожалуйста image

    • Sanovskiy
      /#20188882 / +3

      Бильбо одозначно с Леонова рисовали.

      • xi-tauw
        /#20189038 / +1

        Там в принципе интересная ситуация. Художник (Михаил Беломлинский) действительно рисовал Бильбо с Леонова, но сделал это, как сейчас говорят, без разрешения правообладателя (самого Леонова). Причем это случилось как раз в момент, когда вся эта тема массово обсуждалась в печати, и даже сам Никулин писал о том, что его образ используют в куклах, пародиях.
        Все благополучно разрешилось по факту — Беломлинский и Леонов встретились на каком-то мероприятии, где художник показал книгу с иллюстрациями. Леонову они очень понравились и вопрос можно было считать исчерпанным.
        В начале видео Леонов сам рассказывает об этой ситуации.

        • vav180480
          /#20189298 / +1

          Можно еще вспомнить про то что первый игровой фильм по Толкину был сделан в СССР:)

          • oisee
            /#20190464

            Телеспектакль это всё-же не игровой фильм =)

            • vav180480
              /#20191510

              Если объясните в чем принципиальная разница — соглашусь:)

          • pehat
            /#20193156 / +2

            Да уж, чего один Гэндальф в блестках стоит.

            • vav180480
              /#20194604

              А у Джексона Арагорн в штанах

  9. noanswer
    /#20189792

    с эстетической точки зрения ожившие картинки выглядят чудовищно… с технической это очень круто

    ну и вообще надо оживлять не шедевры живописи а фотографии реальных людей и сравнивать реальную мимику и то что нейросети нарисовали.

  10. boulder
    /#20190934

    В СССР тоже существовал проект по реанимации Карла Маркса!

    image

    • vav180480
      /#20191520 / +1

      Ленина Гайдай побоялся оживлять, то что вечно живо оживиться не может.

  11. LevOrdabesov
    /#20191954

    Чуть ли не в двухтысячных имел дистриб шароварной проги, которая не то что лица – вообще любое изображение анимировала на мимику. Единственно что нужно было ткнуть вручную мышью «тут глаза, тут рот».
    Результат был сравнимый.

    • Astus
      /#20192428

      Подозреваю, речь о «Reallusion CrazyTalk». Живы до сих пор и неплохо развились.

      • LevOrdabesov
        /#20192432

        Оно, спасибо.
        Интересно, какие там у них были нейросети в двухтысячных.

        • masai
          /#20192490

          В начале двухтысячных — скорее всего, никакие.

    • masai
      /#20192510

      Результат был сравнимый.

      Это совершенно разные задачи. Я посмотрел видео про эту программу. Насколько я понял, это просто натягивание фото на 3D-модель как текстуры.


      Здесь же совершенно другое. Вы ничего не натягиваете. Показываете фото, а сеть его трансформирует в соответствии с ключевыми точками лица. Вы не задаёте 3D-модель, вы не выполняете привязку точек, это полностью end-to-end решение в виде одной модели. Более того, модель дорисовывает части изображения, которые не были видны. Например, зубы на анимации с Моной Лизой.


      Решение, представленное в статье — это не первое решение такого рода, но оно опирается на последние исследования, что позволило добиться высокого качества результата.

      • LevOrdabesov
        /#20192626 / +1

        Нет, задача ровно та же: анимировать изображение таким образом, чтобы движение было похоже на человеческую мимику.
        Раньше для этого нужен был оператор (минимально), теперь задача выполняется полностью автоматически.
        Но для меня, честно говоря, вопрос, зачем нужна полная автоматизация этой задачи. Ну, кроме «потому что могли» и очередной снапчат. Было бы здорово, например, анимировать выставки – детям могло бы быть интереснее; но оператор понадобится всё равно. И как-то больше видится массовая генерация фейков, и это печально.
        Ну и качество, ИМХО, таки сравнимое. Прорыва нет.

        • masai
          /#20192748

          Если глобально смотреть как на задачу анимации, то да. Но у этих задач разные входные данных, я об этом. Раньше кроме фото требовалась модель, привязка и не было возможности дорисовывать то, что не видно. Сейчас хватает только фото.

  12. Astus
    /#20192426

    del

  13. 5334710
    /#20192688

    картины какие страшные стали вдруг image

  14. Alexklmn
    /#20193130

    Так, если ИИ берет ракурсы знаменитостей в сети, потом их анимирует и выкладывает в сеть, потом берет ролики из сети, анимирует и выкладывает, а затем… что же будет через n лет?!

    • vav180480
      /#20194622

      Меня, как «знаменитость», это ну ооочень волнует.

  15. Stirliz85
    /#20193526

    Монализа местами на Укупника стала похожа

  16. redpax
    /#20196040