Нейросеть превращает селфи в фотографии, которые будто сняты кем-то другим +4




image

Нейросеть Selfselfie обучили превращать селфи в портреты. Снимок самого себя выглядит так, словно его сделал другой человек. Таким образом, на фото устраняется эффект «вытянутых рук».

Алгоритм разработали исследователи из Adobe Research, Калифорнийского университета в Беркли и KU Leuven во Фландрии.

Чтобы обучить систему на ИИ, команда собрала 23 169 фотографий людей, которые находятся перед камерой в нейтральном свете, а также 4614 селфи из Интернета и наборов данных в открытых источниках. Они применили алгоритм для извлечения информации о позе из изображений поз и внесли ее в базу данных. На основе собранных портретов были алгоритмически сгенерированы соответствующие данные для селфи.

Система использует подход на основе поиска для преобразования исходного автопортрета. Сгенерированные синтетические данные применяются для самоконтроля дискретных моделей рисования и композиции. Так, модель рисования повторно использует видимые пиксели частей тела, чтобы заполнить невидимые участки, в то время как модель композиции добавляет детали и исправляет артефакты, заполняя промежутки между телом и фоном.

imageimage

Как отмечают авторы разработки, помимо социальных сетей, систему можно применять на предприятиях. Например, она могла бы лечь в основу процесса создания бейджей сотрудников. Систему также можно использовать для создания профессионально выглядящих снимков на страницах «О нас» на веб-сайтах.

Однако у метода есть несколько ограничений. Системе иногда трудно найти совместимые нейтральные позы для обработки селфи, сделанных человеком сбоку, что приводит к искажению пропорций тела.

Исследователи отмечают, что это первая система подобного рода, но ею уже могут воспользоваться фотографы-любители и обычные люди.

Ранее стало известно, что Apple получила патент на разработку программного обеспечения, которое позволит генерировать «синтетические групповые селфи». Владельцы устройств от Apple смогут приглашать других принять участие в групповых селфи даже на расстоянии, а программное обеспечение расположит снимки на одном изображении. Для селфи можно будет использовать как статичные фотографии, так и сохраненные видеоизображения или потоковые снимки.

См. также: «Японский смартфон Tone е20 не дает делать «голые» селфи благодаря приложению на ИИ




Комментарии (14):

  1. Vsevo10d
    /#21928564

    На мелких фото я не вижу, но на КДПВ точно слева вместо селфи тоже изображения, весьма дерьмово сгенерированные нейронкой. Нечестно как-то.

    • Похоже, что КДПВ был получен в результате апскейлинга изображений с низким разрешением с использованием другой нейросети. Это заметно по артефактам в верхнем левом углу, появившимся при попытке увеличить строку вида #12345678 из исходного изображения в том же месте.

      • Vsevo10d
        /#21929056

        Стесняюсь спросить, с чего же такого апскейлили, банка аватарок 80х80? Разные глаза, фон как масляными красками — выглядит, как сгенеренное с нуля, причем коряво по нынешним дням. Выкатывать такое со словами «можно использовать для создания профессионально выглядящих снимков на страницах «О нас»» как-то… ну…
        Ну обучили вы сетку на 23000 всратых лоу-рез фото, ну для демонстрации разоритесь хоть на $5 на нормальный фотобанк.

  2. dopusteam
    /#21928704

    Что то слабо в этот раз с заголовком, не кликбейтно


    Предлагаю "Новый ИИ отрезает людям руки"

  3. staticmain
    /#21929030

    А в чем великий смысл такого изменения фотографий? Селфи теперь считается чем-то зашкварным?

    • AllexIn
      /#21929048

      Статью не читай, сразу вопросы задавай?
      В статье прямым текстом описаны варианты использования.
      Для бейджей вытянутые руки явно лишнее, а фильтр на основе такой нейронки делает фотографирование удобнее.

      • Vsevo10d
        /#21929080

        Даже в моем НИИ на пропуска всех фотографировал лично безопасник. Если бы я узнал, что кто-то фотки на бейджи сотрудников надергал из вконтакта, я бы из такой организации рванул с визгом резины.

        • AllexIn
          /#21929162

          Мне довелось быть волонтером на Дрифт соревнованиях.
          Там у меня был бейдж вот с такой фоткой, которую орги взяли из ВК:

          Фотка из ВК
          image

      • staticmain
        /#21929130

        Описаны:


        Например, она могла бы лечь в основу процесса создания бейджей сотрудников. Систему также можно использовать для создания профессионально выглядящих снимков на страницах «О нас» на веб-сайтах.

        Оба этих кейса должны быть сняты в нормальных условиях, а не на трясущуюся руку неизвестно кого. В первом случае это должно делаться отделом безопасности предприятия, во втором — контент/PR-менеджером на нормальную камеру. Если сайт наполняет неизвестно кто с телефоном для селфи вместо камеры — то это не предприятие, это бомжатник.

        • AllexIn
          /#21929154

          Миллион ситуаций, когда бейджик чисто для удобства делается, а не из целей безопасности. Как-то очень узко смотрите.
          Я не вижу проблемы попросить кого-то сфоткать меня, если уж на то пошло. Но такой фильтр просто добавляет удобства.

        • Neusser
          /#21929186

          Т.е. по вашему во всех компаниях, где есть бэджики с фото, должен быть отдел безопасности? Какая связь вообще между фото на бэджике и безопасностью?

          • staticmain
            /#21929270

            Какая связь вообще между фото на бэджике и безопасностью?
            Бейдж нужен для идентификации личности. Чтобы условный Вася Пупкин не надел ваш бейджик со своей фотографией. Поэтому на нормальных бейджах есть средства безопасности\идентификаторы по которых вахтер\пропускник может подтвердить что это вы:
            Заголовок спойлера
            image

            • Neusser
              /#21929302

              Для идентификации личности бэджик годится разве что на выставке, потому что купив за (условно) 50 баксов бэджепринтер можно печатать любые бэджи с фотографиями кого угодно. Если вахтеру понадобится установить мою личность — спросит документ. Хотя и этого ни разу не случалось. За примерно 10 лет никто и никогда не смотрел на фото на моем бэджике. Бэджи сейчас используются как магнитный пропуск, и наличие фотографии на нем ни на что не влияет.

  4. xakep2011
    /#21929068

    Какая-то унылая ерунда. Я бы на месте создателей, с их багажом знаний и инструментов, занялся чем-то более полезным/интересным. Например, чем-то вроде патента Apple, упомянутого в новости.