Как я заменил актрису в сцене из фильма без использования DeepFake +33



Расскажу, как я заменил Еву Грин другой актрисой в сцене из фильма Город грехов 2: Женщина, ради которой стоит убивать. Делал все сам, бюджет ролика нулевой.

Почему выбор пал именно на Город грехов, доподлинно неизвестно. Сцену предложила моя подруга, которая в кадре. Создавалось это все исключительно ради творчества, плюс еще лично мне было интересно на сколько сильной будет разница в картинке и смогу ли я вообще осуществить задуманное.

Когда я продумывал план действий, отметил, что сцена выбрана удачно с точки зрения подобной работы, потому что только в двух кадрах оба актера появляются вместе, но даже там не взаимодействуют друг с другом. Я задумался, стал искать информацию о съемках фильма и мои подозрения подтвердились. Оказывается многих актеров снимали в разные дни из-за конфликта съемочных графиков, то есть, по сути, они делали тоже самое, что хочу сделать я и монтаж сцен скорее был продиктован не только творческим замыслом, но и ограничениями.

Что по оборудованию. Я снимаю на фотоаппарат Canon R, еще у меня есть небольшой складной зеленый фон (продается на алиэкспресс), штатив, 2 света Yongnuo yn-216, микрофон Samson C02 и рекордер Tascam DR-40 самой первой версии. Снимать в итоге я решил дома, один прибор поставил примерно под 45 градусов, как в классических портретных схемах, вторым светил сзади на волосы, чтобы создать контровой свет. Звук писал в рекордер, палку с микрофоном держал сам.

Опущу сам процесс съемки, скажу только, что было много дублей. Все-таки язык не родной, да и Еву Грин вряд ли получилось бы догнать, а уж тем более переплюнуть. Остановлюсь больше на технических моментах. Фотоаппарат Canon R выдает картинку 4:2:0 (8 бит), с кодеком H.264. Если говорить простым языком, то исходные файлы с фотоаппарата содержат на много меньше информации по сравнению с современными кинокамерами, которые обычно снимают в несжатом формате с цветовой субдискретизацией 4:4:4. Чем это грозит на практике? Сжатые файлы невозможно корректировать на столько же гибко как несжатые, нельзя уже после съемки выбрать баланс белого или ISO, нельзя вытянуть видео если снял с пересветом итд итп. Также при съемке на зеленом экране, из-за цветовых ограничений, качество кеинга будет ниже. Да и в целом картинка с кинокамер более качественная, красивая и с большим динамическим диапазоном.

После съемки переходим в монтажную программу (я использую Vegas Pro) и накладываем нужные дубли на оригинальное видео. Я нашел файл с кино, в котором был пятиканальный звук, убрал все дорожки с голосами Евы и заменил это все на свои, оставив фоновые звуки. Во время съемки старались чтобы длина дубля, плюс минус совпадала с оригиналом, чтобы было легче это все подгонять потом.

Потом уже в After Effects начал убирать зеленый фон и корректировать свои файлы по цвету, чтобы они были похожи на оригинальное видео. Еще очень важно чтобы совпадала зернистость и резкость. Думаю, если бы видео было цветное, то подогнать бы не получилось. Как мы уже знаем, кеинг таких сжатых файлов вряд ли будет идеальным, плюс зеленый экран освещен неравномерно, поэтому я довольно долго боролся с этим всем. Обычно такие видео снимают в большом павильоне, ну или хотя бы с большим зеленым или синим экраном, который можно поставить подальше от персонажа и равномерно осветить его. У меня такой возможности не было, поэтому пришлось долго крутить настройки и где-то работать с масками. Неожиданно помог шумодав, после его применения, кеинг стал лучше и уже персонаж перестал быть прозрачным в некоторых местах.

После того как все работы по кеингу были завершены, надо было переходить к глазам и губам. Они в оригинале остаются цветными. С глазами было проще чем с губами. Я просто сделал трекинг по зрачкам, потом создал 2 зеленых круглых слоя и поставил им режим наложения Overlay. Во время съемки я сказал актрисе чтобы она не моргала совсем, кажется за всю сцену было только одно моргание, поэтому было не сильно долго анимировать это все вручную.

С губами ситуация сложнее потому, что они двигаются. Перепробовав несколько вариантов, я остановился на Mocha Pro, это программа для планарного трекинга и ротоскопирования. Планарный трекинг может отслеживать целые плоскости, да и интерфейс там более удобный для таких дел. Конечно, не обошлось без ручной подгонки, но в Mocha это делать быстрее чем в After Effects. После того как трекинг закончен, можно экспортировать данные в виде маски для After Effects и применить ее к дубликату видео.

В некоторых кадрах удавалось наложить мое видео просто поверх оригинала, но где-то пришлось воссоздавать фоны. Я просто делал скриншот из фильма, затем в Photoshop замазывал Еву Грин и штампом копировал нужные детали на ее место. Фоны были не сложные, нарисованные, поэтому сильной детализации не требовали. Конечно, если присмотреться и сравнить, то все будет видно.

Еще кстати был немного удивлен, что выстрелы в этой сцене сделаны очень просто. На 2 кадра появляется полупрозрачный белый эллипс с размытыми границами. Делается в After Effects за 3 минуты.

На этом все, была еще небольшая работа по звуку в Adobe Audition, но там какая-то базовая обработка. Я не сильно разбираюсь в звуке, поэтому останавливаться на этом не буду. Прикладываю 2 видео, небольшой и не особо информативный Making Of, ну и финальное видео. Всем приятного просмотра. Буду рад советам и критике.




Комментарии (53):

  1. nakhimovscy
    /#23800315

    Отлично получилось! Лучше оригинала :)

    • Marik1001
      /#23800317 / +8

      Лукавите кончено) но спасибо!))

      • set
        /#23800713 / +2

        Получилось действительно здорово :) я присматривался, но заметил только то, что пистолеты разные :) youtu.be/IjAB3BGMI4I?t=71 — тут внезапно не тот пистолет, который актриса держала в руках до этого момента :)

        • Marik1001
          /#23800715

          Спасибо!! Даа, я не нашел револьвер)) был только обычный такой)

          • set
            /#23800723

            Тем не менее, очень крутая работа :)

          • nochkin
            /#23805435

            Надо было распечатать быстренько.

            • Marik1001
              /#23807841

              револьвер?)

              • nochkin
                /#23807879 / +1

                Конечно. Тут есть куча всего (и это только пара сайтов, коих много):

                https://www.thingiverse.com/search?q=revolver&type=things&sort=popular&page=1

                Или вот интересная коллекция на выбор:

                https://www.thingiverse.com/thing:3546303

                Вот тут есть варианты:

                https://cults3d.com/en/search?q=revolver

                • Marik1001
                  /#23807943

                  Спасибо! Фигасе, в мыслях даже не было. Хотя у нас это поди будет стоить дороговато, надо разузнать)

                  • nochkin
                    /#23807989

                    Как вариант -- можно найти локального знакомого с принтером. Подкатить ему немного пластика и несколько горячительных напитков.

                    1 кг пластика стоит порядка $15-$20. Основные затраты -- это время самой печати, подготовка и пост-обработка.

                    Мне было бы интересно помочь для такого, но я не в Казахстане.

                    • Marik1001
                      /#23808043

                      А сколько примерно уходит пластика на условный револьвер? Там есть какой-то процент "битья" материала или отбраковки какой-то? А пост-обработку самому можно сделать или это что-то специфическое? А пластик продается по цветам тоже?) Простите что много вопросов, просто не сталкивался с этим и интересно)

                      • nochkin
                        /#23808129 / +1

                        Взял модель 44 Magnum. Очень грубо подсчитал и получил примерно нечто порядка $5 самого пластика. Время печати порядка 12 часов или что-то такого порядка.

                        Для сравнения взял модель "42" из этой коллекции. Там расходы порядка $0.20-$0.30. Тут ничего не крутится, но зато напечатать быстрее. Время печати порядка 2-3 часов.

                        Брак есть, но это зависит от "мастерства" печатающего. Сюда входит опыт человека, качество оборудования и окружения печати. То есть, потенциально можно распечатать без брака вообще.

                        Данная модель состоит из нескольких частей. То есть, если брак в какой-то детали, то достаточно перепечатать эту деталь, а не всё, конечно. Так же зачастую брак проявляется на первых слоях и если вовремя это заметить, то в мусор идёт не так много пластика и времени.

                        Пост-обработка: обычно это шлифовка и покраска. То есть, это можно сделать самому. Тут тоже надо опыт, но такой опыт можно набрать достаточно быстро. Это просто механическая работа по большей части с некоторыми нюансами в силу особенностей материала.

                        Пластик продаётся по цветам, конечно. То есть, 1 кг белого пластика -- это будет целый килограмм белого пластика. Если надо пять разных цветов, то надо пять разных мотков даже если с каждого надо использовать по 100 грамм.

                        Но если пост-обработка будет выполнена в любом случае, то цвет вообще не важен, так как можно покрасить в нужный цвет после печати. Я лично имею на руках пластик "странных" цветов, которые я всегда крашу в нужный цвет. Зато он были куплен с большими скидками именно из-за цвета.

                        Вообще, я красил белый пластик в чёрный цвет и чёрный пластик в белый цвет (разница, пусть и небольшая, но есть). Обычно я держу универсальный "светло-серый", который легко красить в любой оттенок любого цвета.

                        Покраска идёт в несколько стадий: сначала шкурка что бы убрать грубые заусенцы, потом шпатлёвка для дерева что бы убрать средние неровности и заполнить щели, потом опять шкурка (но уже более мелкая) что бы убрать мелкие заусенцы и заровнять мелкие щели. Потом покраска лаком из балончика и по желанию сверху лак для придания нужного блеска или матовой поверхности.

                      • Marik1001
                        /#23808185

                        Спасибо за разъяснения! Очень интересная тема, буду узнавать)

  2. vkni
    /#23800407 / +3

    Круто, конечно!

    Но у вас читерство — сцена такая, что мелкие огрехи не видно! Только в самом начале есть какое-то ощущение неестественности (видимо свет не совсем корректный), но дальше — как будто так и снимали!

    • Marik1001
      /#23800481 / +1

      Спасибо! Есть еще одно видео в таком же стиле, там цветное и было больше сложностей) Возможно про него тоже напишу позже))

    • alex1478
      /#23803857

      На крупном плане сильно бросаются в глаза рвано вырезанные волосы и белый силуэт по контору руки.

      • Marik1001
        /#23803933

        Это на какой секунде?

        • alex1478
          /#23804017

          Волосы на 52 секунде, хорошо заметно на фоне белого окна.
          Например тут очень хорошо видно границу выреза волос, даже после легкого размытия на границе:

          Волосы 1
          image

          В этой части тоже как-то сильно бросается в глаза переход:
          Волосы 2
          image

          Ещё тут на 60 из-за света волосинки как будто в воздухе летают:
          Волосы 3
          image


          Рука на 54.
          Рука
          image

          • Marik1001
            /#23804057

            Даа, это есть, ну я описал почему оно так получилось. В теории может можно было доработать на посте, но я к этому времени уже так устал, что не стал заморачиваться))

  3. muxa_ru
    /#23800755 / +3

    Не про сам ролик

    Делал все сам, бюджет ролика нулевой.

    Это крайне неправильная традиция, не включать СВОЁ ВРЕМЯ в расходы.

    • Marik1001
      /#23800767 / +2

      Да я наверное это пишу больше для того, чтобы люди понимали что это не продакшн какой-то, а типа DIY на коленке. Если будет подобный именно коммерческий заказ, то там я конечно посчитаю все)

      • 631052
        /#23801053 / +1

        и электричество

        • Marik1001
          /#23801065 / +2

          Ну если прикинуть в таком ключе, тогда наверное правильнее будет посчитать и оборудование. Получается человеко часы, оборудование и электричество. Надо почитать вообще как оценивается труд, может есть какие-то примерные критерии))

          • kasperos
            /#23803059 / +2

            Забыли упомянуть стоимость ПО.

          • 631052
            /#23803951

            ну как оценивается, вам на работе платят сколько-то в день (в год, в час) - так, наверно.

            т.е. я не о "повременной оплате", а о некоем среднем за период

  4. debagger
    /#23801489 / +4

    Губы мне кажется можно было сделать проще, если заранее попросить модель покрасить их яркой помадой, тогда можно было по этому цвету сделать маску.

    • Marik1001
      /#23801791

      Хм, и правда. Что-то я не подумал об этом. Спасибо за наводку!

  5. Finesse
    /#23801519 / -2

    Круто, здорово. Но причём здесь Хабр?

    • Marik1001
      /#23801821 / +4

      Спасибо! Ну вчера в статье про аллозавров, я читал сноску от администрации

      Просим всех людей, кто считает, что Хабр только для для тех кто пишет статьи о программах, как например человек на скриншоте, ознакомьтесь, пожалуйста, с мнением администрации на этот счёт в комментариях под нашей статьёй о слепнях. Если Вас это не удовлетворит, то, пожалуйста, не тратьте своё время на прочтение данной статьи!

      Там вроде пишут что хабр не только для статей о программировании, есть хабы про биологию, химию и про работу с видео. Понятно что просто постить клипы тут не нужно, но мне кажется я более менее раскрыл техническую сторону темы.

    • Solovey572
      /#23804361

      А почему нет, вроде что-то да связанное с монтажом

  6. perlestius
    /#23801651

    Я вначале подумал, что слева тоже актриса. В этом ракурсе Ваша девушка напоминает какую-то актрису, только какую именно, не могу вспомнить...

    • Marik1001
      /#23801793 / +2

      Иногда ей говорили что похожа на Кэтрин Зету Джонс))

    • Marik1001
      /#23801837

      Хотя технически она то тоже актриса, только казахстанская)

      • Earthsea
        /#23803657

        Я три раза перечитал, пока все понял, кого на кого меняли.

        В статье надо бы рассказать поподробнее, что специально для этого снимали ролик со знакомой актрисой, которая повторяла движения и речь оригинала.

        А то можно подумать что выдернули актрису из одного фильма и вставили в другой.

        • Marik1001
          /#23803937

          Спасибо, в следующий раз буду точнее)

  7. timiryazevec
    /#23801795

    Все хорошо, но стек технологий Вегас, адобовские проги. Не работаете с Davinci Resolve? Там и монтажить можно нормально уже и красить, а фьюжн возможно смог бы Mocha Pro заменить и все это в одной программе. А так конечно очень качественная работа.

    • Marik1001
      /#23801801

      Спасибо! Я иногда думаю об этом, тоже слышал много хорошего про давинчи, но это заново изучать все нужно, а я чаще просто режу клею и для моих задач не требуется фьюжн и какая-то углубленная покраска, поэтому пока на Вегасе)). Но уроков на давинчи уже скачал)

  8. balamutang
    /#23802029

    Ну это вообще обычная практика когда актеры почти не встречаются.

    Балуев, который играл в одной сцене с Томом Крузом в "Миссия невыполнима" рассказывал что на самом деле с ним ни разу не встретился. Просто каждый актер играет свою часть сцены и все, что-то делают дублеры. И только редкие сцены снимаются вместе.

    • Marik1001
      /#23802053

      Ну я думал, может такой монтаж обусловлен тем что между героями теперь пропасть и поэтому их не показывают в одном кадре и все такое) Но оказалось что все проще)

  9. SkavkaA
    /#23802087 / +2

    Вы ошибаетесь про нулевой бюджет.

    Мы же сравниваем ваш подход с дипфейком для реального кино?

    Оренда света и камеры, кастинг актрисы и подбор похожей на оригинал, оренда площадки, работа оператора, гримера, монтажера, светотехника, транспорт.

    Именно поэтому и используют дипфейк - это проще чем переснимать фильм целиком, выставляя свет в каждой сцене как надо. А если бы в сцене актриса делала сальто?

    • Marik1001
      /#23802091

      Да не то чтобы для реального, я говорил про конкретно мой случай, в котором у меня есть фотоаппарат и свет итд. Ну и лично для меня дипфейк был бы менее интересен в плане творчества. Но если брать большое кино, там конечно проще было бы с помощью дипфейк.

    • DeepFaker
      /#23802253

      Я так же на тригер несправедливости прибежал ))) И мысли 1в1 у нас с тобой :)

  10. DeepFaker
    /#23802231

    Привет :)

    Заголовок хайп? С каких пор Deepfake это платно?

    Ты применил как минимум не меньше навыков для создание видео, чем deepfake = deepfacelab.

    Фото, фон, умение юзать проги, актриса , костюм , макияж, постановка света и время ручной работы. Vs Софт, пк, и минимальный скил вырезать лица.

    Полностью неуместное сравнение, а так да, молодец прикольно.

    • Marik1001
      /#23802263

      Спасибо! Ну просто я выкладывал это в соцсетях своих и там были комментарии что типа, ааа дипфейк, прикольно. Или вопросы типа а что это за приложение? Ну и мне стало немного обидно, потому что кажется что сделать это вживую чуть сложнее). Но тут я писал уже что ещё элемент творчества для меня важен, а дипфейк был бы мне лично менее интересен чем снимать все вживую. Но дипфейк я в голове тоже держу, хочу с ним тоже пару идей реализовать)

      • DeepFaker
        /#23802361

        Пришло сравнение, напечатать на 3д принтере vs ручная работа.

        Просто массово уже все думают, что замена лица это дф, потому да, про другие методы все забыли)

        • Marik1001
          /#23802379

          Ну да) ну поэтому я и решил а заголовок сразу вынести, чтобы не возникало вопросов)) да и вдруг кто-то глянет просто на превью и подумает, ну опять дипфейк, шо я там не видел уже и не прочитает)

  11. megamosk
    /#23803021 / +1

    Это очень круто!

  12. maggg
    /#23804377

    Работа крутая! А комментарий о том, что мы ждём её появления и в других сценах из других фильмов уже был?

    • Marik1001
      /#23804391

      Нет) есть ещё одна сцена, думаю скоро напишу об этом тоже)