Что такое дипфейк и как сделать замену лиц нейросетью

Во время серфинга в Интернете вы наверняка встречали дипфейки — сгенерированные искусственным интеллектом фотографии и видео. Они очень похожи на настоящие, на них могут происходить странные или совершенно обыденные вещи. Но есть один нюанс, который их объединяет: того, что там изображено, в действительности не существует. Все, что вы увидите в дипфейк — это плод AI-воображения, сгенерированный по «заказу» человека.

Как работают дипфейки

Само понятие deepfake — это производная от “deep learning” и “fake”, что в переводе означает «глубинное или глубокое обучение» + «фейк». То есть дипфейк — технология генерирования медиаданных, которая позволяет изменить такие ключевые детали, как лицо или голос человека на фотографии или видео.

Дипфейк был создан студентом Стэнфордского университета для разработчиков ИИ-сервисов в 2014 году. Однако технология совсем скоро вышла за пределы AI-комьюнити. В 2017 году пользователь Reddit с никнеймом Deepfake стал заменять лица на фривольных видео лицами известных личностей. Теперь дипфейк-технология используется в разных сферах жизни: архитектуре, индустрии моды, журналистике, сфере образования, цифровой рекламе, а значит и в арбитраже трафика. 

Создание дипфейков стало возможным благодаря генеративно-состязательным сетям. Алгоритмы GAN генерируют визуальный контент на основе имеющегося набора данных. Пока один алгоритм создает контент, другой — определяет его реалистичность. Если последний обнаружил фальшивые данные, первый алгоритм начинает все сначала. Процесс продолжается до того момента, пока нейросеть не получит результат работы, который удовлетворяет ее саму и «заказчика», естественно.

Если описать простыми словами как работает нейросеть — замена лиц происходит так: алгоритм анализирует данные машинного обучения и в буквальном смысле собирает новое изображение по пикселям. Так, например, искусственный интеллект может создать видео, где Оззи Осборн неожиданно объявит о разводе. 

Безусловно, это интересно и ново для человека. Но deepfake программа позволяет «играться» не только с лицами знаменитостей. Вряд ли вы сочтете дипфейк интересной и полезной штукой, если получите видеосообщение, где ваш близкий человек якобы попал в беду и просит о помощи. Собственно, поэтому вокруг очередного продукта на базе искусственного интеллекта столько шума. В плохих руках дипфейки перестают быть развлечением и несут серьезную угрозу.

На самом деле, дипфейк – это технология, которая должна была сделать нашу жизнь проще. Например, в британском холдинге WPP более 50 тысяч сотрудников проходят видеокурс с виртуальным наставником, который лично обращается к каждому ученику по имени.

Главная претензия общественности к ИИ-продукту основана на использовании дипфейков в целях мошенничества и манипулирования общественностью. И пока технология быстро набирала популярность, а разработчики выводили дипфейк-программы на новый уровень, параллельно с ними стали разрабатывать программные продукты для распознавания дипфейков – например, такие кампании как Microsoft и DARPA. А Facebook со временем заявил о жестких мерах против использования фальшивых фото и видео (которые, к тому же, можно использовать для фарминга аккаунтов), которые вводят пользователей в заблуждение.

Что нужно для создания дипфейка

Несмотря на доступность программ и утилит для создания дипфейков, все еще нужно приложить усилия и потратить время, чтобы получить качественный результат. Перед тем, как сделать дипфейк для креатива или других целей, учтите следующие нюансы:

1. Для установки десктопных программ ПК должен соответствовать минимальным требованиям к “железу”. Прежде всего, обратите внимание на объем оперативной памяти и видеокарту.
2. На сегодняшний день ни одна из программ не способна “скрестить” два исходных ролика в одно дипфейк видео. Но мы уверенны, что и это не за горами.
3. Скорость генерирования и качество результата зависит от того, насколько сложная мимика и артикуляция, насколько разные лица и типажи у людей в исходных материалах.

Распознать дипфейк – это не так просто, особенно если использовать достойное дипфейк приложение. О замене лица на фотографии и видео можно узнать по таким “ляпам”:

• асинхронное движение губ со звуком;
• неестественный, чересчур идеальный оттенок кожи или наоборот – пятна непонятного происхождения на коже;
• неморгающие глаза;
• посторонние тени и блики;
• ярко выраженные пиксели.

Вот пример дипфейка, полученный с помощью одного из самых простых приложений. Попробуйте сами определить, где нейросеть “не доработала”.

Deepfake как инструмент для арбитражника

Дипфейк-технология не прошла и мимо арбитражников. Креативы с дипфейками чаще всего используют для рекламных кампаний в социальных сетях. Пользователи уже привыкли к дипфейкам с известными лицами в рекламе, они туго проходят модерацию, но подходят для тестов.

Такой подход нельзя назвать свежим и такого эффекта на потребителей рекламы, как пару лет назад, дипфейки уже не производят. Тем не менее, озвучивание текста с помощью нейросети экономит аффилиатам сотни долларов. Дипфейки с лицами местных инфлюенсеров успешно тестируют в креативах для аудитории Индии, Египта, Индонезии и прочих специфических гео.

Как сделать дипфейк с помощью нейросетей

Для создания дипфейков сегодня есть немало сервисов, в том числе бесплатных. Все, что вам нужно для создания фото или видео с несуществующим сюжетом или персонажем, – это достаточно производительное “железо” и свободное время.

Вначале предстоит потратить время на туториалы и обучение, и для этого сегодня в сети достаточно гайдов от опытных юзеров нейросетей и самих разработчиков deepfake-программ. С удобным софтом и подробной “обучалкой” первый дипфейк будет готов за час. ПО для создания дипфейков преимущественно опенсорсное, благодаря чему с ним могут работать даже небольшие компании. 

Самые популярные сервисы для создания дипфейков:

DeepFaceLab

Одна из лучших утилит с открытым кодом для устройств на Windows и Linux с 2-4 ГБ оперативной памяти. По словам разработчика, более 90% популярных дипфейков сделано именно в DeepFaceLab. Для создания дипфейка понадобится много ракурсов, наклонов и положений головы, а также разных вариантов мимики лица на фотографии. Изучив особенности приложения, в нем можно создавать фейковые фото и видео не хуже, чем с программами для профессионального монтажа. Большую часть действий можно выполнить через командную строку.

Facewap

Бесплатное ПО для создания фейковых видеороликов на устройствах Windows и Linux с 8 ГБ оперативной памяти и достаточно производительной видеокартой (как минимум Nvidia GTX 1090). На официальном сайте разработчика можно скачать программу и посмотреть обучающие видео по работе с ней. Программа deepfakes не покажется простой, она предназначена для продвинутых пользователей нейросетей.

Кроме того, Facewap нужно предварительно обучить – этот процесс займет пару недель. Пользователь загружает ролики с разными лицами, а программа их изучает и выдает результат на основе набора данных — чем больше исходного материала загружено, тем больше времени занимает обработка данных, но и лучше результат.

Synthesis 

Облачные и локальные сервисы построены на более сложных технологиях. Synthesis — лучший генератор синтетических аватаров, которые используют для онлайн-обслуживания клиентов, создания видео и обучающих роликов.

Здесь можно за полчаса “слепить” свою вполне реалистичную копию или выбрать из готовых аватаров. Однако для убедительных дипфейков нужно много исходных видео, голосовые записи, фотографии. Перед тем, как сделать дипфейк в Synthesis, записывают видеоролик длительностью 40 минут, где зачитывают речь, – этот видеоконтент используется для обучения нейросетей.

Faceswapper

Нейросеть, в которой можно в пару движений заменять лица людей на фото и видео, создавать вполне реалистичные видеоролики с фейковым сюжетом, улучшать качество медиафайлов, создавать спецэффекты, разрабатывать рекламные креативы с лицами медийных личностей для арбитража трафика и маркетинговых мероприятий. Это модель обучена на тысячах изображений с разными людьми. Приложение Face Swapper имеет бесплатную версию и несколько тарифных планов.

FaceApp

Платное приложение-редактор лица для Android и iOS-устройств, которое умеет менять лицо на фото, делать моложе или старше, корректировать мимику и прическу. Также deepfake приложение позволяет изменить фон на фото, а также применять шаблоны и эффекты.

Reface

Мобильное дипфейк приложение для Android и iOS, которое позволяет в один клик создать дипфейк онлайн. Продукт платный, но есть бесплатная версия с ограниченным функционалом. Для создания deepfake онлайн достаточно загрузить исходные фото и через пару минут можно получить результат. Здесь есть возможность на постоянной основе работать в бета-версии Reface, но загружать свои шаблоны в ней нельзя. 

Pictory

Один из лучших видеогенераторов для арбитражников, маркетологов и видеоблогеров с бесплатной пробной версией. Пользователю достаточно загрузить сценарий будущего видеоролика, сообщения и вообще любой текстовый контент, и нейросеть преобразует его в увлекательный видеоролик. Готовое видео можно отредактировать, дополнить текстом или графическими элементами, наложить звук, в том числе озвучить видео собственным голосом.

Бесплатные сервисы DeepFaceLab и Facewap практически не уступают платным продуктам для генерирования дипфейков. Однако вторые имеют свои плюсы: подписавшись на платную версию за пару десятков долларов, можно не тратить время на настройки и обучающие ролики. С платным сервисом пользователь получает качественный результат в кратчайшие сроки.

Что по поводу использования дипфейков думает закон

В руках мошенников deep fake превращается в оружие и несет серьезную угрозу личной и корпоративной безопасности. Не смотря на то, что нейросети часто используют с оскорбительными намерениями, для клеветы, финансовых махинаций и получения доступа к личной информации, практически ни в одной стране дипфейки не запрещены законодательством. Правоохранительные органы обращают внимание на них только в том случае, если с помощью таких фейковых материалов был нарушен закон. Кроме того, если автор deepfake video указал, что это фейк, и не нарушил авторские права, то вопросов к нему у представителей закона не будет.

Дипфейки стали мощным инструментом мошенников и киберпреступников, упростили реализацию мошеннических схем и повысили эффективность фишинга. Например, в 2020 году британская энергетическая компания лишилась 40 тысяч фунтов стерлингов из-за deepfake technology – злоумышленники использовали лицо генерального директора в электронных письмах.
P. S. Сложно сказать, что такое дипфейки – добро и зло. Если рассматривать их с точки зрения развлекательного контента, то они не смешнее, чем те же мемы. Но для тех, крутится в мире цифровой рекламы – это колоссальная помощь в создании креативов. И если вы прямо сейчас думаете, как можно вдохнуть жизнь в уже примелькавшуюся кампанию — deepfake креативы вполне могут помочь 🙂