Видеоклон

Видеоклон (видеоголограмма) — цифровая и виртуальная видеоверсия человека или предмета, воспроизведенная голографически или виртуально.

Несмотря на широкоупотребляемое название, не является истинной голограммой и не основано на принципах голографии. Применяемая технология EyeLiner основана на создании оптической иллюзии у зрителя путём проекции (с помощью видеопроектора) анимированной 3D-модели на полупрозрачное зеркало, установленное под определённым углом к зрителю, то есть изображение на самом деле плоское, а не объёмное. Для создания эффекта глубины и кажущейся объёмности проецируемого изображения используется тёмный фон за полупрозрачным зеркалом (в таком случае отражаемое изображение зрительного зала или передней части сцены создаёт данную иллюзию) либо приглушённый фон за ним, который просвечивается и проецируемое изображение модели кажется находящимся на этом фоне^[1][2][3].

Впервые голограмма человека была продемонстрирована кинорежиссёрами-фантастами в фильмах «Звёздные войны» (1977), «Вспомнить всё» (1990). Позднее продемонстрирована в фантастическом фильме «Эквилибриум» (2002).

В 2006 году голограмма с живой британской модели Кейт Мосс выступала на подиуме дизайнера мод. В 2008 году на 50-й церемонии «Грэмми», покойный Фрэнк Синатра спел с живой Алишей Киз. В 2009 на телевизионном шоу American Idol покойный Элвис Пресли спел с живой Селин Дион. Японская виртуальная поп-звезда Мику Хацунэ провела в 2016 году свой первый концертный тур по Северной Америке^[4][5].

В 2012 году компания Digital Domain, используя трюк света под названием «призрак Пеппера», провело выступление на сцене фестиваля музыки «Коачелла-фест» покойного рэпера Тупака Шакура вместе с живыми Snoop Dogg и Dr. Dre^[6].

В этом же году российская Yota к 50-летию Виктора Цоя компания создала трехмерную голограмму музыканта и продемонстрировала её на площади Искусств в Санкт-Петербурге^[7].

Американскими компаниями «Hologram USA» и «Pulse Evolution» на своих голографических шоу оживила на сцене покойных знаменитостей Билли Холидей, Бинга Кросби, Уитни Хьюстон, Майкла Джексона, бывшего президента США Рональда Рейгана, а также живую Мэрайю Кэри^[8][9].

В 2015 году в России в Москве, на выставке «Художественные сокровища России», на сцене была продемонстрирована голограмма танец лебедя^[10].

В 2018 году на рынке голограмм-шоу умерших знаменитостей в сотрудничестве с лазерной проекционной компанией Epson появилась компания «BASE Hologram», которая на 2018 год рекламировала продвижение три концертных голограмм-тура покойных певцов: Эми Уайнхаус, Марии Каллас и Роя Орбисон, стоимостью от 45 долларов за билет^[11].

Использование видеоголограмм людей может сталкиваться с вопросами соблюдения авторских прав, в том числе принадлежащих родственникам^[12].

Видеоголограммы широко используются в концертных выступлениях вокалоидов^[13][14] (пример — вышеупомянутая Мику Хацунэ). Внедряется технология и в театральную среду^[2]. Также, имеются случаи применения в цирковых представлениях с животными^[15][16].

В 2013 году девушка-голограмма появилась в ГАИ Ивано-Франковска (Украины). В 2018 году девушка-голограмма появилась в аэропорту Симферополь, предоставляя информационные услуги. Также «виртуальные промоутеры» используются на выставках и экскурсоводами^{[17][18][19][20]}.

Имперский колледж Лондона ввел инновационный вид лекций в своей школе бизнеса — вести их будут преподаватели, которые будут появляться в аудитории в виде голограммы. Колледж представил новую технологию широкой публике на специальном мероприятии и намерен стать первым высшим учебным заведением в мире, которое будет проводить подобные лекции на регулярной основе^[21].

В 2012 году компания «Digicon Media» представила интерфейс Мэрилин Монро с искусственным интеллектом для компьютера и интернета. Заявив о намерении создать цифровую копию покойного Джими Хендрикса и Джима Моррисона^[22]

В 2014 году в Японии было представлено одно из направлений видеомаппинга «3D проекция на лицо», с помощью которого можно на лице и теле воспроизвести новое лицо, узор, стиль.^[23]

В 2017 году Microsoft выпустил приложение «Face Swap» — для смены лиц. Приложение разработано на основе искусственного интеллекта, позволяет легкостью подставлять другие лица в видео. Все, что требуется, это два видео: одно с «донором» лица, а другое с «реципиентом»; в обоих видео соответствующие лица должны быть четко видны. Программа работает на компьютерах на базе операционной системы Windows и с видеокартой NVIDIA, а также на мобильных телефонах Android.^[24][25][26]

В первые нейронное копирование мимики человека было показано также кинорежиссёрами-фантастами в фильме «Симона» (2002).

В 2016 году команда инженеров из США и Германии разработала программу замены лиц «Face2Face», которая позволяет в режиме реального времени менять мимику и речь выступающего на желаемую. Для программы требуется участник, мимика которого накладываться на видео-лицо, стандартная RGB-камера, компьютер с процессором не хуже Intel Core i7 и видеокартой Nvidia GTX980. С помощью датчика глубины изображения программа создаёт по лицу каждого участника маску, в которой имеется привязка к определённым мимическим точкам. После этого система на лету создаёт реалистичную видеоверсию лица и накладывает её поверх реального лица выступающего, при этом положение его головы в данный момент не играет роль. Для видео демонстрации разработчики использовали Владимира Путина, Джорджа Буша, Барака Обамы, Дональда Трампа.^[27][28]

В 2018 году на конференции SIGGRAPH исследователи из американского университета Карнеги-Мелона совместно с обществом Макса Планка, объединившись с коллегами из институтов Германии, Франции, Великобритании и США, при помощи искусственной нейронной сети, представили программу «Ted» для наложения мимики одного человека на объемную модель лица другого человека, а также реалистично вставлять речь в видеоролик, изменяя положение губ, рта, взгляда на видео, изменяя также параметры и наклон головы человека. Разработчики для демонстрации проекта воспользовались выступлениями известных мировых фигур Барака Обамы, Владимира Путина, Терезы Мэй.^[29][30][31]

Основой проекта стала технология Deepfake для подмены лиц на видео. Она основана на генеративно-состязательном виде машинного обучения. В её рамках генеративная модель пытается обмануть дискриминационную и наоборот, вследствие чего система понимает, как контент может быть преобразован в другой стиль. Для повышения качества работы нейросети, исследователи используют усовершенствованную версию «Recycle-GAN». Она учитывает не только положение разных частей лица, но и скорость их движения.^[32]

В 2018 году канадские разработчики научили нейросеть клонировать голос человека за 1 минуту, создав алгоритм, способный копировать и воспроизводить человеческий голос с высокой точностью. Можно создать копию собственного голоса, или сгенерировать новый «голосовой аватар» для продукта или приложения. Технология уже используется в проекте Revoice, чтобы помогать людям с болезнью Альцгеймера, которые утратили способность говорить.^[33]

В 2019 году группой специалистов из Samsung и «Сколково», под руководством Егора Захарова, с помощью нейросети, удалось «оживить» «Неизвестную» Ивана Крамского, портрет писателя Фёдора Достоевского и Моны Лизы, фотографии Альберта Энштейна. Технология анимирования статичного изображения заключается в сверточности нейросети, которая берет за основу маску человеческого лица с видеоряда, переносится её на изображение и в последующем она «оживает».^[34]

Ученым удалось разработать алгоритм, для которого требуется лишь два изображения — исходная картинка и цель. Нейросеть была обучена на большом количестве кадров, где запечатлены лица людей, на каждое из которых была наложена маска, обозначающая границы лица, а также базовую мимику.^[35]

В марте 2019 года после смерти основателя «МММ» Сергея Мавроди на сайте sergey-mavrodi.live появились видеоролики внешне похожего на Мавроди мужчины, утверждающего, что он жив, и призывающего озолотиться на вкладах МММ. Директор «Р-техно» Роман Ромачев высказал сомнение, предположив, что на видео — видеоклон с использованием проекционных технологий Deepfake и синтезатора речи.^[36][37][38]

• Vocaloid

• Видео: Face2Face: захват лица в режиме реального времени и воспроизведение видео RGB Архивная копия от 17 мая 2020 на Wayback Machine youtube.com
• Видео: 3D Сканирование лица и воспроизведение youtube.com
• Visual Computing Group Архивная копия от 26 мая 2020 на Wayback Machine