Смартфон голографический: Голографические смартфоны

Создан первый в мире гибкий голографический смартфон. Видео

Техника

|

Поделиться

    Канадские инженеры создали прототип гибкого смартфона с 3D-дисплеем, эффект которого напоминает голограмму.  

    «Голографический смартфон»

    Исследователи Университета Куинс в Канаде разработали прототип смартфона с 3D-дисплеем, объемное изображение на котором наблюдается без применения стереоочков и других дополнительных приспособлений. Устройство получило имя HoloFlex. Исследователи назвали его «голографическим смартфоном», хотя в действительности к голографии он имеет мало отношения.

    Принцип формирования изображения

    Трехмерное изображение в HoloFlex формируется за счет линз на поверхности дисплея, которые имеют сферическую форму. Всего таких линз распределено по дисплею 16640 штук. Под каждой находится шестиугольный массив из 80 пикселей. 

    При выводе изображения специальная программа на смартфоне, которую разработали исследователи, воссоздает 3D-сцену, просчитывая движение лучей света. 

    В результате пользователь видит 3D-объект, который как бы находится по ту сторону дисплея. Поворачивая смартфон из стороны в строну, он может слегка заглядывать за объект. Эффект очень напоминает голограмму, хотя у нее другой принцип построения. 

    HoloFlex

    Фактическое разрешение картинки в HoloFlex получается гораздо меньше — 160 x 104 пикселей, — чем разрешение дисплея — 1920 x 1080 пикселей. Количество эффективных пикселей соответствует количеству линз. 

    Новые правила аккредитации и получения налоговых льгот для ИТ-компаний: что важно знать

    Поддержка ИТ-отрасли

    Дополнительные функции

    HoloFlex оснащен процессором под управлением Android 5. 1 и графическим контроллером Adreno 430, на котором происходит расчет итогового изображения. Линзы для дисплея были напечатаны на 3D-принтере. Дисплей в HoloFlex — сенсорный. Хотя управлять смартфоном можно и путем его деформации.

    В устройство встроены датчики, которые позволяют выполнять действия, сгибая его в ту или иную сторону. Такая возможность может использоваться в играх, например, для натягивания рогатки в Angry Birds (что исследователи продемонстрировали на видео).

    • С чего начать импортозамещение SAP, Oracle и IBM?

    Сергей Попсулин

    Samsung разрабатывает голографический дисплей для смартфонов

    Демонстрационное видео можно посмотреть на YouTube.

    Related video

    Группа исследователей из Samsung разработала тонкий голографический дисплей, позволяющий просматривать изображения под разными углами. В статье, опубликованной в журнале Nature Communications, группа описывает свое новое устройство, а также делится планами касательно его усовершенствования для дальнейшего использования в качестве экрана смартфона, передает издание techxplore. com.

    Несмотря на многочисленные исследования и разработки, трехмерные голографические видеоплееры по-прежнему недоступны для потребителей. Существующие плееры слишком громоздкие да и углы обзора при просмотре видео строго ограничены. Однако исследователи из Samsung утверждают, что им удалось преодолеть эти две основные проблемы и создать демонстрационное устройство с тонкой панелью.

    Экран высотой 25 см располагает блоком рулевой подсветки с отражателем луча для увеличения углов обзора. Дефлектор светового луча был создан путем размещения жидких кристаллов между листами стекла, благодаря чему панель может отклонять световые лучи по принципу призмы. 

    Демонстрация работы голографического дисплея Samsung

    Тесты показали, что дефлектор луча в сочетании с механизмом наклона увеличивает углы обзора в 30 раз по сравнению с традиционными конструкциями голографических экранов. Новый дизайн также обеспечивает тонкую форму — всего 1 см толщиной. Гаджет также имеет модулятор света, геометрическую линзу и голографический видеопроцессор, способный выполнять 140 млрд операций в секунду. Работает новинка благодаря алгоритму, который обрабатывает данные не при помощи математических операций, а используя таблицы поиска (таблица поиска — это структура данных, заменяющая вычисления на операцию простого поиска. При использовании таблиц данных увеличение скорости может быть значительным, так как получить данные из памяти зачастую быстрее, чем выполнить трудоемкие вычисления, — ред.). В итоге устройство могло отображать голографическое видео с разрешением 4K и со скоростью 30 кадров в секунду.

    Чтобы снять видеоролик, показывающий, как работает голографический дисплей, ученые приблизились к нему на расстояние вытянутой руки. Примечательно, что пользователь сможет не только смотреть, но и взаимодействовать с демонстрируемыми объектами в режиме реального времени с помощью клавиатуры. 

    Разработчики признают, что требуется дополнительная работа, прежде чем их устройство можно будет коммерциализировать — для начала им нужно сделать его еще тоньше. Также они планируют изменить его конфигурацию для использования в качестве экрана для смартфонов. Они считают, что их устройство скоро получит коммерческое применение.

    Ранее стало известно, что Samsung создаст дисплей для виртуальной реальности с четкостью 10 тыс. пикселей на дюйм. Южнокорейская компания привлекла к разработке дисплея нового поколения экспертов из Стэнфордского университета.

    утончают голографический видео-дисплей для мобильных телефонов

    Это слишком распространенная уловка, и законные компании-производители и дистрибьюторы сильно страдают от нее. Но опасность гораздо глубже, чем быть ограбленным, когда вы искали выгодную сделку. Покупая лекарства, например, вы подвергаете свое здоровье опасности, если не получаете добросовестное лекарство, которое было прописано. Тем не менее, для большей части мира
    быть обманутым таким образом при покупке лекарств, к сожалению, является нормой. Даже люди в развитых странах подвержены лечению поддельными или некачественными лекарствами.

    Крошечные механические резонаторы, изготовленные по тому же принципу, что и микрочипы (внизу), могут служить для аутентификации различных товаров. Будучи менее 1 микрометра в поперечнике и прозрачными, эти метки практически невидимы. Университет Флориды

    Контрафактная электроника также представляет собой угрозу, поскольку она может снизить надежность критически важных с точки зрения безопасности систем и сделать опасной даже обычную бытовую электронику.
    Например, мобильные телефоны и электронные сигареты, как известно, взрываются прямо перед лицом пользователя из-за поддельных аккумуляторов внутри них.

    Не будет преувеличением уподобить распространение контрафактной продукции заражению системы мировой экономики — пандемии другого рода, разросшейся
    По данным Международной коалиции по борьбе с контрафактной продукцией, за последние два десятилетия их число увеличилось в 100 раз. Поэтому неудивительно, что многие люди в промышленности уже давно работают над способами борьбы с этим бедствием.

    Традиционная стратегия борьбы с фальшивомонетчиками заключается в применении какого-либо маркера аутентификации к подлинному изделию. Эти усилия включают отображение универсальных кодов продуктов (UPC) и шаблонов быстрого реагирования (QR), а иногда и включение меток радиочастотной идентификации (RFID). Но коды UPC и QR должны быть видны, чтобы они были доступны для оптического сканирования. Это делает их уязвимыми для удаления, клонирования и повторного применения к контрафактной продукции. Метки RFID не так легко клонировать, но для них обычно требуются относительно большие антенны, что затрудняет незаметную маркировку предмета с их помощью. И в зависимости от того, для чего они используются, они могут быть слишком дорогими.

    Мы придумали другое решение, основанное на радиочастотных (РЧ) наноэлектромеханических системах (НЭМС). Как и метки RFID, наши устройства RF NEMS не должны быть видимыми для сканирования. Это, их крошечный размер и природа их компонентов делают эти теги в значительной степени невосприимчивыми к физическому изменению или клонированию. И стоят они максимум несколько копеек каждая.

    Невидимые метки NEMS могут стать мощным оружием в глобальной борьбе с контрафактной продукцией, даже с фальшивыми банкнотами. Заинтригован? Вот описание физических принципов, на которых основаны эти устройства, и краткий обзор того, что будет задействовано в их производстве и эксплуатации.

    Вы можете представить себе радиочастотной метки NEMS как крошечный бутерброд. Ломтики хлеба представляют собой два проводящих слоя оксида индия-олова толщиной 50 нанометров, материала, обычно используемого для изготовления прозрачных электродов, например, для сенсорного экрана вашего телефона. Наполнение представляет собой пьезоэлектрическую пленку толщиной 100 нм, состоящую из нитрида алюминия, легированного скандием, который также прозрачен. С помощью литографических методов, аналогичных тем, которые используются для изготовления интегральных схем, мы вытравливаем в сэндвиче узор, который включает в себя кольцо посередине, подвешенное на четырех тонких плечах. Такая конструкция позволяет круглой поверхности свободно вибрировать.

    Материал, из которого изготовлена ​​пьезоэлектрическая пленка, конечно же, подлежит
    пьезоэлектрический эффект: при механической деформации материал генерирует электрическое напряжение. Более важным здесь является то, что такие материалы также испытывают так называемый обратный пьезоэлектрический эффект — приложенное напряжение вызывает механическую деформацию. Мы воспользуемся этим явлением, чтобы вызвать колебания в гибкой части метки.

    Для этого мы используем литографию для изготовления катушки по периметру метки. Эта катушка соединена одним концом с верхним проводящим слоем, а другим концом с нижним проводящим слоем. Воздействие на метку колеблющегося магнитного поля создает колеблющееся напряжение на пьезоэлектрическом слое, как того требует правило.
    Закон электромагнитной индукции Фарадея. Возникающая в результате механическая деформация пьезопленки, в свою очередь, вызывает вибрацию гибких частей метки.

    Эта вибрация станет наиболее интенсивной, когда частота возбуждения совпадет с собственной частотой крошечного механического осциллятора. Это простой резонанс, явление, позволяющее голосу оперного певца разбить бокал вина при взятии нужной ноты (и если певец
    очень, очень старается). Это также стало причиной обрушения подвесного моста Бротон недалеко от Манчестера, Англия, в 1831 году, когда 74 члена 60-го стрелкового корпуса прошли по нему маршем, и их шаги приземлились в такт естественному механическому резонансу моста. (После этого инцидента британским солдатам было приказано сбивать шаг, когда они шли по мостам!) В нашем случае релевантным возбуждением являются колебания магнитного поля, приложенного сканером, который вызывает вибрацию с самой высокой амплитудой, когда он совпадает с частотой механический резонанс гибкой части метки.

    На самом деле ситуация сложнее, чем эта. Гибкая часть метки имеет не одну резонансную частоту — их много. Это как мембрана на барабане, которая может
    колебаться различными способами. Левая сторона может подняться, а правая опуститься, и наоборот. Или середина может подниматься, а периметр смещается вниз. Действительно, мембрана барабана деформируется при ударе по-разному. И каждый из этих образцов колебаний имеет свою собственную резонансную частоту.

    Мы разработали наши нанометровые метки так, чтобы они вибрировали, как крошечные барабанные пластины, со многими возможными режимами колебаний. Метки настолько малы — всего несколько микрометров в поперечнике, — что их колебания происходят на радиочастотах в диапазоне от 80 до 90 мегагерц. В этом масштабе значение имеет не только геометрия бирки: в игру вступают также капризы производства.

    Например, толщина сэндвича, которая номинально составляет около 200 нм, будет незначительно варьироваться от места к месту. Диаметр или округлость кольцеобразной части также не будет одинаковой от образца к образцу. Эти незначительные производственные вариации повлияют на механические свойства устройства, в том числе на его резонансные частоты.

    Кроме того, в этом масштабе материалы, используемые для изготовления устройства, не являются идеально однородными. В частности, в пьезоэлектрическом слое существуют собственные изменения кристаллической структуры. Из-за большого количества легирующего скандия конические скопления кубических кристаллов случайным образом формируются в матрице гексагональных кристаллов, составляющих зерна нитрида алюминия. Случайное расположение этих крошечных конусов создает значительные различия в резонансах, возникающих в, казалось бы, идентичных метках.

    Подобные случайные вариации могут привести к неприятным дефектам при производстве некоторых микроэлектронных устройств. Однако здесь случайная вариация — это не ошибка, а особенность! Это позволяет каждой изготовленной метке служить уникальным маркером. То есть, хотя резонансы, проявляемые меткой, в целом контролируются ее геометрией, точные частоты, амплитуды и резкость каждого из ее резонансов являются результатом случайных изменений. Это делает каждый из этих элементов уникальным и предотвращает клонирование, подделку или иное изготовление метки таким образом, чтобы воспроизвести все свойства резонансов, наблюдаемых в оригинале.

    Метка RF NEMS является примером того, что эксперты по безопасности называют
    физическая неклонируемая функция. Для дискретной маркировки чего-то вроде партии лекарства, чтобы задокументировать его происхождение и доказать его подлинность, это как раз то, что доктор прописал.

    В этот момент вы, возможно, задаетесь вопросом, как мы можем обнаружить и охарактеризовать уникальные характеристики колебаний, происходящих внутри этих крошечных меток. Один из способов, в принципе, заключался бы в том, чтобы поместить устройство под микроскоп виброметра и посмотреть, как оно двигается. Хотя это возможно — и мы сделали это в ходе наших лабораторных исследований — эта стратегия не будет практичной или эффективной в коммерческих приложениях.

    Но оказывается, измерить резонансы этих меток совсем не сложно. Это потому, что электронный сканер, который возбуждает вибрации в метке, должен поставлять энергию, которая поддерживает эти вибрации. Электронный сканер легко может определить частоты, на которых таким образом поглощается энергия.

    Сканер, который мы сейчас используем, представляет собой стандартную часть электронного тестового оборудования, называемого сетевым анализатором. (Слово
    сеть здесь относится к сети электрических компонентов — резисторов, конденсаторов и катушек индуктивности — в тестируемой цепи, а не к компьютерной сети, такой как Интернет.) Датчик, который мы присоединяем к сетевому анализатору, — это просто крошечная катушка, который расположен в пределах пары миллиметров от тега.

    С помощью этого механизма мы можем легко измерить уникальные резонансы отдельной метки. Мы записываем эту сигнатуру, измеряя, насколько различные пики резонансной частоты смещены от пиков идеального тега соответствующей геометрии. Мы переводим каждое из этих смещений частоты в двоичное число и связываем все эти биты вместе, чтобы создать цифровую подпись, уникальную для каждого тега. Схема, которую мы используем в настоящее время, создает 31-битные идентификаторы, а это означает, что возможно более 2 миллиардов различных двоичных подписей — достаточно, чтобы уникально пометить практически любой продукт, который, как вы думаете, может нуждаться в аутентификации.

    Использование тонких физических свойств тега для определения его уникальной подписи предотвращает клонирование, но вызывает другую озабоченность: эти свойства могут измениться.

    Например, во влажной среде метка может поглотить некоторое количество влаги из воздуха, что изменит свойства ее резонансов. От этой возможности достаточно легко защититься, покрыв метку тонким защитным слоем, скажем, из какого-нибудь прозрачного полимера, что можно сделать, не мешая вибрациям метки.

    Но мы также должны признать, что частоты его резонансов будут меняться по мере изменения температуры метки. Однако мы можем обойти это осложнение. Вместо того, чтобы характеризовать метку по абсолютной частоте ее режимов колебаний, мы вместо этого измеряем отношения между частотами различных резонансов, которые все смещаются по частоте на одинаковые относительные величины при изменении температуры метки. Эта процедура гарантирует, что измеренные характеристики будут преобразованы в одно и то же 31-битное число, независимо от того, является ли тег горячим или холодным. Мы протестировали эту стратегию в довольно широком диапазоне температур (от 0 до 200 °C) и обнаружили, что она достаточно надежна.

    Метка характеризуется разностью между ее измеренными резонансными частотами (провалы на красной линии) и соответствующими частотами идеальной метки (провалы на черной линии). Эти различия кодируются в виде коротких двоичных строк, дополненных до стандартной длины, где один бит указывает, является ли смещение частоты положительным или отрицательным (справа). Соединенные вместе, эти строки представляют собой уникальный цифровой отпечаток тега (внизу) Университет Флориды

    Анализатор радиочастотной сети , который мы используем в качестве сканера, является дорогостоящим оборудованием, и крошечный датчик катушки, прикрепленный к нему, должен располагаться прямо напротив метки. В то время как в некоторых приложениях расположение метки на продукте может быть стандартизировано (например, для проверки подлинности кредитных карт), в других ситуациях человек, сканирующий продукт, может не знать, где на товаре расположена метка. Поэтому сейчас мы работаем над созданием меньшего по размеру и более дешевого сканирующего устройства с датчиком, который не нужно располагать прямо над меткой.

    Мы также изучаем возможность изменения резонансов метки.
    после выдумывается. Эта возможность возникает из-за некоторой интуиции в нашем исследовании. Видите ли, материал, который мы выбрали для пьезоэлектрического слоя в наших метках, довольно необычен. Пьезоэлектрические устройства, такие как некоторые фильтры в наших мобильных телефонах, обычно изготавливаются из нитрида алюминия. Но выбранный нами материал содержит большое количество легирующей примеси скандия, что усиливает его пьезоэлектрические свойства.

    Когда мы решили использовать эту более экзотическую формулу, мы не знали о втором качестве, которое она придает: она превращает материал в
    сегнетоэлектрик, что означает, что он может быть электрически поляризован при приложении к нему напряжения, и что поляризация сохраняется даже после снятия приложенного напряжения. Это имеет отношение к нашему приложению, потому что поляризация материала влияет на его электрические и механические свойства. Придание метке определенной картины поляризации, что может быть сделано после ее изготовления, изменит частоты ее резонансов и их относительные амплитуды. Этот подход предлагает стратегию, с помощью которой мелкие производители или даже конечные пользователи могут «записывать» подпись в эти теги.

    Наше исследование меток RF NEMS частично финансировалось Discover Financial Services, компанией, разработавшей популярную кредитную карту Discover. Но приложения крошечных меток, над которыми мы работали, наверняка будут интересны и многим другим типам компаний. Даже правительства могут когда-нибудь использовать наномеханические метки для аутентификации бумажных денег.

    Насколько широко полезными будут эти теги, зависит, конечно, от того, насколько успешны мы в разработке ручного сканера, который может быть даже простой надстройкой для смартфона, и верны ли наши предположения о том, что эти теги могут быть настроены после производство. Но мы, безусловно, рады исследовать все эти возможности, делая первые пробные шаги к коммерциализации технологии, которая однажды может помочь остановить самую распространенную в мире форму преступной деятельности.

    Эта статья появилась в печатном выпуске за июнь 2021 года под названием «Скрытые аутентификаторы».

    Возможно, вы их не замечали, но голограммы уже давно присутствуют в нашей повседневной жизни.Поскольку их невероятно сложно скопировать, аналоговые голограммы широко используются в качестве средства защиты от подделок в кредитных картах, банкнотах, водительских правах и во многих других приложениях (рис. 1).

    Рисунок 1 : Голограммы для защиты от подделок – на банкноте (слева) и на кредитной карте (справа).

    С ростом вычислительной мощности и появлением новых вариантов использования, таких как дополненная реальность (AR), постоянно ведутся исследования и разработки приложений цифровой голографии для отображения. Многие популярные научно-фантастические фильмы и телешоу были вдохновлены идеей голографического дисплея, демонстрируя, как может выглядеть будущее продвинутой визуализации. Вспомните «Звездную войну», «Особое мнение», «Звездный путь» и многие другие. Но действительно ли голографический дисплей — это что-то из далекого будущего? В этой статье мы показываем последние алгоритмические и вычислительные достижения, демонстрирующие, как голографическое отображение теперь может быть достигнуто на мобильных процессорах. Сначала давайте посмотрим, как создавались классические голограммы.

    Рисунок 2 : Создание классической голограммы (слева) и воспроизведение (справа). Изображения предоставлены VividQ.

    Истоки создания и воспроизведения голограмм

    До компьютерной эры аналоговые голограммы записывались и воспроизводились аналогично музыкальным виниловым пластинкам. При этом два лазерных луча освещают целевой объект (рис. 2). Полученная интерференционная картина (голограмма), которая кодирует всю всю (« holos «) фазовую информацию об объекте, записывается на светочувствительную пленку с очень высоким разрешением. При освещении пленки лазером (рис. 2) происходящая дифракция воспроизводит поле воспроизведения, которое для глаза выглядит как трехмерное изображение. Это изображение является идеальным представлением записанного объекта, поскольку оно сохраняет глубину, параллакс и другие свойства исходной сцены. Как физик, я знаком с этим процессом, когда несколько лет назад изучал голографию в университете.

    В предыдущем блоге мы описали, как Arm сотрудничает с британским стартапом VividQ, чтобы включить цифровые голографические дисплеи в бытовую электронику. В компьютерной голографии (CGH) интерференционные картины создаются в цифровом виде из различных источников данных, от игровых движков до камер с датчиками глубины. Затем они отображаются на микродисплее, который является эквивалентом светочувствительной пленки в классических голограммах и аналогичным образом воспроизводит трехмерное изображение при освещении лазерным светом. CGH, однако, чрезвычайно требователен к вычислительным ресурсам — раньше на создание одного цифрового голографического изображения уходило несколько дней. Когда я впервые посетил VividQ недалеко от штаб-квартиры Arm в Кембридже, я не мог в это поверить. Прототип голографического дисплея, использующий программное обеспечение VividQ для CGH, смог спроецировать передо мной трехмерное голографическое видео анимированной сцены, созданной в Unity, в режиме реального времени. Это было просто сногсшибательно. Давайте посмотрим, как это было достигнуто.

    Революция в цифровой голографии: генерация голограмм на основе быстрого преобразования Фурье (БПФ)

    Традиционно в CGH голограммы рассчитывались с помощью точечных вычислений (PBC). Трехмерные виртуальные объекты могут быть представлены в виде облаков точек, которые несут информацию о цвете и глубине. В PBC рассчитывается излучение света из каждой точки виртуального объекта на каждый пиксель дисплея, используемого для проецирования голограммы, и все значения суммируются [1, 2]. Таким образом, вычислительная мощность, необходимая для этого процесса, огромна и ужасно масштабируется с разрешением, что требует примерно O(N 4 ) операций, где N — длина стороны дисплея.

    Всего несколько лет назад были предложены практические решения вычислительной задачи CGH [3]. Прорыв был похож на переход от аналоговой обработки звука к цифровой. В случае музыки процесс оцифровки производит выборку аудиосигнала через фиксированные интервалы времени. Для сравнения, новые идеи в области голографии работают путем выборки срезов глубины трехмерного виртуального объекта, который должен быть спроецирован. Рисунок 3 суммирует процесс нарезки и генерацию интерференционных картин (голограмм), используемых для голографической проекции.

    Рисунок 3 : Конвейер CGH на основе БПФ.

    В процессе нарезки каждая точка облака точек объекта классифицируется по слоям глубины. На следующем шаге слои глубины передискретизируются и растеризуются в сетки глубины. На этом этапе каждая сетка глубины содержит точки, находящиеся на одной глубине. На практике каждую сетку глубины можно рассматривать как 2D-изображение, а точки каждого слоя глубины можно эффективно воспринимать как пиксели. Этот многоуровневый подход позволяет свести задачу CGH к задаче быстрого преобразования Фурье (БПФ) с O(N 2  log N) временная сложность, где N — длина стороны дисплея. Затем происходит хроматическая сетка, при которой сетки глубины разделяются на каналы RGB. Затем голограмма создается путем выполнения расчета дифракции на сетках глубины с использованием БПФ. Для каждого канала RGB требуется собственный расчет БПФ, поскольку скорость дифракции зависит от длины волны каждого цвета. Наконец, голограммы канала RGB объединяются в одноцветную голограмму.

    Поскольку мы создали голограмму (интерференционную картину), где мы можем записать или распечатать ее, чтобы реконструировать с помощью лазерного луча и создать голографическую проекцию? В этой области развились цифровые технологии, и аналоговые пленки были заменены так называемыми пространственными модуляторами света (SLM). SLM может динамически отображать рассчитанные дифракционные картины, а когда он освещается красными, зелеными и синими лазерными диодами, он создает проекцию голограммы.

    Очевидно, что это очень упрощенная версия процесса генерации голограммы, и мы не рассматриваем здесь технические сложности, связанные с самим дисплеем. Тем не менее, мы видим, что требуемая вычислительная мощность будет увеличиваться с увеличением количества слоев глубины и разрешения сетки глубины. По мере увеличения количества слоев можно ожидать, что вес вычислений БПФ будет более значительным. Графические процессоры отлично подходят для параллельных вычислений. Они могут использовать весь потенциал арифметических возможностей, которые, как правило, больше на высокопроизводительных графических процессорах. Вот почему сегодня графические процессоры являются рекомендуемой вычислительной единицей для процесса генерации голограмм.

    Во время визита в VividQ я попробовал их прототип голографической гарнитуры (рис. 4). VividQ запатентовала как свое программное обеспечение, так и эталонные разработки, стремясь ускорить массовое внедрение голографических дисплеев в реальном времени в гарнитурах дополненной реальности и умных очках, автомобильных дисплеях на лобовом стекле и бытовой электронике.

    Рис. 4 : Прототип бинокулярной голографической гарнитуры VividQ с прикрепленным датчиком глубины.

    Сегодня прототип голографической гарнитуры VividQ подключен к настольному компьютеру, на котором запущено приложение, отображающее виртуальный контент из игрового движка, такого как Unity или Unreal. Информация о цвете и глубине из виртуального контента отправляется в конвейер CGH (рис. 3). Установка также использует информацию с камеры для измерения глубины, чтобы добиться окклюзии виртуально-реального и реального-виртуально-реалистичного при проецировании голограмм в окружающую среду (рис. 5). Вычисление БПФ происходит в графическом процессоре.

    Рис. 5 : 3D-голографическая проекция VividQ двух объектов на разных расстояниях, снятых камерой.

    Опробование голографической гарнитуры VividQ стало поучительным опытом, поскольку мои познания в области голографии прекратились во время учебы в университете, когда CGH был предметом научной фантастики. Я понял, как далеко зашло развитие голографических технологий с 80-х годов. Но меня ждало еще больше сюрпризов, как вы увидите в следующем разделе.

    CGH в реальном времени на мобильных устройствах — фантастика или реальность?

    Перенос CGH с рабочего стола на мобильный может показаться сложной задачей. Если достижение CGH на настольном компьютере с мощным процессором и графическим процессором было проблемой, имеет ли смысл подумать о переносе генерации голограмм на мобильные устройства? Однако, если мы подумаем об этом подробнее, переход на мобильные устройства покажется нам следующим естественным шагом, если мы хотим увидеть широкое распространение голографических дисплеев в реальном времени.

    Подобный процесс уже происходил в VR. Если вы следили за разработками в этой отрасли, то слышали о шлемах виртуальной реальности HTC Vive или Oculus Rift. Они привязаны к мощному ПК и могут отображать виртуальную сцену с высоким разрешением и частотой кадров в секунду (FPS) для каждого глаза. Затем, в 2018 году, был выпущен Oculus Go (первая автономная VR-гарнитура), а в прошлом году была раскрыта его вторая итерация — очень успешная Oculus Quest. Автономный означает, что он содержит все необходимые компоненты для предоставления опыта виртуальной реальности и не требует привязки к внешнему устройству для использования. Преимущества этого шага очевидны: больше никаких кабелей, свободное движение с гарнитурой и более низкое энергопотребление, и все это на мобильной SoC. Мы можем получить те же преимущества от переноса CGH на мобильную SoC. Это переносит технологию в вероятное будущее AR, где компактный голографический дисплей с низким энергопотреблением является обязательным. Вот где стратегия Total Compute от Arm очень поможет.

    Как Arm Total Compute и VividQ формируют будущее голографии?

    Рис. 6 : Различные элементы будущего комплексного решения Total Compute.

    Чтобы удовлетворить растущие требования к вычислительной мощности и энергопотреблению, компания Arm осуществляет стратегический переход через Total Compute: от оптимизации отдельных IP-адресов к принятию решения на уровне системы для всей конструкции SoC (рис. 6). Это означает, что вся система должна без проблем работать вместе, чтобы обеспечить максимальную производительность для ресурсоемких рабочих нагрузок, упакованных в оболочку SoC с низким энергопотреблением. Этот новый подход будет анализировать, как лучше всего развернуть взаимосвязанные данные и вычисления между различными блоками IP и вычислительными доменами. Он включает в себя не только основные области вычислений — CPU, GPU и NPU, — но также программные платформы и вычислительные библиотеки для повышения их производительности. Между тем, новые инструменты, такие как Performance Advisor, выявляют узкие места и помогают добиться максимальной производительности всей системы.

    Этот подход особенно полезен для высокопроизводительных вычислений, таких как БПФ, которые являются основной частью CGH. Новейшие графические процессоры Mali Premium — Mali-G78 и Mali-G77 — и основной Mali-G57 используют преимущества Arm Compute Library (ACL). Это высокооптимизированный набор низкоуровневых функций, включая высокоэффективную ускоренную реализацию вычислений БПФ на OpenCL. БПФ работают в сложной области, где мы можем использовать плавающую точность FP32 и FP16. Каждое улучшение производительности серверной части оборудования напрямую приводит к увеличению количества операций умножения-накопления в секунду (MAC/s) и, следовательно, к увеличению производительности вычислений БПФ. Это особенно важно, учитывая, что расчеты БПФ занимают 60-90% от общего объема вычислений, необходимых для голографического дисплея, даже с учетом операций предварительной и последующей обработки.

    На саммите Light Field and Holographic Display Summit 2019 Дарран Милн, генеральный директор VividQ, поделился требованиями FLOP для создания одного кадра голографического изображения для определенного количества целевых слоев на дисплее с разрешением 2048×1536 с использованием алгоритма реального времени VividQ, доступного по адресу раз (таблица 1).

    слоя

    Сложность (на кадр)

    2 

    7 гигафлоп

    4 

    12 гигафлоп

    8 

    22 гигафлоп

    16 

    42 гигафлоп

    Таблица 1:  Требования FLOP для создания одного кадра 2048 x 1536 с использованием алгоритма реального времени VividQ.

    Чтобы представить эти цифры в перспективе, даже для дисплея с разрешением 1280×720 с традиционным вычислением на основе точек для CGH требования к вычислениям на кадр составят около 7000 GFLOP. Это демонстрирует, насколько более эффективным может быть метод на основе слоев VividQ, использующий БПФ и соответствующие библиотеки Arm. Уменьшение вычислительных требований в 1000 раз также является результатом собственных методов VividQ, помимо БПФ, включая оптимизацию уровней глубины и динамическое выделение слоев [4]. Что важно, методы VividQ оптимизируются не только для вычислительных требований, но и для высокого качества изображения, необходимого для приложений голографического отображения в бытовых устройствах. Алгоритмы, доступные в VividQ Software Development Kit (SDK), оптимизированы для различных типов дисплеев, размеров и битовой глубины, а также различных характеристик изображения, таких как высокая контрастность. Поскольку пользователь или вызывающая программа могут запросить определенное количество выходных слоев, можно использовать только требуемый объем вычислений для данной оптической системы и входной сцены. Однако стоит отметить, что простые сцены могут содержать данные только с глубиной в пару бит. Эта огромная гибкость позволяет графическому процессору Arm Mali с программным обеспечением VividQ создавать голограммы для широкого спектра приложений в режиме реального времени.

    Рассмотрим более подробно вычислительные возможности графического процессора Arm Mali-G76. В одном ядре Mali-G76 есть 3 исполнительных движка по 8 потоков каждый, способных выполнять ~ 3 инструкции FP32 (MUL + ADD) за такт (3x8x3=72 FLOP/такт/ядро). Это означает, что 10-ядерный графический процессор G76, работающий на частоте 720 МГц в Samsung Galaxy S10, будет обеспечивать 720×10 6 x72x10 FLOP или ~ 518 GFLOP/с. Для точности FP16 показатель удваивается до 1,04 TFLOP/с. Это теоретический максимум — на практике на реальную цифру будут влиять ограничения пропускной способности и, в конечном счете, энергопотребление. В случае вычислений для тяжелых алгоритмов, таких как вычисления БПФ, можно получить значительную долю теоретического максимума. Даже если мы посчитаем только один FLOP на поток за цикл и 60-процентную загрузку, мы можем получить более 100 GFLOP/с.

    Как мы видим, пропускная способность в принципе не должна быть проблемой, но на практике может быть. При использовании графического процессора невозможно поддерживать интенсивность обработки, необходимую для сложных сценариев использования с высоким разрешением, без теплового троттлинга и быстрой разрядки аккумулятора. Тем не менее, есть и простые приложения. Например, голографическая проекция текста и значков в устройствах дополненной реальности, где количество слоев может быть ограничено, но все же дает значительные преимущества для современных дисплеев AR. Согласно некоторым оценкам, выполненным командой Developer Advocacy в компании Arm, которая поддерживает VividQ, вычисление одного среза на Samsung Galaxy S10 занимает 8 мс для разрешения 720×1280. Это означает, что для полноцветного одиночного слоя потребуется 24 мс, а система теоретически будет работать со скоростью 40 кадров в секунду. Впервые было продемонстрировано, что CGH работает в режиме реального времени на мобильном графическом процессоре. Компания VividQ недавно продемонстрировала этот вариант использования своей концептуальной голографической операционной системы (рис. 7), включающей значки, текст и знакомые приложения, такие как социальные сети, для которых обычно требуется всего 2 уровня глубины.

    Рис. 7 : Концепт голографической операционной системы VividQ, вид через гарнитуру.

    Но голографический дисплей — это гораздо больше, чем вычисления БПФ. Центральный процессор играет ключевую роль в создании контента и других вычислительных задачах. Различные части голографической системы, такие как дисплей и драйверы лазера, должны работать эффективно, чтобы избежать узких мест и достичь высокого кажущегося разрешения голографических изображений. Total Compute стремится удовлетворить все эти требования в рамках общесистемного подхода Arm к проектированию, который обеспечит следующую волну цифрового погружения. В то же время команда VividQ продолжает свои алгоритмические исследования для создания голограмм и приложений еще более высокого качества, выходящих за рамки носимых устройств дополненной реальности. Запатентованный инструмент моделирования голограмм VividQ (также работающий на графическом процессоре) позволяет моделировать различные оптические настройки с высокой степенью точности. Это позволяет быстро создавать прототипы новых оптических систем без экспериментов с оборудованием, что в конечном итоге приводит к более быстрому переходу к красивым голографическим изображениям (рис. 8). К счастью, требуемые алгоритмические изменения не сильно влияют на объем вычислений, поэтому эти новые типы дисплеев по-прежнему совместимы с архитектурами Arm Total Compute для достижения производительности в реальном времени на мобильных процессорах.

    Рисунок 8 : Голографические изображения, созданные с помощью VividQ SDK 4.2.0 со стандартным алгоритмом генерации (b) и разрабатываемой процедурой высокого уровня черного (c), с математическим моделированием повторов относительно целевого изображения (a ).

    Выводы 

    Последние разработки в CGH превращают голографический дисплей из научной фантастики в реальность. Истинное восприятие глубины, обеспечиваемое голографическими дисплеями, имеет существенные преимущества по сравнению с современными дисплеями 3D и AR. Благодаря последним достижениям в методах вычислений голографические дисплеи могут стать жизнеспособной альтернативой коммерческому применению дополненной реальности, от смарт-очков до автомобильных HUD и новой бытовой электроники. Чтобы реализовать свой истинный потенциал, голографические дисплеи должны перейти от настольных вычислений к мобильным SoC. Сотрудничество между Arm и VividQ направлено на достижение CGH на мобильных процессорах. Здесь мы можем объединить глубокий опыт программного обеспечения VividQ в области голографии с маломощным и высокопроизводительным Arm IP. Подход Arm Total Compute к иммерсивным вычислениям направлен на комплексное улучшение системы как по производительности, так и по энергопотреблению, помогая создавать голографические дисплеи будущего.