Содержание
Как работают очки дополненной реальности и кто их использует
Фото: Justin Sullivan / Getty Images
Как дотронуться до человека, который находится на другом конце света, и почему очки смешанной реальности — это дорого, выяснил ведущий YouTube-канала «РБК Тренды» Николай Дубинин
Как работают очки смешанной реальности
Чтобы понять, как работают очки смешанной реальности, нужно разобраться, какие еще существуют варианты погружения в другие пространства с помощью технологий.
Выпуск канала «РБК Тренды»
Идея очков виртуальной реальности (Virtual Reality) заключается в том, чтобы полностью перенести пользователя в нарисованный мир, совершенно отключить его от реальности.
Очки дополненной реальности (Augmented Reality) накладывают на реальный мир проекцию или голограмму, но не дают никакой возможности взаимодействовать со всем, что происходит в реальности. Например, как в случае с приложением AR Hunter, которое восстанавливает стертые граффити на постройках.
Смешанная реальность (Mixed Reality) — это наиболее прогрессивный формат взаимодействия, когда реальные и виртуальные объекты становятся частью одного мира. Наглядно продемонстрировать работу MR может сборка двигателя. Допустим, сам двигатель находится около вас, тогда очки смогут спроектировать недостающие детали и по типу инструкции показать, куда их поставить.
Где используют такие очки
Сегодня очки смешанной реальности на практике применяют в хирургии. Благодаря такой технологии врачи проводят для своих коллег трансляцию операций, а также могут с большей эффективностью оценить ситуацию и увидеть всю информацию о пациенте в реальном времени — например, снимки КТ или УЗИ.
В феврале 2021 года Microsoft провела онлайн-трансляцию 12 операций, выполненных в смешанной реальности
В армии США очки используют пока что только для тренировок, но в будущем планируют полноценно ввести их в оборот. Компания Microsoft уже занялась разработкой шлема для военных. В прототипе все, что видно внутри шлема, напоминает игру Call of Duty. В реальности он будет напоминать компьютер на голове и сможет сканировать местность и составлять карту, помогать разрабатывать тактику, определять местонахождения членов команды, выводить на экран компас. Основная задача для разработчиков заключается в том, чтобы сделать шлем безопасным для использования в армии: добавить ему автономности и прочности.
Репортаж ABC News о разработке AR-устройства для американских солдат
В бизнесе технологию можно применять на конференциях: команды могут находиться на разных концах планеты, а их голограммы — совещаться в одной комнате.
Технология MR также будет полезна дизайнерам и архитекторам при проектировании, а еще строителям и людям на больших производствах. За счет визуализации всех процессов очки смешанной реальности позволяют быстрее и эффективнее пройти обучение сложным этапам сборки конструкций и деталей.
В 2018 году очки Microsoft даже использовали на презентации автомобиля Volkswagen Teramont. С помощью них производители показали несколько вариантов эксплуатации пространства внутри машины. Например, вместимость при перевозке строительных материалов и крупногабаритных объектов.
Почему MR-очки — это дорого
Написать софт и вложить хороший процессор внутрь очков несложно. Высокая стоимость очков упирается в линзы: чтобы увеличить угол обзора хотя бы на 30% при разработке HoloLens 2, Microsoft Research потребовалось четыре года.
Тем не менее, заменить линзы на что-то более дешевое пока не получится. Еще нет оптических технологий, которые могли бы выводить сложную проекцию на глаза и делать угол обзора безрамочным.
Рынок MR-очков
Сейчас рынок очков смешанной реальности не такой большой. Наряду с HoloLens существуют также Magic Leap с меньшим углом обзора. Возможно, скоро MR-очков станет больше. Недавно компания Lynx выпустила демо-ролик подобного гаджета, но разработчики ничего не рассказали про даты выхода очков:
Такая же ситуация и у компании Apple. Скорее всего, разработчики «яблочных гаджетов» сделают что-то вроде солнечных очков, которые, как и Apple Watch, будут выносить дополнительную информацию на экран перед глазами, но не смогут отслеживать движения рук и открывать ресурсозатратные приложения.
где мы сейчас? / Хабр
[Источник]
Все мы в той или иной степени знакомы c AR технологиями. Новостные ленты пестрят рассказами о компаниях, выпустивших новенькие очки дополненной реальности. Футурологи предвещают колоссальные перемены в привычном для нас мире. Настолько часто вокруг появляются игры, приложения и прочие крутые штуки, связанные с AR, что невольно создается ощущение, будто вот-вот и совсем скоро можно будет купить новенькие очки и погрузится в мир AR.
Но где же очки с дополненной реальностью, которые мы все так ждем?
Какие, вообще, технологии AR сейчас используются?
Очки, которые по качеству изображения не будут уступать экранам современных смартфонов, а по размеру будут сравнимы с обычными очками для коррекции зрения. Ну и конечно, чтобы они были доступны.
Появление таких очков AR включает огромное количество факторов начиная от дизайна, проходя через маркетинг и заканчивая программной оболочкой (непонятная формулировка). В данной статье мы затронем только технологии отображения, наложения изображения на образ окружающего мира в очках AR. При этом технологии будут рассмотрены с точки зрения принципов работы, физических процессов и технических параметров, а также перспектив использования. Будут рассмотрены положительные и отрицательные черты отдельных реализаций, которые уже вышли на рынок.
P.S. В посте специально не будет делаться акцент на точных технических параметрах той или иной используемой системы, так во многих случаях эти показатели могут быстро устаревать. Автор не претендует на полноту изложения, но дает обзор современных технологий AR. Материал дополнен множеством ссылок, что при желании позволит подробнее разобраться в деталях.
Читатели, которые помнят со школы физиологию глаза, могут пропустить часть текста и сразу перейти к пункту “Технологии AR”.
1. Немного о принципе работы глаза
Глаз — это один из самых важных органов чувств человека. Порядка 80% информации об окружающем мире поступает к нам через зрение.
Наш глаз работает аналогично камере. Когда мы смотрим на объект, отраженный, рассеянный или излученный им свет попадает в глаз через зрачок и фокусируется через оптическую систему внутрь глаза. Передняя часть оптической системы состоит из роговицы, радужки, зрачка и хрусталика и предназначена для фокусировки изображения на сетчатку. Сетчатка является светочувствительным слоем, который покрывает заднюю поверхность глаза. Этот слой состоит из миллионов нервных клеток (палочек, колбочек), которые собираются вместе за глазом, образуя большой нерв, называемый зрительным нервом. Зрительные нервы обоих глаз соединяются внутри мозга. Мозг использует информацию от каждого зрительного нерва, чтобы объединить сигналы с обоих глаз и в результате получить одно изображение.[1]
Рис. 1: Схема строения глаза с соответствующими названиями каждого элемента.
Об особенностях и строении глаза можно говорить много, но выделим несколько наиболее важных факторов необходимых для лучшего понимания принципов работы систем дополненной реальности.
Аккомодация глаза
Аккомодация глаза – это физиологическая настройка элементов хрусталика для изменения силы преломления и фокусировки на близких и дальних объектах. Глаз приспосабливается, изменяя кривизну хрусталика за счет работы цилиарных мышц. Расслабление цилиарных волокон позволяет расслабить хрусталик, образуя более выпуклую форму. Чем больше выпуклость хрусталика, тем меньше фокусное расстояние оптической системы глаза и тем четче видны объекты, расположенные вблизи. По мере увеличения напряжения цилиарных волокон кривизна хрусталика уменьшается и человек может наблюдать удаленные объекты [2]. Более подробное описание можно найти по ссылкам: [3] и [4].
Рис. 2: слева – изменение кривизны хрусталика глаза за счет работы цилиарных мышечных волокон, справа – близкий объект находится в фокусе, удаленный (фон) – не в фокусе. [5]
Поле зрения (FOV)
Поле зрения определяется, как общий угловой размер изображения, видимого для обоих глаз. В среднем горизонтальное бинокулярное поле зрения составляет 200°, из которых 120° представляет собой бинокулярное перекрытие. Бинокулярное перекрытие особенно важно для стереоскопического эффекта зрения и других эффектов, связанных с восприятием глубины и объемности видения. Вертикальное поле зрения для обоих глаз составляет около 130°.
Рис. 3: слева – горизонтальное поле зрения, справа – вертикальное поле зрения. [6]
Периферическое зрение
Периферическое зрение – это способность видеть вещи, на которые мы не смотрим прямо – “краем глаза”. Даже при нормальном зрении периферическое зрение отличается низкой остротой. Такой эффект связан с неравномерным распределением плотности палочек и колбочек. Наибольшая плотность клеток и нервных волокон приходится на область под названием макула (“fovea”). Именно эта часть сетчатки обеспечивает центральное зрение, характеризующееся высокой остротой. Область четкого видения составляет около 1% от общего поля зрения, что соответствует углу не более 2° по горизонтали. Большая часть нашего поля зрения – остальные 99% — отличается низкой остротой. Периферическим зрением мы видим мир как бы через мутное стекло [7], [8].
Рис. 4: Распределение четкости видения изображения. [9]
Движение глаз
Как мы уже выяснили, человеческий глаз обладает наибольшей четкостью в пределах всего лишь 2° от общей области зрения. Для четкого наблюдения всего окружающего мира, наш глаз имеет возможность двигаться. Движение позволяет нам направить наиболее чувствительную часть глаза в интересующее место обзора. Таким образом при чтении текста мы последовательно сканируем весь текст с экрана [10]
Рис. 5: Движение глаза под действием сокращающихся глазных мышц: слева – горизонтальное движение, справа — вертикальное движение.
2. Параметры технологий AR к которым все стремятся
Рассмотрим какими техническими параметрами должны обладать устройства AR, чтобы найти массовое применение, а может и заменить все существующие экраны в мире. Будем рассматривать все, что относится к очкам дополненной реальности. Линзы для глаз со встроенной технологией дополненной реальности рассматривать не будем, так как по технологическим причинам человечеству до них еще далеко. Системы наподобие WayRay (дополненная реальность на лобовом стекле авто), мы также не будем рассматривать, так как там другие технологические особенности и свои проблемы.
Идеальная технология очков дополненной реальности:
- Форм-фактор обычных очков (очки для коррекции зрения)
- Тонкие дужки очков, не мешающие периферическому зрению
- FOV на уровне человеческого глаза (200 град. по горизонтали, 130 град. по вертикали)
- Мультипросмотровость (изображение видно при любом положении глаза)
- Мультицветность (вся палитра RGB)
- Разрешение на уровне технологии Retina (наблюдатель не может различить отдельные пиксели)
- Отсутствие отслеживания глаз для переключения между различными видами (для разных направлений видения глаз). (Во многих технологиях отслеживание применяется как “костыль” для отображения разных изображений под разными углами. Не путать с отслеживанием положения глаз для управления и прочих функциональных задач)
- Отсутствие радужной окраски (появляется при использовании дифракционных и голографических оптических элементов)
Такой параметр как энергоэффективность не будем рассматривать, так как сама технология отображения дополненной реальности составляет часть от всего энергопотребления устройства. Рассматривать также не будем возможность отображения одного изображения с переменной глубиной, так как слишком мало технологий имеют подобную функцию.
Рис. 6: Один из возможных вариантов будущих очков AR. [11]
3. Основные технические концепции в очках AR
По способу отображения изображения
Можно выделить три основных способа отображения изображения в сторону глаза наблюдателя. В данном случае под способом подразумевается то, как сгенерированное изображение попадает в конечном счете на сетчатку глаза.
Также каждый из способов отображения можно разделить ещё по нескольким признакам:
- По положению источника изображения: источник совмещён с просмотровой областью, источник находится отдельно от просмотровой области
- По использованию оптических элементов в зоне просмотра: светоделительные пластины (beam splitter), голографические или дифракционные оптические элементы (HOE, DOE), микро-зеркала располагающиеся вне области фокусировки глаза
- По типу источника излучения подсветки (генератора изображения): когерентные точечные источники (лазеры), некогерентные протяженные источники (LED, IPS, AMOLED, …)
4. Технологии AR
Голография
Под голографией тут подразумевается именно истинная голография (не путать с голографическими оптическими элементами и псевдо-голографией). Подробнее про настоящую голографию можно почитать тут [12].
Как известно из курса школьной физики, свет обладает двумя основными характеристиками – интенсивностью и фазой. И эти два параметра и есть всё, что нужно свету для его полного детектирования нашими органами зрения. Обычные дисплеи отображают только амплитуду света. Но также существуют дисплеи с экстремальным разрешением, размер пикселей которых сравним с длиной волны. Такие дисплеи получили название пространственные модуляторы света (SLM) и используются в науке для создания цифровых голограмм. Размер пикселя такого модулятора настолько мал, что позволяет управлять фазой света. Различают SLM на пропускание, который может быть встроен прямо в оправу очков, и SLM на отражение, который, как правило, устанавливается в дужке очков. В качестве освещения используются лазерные (когерентные) источники для возможности создания интерференционной картины. В результате появляется изображение, которое под разными углами принимает разное значение. Стоит отметить, что такой способ несет всю информацию об изображении, т.е. позволяет полностью подменить реальное изображение [13].
Рис. 7: слева — система дополненной реальности на основе отражающего SLM (свет от точечного лазерного источника попадает на отражающую голограмму SLM-а и затем перенаправляется в глаз наблюдателя), справа – пример генерируемого изображения с различной глубиной фокусировки [14].
Технология отличается тем, что мы не пытаемся найти какой-то хитроумный способ отобразить изображение в глаз, а полностью подменяем его. При этом возможно создание изображения с произвольной глубиной фокусировки. Также возможно использование трехцветного освещения для создания мульти-цветного изображения.
Для лучшего понимания работы SLM в AR будет полезно прочитать: [Ссылка]
Но в настоящее время данная технология не получила широкого применения в качестве массовых портативных устройств. Существуют единичные экземпляры приборов, исследуемые в лабораториях, принцип работы которых описывается в статьях. Связано это со стоимостью SLM, которая может составлять до 2000$. Также к проблемам относится низкая скорость обновления картинки и необходимость проведения большого количества расчетов для создания цифровой голограммы (отличается от расчётов и обработки обычного изображения).
Основные представители: пока только в статьях ((( [15], [16], [17]
Перспективы: данная технология отличается полной подменой реального изображения. При данном развитии технологий SLM и необходимости проведения настолько большого количества вычислений, является сомнительным, что технология получит широкое распространение в ближайшее время. Данная технология является пока что недостижимым Граалем.
Дифракционный волновод (diffraction waveguides)
В настоящее время наиболее популярной технологией AR является технология на основе дифракционных волноводов. Всем известные Microsoft Hololens и Magic Leap работают именно по этому принципу. Он заключается в следующем: на оптической плоскопараллельной пластине — волноводе, находится пара дифракционных решёток. Через одну из решёток, расположенную вне области просмотра (обычно выше, над глазом), за счет дифракции света на решётке вводится изображение. В данном методе высокой когерентности не требуется, поэтому изображение может быть сгенерировано как OLED матрицей, так и IPS и прочими методами. Изображение, заведенное через дифракционную решётку, распространяется по волноводу в следствии эффекта полного внутреннего отражения. Дойдя до второй решётки, которая расположена в просмотровой зоне (на месте очковой линзы), свет дифрагирует на ней, в следствие чего изображение проецируется в сторону глаза. Так как дифракционная решётка рассчитана на работу при определенном угле освещения, то наблюдатель может видеть через неё окружающий мир без помех. Возможно использование дополнительных решёток для изменения направления распространения изображения или для расширения изображения от источника. Данная технология относится к способу с искусственным добавлением оптического пути (то есть перенос изображения с расстояния вблизи глаза на комфортное расстояние наблюдения).
Рис. 8: слева — схема работы системы дополненной реальности на основе дифракционного волновода [18] , справа – типичная проблема дифракционных решеток: радужная окраска [19].
Можно отметить, что технология на основе дифракционных волноводов получила наибольшее признание, так как имеет большую экспериментальную базу [20], [21], [22] и лишена многих фундаментальных недостатков, однако все же имеет два основных. Во-первых, тот факт, что зоны заведения изображения от источника и зоны высвечивания в сторону глаза сильно разнесены, не позволяет добиться компактного форм-фактора, сравнимого с форм-фактором очков для коррекции зрения. Во-вторых, использование дифракционных элементов приводит к радужной окраске отображаемого изображения (рис. 8), как со стороны пользователя, так и со стороны внешнего наблюдателя.
Основные представители: Microsoft Hololens, Magic Leap, Sony AR glasses, …
Перспективы: дальнейшая отработка технологии (использование объемных дифракционных решёток или решёток с подавлением других порядков дифракции), а также различного рода компенсации радужной окраски для пользователя могут немного продвинуть технологию. Однако проблема с размером устройства пока остается потенциально не разрешимой. Скорее всего, данная технология продолжит свое лидерское движение в среде AR технологий ровно до того момента, пока не будет найдена альтернативная компактная замена.
Виртуальный ретинальный дисплей (virtual retinal display)
Эта технология относится к способу отображения прямо на сетчатку [23]. В качестве источника излучения, как правило, используется лазерный источник, установленный в оправу очков. Его мощность специально ограничивается так, чтобы не повредить сетчатку. Узкий параллельный лазерный пучок светит на зеркальный сканирующий элемент (MEMS), также установленный в оправе очков. Отразившись от микро-зеркала MEMS, параллельный пучок перенаправляется на голографический оптический элемент (HOE или DOE), который, в свою очередь, перенаправляет лазерный пучок в сторону глаза. При этом HOE подбирают таким образом, чтобы при сканировании MEMS-ом пучок проходил через центр зрачка наблюдателя. В результате создается эффект сканирования лазерного луча по сетчатке глаза, который можно сравнить с рисованием электронным лучом на экране кинескопа.
Рис. 9: слева – схема работы виртуального ретинального дисплея с DOE [24], справа – типовой зеркальный сканер MEMS [25].
Данная технология отличается возможностью создания большого FOV, который может достигать 120 град, что сравнимо с максимально доступным для глаз наблюдателя. Также выделяется очень высокая компактность системы, которая может сравниться с обычными очками. Другие технологии не могут похвастаться такой компактностью. Поскольку изображение проецируется прямо на сетчатку, то изображаемый объект пользователю кажется удаленным на бесконечность, что позволяет четко наблюдать сгенерированное изображение при фокусировке глаза на окружающих предметах, удаленных на любое расстояние. Но у данной технологии также существуют две фундаментальные проблемы. Во-первых, разрешение устройства определяется скоростью работы микро-зеркала MEMS структуры. В настоящее время разрешения не превышает порядка 100×100 пикселей, что явно маловато для полноценной системы дополненной реальности [26]. Во-вторых, сама технология подразумевает прохождение лазерных пучков точно через центр зрачка. При фиксированном положении глаза (наблюдатель смотрит только вперед) изображение видно полностью и четко, но при смещении взгляда (право, лево), радужная оболочка перекрывает пучок и изображение исчезает или отображается неправильно. Существуют различные схемы проецирования для разных положений глаза [27], но они больше похожи на “костыли”, которые создают дискретность при перемещении взгляда, чем на изящные технические решения.
Основные представители: IntelVaunt, North Focals.
Перспективы: Для увеличения скорости могут использоваться различные методы перекрытия при сканировании или же улучшена технология производства микро-сканирующих MEMS. Что касается корректного отображения только при фиксированном положении глаза, то возможно использование нескольких лазерных источников, создающих матрицу, но в таком случае это приведет к увеличению всей конструкции. Автор сего поста считает, что данная проблема с современным подходом не может быть качественно решена. В итоге, данная технология подойдет только для отображения простых уведомлений и только в центре дисплея (исходя из принципа работы периферического зрения).
Изогнутые зеркала / светоделитель / оптический головной дисплей (Curved Mirror / beam splitter / OHMD) – как только не называют эту технологию
Самая старая из известных технологий AR. Берет свое начало с технологии проекционного дисплея (HUD) [28], которая в настоящее время получили широкое распространения в автомобильной промышленности. Работа устройств основывается на принципе частичного переотражения изображения от источника в сторону глаза. В качестве источника может использоваться любой из видов дисплеев (IPS, OLED, DLP, …). Сгенерированное дисплеем в близи глаза изображение не может быть сразу перенаправлено в глаз, так как дисплей удален на очень малое расстояние от глаза. На расстояние порядка 5 см, а на такое расстояние глаз не способен сфокусироваться. Поэтому необходимо искусственное добавление оптического пути, за счет системы линз. Изображение удаляется на комфортное расстояние, порядка 1-2 метров. Далее удаленное изображение попадает на светоделительную пластину (beam splitter) и проецируется в сторону глаза. Для уменьшения габаритов части, ответственной за увеличение удаленности изображения, могут быть использованы светоделители изогнутой формы.
Рис. 10: слева – схема работы Google Glass, справа – внешний вид Google Glass [29], [30]
К этому же классу технологий можно отнести использование голографических оптических элементов (HOE) установленные на место очковой линзы. HOE представляет собой записанный голографический образ системы линз и светоделителя, обеспечивающих создание “оптического пути” и перенаправление изображения в сторону глаза. Использование HOE позволяет уменьшить размер оптического элемента, располагающегося перед глазом наблюдателя. В качестве источника излучения используется лазерный диод.
Рис. 11: слева – схема работы системы AR на основе HOE, справа – реализация системы AR на основе HOE [31].
Основные представители: Google Glass, Lumus, Mira Prism, …
Перспективы: технология является наиболее простой и имеет большой задел. Основной недостаток технологии – громоздкость устройства – может решаться за счет использования разделённого светоделителя [32] и голографических оптических элементов. Но уменьшение устройства до форм-фактора очков для коррекции зрения не представляется возможным, так как в системе просмотровая область и область генерирующая изображение расположены раздельно. Данная технология может получить широкое распространение в среде DIY и устройств низкой стоимости.
LetinAR
Данная технология основана на неспособности человеческого глаза сфокусироваться на близких предметах, расположенных на поверхности очковой линзы. Изображение генерируется отдельно от просмотровой области, как правило над линзой, далее фокусируется на микро-зеркале, которое внедрено в очковую линзу. Для увеличения просмотровой области используется массив упорядоченных микро-зеркал. Переотражаясь, изображение попадает в глаз наблюдателя. Размер микро-зеркал меньше диаметра зрачка человеческого глаза и располагается на расстоянии нескольких сантиметров, что позволяет наблюдать образ окружающей среды без помех с возможностью наложения дополненной реальности.
Рис. 12: слева – схема работы LetinAR, справа – вид для наблюдателя при близком расположении дисплея к глазу (сверху) и вид при удалении на 15 см (снизу) [33], [34].
Основные представители: LetinAR.
Перспективы: разделение области генерации изображения и просмотровой области не позволяет создать компактное устройство. Также проецирование и фокусирование изображения через торец устройства очковой линзы приводит к необходимости увеличения толщины стекла с включенными микро-зеркалами. Данная технология отличается оригинальностью подхода и может послужить началом новых технологий.
Другие технологии:
Хотя выше приведены наиболее распостраненные технологии, однако есть еще много потенциально интересных реализаций, которые, возможно, станут популярны в будущем. Здесь приведен список других технологий дополненной реальности, которые пока остаются только в лабораториях и статьях исследователей. Возможно, скоро мы узнаем об этих технологиях больше.
- Массив голографических линз [35]
- Микро – источники [36], [37]
- Двумерная сеть оптических волноводов + HOE [38]
- Голографический оптический волновод (Является разработкой автора данного поста. Раскрытие технологии ожидается в следующем посте.)
Заключительная часть
Более 10 лет прошло с момента внедрения мобильных устройств в нашу жизнь. Сейчас мы уже воспринимаем смартфоны как нечто обыденное и то, без чего наша жизнь была бы скучнее. Возможно, дополненная реальность через несколько лет станет для нас обыденной вещью и позволит избавиться от необходимости каждый раз доставать из кармана электронное устройство с интернетом.
Мы уже видим, как AR проникает в нашу жизнь (WayRay, PokemonGo, HoloLens, …). Но даже при нынешнем развитии технологий на рынке пока не существует системы, которая позволила бы собрать очки дополненной реальности, которые бы устроили большую часть потребителей. Конечно, производители взяли курс на оптимизацию технологии, поиск баланса между FOV, просмотровыми областями, компактностью и разрешением. Но фундаментально на нынешнем уровне ни одна из перечисленных выше технологий не позволяет создать компактное носимое устройство дополненной реальности, которое способно целиком и полностью погрузить человека в мир AR.
Нам нужны новые технологии и новые подходы.
Один из лучших блогов по технологиям дополненной реальности: https://www.kguttag.com/
Google снова будет тестировать очки дополненной реальности в общественных местах
- Google будет тестировать прототипы очков дополненной реальности в общественных местах, говорится в сообщении компании в блоге во вторник.
- Очки будут оснащены микрофонами и камерами, а также прозрачными дисплеями, сообщает Google.
- Объявление показывает, что компания пытается опередить проблемы с конфиденциальностью, которые помогли потопить Google Glass почти десять лет назад.
Прототип очков дополненной реальности Google
Google будет тестировать прототипы дополненной реальности в общественных местах, говорится в сообщении компании во вторник.
Некоторые прототипы будут выглядеть как обычные очки и будут оснащены микрофонами и камерами, а также прозрачными дисплеями.
Новые очки еще не являются продуктом и недоступны для широкой публики, но Google хочет протестировать такие приложения, как перевод в реальном времени или показ направления пользователя внутри линз очков, особенно в таких условиях, как оживленные перекрестки.
Тесты представляют собой значительный шаг вперед в развитии Google дополненной реальности, технологии, которая, по мнению многих в Силиконовой долине, может стать серьезным сдвигом в вычислительной технике, как смартфон и ПК до нее. Дополненная реальность накладывает сгенерированные компьютером изображения на реальный мир, в отличие от виртуальной реальности, которая полностью погружает зрителя в искусственный мир или «метавселенную».
Публично объявляя о планах тестирования, Google также пытается опередить те проблемы конфиденциальности, которые помогли потопить Google Glass, одно из первых устройств дополненной реальности, почти десять лет назад.
Google Glass были оснащены фронтальной камерой, и критики беспокоились о том, что пользователи снимают людей без их разрешения. Те, кто носит очки, получили уничижительное прозвище, а в 2014 году женщина в очках заявила, что на нее напали в баре Сан-Франциско. В конце концов, Google перепрофилировала очки, чтобы сосредоточиться на бизнес-клиентах, а не на потребителях.
«Сейчас рано, и мы хотим сделать это правильно, поэтому мы делаем это медленно, уделяя особое внимание обеспечению конфиденциальности тестировщиков и окружающих», — написал менеджер по продуктам Google Джастон Пейн в своем блоге о новый продукт.
«Эти исследовательские прототипы выглядят как обычные очки, оснащены дисплеем в объективе и имеют аудио- и визуальные датчики, такие как микрофон и камера», — говорится в сообщении Google на странице поддержки о тестировании.
Устройство оснащено светодиодной подсветкой, которая загорается, когда очки записывают данные изображения. Google заявляет, что очки не будут записывать видео или делать фотографии для хранения и последующего просмотра пользователями, но они могут захватывать и использовать данные изображения для выполнения таких функций, как идентификация объектов или указание направлений. По словам Google, тестировщики не будут носить очки в школах, правительственных зданиях, медицинских учреждениях, церквях, на протестах или в других чувствительных местах. Тестирование будет проводиться «несколькими десятками сотрудников Google и избранными доверенными тестировщиками» где-то в США
Компания Google представила свои очки дополненной реальности на конференции разработчиков в мае с акцентом на перевод речи в режиме реального времени, чтобы человек мог видеть перевод иностранного языка перед своими глазами. Один из сотрудников Google во время презентации назвал очки «субтитрами для мира».
Google жестко конкурирует с другими технологическими гигантами, включая Apple, Meta и Microsoft, за создание первых очков дополненной реальности нового поколения. Все четыре компании вложили миллиарды в программное и аппаратное обеспечение дополненной реальности, надеясь на прорыв, который позволит создать новую вычислительную платформу, но текущие продукты еще не прижились.
«Волшебство действительно оживет, когда вы сможете использовать его в реальном мире, не мешая технологиям», — заявил генеральный директор Google Сундар Пичаи.
Apple готовится анонсировать гарнитуру смешанной реальности уже в следующем году. Meta анонсировала усовершенствованную гарнитуру смешанной реальности, которая поддерживает функции дополненной реальности, которая будет выпущена в конце этого года. Hololens от Microsoft — это самое передовое оборудование дополненной реальности на рынке от крупной технологической компании на данный момент.
СМОТРЕТЬ ПРЯМУЮ ТРАНСЛЯЦИЮ В ПРИЛОЖЕНИИ
СМОТРЕТЬ ПРЯМУЮ ТРАНСЛЯЦИЮ В ПРИЛОЖЕНИИ
Очки Apple: все, что мы слышали до сих пор
(Изображение предоставлено idropnews/Мартин Хайек)
Прошло много времени с тех пор, как мы слышали какие-то убедительные слухи об Apple Glasses, а до запуска смарт-очков дополненной реальности из Купертино, о которых давно ходят слухи, по-видимому, еще далеко.
Таким образом, вполне вероятно, что нам придется подождать пару лет, прежде чем они будут представлены, и гарнитура Apple AR / VR, вероятно, будет выпущена первой.
Apple Glasses могут работать на проприетарной операционной системе, впервые обнаруженной в финальной версии iOS 13; нам нравится наклонное название GlassOS. Фреймворк дополненной реальности несколько раз появляется в коде и текстовых документах, а это означает, что Apple, вероятно, в какой-то мере тестирует активацию и приложение. В любом случае, это то, что нам нужно, чтобы носить очки Apple
Итак, вот все, что нам известно об очках Apple Glass, включая возможную дату выпуска, цену, дизайн и характеристики.
Последние новости Apple Glasses (обновлено 11 ноября)
- Еще одна задержка? В электронном письме в MarketWatch Джефф Пу из Haitong International Tech Research написал, что выпуск Apple Glasses может быть отложен до 2026 года.
- Товарные знаки были обнаружены для Reality One и Reality Pro tab) брендинг, связанный с Apple. И может быть процессор реальности.
- Гонка очков дополненной реальности может накаляться: Facebook и Amazon, по слухам, работают над созданием чего-то, что могло бы составить конкуренцию очкам Apple.
- Apple может работать над «realityOS» — пользовательской операционной системой для своих будущих гаджетов AR и VR.
Слухи о дате выхода Apple Glasses
(Изображение предоставлено Martin Hajek/iDropnews)
Мы не ожидаем, что дата выпуска Apple Glass будет в ближайшее время. Это связано с тем, что в первую очередь ожидается выпуск гарнитуры Apple AR/VR, которая должна появиться в конце 2022 или начале 2023 года.
После этого последуют Apple Glass. В первоначальных отчетах Bloomberg и The Information (открывается в новой вкладке) говорилось, что устройство может появиться в 2023 году, но сами отчеты датируются 2019 годом.. И многое может измениться за пару лет.
Тем временем аналитик Джефф Пу первоначально заявлял, что очки Apple Glasses могут появиться в конце 2024 года вместе с версией гарнитуры Apple VR/AR второго поколения; однако с тех пор аналитик перенес свою оценку даты выпуска на 2026 год.
Apple VR и гарнитура смешанной реальности против Apple Glasses также находится в разработке и может быть менее сложным и ближе к запуску.
Сообщается, что гарнитура Apple VR и смешанной реальности оснащена экранами со сверхвысоким разрешением и кинематографической акустической системой, которая, по словам людей, видевших прототипы, должна обеспечить реалистичные визуальные впечатления.
Эти источники также сообщили, что гарнитура выглядит как более тонкая, обтянутая тканью Oculus Quest, но дизайн еще не окончательный, поскольку компания продолжает испытания, чтобы определить идеальную посадку для большинства форм головы.
О цене ничего не сказано, но мы не ожидаем, что она будет дешевой. Квест начинается с 39 долларов.9, в то время как HTC Vive стоит 799 долларов, а Microsoft HoloLens 2 — колоссальные 3500 долларов. В отчетах утверждается, что гарнитура Apple может стоить от 1000 до 3000 долларов на момент запуска.
Как и его конкуренты, гарнитура Apple VR и смешанной реальности, как сообщается, получит собственный App Store, где пользователи могут получить доступ к играм, потоковому видео и коммуникационному программному обеспечению. Голосовому помощнику Siri будет поручено управлять гарнитурой, хотя, как сообщается, также тестируются физический пульт дистанционного управления и элементы управления отслеживанием тела.
Что касается потенциальной даты выпуска, гарнитура VR должна дебютировать в следующем году и быть выпущена в середине 2022 года.
Кое-что также может дебютировать на Apple Event 8 марта, если верить тизеру от Грега Джосвиака из Apple. Но неясно, являются ли это Apple Glasses, VR/AR-гарнитура, о которой давно ходят слухи, или что-то еще.
Не знаете, в чем на самом деле разница между смешанной реальностью, дополненной реальностью и виртуальной реальностью? У нас есть объяснитель, который точно расскажет вам, что такое смешанная реальность и что для нее запланировали Microsoft, Meta и Apple.
Цена на очки Apple
По словам Проссера, очки Apple в настоящее время стоят 499 долларов плюс плата за рецепт. Это может показаться низким, особенно по сравнению с конкурирующими гарнитурами дополненной реальности, такими как Microsoft Hololens 2.
Hololens 2 стоит 3500 долларов, но большая часть его стоимости связана с наличием всей электроники, необходимой для работы с дополненной реальностью. в гарнитуру.
Apple Glass, скорее, будет полагаться на сопутствующий iPhone для обработки, поэтому в нем будет значительно меньше деталей и сложности, чем в Hololens. Он будет работать как умные очки Vuzix Blade со встроенной камерой и интеграцией с Alexa.
Тем не менее, Vuzix Blade стоит от 799 долларов (открывается в новой вкладке). Точка входа Apple значительно более доступна и стоит столько же, сколько и некоторые из ее умных часов с лучшими характеристиками.
Особенности очков Apple: что они на самом деле делают
(Изображение предоставлено Techweartrend)
Согласно отчету Bloomberg , очки Apple AR будут передавать информацию с вашего телефона на ваше лицо. В частности, очки «должны синхронизироваться с iPhone владельца для отображения таких вещей, как тексты, электронные письма, карты и игры в поле зрения пользователя».
У Apple также есть планы на сторонние приложения, и она рассматривает возможность создания специального магазина приложений, аналогичного тому, как вы получаете приложения для Apple TV и Apple Watch.
Кроме того, патент, выданный Apple, еще больше подогрел слухи о том, что Apple Glass не потребуются линзы, отпускаемые по рецепту (откроется в новой вкладке), поскольку умные очки будут автоматически подстраиваться под людей с плохим зрением с помощью «оптического узла». Однако этот патент может относиться к автономной виртуальной гарнитуре на базе смартфона или к паре смарт-очков Apple второго поколения.
(Изображение предоставлено Apple/USPTO)
В более позднем патенте также предполагается, что Apple может использовать проекционную систему, которая передает изображения прямо в глаза пользователю. Таким образом, Apple избавится от необходимости в каком-либо прозрачном дисплее.
Луч, скорее всего, сможет гарантировать, что изображение всегда останется в фокусе, избегая проблем с дисплеями, которые также используются в качестве линз для коррекции зрения. Предположительно, однако, оправы по-прежнему можно будет использовать в качестве обычных очков для тех, кто в них нуждается.
В патенте также утверждается, что это позволяет избежать многих ловушек, с которыми люди могут столкнуться в VR и AR. Apple объясняет, что некоторые проблемы, в том числе головные боли, тошнота и напряжение глаз, возникают из-за того, что мозг пытается сфокусироваться на объектах на расстоянии, когда в действительности они находятся на дисплее менее чем в дюйме перед глазами. Поскольку ретинальная проекция в любом случае лучше имитирует восприятие света глазами, этих проблем можно избежать.
(Изображение предоставлено патентом Apple)
Еще один патент Apple на стекло описывает, как можно менять фон на лету, подобно масштабированию. Патент описывает, как гарнитура может выполнять хроматическую рир-проекцию, то есть заменять однотонный фон чем-то другим.
Гарнитура будет «форматировать изображения с камеры, определять выбранный цветовой диапазон и создавать композицию с виртуальным контентом. “
(Изображение предоставлено патентом Apple)
Один патент Apple Glass указывает на то, как оно может позволить вам просматривать части мира, которые вы хотите увидеть, подобно Google Street View. Разница в том, что этот вид будет проецироваться прямо на линзы Apple Glass. И вы можете в цифровом виде телепортироваться в разные места.
У Apple есть аналогичная функция в приложении Apple Maps, которая теперь называется Look Around, но на Apple Glass она обеспечивает гораздо большее погружение.
Новый патент Apple показывает, что Apple Glass может позволить вам менять фон на лету, как и Zoom.
Один из самых известных патентов Apple предполагает, что Apple Glass могут помочь вам лучше видеть в темноте с помощью датчиков глубины, которые позволяют лучше видеть окружающий мир.
(Изображение предоставлено Apple/USPTO)
Очки Apple также могут более точно отслеживать движения ваших пальцев и рук благодаря некоторым запатентованным Apple умным кольцам. Это не только сведет на нет необходимость во многих (если вообще есть) внешних датчиках, но и сделает систему более точной. Дальнейшие патентные победы Apple подтвердили эту теорию о том, что они будут использовать носимые устройства для ряда функций, включая поддержку жестов пальцами.
Кроме того, кольца могут определять, что пользователь держит в руках, поэтому очки Apple Glasses могут действовать соответствующим образом. Поэтому, если вы держите Apple Pencil, очки будут отслеживать ваши движения и переводить их в рукописный текст.
(Изображение предоставлено USPTO)
В другом недавнем патенте Apple упоминаются «очки для конфиденциальности», что намекает на форму умных очков, возможно, Apple Glasses, и на то, как их можно использовать для хранения того, что находится на дисплее iPhone. частный.
Идея здесь в том, что дисплей iPhone будет размытым и будет четко виден только через пару смарт-очков Apple; см. изображение патента выше.
(Изображение предоставлено idropnews/Martin Hajek)
Самый последний прототип Apple Glass, как сообщается, выглядит как «неустрашающая» пара пластиковых очков, в то время как маркетинговые материалы предполагают дизайн в стиле Кларка Кента.
У него есть сканер LiDAR на правом виске, но нет других камер из соображений конфиденциальности (хотя это может измениться). Очки также поставляются с пластиковой подставкой с беспроводными зарядными устройствами.
Быть аксессуаром для iPhone определенно повлияет на дизайн Apple Glass. Хотя очки не будут такими легкими, как ваши авиаторы Ray-Ban, они могут быть достаточно легкими и достаточно удобными, чтобы работать в качестве повседневных очков.
Планируется, что первое поколение Apple Glass будет иметь тонировку. В ближайшем будущем вы застряли, используя свои обычные солнцезащитные средства. Но если Apple Glass наберет популярность, возможно, компания рассмотрит возможность расширения своих предложений.
У Apple Glass также может быть модульная хитрость. По слухам, пара очков смешанной реальности может иметь сменные дужки, каждая из которых служит определенной цели или выполняет другую функцию.
Что касается дисплеев Apple Glass, гарнитура может использовать OLED-дисплеи Sony для AR, по словам аналитика дисплеев Росса Янга.
Характеристики Apple Glasses
Пока неизвестны технические характеристики Apple Glass, но мы можем строить предположения, основываясь на том, что нам известно о текущей технологии. Например, у него будет как минимум такое же поле зрения (52 градуса) и разрешение (47 пикселей на дюйм), что и у Hololens 2.
Если Apple стремится создать настоящее решение с дополненной реальностью — в отличие от проекционного дисплея, который показывает плавающие 2D-уведомления или карты, такие как Google Glass — разумно ожидать, что Apple Glasses будут подключаться напрямую к iPhone через выделенный Wi-Fi. -Fi связь.
Если iPhone должен обрабатывать все видео, снятое камерами очков, и отправлять обратно 3D-изображение в очки с очень высокой частотой кадров в секунду (минимум 60 Гц, при оптимальной частоте обновления 120 Гц), он потребуется гораздо более высокая пропускная способность, чем может обеспечить Bluetooth.
Что касается времени автономной работы, мы также можем ожидать как минимум три часа, если Apple хочет быть конкурентоспособной, хотя мы можем предположить, что люди будут более снисходительны к этому — особенно если Apple предоставит какой-то чехол для очков с беспроводной зарядкой, который может продлить время работы в течение дня, как у Apple AirPods.
Конфиденциальность и патенты Apple Glasses
(Изображение предоставлено: Martin Hajek/iDropNews)
Патент, обнаруженный Patently Apple, исследует ряд способов, с помощью которых запись Apple Glass может быть сделана очевидной для посторонних (откроется в новой вкладке), которые могли бы предпочитаю не попадаться на камеру.
Один из вариантов, который изучает Apple, — сделать модуль камеры съемным. «Модульный аксессуар также позволит запретить использование модульного аксессуара в таких местах, как бары и театры, при этом позволяя использовать раму HMD (без аксессуара)», — говорится в патенте.
Apple также предполагает использовать свет, чтобы показать, когда устройство записывает, но в отличие от оригинальных умных очков, попытка обойти это может привести к тому, что камера просто не будет работать.
В патенте описывается, как свет на камере может пульсировать по зашифрованному шаблону, а объектив улавливает отражения в записываемом окружении. Если камера не может определить шаблон, запись может быть отключена в соответствии с патентом.
В качестве третьего варианта Apple предлагает альтернативу, в которой камера всегда встроена, но отключена, если к рамам не прикреплен модульный ключ.
Последние патенты Apple указывают на то, что гарнитура Apple VR/AR может использовать перчатки или Apple Watch для распознавания жестов пальцев, и что эти функции могут появиться в Apple Glasses.
Очки Apple RealityOS
Совершенно новый форм-фактор устройства требует доработанной операционной системы, и похоже, что Apple предоставит именно ее, судя по журналам загрузки «realityOS» в App Store от зорких разработчиков.
Информации об этом потенциальном программном обеспечении не так много, но для Apple было бы разумно разработать собственную ОС для своих гаджетов виртуальной и дополненной реальности. Рискнем предположить, что такая операционная система будет иметь больше общего с iOS, чем с macOS.
Список желаний Apple Glasses: Что мы хотим
(Изображение предоставлено Martin Hajek/iDropnews)
Очки, которые выглядят как очки: страница. Я уверен, что Apple хочет того же. Никому не нужны очки дополненной реальности, которые выглядят как гиковская одежда.
Дополненная реальность в полном 3D: Некоторым нужен только проекционный дисплей, но истинная мощь дополненной реальности заключается в полной интеграции с 3D. Чтобы Apple Glasses были успешными, вы должны иметь возможность запускать любое приложение iOS AR, которое в настоящее время работает на iPhone, через носимое устройство.
Не менее 8 часов автономной работы: Если предположить, что вы не используете 3D-приложения AR постоянно и периодически просматриваете уведомления и 2D-приложения между ними, Apple сможет найти способ продлить срок службы Apple Glasses. через средний рабочий день, хотя это может не произойти в первом поколении.
Вот все, что мне понадобится, чтобы носить очки Apple.
Мы будем обновлять эту страницу по мере появления новых слухов и утечек об Apple Glass. Не забудьте добавить в закладки и вернуться.
Получите мгновенный доступ к последним новостям, самым горячим обзорам, выгодным предложениям и полезным советам.
Свяжитесь со мной, чтобы сообщить новости и предложения от других брендов FutureПолучайте электронные письма от нас от имени наших надежных партнеров или спонсоров
Кейт Козуч — редактор Tom’s Guide, посвященный умным часам, телевизорам и всему, что связано с умным домом.