Содержание
Как работают первые в мире «умные» контактные линзы Mojo Vision
«Тестовый стенд» для погружения в дополненную реальность с помощью линзы Mojo Vision
(Фото: Adam Savage’s Tested)
Калифорнийская компания Mojo Vision успешно провела первое испытание контактных линз с функцией дополненной реальности
Ваш браузер не поддерживает аудиоплеер.
Этот материал ребята из команды Трендов обсудили в выпуске подкаста «Летучка». Послушать можно на любой удобной платформе: в плеере выше, в Apple Podcasts, CastBox, «Яндекс.Музыке», Google Podcasts и везде, где есть подкасты.
Что такое «умные» линзы
Генеральный директор компании Mojo Vision Дрю Перкинс стал первым, кто испробовал инновационную разработку на себе и поделился опытом в своем блоге. «Всего несколько месяцев назад мы сообщали, что Mojo Vision работает над умными контактными линзами, способными проецировать изображения.
Мы стремились уместить дисплей с самой высокой плотностью пикселей в мире на поверхности площадью не более 0,5 мм²», — сообщил Перкинс.
Устройство линзы Mojo
(Фото: Mojo Vision)
В дополнение к дисплею в линзу встроены гироскоп, акселерометр, а также магнитометр, которые обеспечивают неподвижность изображений в дополненной реальности, несмотря на микродвижения глаз. В то же время эта особенность человеческого зрения помогает обеспечить незаметный для других доступ к информации и взаимодействие с пользовательским интерфейсом. В миниатюрной конструкции нашлось место и для аккумулятора, который поддерживают работу устройства в течение дня и заряжается без проводов.
Эволюция прототипов Mojo Lens
(Фото: Adam Savage’s Tested)
Как это работает
Компания Mojo Vision была основана в 2015 году с целью создать «умную» контактную линзу.
За это время стартап собрал восемь раундов инвестиций на сумму $204 млн, а инженеры компании решили массу проблем, связанных с производством устройства, которого раньше в принципе не существовало. Им пришлось изобретать многие необходимые компоненты и системы с нуля.
- Дисплей MicroLED с разрешением 14 000 пикселей на квадратный дюйм. При площади менее 0,5 мм² и шаге пикселя в 0,0018 мм — это самый маленький и плотный дисплей для вывода динамического контента в мире.
- Микросхему, которая включает в себя радиопередатчик, работающий на частоте 5 ГГц, и процессор ARM Core M0. Они передают и обрабатывают информацию с датчиков и транслируют AR-контент на LED-дисплей.
- Запатентованную систему питания, которая включает в себя микробатареи медицинского назначения и чип управления.
- Управление с помощью понятного интерфейса, основанного на отслеживании взгляда, который позволяет пользователю получать доступ к необходимой информации и выбирать элементы без управления руками.
Пример использования линзы Mojo Lens с выведением информации с навигатора
(Фото: Mojo Vision)
Все вместе это работает так: контактная линза по беспроводному протоколу соединяется с внешним блоком, который можно носить, как ожерелье — в нем и происходят все «тяжелые» вычисления. Bluetooth-соединение было бы слишком медленным для этих целей, поэтому используется радиоканал 5 ГГц и передатчик собственной разработки. На основе данных со встроенных датчиков на картинку из реального мира могут накладываться изображения дополненной реальности: указатели навигации, данные о собеседниках, подсказки для выступления на сцене и т. д.
В дальнейшем разработчикам предстоит дополнить линзу фотосенсором (по сути камерой) для более тесного и корректного взаимодействия AR с реальным миром. В планах Mojo Vision доработать ПО и создавать объемную картинку на основе изображений с двух контактных линз.
Дрю Перкинс:
«После завершения доклинических испытаний и снижения потенциальных рисков безопасности, я надел Mojo и обнаружил, что могу легко ориентироваться в устройстве, просматривать изображения и использовать экранный телесуфлер. Я воочию увидел будущее незаметных вычислений».
Перспективы проекта
Mojo Lens еще предстоит пройти несколько клинических исследований для проверки их возможностей и сборе отзывов о программном обеспечении и приложениях. Компания надеется, что линза Mojo изменит жизнь не только обычных пользователей, но и людей с нарушениями зрения, улучшив их способность выполнять повседневные задачи.
org/Article»>
Прогнозируется, что в будущем линзы смогут замерять внутриглазное давление, диагностировать глаукому и даже сканировать сосудистую сеть сетчатки для распознавания ранних признаков повышения давления, инсульта или диабета. Пациентам с диабетом линзы помогут замерить уровень глюкозы в крови — техногиганты вроде Google и Microsoft работают над подобными технологиями годами. Известно, что некоторые учёные пытались создать варианты, меняющие цвет при изменении уровня глюкозы. Одним из главных ограничений является то, что они обычно могут определить единственный биомаркер, но в будущем, как ожидают эксперты, такие разработки смогут распознавать многочисленные химические элементы и соединения и использоваться в качестве «биомедицинских инструментов».
Более того, линзы как средство доставки лекарств могут оказаться более точным инструментом, чем, например, обычные глазные капли.Интеллектуальные контактные линзы: вы можете управлять дисплеем MicroLED одним движением глаз
Появляется ряд всплывающих маркеров направления в виде крошечных зеленых линий, пересекающих мое поле зрения.
Когда я поворачиваюсь, я вижу, где север. Это маркеры на компасе, проецируемые на маленький дисплей MicroLED, наклеенные на контактную линзу, которую я держу перед глазами на палочке. После многих лет примерки умных очков мое возвращение к взгляду на вещи через изогнутую линзу размером с мой ноготь казалось таким же диким, как и прежде. Однако я все еще не уверен, стоит ли носить его на глазах.
Объектив Mojo Lens, автономный объектив с дисплеем, который я ранее пробовал в более ранней итерации до пандемии на выставке CES 2020, вернулся в форме, которая, по словам компании, наконец-то готова для внутреннего тестирования.
Я протестировал последний прототип объектива Mojo Vision в офисном здании в центре Манхэттена несколько недель назад, когда компания готовилась к следующему этапу внутренней разработки. Хотя контактные линзы Mojo все еще не одобрены для повседневного использования, эти линзы являются еще одним шагом вперед и представляют собой завершенный технологический пакет компании для того, что будет включено в версию 1.
0.
Технология Mojo Vision в некотором смысле представляет собой дополненную реальность. Но не в том смысле, о котором вы могли подумать. Монохромный зеленый дисплей с жесткими линзами может отображать текст, основную графику и даже некоторые иллюстрации, но он больше похож на смарт-часы. Акселерометр, гироскоп и магнитометр объектива также дают ему то, что я не пробовал раньше: отслеживание взгляда.
Дисплей объектива — зеленая точка посередине. Вот и все. Кольцо аппаратного обеспечения по краям — это отслеживание движения и другие компоненты чипа.
Ричард Петерсон/CNET
Мир в ваших глазах
В отличие от технологии отслеживания взгляда в очках виртуальной и дополненной реальности, которая использует камеры для определения движения глаз, эти линзы отслеживают движение глаз, фактически сидя на вашем глазу. По словам руководителей Mojo Vision, датчики, как и в умных часах, могут рассчитать это движение более точно, чем очки виртуальной или дополненной реальности.
Я на самом деле не носила их на глазах, так как линзы еще не допущены к ношению. Я держал линзу очень близко к глазу и двигал головой, чтобы увидеть эффект слежения.
Когда я попробовал объектив Mojo еще в 2020 году, это была версия, в которой не было встроенной технологии отслеживания движения или батарей. Новая версия имеет массив батарей, отслеживание движения и беспроводную связь ближнего действия.
Но объектив не является самостоятельным устройством; пользовательское беспроводное соединение связывается напрямую с дополнительным носимым на шее устройством, которое Mojo называет реле, которое будет действовать как компьютер-компаньон для линз. Мне не удалось увидеть эту часть оборудования Mojo Vision, только линзы.
Объективы предназначены для беспроводного подключения к локальному устройству, сохраняя элементы отслеживания движения и отображения на самом объективе.
Ричард Петерсон/CNET
Прямо сейчас объективы не будут подключаться к телефонам напрямую, потому что объективам требуется более энергоэффективное беспроводное соединение ближнего действия.
«Bluetooth LE был слишком болтливым и прожорливым», — говорит старший вице-президент Mojo Vision по продукту Стив Синклер, который показал мне последние демонстрации. «Нам пришлось создавать свои собственные». Беспроводное соединение Mojo Vision находится в диапазоне 5 ГГц, но Синклер говорит, что компании еще предстоит поработать, чтобы убедиться, что беспроводное соединение не принимает и не вызывает помех.
«В телефоне нет радио, которое нам нужно», — говорит Синклер. «Он должен быть немного ближе к голове из-за мощности передачи объектива». Он говорит, что эту технологию можно было бы встроить в шлем или даже в очки, но сейчас наиболее практичным было бы устройство с шейным ремешком.
В идеале Mojo стремится к более дальним соединениям в будущем. Тем не менее, носимый на шее процессор сможет подключаться к телефонам. Он снимает GPS с телефонов и использует модем телефона для подключения, превращая шейный ободок в мост.
Как я смотрел через объектив, двигая головой.
Не совсем то же самое, что носить его, но настолько близко, насколько я могу сейчас.
Ричард Петерсон/CNET
Навигация в крошечном интерфейсе
Поднять голову и оглядеть комнату с линзой на палочке перед лицом — это не то же самое, что носить контактную линзу с дисплеем и функцией отслеживания глаз. Даже после этой демонстрации реальный опыт ношения линз Mojo Vision в дикой природе остается неизвестным. Но даже по сравнению с моей последней демонстрацией Mojo в январе 2020 года, возможность увидеть, как интерфейс работает на объективе, делает опыт более реальным.
Во многом это напоминает пару умных очков под названием Focals производства North, компании, которую Google приобрела в 2020 году. отслеживание. Я вижу, как взгляд вокруг объектива может вызвать фрагменты информации, очень похоже на смарт-часы на моей голове или на Google Glass… но тоже другое. Яркий дисплей висит в воздухе, словно выгравированный свет, а затем исчезает.
Я вижу кольцеобразный интерфейс, который я видел в 2020 году на VR-гарнитуре Vive Pro с отслеживанием взгляда, когда в последний раз посещал Mojo Vision в Лас-Вегасе. Я вижу маленькую сетку, которая приземляется на маленькие значки приложений вокруг кольца, и если оставаться на одной из них в течение нескольких секунд, она открывается. Кольцо вокруг периферии моего зрения остается невидимым, пока я не смотрю по краям, где появляются виджеты, похожие на приложения.
Я вижу приложение для путешествий, которое имитирует поиск информации о рейсах самолета, и крошечную графику, показывающую, где находится мое место. Я могу заглянуть в другие окна (моя информация о поездке Uber, мои ворота). Другой виджет, похожий на приложение, показывает, как бы выглядели всплывающие данные о фитнесе на дисплее (частота сердечных сокращений, информация о кругах, например, показания умных часов). Другой виджет показывает изображения: я вижу крошечного младенца Йоду (также известного как Грогу), окрашенного в оттенки зеленого.
Кроме того, классический снимок Хана Соло из «Звездных войн». Эти изображения показывают, что дисплей выглядит достаточно хорошо для просмотра изображений и чтения текста. Другой, телесуфлер, выдает текст, который я могу прочитать вслух. Когда я перевожу взгляд с приложений на внешнее кольцо, всплывающая информация снова исчезает.
Нелегко понять, как правильно двигаться, но я даже не пытаюсь использовать эти линзы так, как они задуманы. В моих глазах они двигались бы так же, как двигаются мои глаза, управляя интерфейсом напрямую. Вне глаз мне приходится наклонять голову вверх и вниз. Mojo Vision обещает, что впечатления от просмотра сделают дисплей еще более настоящим, заполнив мое поле зрения. Это имеет смысл, так как я немного отвожу дисплей от глаз. Дисплей объектива должен располагаться прямо над тем местом, где должен быть мой зрачок, а его узкое окно дисплея совпадает с областью центральной ямки, самой богатой деталями части нашего зрения. Взгляд назад за пределы кольца предназначен для закрытия приложения или открытия другого.
Следующая версия линз нацелена на косметический дизайн, похожий на радужную оболочку, а также рецепты.
Скотт Стейн/CNET
Следующий шаг: Наденьте его на самом деле; тогда рецепты
Объектив Mojo Vision, на который я сейчас смотрю, определенно имеет больше встроенного оборудования, чем версия 2020 года, которую я видел ранее, но он еще не полностью активирован. «У него есть радио, дисплей, три датчика движения, множество встроенных аккумуляторов и система управления питанием. В нем есть все это», — говорит мне Синклер. Но система питания объектива еще не активирована для работы в глазу. Вместо этого прямо сейчас объектив прикреплен к небольшому кронштейну, который я держу, пока на него подается питание. На данный момент в демо-версии, которую я пробую, используется беспроводной чип для передачи данных на объектив и с него для отображения.
Объектив Mojo оснащен небольшим процессором Arm Cortex M0 на самом объективе, который обрабатывает зашифрованные данные, передаваемые на объективе и вне его, и управляет питанием.
Компьютер с шейным ободом будет запускать приложения, интерпретировать данные отслеживания взгляда и обновлять размещение изображения в 10-миллисекундных циклах. Хотя в некотором отношении графические данные не являются интенсивными (это «диаметр содержимого 300 пикселей», — говорит Синклер), процессор должен постоянно обновлять эти данные быстро и надежно. Если что-то пойдет не так, это может довольно быстро дезориентировать глазное яблоко.
Сроки компании для прототипов линз. В прошлый раз пробовал модель 2019 года (на палке).
Моджо Видение
Генеральный директор Mojo Vision Дрю Перкинс сначала наденет линзы в глаза. Затем, по словам Синклера, это сделают другие руководители компании, а через некоторое время и остальная часть их руководящего состава. Партнерство компании в области фитнеса и спорта, о котором было объявлено ранее в этом году, предназначено для начала раннего тестирования, чтобы увидеть, как линзы могут работать с приложениями для фитнеса и спортивных тренировок.
Mojo Vision также работает над тем, чтобы эти линзы работали как одобренные с медицинской точки зрения вспомогательные устройства для зрения, но эти шаги могут быть еще впереди. «Мы могли бы представить пользователей со слабым зрением, у которых есть вторая камера с более высоким разрешением, встроенная в очки или висящая над их ухом — они смотрят на что-то, и он делает изображение с действительно высоким разрешением, а затем оно просто появляется у них в глазах. , а затем они могут панорамировать и масштабировать и видеть вещи», — говорит Синклер о будущем. Mojo Vision еще не существует, но тестирование этих носимых микродисплеев с отслеживанием взгляда станет началом.
Кроме того, эти линзы должны быть одобрены Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов в качестве контактных линз, процесс, над которым работает Mojo Vision. Они также должны быть изготовлены по различным рецептам, и компания стремится защитить аппаратное обеспечение чипа искусственной диафрагмой, чтобы линзы выглядели более нормально.
«Нам нужно поработать над тем, чтобы превратить его в продукт. Это не продукт», — подчеркивает Синклер, говоря о том, на каком уровне находятся линзы Mojo Vision. Я бы очень нервничал из-за того, что стал первым, кто попробовал бы тестировать эти линзы в глазах, но почему бы и нет? Такого типа техники никогда не существовало. Только одна другая компания, о которой я знаю, InWith, работает над умными контактными линзами. Я никогда не видел никаких демонстраций того, как будут работать эти конкурирующие мягкие линзы, и у них, похоже, еще нет дисплеев. Границы крошечных носимых дисплеев делают передовые смарт-очки кажутся старомодными по сравнению с ними.
Интеллектуальные контактные линзы Mojo начинают тестироваться в глазах
Я принесла крошечную контактную линзу с чипом и дисплеем, сделанную для моего глаза, но я так и не смогла ее надеть. Но к концу 2022 года у меня может появиться шанс. Умные контактные линзы Mojo Vision, которые разрабатывались в течение многих лет, наконец, начали носить внутри компании, начиная с генерального директора компании Дрю Перкинса.
Перкинс, с которым я разговаривал через Zoom, до сих пор носил линзы только час за раз. Он сравнивает первые тесты с ребенком, который учится ходить: «Теперь мы сделали этот первый шаг. И это очень захватывающе».
Перкинс протестировал несколько демонстраций приложения Mojo Lens, которые я пробовал с объективом на палочке в начале этого года, читая текст из приложения телесуфлёра, в котором крошечный текст плавал на дисплее перед его глазами, и глядя на изображение Альберт Эйнштейн в зеленом монохромном платье, которое, по словам Перкинса, «выглядело великолепно». Он также продемонстрировал приложение компаса объектива, которое я пробовал, которое использовало встроенный магнитометр для отображения показаний компаса в режиме реального времени. «Я смог повернуться на 360 градусов и увидеть, как он движется с севера на северо-восток, на восток и на юго-восток», — сказал он. «Это было очень круто».
Аппаратное обеспечение Mojo Vision для объектива требует ношения на шее процессора, который по беспроводной связи передает информацию в объектив и обратно на компьютеры, которые отслеживают данные о движении глаз для исследований.
На данный момент для установки также требуется специальный колпачок со встроенной антенной, который носит Перкинс, чтобы обеспечить плавное соединение для раннего тестирования.
Объективы имеют крошечный встроенный дисплей MicroLED, специальное беспроводное радио ближнего действия, крошечный процессор ARM и отслеживание движения в виде акселерометра, гироскопа и магнитометра. Это та же аппаратная часть объектива, на которую я смотрел весной этого года. Линзы позволяют проекционным дисплеям, управляемым глазами, парить в воздухе, приближаясь к типу монохроматического интерфейса AR, похожего на Google Glass, без очков.
Сейчас играет:
Смотри:
Mojo Vision дала мне возможность взглянуть на дисплеи с отслеживанием движения глаз в…
9:09
На данный момент компания проводит тесты только с одной линзой на один глаз, хотя следующей целью является одновременное ношение двух линз для трехмерных визуальных наложений.
После Перкинса, который все еще время от времени носит линзы примерно по часу для тестирования, другие руководители компании будут опробовать аппаратное обеспечение. Перкинс говорит, что эти ранние этапы просто пытаются поставить оборудование на ноги: «Мы потратили много времени только на проверку и калибровку радио, чтобы убедиться, что радио работает», — говорит он. «Мы пока не проводим длительное тестирование. Мы доберемся до него».
«Благодаря этому усовершенствованию у нас теперь есть платформа для тестирования, которая помогает нам совершенствовать и создавать линзы Mojo, которые в конечном итоге приведут к представлению в FDA для утверждения на рынке», — добавляет Перкинс в заявлении об этой вехе. «Для этого мы проведем несколько клинических исследований, чтобы проверить возможности и предоставить отзывы о программном обеспечении и приложениях».
К концу этого года цель Mojo Vision состоит в том, чтобы протестировать линзу не только для руководителей компании, но и для партнеров, таких как те, кто заинтересован в изучении возможностей фитнеса и оздоровительных тренировок, а также инвесторы или журналисты.