Умные линзы: Умные контактные линзы Mojo Lens позволят управлять приложениями с помощью взгляда |

Содержание

Умные контактные линзы Mojo Lens позволят управлять приложениями с помощью взгляда

Будущее с меньшим количеством экранов

Mojo Vision, основателями которой являются бывшие сотрудники таких компаний, как Apple, Google, Amazon и Microsoft, хочет уменьшить нашу зависимость от экранов. Например, она планирует предложить клиентам не доставать телефон, чтобы узнать причину его вибрации, а заглянуть в угол глаза и получить эту информацию за считанные секунды.

«Мы хотим создать технологию, которая позволит вам быть самими собой, позволит выглядеть как обычно, не изменит внешность и не заставит странно вести себя на улице. Она очень ненавязчива и, по правде говоря, большую часть времени будет бездействовать», — рассказал Майк Вимер, сооснователь и CTO Mojo Vision.

Однако создание умных контактных линз — непростая задача. Даже Verily, дочерней компании Alphabet, пришлось переориентировать свою программу Smart Lens после нескольких ошибок. Здесь нужны подходящие по размеру датчики для контроля за движениями глаз и стабилизации изображения, дисплей и удобный источник питания.

В Mojo Vision показали прототипы контактных линз со встроенным дисплеем — по размеру он не больше точки, поставленной чернильной ручкой. По словам инженеров, это «самый маленький и плотный дисплей из когда-либо созданных», но у них еще нет версии со всеми необходимыми датчиками. Я посмотрел сквозь прототип и, как и ожидалось, увидел текст, парящий над реальным миром. Это не отличалось от моего опыта использования очков дополненной реальности наподобие Google Glass или Focals, а также умных очков от North. Но в отличие от Focals, которые выглядят как обычные очки и проецируют интерфейс на стекла, линзы от Mojo Vision обладают встроенным дисплеем.

Фото: Джулиан Чоккату

Сейчас Mojo Lens получают энергию через браслет на запястье, который также выполняет большую часть вычислений. Вимер отметил, что в будущем Mojo Vision хочет отказаться от браслета в пользу приложения на смартфоне.

Приложения для контактных линз

Тем не менее, потенциальные возможности Mojo Lens впечатляют. Чтобы получить представление о том, каково будет их носить, я надел гарнитуру виртуальной реальности HTC Vive Pro, в которую встроено отслеживание движений глаз.

Если смотреть прямо перед собой, то вы не увидите ничего странного. Но попробуйте заглянуть в любой угол, и вы заметите всплывающие значки: календарь, погода, уведомления, воспроизведение музыки и многое другое. Посмотрите на стрелку рядом с одним из значков, чтобы развернуть его и увидеть более подробную информацию — например, трехдневный прогноз погоды или все события в календаре на день. У меня ушло около минуты на то, чтобы понять, как ориентироваться в интерфейсе.

Одним из моих любимых демо-приложений стало Speech. Используя только движения глаз, я открыл заранее написанную речь, пролистал ее и прочитал вслух. Это приложение само по себе открывает множество возможностей. Представьте себе, что вы сидите на интервью и хотите освежить в памяти свой следующий вопрос: для этого не понадобится опускать взгляд в блокнот, достаточно будет посмотреть в угол глаза и открыть заметки. Или, если вы снимаете видео, то вам могут не понадобиться несколько дублей, потому что сценарий будет находиться прямо у вас перед глазами.

Разумеется, окружающие могут понять, что вы используете умные контактные линзы и заглядываете в угол глаза, чтобы получить какую-то информацию. Но все же это гораздо незаметнее, чем вынимание телефона или проверка часов.

Умная линза расположится прямо на роговице, и Эшли Туан, вице-президент по медицинским устройствам в Mojo Vision, говорит, что этот опыт будет похож на ношение обычных контактных линз. По словам Туан, Mojo Lens соответствуют всем стандартам безопасности.

«Это новый форм-фактор, но вы как владелец продукта просто видите контент точно так же, как видели бы его, если бы взяли в руки мобильный телефон или надели очки, которые заставили бы этот контент появиться. Это просто свет на вашей сетчатке, который и так всегда на нее попадает. Разумеется, мы уделили много внимания безопасности продукта, и он не несет в себе никаких рисков», — заверил Вимер.

Mojo Lens также улучшают зрение

Mojo Vision позиционирует свои умные линзы как продукт для всех потребителей и предприятий, но прежде всего они ориентированы на людей со слабым зрением или его нарушениями. Это связано с тем, что все контактные линзы должны получить разрешение от Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA). Mojo Lens получили статус «прорывного устройства», позволяющий компаниям ускорить разработку, оценку и анализ продуктов, которые могут помочь людям с опасными для жизни или истощающими здоровье состояниями.

Чтобы показать, как Mojo Vision может помочь слабовидящим людям, разработчики отправили меня в темный гостиничный номер, заполненный знаками «Стоп» и разными другими предметами. Мне вручили прототип Mojo Lens, который нужно было держать у глаз. Несмотря на то, что я стоял в кромешной темноте, я мог разглядеть людей в комнате и даже мог легко прочитать знак «Стоп». Это было похоже на использование ночного видения. Датчик изображения показал мне объекты реального мира, а линзы усилили контраст, выделили границы предметов, увеличили их и выполнили несколько других действий, которые помогли мне видеть в темноте. В идеале это поможет людям со слабым зрением намного лучше ориентироваться в окружающей обстановке. Это было впечатляюще.

Mojo Vision сотрудничает с Центром Vista для слепых и слабовидящих в Пало-Альто, штат Калифорния. Центр помогает компании устанавливать связь с некоммерческими клиентами и получать информацию для разработки. Mojo Vision также будет работать с экспертами FDA для соблюдения правил безопасности.

Источник.

Фото на обложке: Mojo Vision

Стартап из Кремниевой долины анонсировал «умные» контактные линзы

Смарт-очки часто представляют как ключевой элемент дополненной реальности. Однако несколько проектов выбрали другой подход и создают контактные линзы с аналогичными функциями. Среди них и стартап Mojo Vision из Саратоги, штат Калифорния, который анонсировал усовершенствованный прототип умных контактных линз.

В компании отмечают, что потребуется время, прежде чем разработка появится в продаже. В течение следующего года планируется создать до ста опытных образцов.

«Это платформа для тестирования», — говорит Стив Синклер, старший вице-президент по продуктам и маркетингу Mojo Vision. В компании он уже пять лет, ранее работал в Motorola, HP и Apple.

В Mojo Vision планируют продавать умные линзы спортсменам и другим лицам, которые могут извлечь выгоду из мгновенного прямого доступа к информации. В конечном счете, их сможет купить и обычный потребитель. Но на начальных этапах компания концентрируется на тех, у кого слабое зрение из-за таких заболеваний, как пигментный ретинит.

Пока у Mojo Vision довольно скромные ожидания: создать продукт, который можно продавать, и получить одобрение FDA (Управления по контролю качества пищевых продуктов и лекарственных средств США). «Для этого не обязательно продавать сотни миллионов или даже миллион единиц», — прокомментировал Синклер.

Как работает устройство

Разработка похожа на современные жесткие контактные линзы, в нее встроен монохромный зеленый дисплей и несколько датчиков.

Вычислительные операции выполняет компьютер, который располагается на шее и может быть спрятан под рубашку. Обмен данными происходит с помощью запатентованной беспроводной технологии. Даже Bluetooth с низким энергопотреблением расходует заряд слишком быстро.

Mojo Vision включает в себя множество технологий в объектив, включая крошечный процессор, дисплей MicroLED и аккумулятор, а также датчики, необходимые для обнаружения движения глаз.

Интеллектуальные контактные линзы Mojo Vision: готовы к испытаниям в реальных условиях

Прошло семь лет, прежде чем компания Mojo Vision достигла того, чем она является сегодня: полнофункциональная интеллектуальная контактная линза во внутреннем прототипе, которая теперь готова к испытаниям в реальных условиях и является первым реальным кандидатом компании на выпускаемый продукт.

Судя по всему, изобретать будущее непросто.

Видение (стонец) огромно: умные контактные линзы, которые со временем могут заменить смартфоны, умные часы, очки дополненной реальности и даже гарнитуры виртуальной реальности. Это большая задача, и потребовались серьезные научные, инженерные и итерации, чтобы получить хотя бы первый потенциальный продукт.

В настоящее время умные контактные линзы Mojo могут похвастаться:

дисплеем MicroLED с разрешением 14 000 пикселей на дюйм, самым маленьким в мире диаметром всего 0,5 миллиметра и самым плотным с шагом пикселя всего 1,8 микрона, сообщает компания)

Радиосвязь 5GH со сверхнизкой задержкой для потоковой передачи контента дополненной реальности

Процессор ARM

Прототип умной контактной линзы Mojo Vision

Mojo Vision

БОЛЬШЕ ОТ FORFORBES ADVISOR

непрерывное отслеживание взгляда с помощью специально настроенных акселерометров, гироскопов,

и магнитометры

батарейки для медицинских линз

интерфейс пользователя, управляемый глазами

Контактная линза подключается к внешнему контроллеру, который можно носить как ожерелье, где и выполняются все тяжелые вычисления. Он использует проприетарное радио 5 ГГц, потому что Bluetooth слишком медленный и имеет слишком большую задержку. И оптика включает в себя «маленький, крошечный, обратный телескоп Кассегрена, такой как Хаббл», встроенный в линзу. Результатом является отслеживание взгляда, которое в 10 раз лучше, чем все остальное, доступное сегодня, и возможность создавать пользовательский интерфейс, управляемый глазами.

«По сути, все дело в том, чтобы наделить вас сверхспособностями, — сказал мне недавно в подкасте TechFirst вице-президент Mojo Стивен Синклер. «Мы создаем первую в мире умную контактную линзу с дополненной реальностью. Итак, что-то, что вы могли бы надеть на глаз, видеть контент, когда вы хотите его видеть, чтобы он исчезал, когда вы его не используете, чтобы вы выглядели как вы и были вовлечены в реальный мир».

Потребовалось время, чтобы добраться до этого момента.

Mojo Vision стартовала в 2015 году и привлекла восемь раундов финансирования на общую сумму 204 миллиона долларов. В число инвесторов входят венчурный фонд Amazon, Стэнфордский фонд StartX, Motorola, LG, Khosla Ventures и ряд венчурных капиталистов.

Но финишная черта может быть ближе, чем вы думаете. Sinclair не назначит дату запуска, и на это повлияют правила и испытания FDA, а также внутренние испытания и итерации компании. Но это не «выход в будущее», говорит он.

«Наконец-то у нас есть то, что мы называем объективом с полным набором функций, — сказал мне Синклер. «По сути, это означает, что все технические элементы объединены в единую систему, которую мы можем носить, пробовать и тестировать».

Семь лет просто из-за связанных с этим проблем. Дисплей microLED нужно было изобретать практически с нуля, как и систему управления и оптику, которая фокусирует свет от дисплея на заднюю часть сетчатки. Создание линзы, которая не скручивается, также имело значение: если линза движется вокруг вашего глаза или вращается, когда вы моргаете, все, что вы видите, может оказаться на 97 градусов от вертикали, и поворот головы в сторону, чтобы прочитать, не поможет.

Что можно увидеть с умными контактными линзами Mojo Vision

John Koetsier

Однако пока компания говорит, что решила эти проблемы.

«Это буквально контент, который парит в пространстве вокруг вас», — говорит Синклер. «Мы можем заблокировать его. Таким образом, он может быть заблокирован в мире, чтобы вы могли видеть какой-то контент справа, слева, снизу, вверх и вниз, куда бы вы ни захотели посмотреть. И вам решать, когда вы поднимаете этот контент, а когда вы больше не хотите его видеть, все это просто исчезает, и вы просто смотрите на мир».

Спортсменам может понравиться просмотр маршрутов и данных о результатах. Техническим специалистам это может понравиться, если они увидят схемы, накладывающиеся на авиационные двигатели или строительные надстройки. Любому, кто сегодня использует умные часы или смартфон, может понравиться более быстрая и доступная доставка данных или возможности дополненной реальности, чем на существующих устройствах. По словам Моджо, люди с ограниченным зрением могут использовать его для выделения опасностей и маршрутов.

Как упоминалось выше, для этого требуется реле.

Реле имеет процессор, память, графический процессор для работы дисплея и радио для связи с интеллектуальными контактными линзами. (Плюс Bluetooth, по-видимому, для связи с телефоном.) Реле — это то, что извлекает информацию об отслеживании взгляда от умной линзы и определяет, куда передавать данные в поле вашего зрения.

«Большинство приложений, которые мы используем, работают на аксессуаре, который вы также носите на теле где-то рядом с головой», — говорит Синклер. «Мы называем это релейным аксессуаром. Он может быть встроен в шапку или шлем, может быть встроен в пару защитных очков, может быть встроен в шейный ремешок. Итак, это, вероятно, форм-фактор, с которого мы собираемся начать. Он должен быть относительно близко к глазам, потому что мощность передачи линз не особенно высока».

Как заряжать умные контактные линзы?

Заряжаются ночью, как умные часы, в чехле для чистки/зарядки.

Сами линзы являются жесткими линзами, и они являются склеральными линзами. Это означает, что они сидят не на роговице, прозрачной передней части вашего глаза, через которую вы видите, а на склере, белках ваших глаз. Это делает их более удобными, говорит Моджо, потому что роговица имеет множество нервных окончаний — вот почему тыкание в глаз так болезненно — но белки ваших глаз не имеют.

«Мы измеряем ваш глаз, когда вы приходите к окулисту, и мы получаем форму этого глазного яблока», — говорит Синклер. «Он не идеально круглый. У него много выступов, выпуклостей и тому подобного, и мы обрезали внутреннюю часть линзы, чтобы она соответствовала форме вашего глаза, чтобы она очень удобно ложилась. Таким образом, это немного больше, чем то, о чем думают люди, когда думают о жестких роговичных линзах или мягких линзах ежедневного использования. Но это довольно удобно для глаз, потому что оно вырезано как кусочек пазла, чтобы соответствовать вашему глазу».

Интересно, что зрение — это только часть плана этой умной контактной линзы.

Кроме того, Mojo работает над проверкой слезной жидкости на ваших глазах, измерением внутриглазного давления или проверкой раннего начала глаукомы. Синклер говорит, что глаза — отличная платформа для датчиков здоровья, и это в меню, а также улучшенное зрение и доставка данных через AR.

Подписаться на TechFirst ; получить стенограмму .

Подпишитесь на меня в Twitter или LinkedIn. Посетите мой веб-сайт или другие мои работы здесь.

Умные контактные линзы Mojo Vision продвинулись дальше, чем вы думаете

До недавнего времени у меня не было возможности лично увидеть новейшие умные контактные линзы Mojo Vision, и, признаюсь, я ожидал, что компании еще далеко до того, как у компании появятся работающие контактные линзы с чем-то большим, чем просто индикатором уведомлений или несколькими статические пиксели. Изучив последний прототип компании, я был впечатлен, увидев гораздо более функциональный прототип, чем я ожидал.

Когда в прошлом месяце я вошел в демонстрационный комплекс Mojo Vision на AWE 2022, мне вручили жесткую контактную линзу, которая, как я полагал, была макетом технологии, которую компания надеялась в конечном итоге уменьшить и поместить в линзу. Но нет… компания заявила, что это функциональный прототип, а все внутри объектива настоящее, работающее оборудование.

Изображение любезно предоставлено Mojo Vision

Компания сообщила мне, что этот последний прототип включает в себя «самый маленький в мире» дисплей MicroLED (минимальные 0,48 мм, с расстоянием между пикселями всего 1,8 микрона), процессор ARM, радио 5 ГГц, IMU (с акселерометром, гироскопом и магнитометр), «микробатареи медицинского назначения» и схему управления питанием с компонентами беспроводной подзарядки.

И хотя умная контактная линза Mojo Vision по-прежнему намного толще обычной контактной линзы, на прошлой неделе компания продемонстрировала, что этот прототип может работать в реальном человеческом глазу, используя генерального директора Mojo Vision Дрю Перкинса в качестве подопытного кролика.

Изображение любезно предоставлено Mojo Vision

И хотя это выглядит, ну… довольно жутковато, когда на самом деле носится в глаза, компания говорит мне, что, помимо того, что они сделают его тоньше, они покроют электронику косметическими радужками, чтобы он выглядел более естественным. в будущем.

В AWE я не смог вставить контактную линзу в собственный глаз (будь проклят Ковид). Вместо этого компания прикрепила линзу к привязанной палке, которую я поднес к глазу, чтобы посмотреть сквозь нее.

Photo by Road to VR

Когда я это сделал, я был удивлен, увидев больше, чем просто горстку пикселей, но полноценный графический пользовательский интерфейс с читаемым текстом и элементами интерфейса. На данный момент все монохромно-зеленое (используя способность человеческого глаза видеть зеленый лучше, чем любой другой цвет), но демонстрация ясно показывает, что амбиции Mojo Vision — это больше, чем просто несбыточная мечта.

Несмотря на то, что физический дисплей в самой линзе непрозрачен и находится прямо в центре вашего глаза, на самом деле вы не можете его увидеть, потому что он слишком мал и расположен слишком близко. Но вы можете видеть изображение, которое он проецирует.

Photo by Road to VR

По сравнению с любым HMD, существующим сегодня, умная контактная линза Mojo Vision особенно интересна, потому что она перемещается вместе с вашим глазом . Это означает, что сам дисплей, несмотря на очень маленькое поле зрения (15°), движется вместе с вашим зрением, когда вы смотрите вокруг. И он всегда резкий, куда бы вы ни посмотрели, потому что он всегда находится над вашей центральной ямкой (центральная часть сетчатки, которая видит больше всего деталей). По сути, это похоже на «встроенный» фовеальный рендеринг. Ограниченное поле зрения остается узким местом во многих случаях использования, но фактическое перемещение дисплея вместе с вашим глазом хотя бы частично смягчает ограничение.

А что насчет ввода? Mojo Vision также постоянно работает над выяснением того, как пользователи будут взаимодействовать с устройством. Поскольку я не мог вставить линзу в свой глаз, компания вместо этого надела мне гарнитуру виртуальной реальности с отслеживанием взгляда, чтобы имитировать то, каково было бы использовать саму умную контактную линзу. Внутри гарнитуры я увидел примерно тот же интерфейс, что и через демо-контактную линзу, но теперь я мог взаимодействовать с устройством глазами.

Текущая реализация не ограничивает весь интерфейс небольшим полем зрения. Вместо этого ваш взгляд действует как своего рода «прожектор», который показывает более крупный интерфейс, когда вы двигаете глазами. Вы можете взаимодействовать с частями интерфейса, наводя взгляд на кнопку, чтобы делать такие вещи, как отображение текущей погоды или последних текстовых сообщений.

Это интересный подход к интерфейсу HMD без помощи рук, хотя по моему опыту глаза сами по себе не являются хорошим сознательным устройством ввода, поскольку большинство движений наших глаз контролируются подсознательно. При достаточной практике возможно, что ручное управление взглядом для ввода станет таким же простым и плавным, как использование пальца для управления сенсорным экраном; в конечном счете, другая форма ввода может быть лучше, но это еще предстоит выяснить.

Этот интерфейс и подход к вводу, конечно, полностью зависят от высокого качества отслеживания взгляда. Поскольку мне не удалось надеть линзу для себя, у меня нет никаких указаний на то, что система отслеживания взгляда Mojo Vision справляется со своей задачей, но компания утверждает, что ее система отслеживания взгляда «на порядок точнее, чем сегодняшние ведущие [ XR] оптические системы слежения за глазами».

Теоретически это должно работать так, как они заявляют — в конце концов, что может быть лучше для измерения движения ваших глаз, чем то, что к ним физически прикреплено? На практике IMU устройства, по-видимому, так же подвержен дрейфу, как и любой другой, что может быть проблематично. Существует также вопрос экстраполяции и отделения движения головы пользователя от данных датчика, поступающих с устройства, закрепленного на глазу.

Изображение предоставлено Mojo Vision.0087 точно ), как они утверждают, это будет крупная победа, потому что это позволит устройству функционировать как настоящая контактная линза AR , способная создавать иммерсивные впечатления, а не просто как интеллектуальная контактная линза для основного информационного дисплея.