Умные линзы для глаз: Умные контактные линзы Mojo Lens позволят управлять приложениями с помощью взгляда

Умные контактные линзы Mojo Lens позволят управлять приложениями с помощью взгляда

Будущее с меньшим количеством экранов

Mojo Vision, основателями которой являются бывшие сотрудники таких компаний, как Apple, Google, Amazon и Microsoft, хочет уменьшить нашу зависимость от экранов. Например, она планирует предложить клиентам не доставать телефон, чтобы узнать причину его вибрации, а заглянуть в угол глаза и получить эту информацию за считанные секунды.

«Мы хотим создать технологию, которая позволит вам быть самими собой, позволит выглядеть как обычно, не изменит внешность и не заставит странно вести себя на улице. Она очень ненавязчива и, по правде говоря, большую часть времени будет бездействовать», — рассказал Майк Вимер, сооснователь и CTO Mojo Vision.

Однако создание умных контактных линз — непростая задача. Даже Verily, дочерней компании Alphabet, пришлось переориентировать свою программу Smart Lens после нескольких ошибок. Здесь нужны подходящие по размеру датчики для контроля за движениями глаз и стабилизации изображения, дисплей и удобный источник питания.

В Mojo Vision показали прототипы контактных линз со встроенным дисплеем — по размеру он не больше точки, поставленной чернильной ручкой. По словам инженеров, это «самый маленький и плотный дисплей из когда-либо созданных», но у них еще нет версии со всеми необходимыми датчиками. Я посмотрел сквозь прототип и, как и ожидалось, увидел текст, парящий над реальным миром. Это не отличалось от моего опыта использования очков дополненной реальности наподобие Google Glass или Focals, а также умных очков от North. Но в отличие от Focals, которые выглядят как обычные очки и проецируют интерфейс на стекла, линзы от Mojo Vision обладают встроенным дисплеем.

Фото: Джулиан Чоккату

Сейчас Mojo Lens получают энергию через браслет на запястье, который также выполняет большую часть вычислений. Вимер отметил, что в будущем Mojo Vision хочет отказаться от браслета в пользу приложения на смартфоне.

Приложения для контактных линз

Тем не менее, потенциальные возможности Mojo Lens впечатляют. Чтобы получить представление о том, каково будет их носить, я надел гарнитуру виртуальной реальности HTC Vive Pro, в которую встроено отслеживание движений глаз.

Если смотреть прямо перед собой, то вы не увидите ничего странного. Но попробуйте заглянуть в любой угол, и вы заметите всплывающие значки: календарь, погода, уведомления, воспроизведение музыки и многое другое. Посмотрите на стрелку рядом с одним из значков, чтобы развернуть его и увидеть более подробную информацию — например, трехдневный прогноз погоды или все события в календаре на день. У меня ушло около минуты на то, чтобы понять, как ориентироваться в интерфейсе.

Одним из моих любимых демо-приложений стало Speech. Используя только движения глаз, я открыл заранее написанную речь, пролистал ее и прочитал вслух. Это приложение само по себе открывает множество возможностей. Представьте себе, что вы сидите на интервью и хотите освежить в памяти свой следующий вопрос: для этого не понадобится опускать взгляд в блокнот, достаточно будет посмотреть в угол глаза и открыть заметки. Или, если вы снимаете видео, то вам могут не понадобиться несколько дублей, потому что сценарий будет находиться прямо у вас перед глазами.

Разумеется, окружающие могут понять, что вы используете умные контактные линзы и заглядываете в угол глаза, чтобы получить какую-то информацию. Но все же это гораздо незаметнее, чем вынимание телефона или проверка часов.

Умная линза расположится прямо на роговице, и Эшли Туан, вице-президент по медицинским устройствам в Mojo Vision, говорит, что этот опыт будет похож на ношение обычных контактных линз. По словам Туан, Mojo Lens соответствуют всем стандартам безопасности.

«Это новый форм-фактор, но вы как владелец продукта просто видите контент точно так же, как видели бы его, если бы взяли в руки мобильный телефон или надели очки, которые заставили бы этот контент появиться. Это просто свет на вашей сетчатке, который и так всегда на нее попадает. Разумеется, мы уделили много внимания безопасности продукта, и он не несет в себе никаких рисков», — заверил Вимер.

Mojo Lens также улучшают зрение

Mojo Vision позиционирует свои умные линзы как продукт для всех потребителей и предприятий, но прежде всего они ориентированы на людей со слабым зрением или его нарушениями. Это связано с тем, что все контактные линзы должны получить разрешение от Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA). Mojo Lens получили статус «прорывного устройства», позволяющий компаниям ускорить разработку, оценку и анализ продуктов, которые могут помочь людям с опасными для жизни или истощающими здоровье состояниями.

Чтобы показать, как Mojo Vision может помочь слабовидящим людям, разработчики отправили меня в темный гостиничный номер, заполненный знаками «Стоп» и разными другими предметами. Мне вручили прототип Mojo Lens, который нужно было держать у глаз. Несмотря на то, что я стоял в кромешной темноте, я мог разглядеть людей в комнате и даже мог легко прочитать знак «Стоп». Это было похоже на использование ночного видения. Датчик изображения показал мне объекты реального мира, а линзы усилили контраст, выделили границы предметов, увеличили их и выполнили несколько других действий, которые помогли мне видеть в темноте. В идеале это поможет людям со слабым зрением намного лучше ориентироваться в окружающей обстановке. Это было впечатляюще.

Mojo Vision сотрудничает с Центром Vista для слепых и слабовидящих в Пало-Альто, штат Калифорния. Центр помогает компании устанавливать связь с некоммерческими клиентами и получать информацию для разработки. Mojo Vision также будет работать с экспертами FDA для соблюдения правил безопасности.

Источник.

Фото на обложке: Mojo Vision

Стартап из Кремниевой долины анонсировал «умные» контактные линзы

Смарт-очки часто представляют как ключевой элемент дополненной реальности. Однако несколько проектов выбрали другой подход и создают контактные линзы с аналогичными функциями. Среди них и стартап Mojo Vision из Саратоги, штат Калифорния, который анонсировал усовершенствованный прототип умных контактных линз.

В компании отмечают, что потребуется время, прежде чем разработка появится в продаже. В течение следующего года планируется создать до ста опытных образцов.

«Это платформа для тестирования», — говорит Стив Синклер, старший вице-президент по продуктам и маркетингу Mojo Vision. В компании он уже пять лет, ранее работал в Motorola, HP и Apple.

В Mojo Vision планируют продавать умные линзы спортсменам и другим лицам, которые могут извлечь выгоду из мгновенного прямого доступа к информации. В конечном счете, их сможет купить и обычный потребитель. Но на начальных этапах компания концентрируется на тех, у кого слабое зрение из-за таких заболеваний, как пигментный ретинит.

Пока у Mojo Vision довольно скромные ожидания: создать продукт, который можно продавать, и получить одобрение FDA (Управления по контролю качества пищевых продуктов и лекарственных средств США). «Для этого не обязательно продавать сотни миллионов или даже миллион единиц», — прокомментировал Синклер.

Как работает устройство

Разработка похожа на современные жесткие контактные линзы, в нее встроен монохромный зеленый дисплей и несколько датчиков.

Вычислительные операции выполняет компьютер, который располагается на шее и может быть спрятан под рубашку. Обмен данными происходит с помощью запатентованной беспроводной технологии. Даже Bluetooth с низким энергопотреблением расходует заряд слишком быстро.

Mojo Vision включает в себя множество технологий в объектив, включая крошечный процессор, дисплей MicroLED и аккумулятор, а также датчики, необходимые для обнаружения движения глаз.

Похожие проекты

Mojo Vision — не единственный разработчик умных контактных линз.

Технологический гигант Google также инвестировал в создание линз, которые можно было бы использовать для измерения уровня глюкозы в крови, хотя это оказалось непростой задачей. Область исследовали и другие крупные компании, в том числе Samsung, а также такие стартапы, как Innovega.

Контактные линзы имеют некоторые преимущества перед очками, например, они более незаметны. Но их размер создает множество проблем. Все, от дисплеев до батарей, приходится создавать в еще меньших масштабах.

Mojo Vision удалось привлечь $205 млн от венчурных компаний, в том числе NEA и Khosla Ventures, а также множество стратегических инвесторов, включая Alexa Fund (Amazon), Gradient Ventures (Google), HP Tech Ventures и Motorola Solutions.

Как рассказывает журналистка Axios Ина Фрид, она смогла протестировать технологию Mojo Vision, приблизив прототип на палочке к глазу и надев гарнитуру виртуальной реальности для имитации опыта. Разработка позволяет, например, читать заранее написанную речь, прокручивая текст при помощи движений глаз.

Mojo Vision также продемонстрировала, как глаз может управлять курсором.

Во время одной из демонстраций журналисту удалось нажать воспроизведение, паузу и быструю перемотку вперед на базовом музыкальном проигрывателе.  Поскольку контактная линза была размещена на палочке, нельзя было оценить ее удобство. В любом случае, даже к обычным жестким линзам требуется привыкнуть.

Источник.

Фото на обложке: Who is Danny / Shutterstock

Подписывайтесь на наш Telegram-канал, чтобы быть в курсе последних новостей и событий!

Интеллектуальные контактные линзы: вы можете управлять дисплеем MicroLED одним движением глаз

Появляется ряд всплывающих маркеров направления в виде крошечных зеленых линий, пересекающих мое поле зрения. Когда я поворачиваюсь, я вижу, где север. Это маркеры на компасе, проецируемые на маленький дисплей MicroLED, наклеенные на контактную линзу, которую я держу перед глазами на палочке. После многих лет примерки умных очков мое возвращение к взгляду на вещи через изогнутую линзу размером с мой ноготь казалось таким же диким, как и прежде. Однако я все еще не уверен, стоит ли носить его на глазах.

Объектив Mojo Lens, автономный объектив с дисплеем, который я ранее опробовал в более ранней итерации до пандемии на выставке CES 2020, вернулся в форме, которая, по словам компании, наконец-то готова для внутреннего тестирования.

Я протестировал последний прототип объектива Mojo Vision в офисном здании в центре Манхэттена несколько недель назад, когда компания готовилась к следующему этапу внутренней разработки. Хотя контактные линзы Mojo все еще не одобрены для повседневного использования, эти линзы являются еще одним шагом вперед и представляют собой завершенный технологический пакет компании для того, что будет включено в версию 1.0.

Технология Mojo Vision в некотором смысле представляет собой дополненную реальность. Но не в том смысле, о котором вы могли подумать. Монохромный зеленый дисплей с жесткими линзами может отображать текст, основную графику и даже некоторые иллюстрации, но он больше похож на смарт-часы. Акселерометр, гироскоп и магнитометр объектива также дают ему то, что я не пробовал раньше: отслеживание взгляда.

Дисплей объектива — зеленая точка посередине. Вот и все. Кольцо аппаратного обеспечения по краям — это отслеживание движения и другие компоненты чипа.

Ричард Петерсон/CNET

Мир в ваших глазах

В отличие от технологии слежения за глазами в очках виртуальной и дополненной реальности, которая использует камеры для определения движения глаз, эти линзы следуют за движением глаз, фактически сидя на вашем глазу. По словам руководителей Mojo Vision, датчики, как и в умных часах, могут рассчитать это движение более точно, чем очки виртуальной или дополненной реальности. Я на самом деле не носила их на глазах, так как линзы еще не допущены к ношению. Я держал линзу очень близко к глазу и двигал головой, чтобы увидеть эффект слежения.

Когда я попробовал объектив Mojo еще в 2020 году, это была версия, в которой не было встроенной технологии отслеживания движения или батарей. Новая версия имеет массив батарей, отслеживание движения и беспроводную связь ближнего действия.

Но объектив не является самостоятельным устройством; пользовательское беспроводное соединение связывается напрямую с дополнительным носимым на шее устройством, которое Mojo называет реле, которое будет действовать как компьютер-компаньон для линз. Мне не удалось увидеть эту часть оборудования Mojo Vision, только линзы.

Объективы предназначены для беспроводного подключения к локальному устройству, сохраняя элементы отслеживания движения и отображения на самом объективе.

Ричард Петерсон/CNET

Прямо сейчас объективы не будут подключаться к телефонам напрямую, потому что объективам требуется более энергоэффективное беспроводное соединение ближнего действия. «Bluetooth LE был слишком болтливым и прожорливым», — говорит старший вице-президент Mojo Vision по продукту Стив Синклер, который показал мне последние демонстрации. «Мы должны были создать свой собственный». Беспроводное соединение Mojo Vision находится в диапазоне 5 ГГц, но Синклер говорит, что компании еще предстоит поработать, чтобы убедиться, что беспроводное соединение не принимает и не вызывает помех.

«В телефоне нет радио, которое нам нужно», — говорит Синклер. «Он должен быть немного ближе к голове из-за мощности передачи объектива». Он говорит, что эту технологию можно было бы встроить в шлем или даже в очки, но сейчас наиболее практичным было бы устройство с шейным ремешком.

В идеале Mojo стремится к более дальним соединениям в будущем. Тем не менее, носимый на шее процессор сможет подключаться к телефонам. Он снимает GPS с телефонов и использует модем телефона для подключения, превращая шейный ободок в мост.

Как я смотрел через объектив, двигая головой. Не совсем то же самое, что носить его, но настолько близко, насколько я могу сейчас.

Ричард Петерсон/CNET

Навигация в крошечном интерфейсе

Поднять голову и оглядеть комнату с линзой на палочке перед лицом — это не то же самое, что носить контактную линзу с дисплеем и функцией отслеживания глаз. Даже после этой демонстрации реальный опыт ношения линз Mojo Vision в дикой природе остается неизвестным. Но даже по сравнению с моей последней демонстрацией Mojo в январе 2020 года, возможность увидеть, как интерфейс работает на объективе, делает опыт более реальным.

Во многом это напоминает пару умных очков под названием Focals производства North, компании, которую Google приобрела в 2020 году. отслеживание. Я вижу, как взгляд вокруг объектива может вызвать фрагменты информации, очень похожие на смарт-часы на моей голове или на Google Glass… но тоже разные. Яркий дисплей висит в воздухе, словно выгравированный свет, а затем исчезает.

Я вижу кольцеобразный интерфейс, который я видел в 2020 году на VR-гарнитуре Vive Pro с отслеживанием взгляда, когда в последний раз посещал Mojo Vision в Лас-Вегасе. Я вижу маленькую сетку, которая приземляется на маленькие значки приложений вокруг кольца, и если оставаться на одной из них в течение нескольких секунд, она открывается. Кольцо вокруг периферии моего зрения остается невидимым, пока я не смотрю по краям, где появляются виджеты, похожие на приложения.

Я вижу приложение для путешествий, которое имитирует поиск информации о рейсах самолета, и крошечную графику, показывающую, где находится мое место. Я могу заглянуть в другие окна (моя информация о поездке Uber, мои ворота). Другой виджет, похожий на приложение, показывает, как бы выглядели всплывающие данные о фитнесе на дисплее (частота сердечных сокращений, информация о кругах, например, показания умных часов). Другой виджет показывает изображения: я вижу крошечного младенца Йоду (также известного как Грогу), окрашенного в оттенки зеленого. Кроме того, классический снимок Хана Соло из «Звездных войн». Эти изображения показывают, что дисплей выглядит достаточно хорошо для просмотра изображений и чтения текста. Другой, телесуфлер, выдает текст, который я могу прочитать вслух. Когда я перевожу взгляд с приложений на внешнее кольцо, всплывающая информация снова исчезает.

Нелегко понять, как правильно двигаться, но я даже не пытаюсь использовать эти линзы так, как они задуманы. В моих глазах они двигались бы так же, как двигаются мои глаза, управляя интерфейсом напрямую. Вне глаз мне приходится наклонять голову вверх и вниз. Mojo Vision обещает, что впечатления от просмотра сделают дисплей еще более настоящим, заполнив мое поле зрения. Это имеет смысл, так как я немного отвожу дисплей от глаз. Дисплей объектива должен располагаться прямо над тем местом, где должен быть мой зрачок, а его узкое окно дисплея совпадает с областью центральной ямки, самой богатой деталями части нашего зрения. Взгляд назад за пределы кольца предназначен для закрытия приложения или открытия другого.

Следующая версия линз нацелена на косметический дизайн, похожий на радужную оболочку, а также рецепты.

Скотт Стейн/CNET

Следующий шаг: Наденьте его на самом деле; затем, recipes

Объектив Mojo Vision, на который я сейчас смотрю, определенно имеет больше встроенного оборудования, чем версия 2020 года, которую я видел ранее, но он еще не полностью активирован. «У него есть радио, дисплей, три датчика движения, множество встроенных аккумуляторов и система управления питанием. В нем есть все это», — говорит мне Синклер. Но система питания объектива еще не активирована для работы в глазу. Вместо этого прямо сейчас объектив прикреплен к небольшому кронштейну, который я держу, пока на него подается питание. На данный момент в демо-версии, которую я пробую, используется беспроводной чип для передачи данных на объектив и с него для отображения.

Объектив Mojo оснащен небольшим процессором Arm Cortex M0 на самом объективе, который обрабатывает зашифрованные данные, передаваемые на объективе и вне его, и управляет питанием. Компьютер с шейным ободом будет запускать приложения, интерпретировать данные отслеживания взгляда и обновлять размещение изображения в 10-миллисекундных циклах. Хотя в некотором смысле графические данные не являются интенсивными (это «диаметр содержимого 300 пикселей», — говорит Синклер), процессор должен постоянно обновлять эти данные быстро и надежно. Если что-то пойдет не так, это может довольно быстро дезориентировать глазное яблоко.

Сроки компании для прототипов линз. В прошлый раз пробовал модель 2019 года (на палочке).

Моджо Видение

Генеральный директор Mojo Vision Дрю Перкинс сначала наденет линзы в глаза. Затем, по словам Синклера, это сделают другие руководители компании, а через некоторое время и остальная часть их руководящего состава. Партнерство компании в области фитнеса и спорта, о котором было объявлено ранее в этом году, предназначено для начала раннего тестирования, чтобы увидеть, как линзы могут работать с приложениями для фитнеса и спортивных тренировок.

Mojo Vision также работает над тем, чтобы эти линзы работали как одобренные с медицинской точки зрения вспомогательные устройства для зрения, но эти шаги могут быть еще впереди. «Мы могли бы представить пользователей со слабым зрением, у которых есть вторая камера с более высоким разрешением, встроенная в очки или подвешенная над ухом — они смотрят на что-то, и камера делает снимок с очень высоким разрешением, а затем он просто появляется у них в глазах. , а затем они могут панорамировать и масштабировать и видеть вещи», — говорит Синклер о будущем. Mojo Vision еще не существует, но тестирование этих носимых микродисплеев с отслеживанием взгляда станет началом.

Кроме того, эти линзы должны быть одобрены Управлением по санитарному надзору за качеством пищевых продуктов и медикаментов в качестве контактных линз, процесс, над которым работает Mojo Vision. Они также должны быть изготовлены по различным рецептам, и компания стремится защитить аппаратное обеспечение чипа искусственной диафрагмой, чтобы линзы выглядели более нормально.

«Нам нужно поработать над тем, чтобы превратить его в продукт. Это не продукт», — подчеркивает Синклер, говоря о том, на каком уровне находятся линзы Mojo Vision. Я бы очень нервничал из-за того, что стал первым, кто попробовал бы тестировать эти линзы в глазах, но почему бы и нет? Такого типа техники никогда не существовало. Только одна другая компания, о которой я знаю, InWith, работает над умными контактными линзами. Я никогда не видел никаких демонстраций того, как будут работать эти конкурирующие мягкие линзы, и у них, похоже, еще нет дисплеев. Границы крошечных носимых дисплеев делают передовые смарт-очки кажутся старомодными по сравнению с ними.

Интеллектуальные контактные линзы Mojo начинают тестироваться в глазах

Я принесла крошечную контактную линзу с чипом и дисплеем, сделанную для моего глаза, но я так и не смогла ее надеть. Но к концу 2022 года у меня может появиться шанс. Умные контактные линзы Mojo Vision, которые разрабатывались в течение многих лет, наконец, начали носить внутри компании, начиная с генерального директора компании Дрю Перкинса.

Перкинс, с которым я разговаривал через Zoom, до сих пор носил линзы только час за раз. Он сравнивает первые тесты с ребенком, который учится ходить: «Теперь мы сделали этот первый шаг. И это очень захватывающе».

Перкинс протестировал несколько демонстраций приложения Mojo Lens, которые я пробовал с объективом на палочке в начале этого года, читая текст из приложения телесуфлёра, в котором крошечный текст плавал на дисплее перед его глазами, и глядя на изображение Альберт Эйнштейн в зеленом монохромном платье, которое, по словам Перкинса, «выглядело великолепно». Он также продемонстрировал приложение компаса объектива, которое я пробовал, которое использовало встроенный магнитометр для отображения показаний компаса в режиме реального времени. «Я смог повернуться на 360 градусов и увидеть, как он движется с севера на северо-восток, на восток и на юго-восток», — сказал он. «Это было очень круто».

Аппаратное обеспечение Mojo Vision для объектива требует ношения на шее процессора, который по беспроводной связи передает информацию в объектив и обратно на компьютеры, которые отслеживают данные о движении глаз для исследований. На данный момент для установки также требуется специальный колпачок со встроенной антенной, который носит Перкинс, чтобы обеспечить плавное соединение для раннего тестирования.

Объективы имеют крошечный встроенный дисплей MicroLED, специальное беспроводное радио ближнего действия, крошечный процессор ARM и отслеживание движения в виде акселерометра, гироскопа и магнитометра. Это та же аппаратная часть объектива, на которую я смотрел весной этого года. Линзы позволяют отображаемым на лобовом стекле дисплеям, управляемым глазами, парить в воздухе, приближаясь к типу монохроматического интерфейса AR, похожего на Google Glass, без очков.

Сейчас играет:
Смотри:

Mojo Vision дала мне возможность взглянуть на дисплеи с отслеживанием движения глаз в. ..

9:09

На данный момент компания проводит тесты только с одной линзой на один глаз, хотя следующей целью является одновременное ношение двух линз для трехмерных визуальных наложений. После Перкинса, который все еще время от времени носит линзы примерно по часу для тестирования, другие руководители компании будут опробовать аппаратное обеспечение. Перкинс говорит, что эти ранние этапы просто пытаются поставить оборудование на ноги: «Мы потратили много времени только на проверку и калибровку радио, чтобы убедиться, что радио работает», — говорит он. «Мы пока не проводим длительное тестирование. Мы доберемся до него».

«Благодаря этому усовершенствованию у нас теперь есть платформа для тестирования, которая помогает нам совершенствовать и создавать линзы Mojo, которые в конечном итоге приведут к представлению в FDA для утверждения на рынке», — добавляет Перкинс в заявлении об этой вехе. «Для этого мы проведем несколько клинических исследований, чтобы проверить возможности и предоставить отзывы о программном обеспечении и приложениях».