Tango google что это: управляем роботом в режиме дополненной реальности / Хабр

Содержание

управляем роботом в режиме дополненной реальности / Хабр

Благодаря Хабрахабру и Google к нам в лабораторию робототехники Сколтеха на неделю попал дев-кит планшет проекта Google Tango. Мы не только протестировали данное устройство, но и написали небольшое демо по управлению мобильным роботом в режиме дополненной реальности. Но об этом чуть позже, сначала немного об устройстве и наших впечатлениях от него.

Статья автора Дмитрия Сенашенко, в рамках конкурса «Device Lab от Google».


Думаю многие из вас уже слышали о данном проекте и неплохо представляют что он из себя представляет. Если вкратце, то это платформа компьютерного зрения и локализации нацеленная на применение в мобильных устройствах. Используя данные с двух камер (широкоугольной и обычной), датчика глубины (по сути Kinect в миниатюре), акселерометров, гироскопов и барометра устройство проекта Google Tango способно воспринимать окружающее трёхмерное пространство и отслеживать своё положение в нём. Громадная заслуга группы инженеров ATAP (Advanced Technology and Projects) заключается не только в том, что они смогли уместить всё это оборудование в мобильном устройстве, но и в том что у них вышло разработать дружелюбное к разработчику высокоуровневое SDK, которое берёт на себя основную тяжёлую работу по обработке данных с сенсоров и проведению необходимых преобразований, позволяя разработчику работать с удобными абстракциями. Так же в лучших традициях Google нам доступна документация высокого качества, позволяющая достаточно быстро освоиться с устройством даже разработчикам без опыта разработки приложений под Android.

Об устройстве

Принцип работы

Устройство по сути имеет два основных режима локализации: с Area Learning и без него. В первом режиме мы предварительно сканируем помещение и строим его карту (к сожалению это делается offline, т.е. сначала обработка накопленных данных, потом использование результата в виде файла ADF — Area Description File), после чего мы можем весьма точно локализоваться в изученном помещении, компенсировать дрейф и справляться с проблемой временной потери трекинга. (например, при закрытии сенсоров рукой или другим слишком близко поднесённым объектом)

Второй режим позволяет нам проводить локализацию в пространстве и отслеживание движение устройства безо всякой предварительной подготовки. Работает он на основе совмещения данных со всех датчиков: IMU (Inertial Measurment Unit), визуальной одометрии по особым точкам изображения широкоугольной камеры, датчика глубины и т.д. Но т.к. нам неизвестны точки за которые мы могли бы зацепиться, в данном режиме координаты устройства будут подвержены дрейфу за счёт постоянно накапливающейся ошибки. (см. иллюстрацию) Кроме того имеется риск потери трекинга, корректное восстановление из которого в данном режиме в общем случае невозможно.

Пользуясь данными локализации (т.е. по сути зная с некоторой точностью координаты и ориентацию устройства относительно помещения) и имея трёхмерное облако точек с датчика глубины мы имеем возможность создавать приложения дополненной реальности ранее принципиально невозможные на мобильных устройствах. Логичным продолжением была бы установка Tango на очки дополненной реальности (следующая итерация Google Glass наподобии Hololens?), но пока мы можем воспользоваться эрзац-заменителем в виде Google Cardboard.

Немного о точности


Разумеется одним из первых вопросов к устройству является его точность. В документации, разумеется, касаются данного вопроса, но мы не могли отказать себе в желании проверить самим заявления о точности в несколько сантиметров в оптимальных условиях.

Т.к. мы были весьма ограничены по времени, то решили всего лишь сделать кустарную оценку сверху используя в качестве инструмента стол с известными размерами. (два на три метра) Перемещая устройство из одного угла стола в другой по кривой траектории с отклонением от стола вплоть до двух метров мы записывали глобальные координаты (с и без Area Learning) в каждой из точек, после чего рассчитывали расстояние между данными точками и сравнивали с тем, что должно было получиться. Итоги следующие:

  • Среднее отклонение составило 2-3 см, в худших случаях вплоть до 5-6 см

  • Точность с Area Learning и без него на траекториях 15-20 метров кардинально не отличаются, что говорит о достаточно высоком качестве локализации по визуальной одометрии и IMU

  • Ориентация устройства влияет на координаты с ошибкой вплоть до 5 см (в т.ч. и с использованием Area Learning), т.е. если вернуть устройство в исходную точку, но повёрнутым, его координаты будут несколько иными


По понятным причинам точность сильно зависит от помещения в котором проводятся измерения. В помещении с хорошим освещением (устройство плохо относится к прямому солнечному свету) и большим количеством особых точек вполне реально добиться точности в пару сантиметров. Но в плохих условиях устройство быстро теряет трекинг, IMU конечно до поры до времени выручает, но его возможности весьма ограничены. Поэтому мы и бросили идею поставить танго на индустриальную робо-руку и измерить таким образом точность, ибо комната с роботом плохой пример «обычного» помещения.

Теперь о точности датчика глубины. Проверять его точность мы решили снимая облака точек для плоских объектов (пола, стен, столов) и анализируя насколько хорошо точки ложатся на плоскость. На оптимальной дистанции 0.5-4 м точность обычно составляла около 0.5 см, но на некоторых поверхностях точность падала в 2-3 раза, например на поле нашей лаборатории, покрытом черно-белым ковром в крапинку. Похоже текстура играла злую шутку с алгоритмами определения глубины основанными на структурированном ИК излучении.

Об SDK и API


Если кратко, то Google на высоте. Думаю как только Tango устройства попадут в широкую продажу, то отбоя от разработчиков не будет не только из-за уникальных возможностей устройства, но и из-за простоты программирования приложений для него. Фраза во вступлении, о том что с девайсом может освоиться даже разработчик без опыта программирования под Android — эксперементально подтверждённый факт, т.к. основной разработчик для Tango нашего демо управления роботом — Марко Симик (иностранный магистр нашей лаборатории), практически не имел опыта разработки под Android, но тем не менее смог за пару дней смог изучить инструменты и API в объёме достаточном для написания простеньких приложений.

Но хватит похвал. Tango Service представляет собой сервис работающий отдельным процессом. Общая структура программного стека показана на иллюстрации.

SDK предоставляет возможность работать с C++, Java и Unity. Порядок примерно соответствует их «высокоуровневости». Разумеется разработчики игр скорее всего оценят по достоинству возможность использования Unity и будут преимущественно выбирать данный вариант. Если же вы хотите работать напрямую с AIDL (Android Interface Definition Language) или другими Java приложениями, то Java API для вас. Разработчики же желающие разрабатывать приложения с Android NDK и иметь более полный контроль выберут C API.

Во всех трёх вариантах API практически идентично и предоставляет инструменты для съёма данных с устройства, управлением им и проведения необходимых преобразований из различных систем координат. (коих имеется аж 6 штук)

Думаю, пересказывать документацию смысла мало, лучше просто ознакомиться с ней.

Ложка дёгтя


Однако, с дев-китом ситуация обстояла далеко не идеально. Временами Tango Service падал и либо отказывался работать, либо выдавал шум на выходе. В подобных случаях помогала только перезагрузка. Вообще чувствовалась некоторая сырость устройства, будем надеяться что это свойство дев-кита и в коммерчески доступных устройствах эти детские болячки будут исправлены.

Кроме того стоит отметить что устройство достаточно ощутимо нагревается, особенно в приложениях с 3D гафикой. Тут, к сожалению, принципиально поменять ситуацию вряд ли получится, т.к. тяжёлые вычисления производить надо в любом случае. Так что на продолжительную работу Tango устройств при активном использовании, думаю, рассчитывать не приходится. Для оценки можете взять свой телефон или планшет и запустить на нём 3D игру, примерное время жизни устройства думаю будет плюс-минус совпадать.

Кроме того не стоит ожидать чудес от построения карт. Примерно качество можно увидеть например в этом видео.


Плюс стоит помнить, что устройство не является волшебной палочкой и у него имеются собственные ограничения, которые весьма вероятно послужат сдерживающим фактором при его консьюмерском использовании, ибо обычный пользователь не подозревает об особенностях используемых алгоритмов локализации, поэтому во время игры на Tango устройстве он может сталкиваться с весьма неприятными лагами, прыжками и прочими проявлениями неидеальности работы. Например, мы так и не смогли сыграть в игры поставлявшиеся с устройством так, что бы уверено сказать, что они готовы для обычных пользователей, скорее всего текущие игры они опишут просто как «глючные и непонятные». Но возможно это просто симптом сырости устройства.

Демо: управляем роботом


Видео с конечным результатом недельного знакомства с Google Tango:


Исходный код скриптов для Unity опубликован на Гитхабе.

Идея


Не секрет, что виртуальная реальность являются нарастающим трендом. Но обычно она рассматривается с точки зрения добавления виртуального к реальному, мы же захотели, если можно так выразиться, добавить реального в виртуальное. На наш взгляд для настоящей виртуальной реальности недостаточно добавить виртуального оверлея, необходима обратная связь от виртуального к реальному. Примерно в том же ключе следовала работа из MIT по добавлению виртуальных интерфейсов для физических объектов.

В нашем случае мы решили сделать виртуальный интерфейс для вполне реального мобильного робота. Т.к. мы были весьма ограничены по времени, то решили ограничиться лишь управлением роботом посредством задания точек куда ехать роботу в реальном пространстве. Разумеется данную идею можно продолжать множеством направлений: добавлять дополнительные интерфейсы для робота (например, «голограмму» человека над роботом, визуализировать обмен данными между роботами), создавать обратную связь (например, показывая запланированную траекторию робота), делать игры совмещающие реальное и виртуальное (например, собирать виртуальные объекты реальной машинкой) и тому подобное.

Но даже простое исполнении контроля робота через задание целевых точек может оказаться весьма полезной фичей, особенно на производствах в которых становится всё больше и больше роботов.

Не говоря уже о потенциальных возможностях развития идей использования Google Tango для контроля физических объектов.

Исполнение


Для реализации данной идеи мы решили использовать Unity API, как наиболее простое и лёгкое для построения демо приложения в виду своей высокоуровневости. Для повышения надёжности определения координат мы использовали локализацию с использованием Area Learning. (на практике, вероятнее всего, роботы будут использоваться в известных помещениях, промерить которые не составит труда). Конечно можно было обойтись и без него, но точность и надёжность значительно от этого пострадают.

Разумеется, что бы приложение заработало желательно, что бы робот имел собственные средства навигации в пространстве, иначе нам постоянно придётся держать робота в области видимости устройства, что согласитесь не очень удобно. В нашем мобильном роботе использовался двухмерный лазерный сканер Hokuyo-04LX и программное обеспечение реализующие SLAM (одновременная локализация и картографирование), на выходе которого мы получали карту занятости (occupancy grid) окружающей местности, используя которую мы уже можем планировать траекторию движения робота. (софт для робота был по большей части самописным, но всё то же самое можно сделать используя готовые модули в ROS).

Теперь нам остаётся только сопоставить глобальные координаты устройства и робота, причём первые координаты уже выровнены по горизонтали посредством использования акселерометра, так что нам нужно по сути локализовать робота и его ориентацию в глобальном двухмерном пространстве устройства, после чего мы сможем проводить преобразования координат целевых точек из системы планшета в систему робота.

Для того что бы реализовать данную задумку приложению необходимо было включить в себя три фичи: трекинг движения, Area Learning и получение карты глубин. (или иначе говоря трёхмерного облака точек) Использование приложения проходит по следующему пути:

  1. Записать Area Description File (ADF), т.е. провести Area Learning помещения в котором будет использоваться программа

  2. Загрузить полученный ADF, подвигать немного устройство дабы устройство распознало особые точки и произвело собственную локализацию

  3. Отметить положение робота

  4. Отметить целевую точку и нажать кнопку исполнения команды


Причём стоит отметить, что отмечая положение робота мы узнаём только его координату, но не направление, тут мы пошли на ухищрение и упростили задачу создав правило, что робота надо всегда выбирать стоя строго сзади него. Конечно в общем случае робота можно детектировать по специальным меткам (скажем отображающимся на экране или наклеенным на корпусе) или же вообще используя нейронные сети на основе TensorFlow. Но опят же сказались ограничения по времени.

Код


Исходники в репозитории (ссылка выше) содержат лишь три скрипта: выбор файла ADF, сплеш-скрин инициализации (релокализации) после выбора ADF, основной скрипт управления и UI. Что бы воспользоваться этими скриптами достаточно добавить их в пример AreaLearning.

Unity скрипты исполняются определённым образом, имеется 3 главных коллбека, которые мы используем в нашем демо:

  • Start() запускается при запуске приложения

  • Update() запускается при каждом обновлении кадра

  • OnGUI() запускается несколько раз за кадр


В итоге у нас получилась следующая структура:

  • Start() назначает коллбеки к соответвующим событиям

  • Update() обрабатывает касания к экрану и при необходимости запускает корутину для нахождения глобальных координат соответствующих тапнутым координатам экрана, плюс рисует красный маркер при успешном выборе точки

  • OnTangoDepthAvailable, OnTangoPoseAvailable коллбеки ожидающие событий от Tango и устанавливающих соответствующие флаги при запуске

  • _WaitForTouch корутины ожидающие тапа по экрану после нажатия одной из кнопок, после чего вызывает корутину для вычисления глобальных координат соответствующих месту тапа

  • _WaitForDepth ожидает карту глубин (трёхмерное облако точек) и находит координаты точки в глобальной системе отсчёта для заданной координаты на экране

  • _WaitForRequest обрабатывает посылку команды роботу, в нашем случае это был простой GET запрос


Код управления робота, думаем, выходит за рамки данной статьи, поэтому на данный момент не публикуется.

Заключение


По итогам нашего знакомства могу с уверенностью сказать: Google Tango чрезвычайно многообещающее устройство, которое способно совершить в ближайшие года переворот в том, что мы считаем мобильными устройствами. В общем, весьма маловероятно что данный проект закончит как Glass и Wave. Разумеется на данный момент устройства не лишены детских болячек, и как любая технология имеют свои пределы и особенности, но первое будет поправлено, а ко второму, думаю, пользователи и разработчики постепенно привыкнут.

Таким образом, мы считаем, что давно навзревавший бум виртуальной реальности по видимому скоро раскроется в полную силу, и Google Tango явно намерен возглавить его посредством своей простоты программирования, дружелюбия к разработчикам, сложившейся Android экосистемы, в так же активного продвижения Google.

Google закроет проект дополненной реальности Tango в марте 2018 года — РБК

www.adv.rbc.ru

www. adv.rbc.ru

www.adv.rbc.ru

Скрыть баннеры

Ваше местоположение ?

ДаВыбрать другое

Рубрики

Курс евро на 7 октября
EUR ЦБ: 58,24

(+0,18)

Инвестиции, 17:05

Курс доллара на 7 октября
USD ЦБ: 60,25

(+0,85)

Инвестиции, 17:05

ЕС ввел восьмой пакет санкций против России

Политика, 17:48

Банки впервые с мая замедлили выдачу кредитов

Финансы, 17:41

Бизнес-сообщество МДС предложило варианты отсрочек от мобилизации для МСП

Новая экономика, 17:39

www. adv.rbc.ru

www.adv.rbc.ru

Эксперты сравнили книги лауреата Нобелевки по литературе с Мориаком

Общество, 17:36

Не относятся к штрафам серьезно: как наказывать водителей люксовых авто

Партнерский проект, 17:33

Подкаст «Криптосанкции — не повод для паники». Что изменится для россиян

Крипто, 17:27

Президент Узбекистана наградил Путина орденом «Дустлик» высшей степени

Политика, 17:23

Объясняем, что значат новости

Вечерняя рассылка РБК

Подпишитесь за 99 ₽ в месяц

Власти заявили об устранении жалоб мобилизованных на «скотские условия»

Политика, 17:23

Перестали расти: как изменились цены на новостройки в Москве за квартал

Недвижимость, 17:12

Как работает «инсультная» бригада скорой помощи

Партнерский проект, 17:10

«Яндекс» объяснил исчезновение с карт границ регионов

Технологии и медиа, 17:09

Индексы США выросли после данных по заявкам на пособие по безработице

Инвестиции, 17:07

Роскомнадзор ограничил доступ к сайту «вселенной «Эха Москвы»

Политика, 17:02

Reuters узнал о предложении группы стран ЕС ввести «коридор цен» на газ

Экономика, 16:57

www. adv.rbc.ru

www.adv.rbc.ru

www.adv.rbc.ru

Корпорация Google отключит 1 марта 2018 года поддержку AR (augmented reality) — проекта Tango, который позволяет запускать приложения с элементами дополненной реальности на Android-устройствах. Об этом сообщает пресс-служба проекта в своем Twitter.

«Спасибо нашему невероятному сообществу разработчиков, которые достигли прогресса в Tango за последние три года. Мы с нетерпением ждем продолжения нашего пути в ARCore», — уточняется в сообщении.

www.adv.rbc.ru

Примеры использования дополненной реальность представлены в блоге Google.

www.adv.rbc.ru

Tango и ARCore — платформы для создания приложений дополненной реальности. Google представила Tango еще в 2014 году, но распространение оно получило в 2016. Приложению требовалась камера на смартфоне с дополнительными сенсорами, чтобы давать более точную информацию о положении и движении устройства. Это мешало более масштабному внедрению Tango, отмечает издание Business Insider.

В августе 2017 года Google представила платформу ARCore, основанную на технологиях Tango, в основу которой легли технологии Tango, но дополнительные сенсоры не требовались, пишет The Verge.

Сейчас приложения на базе ARCore доступны владельцам Google Pixel 2 и Samsung Galaxy S8. С поддержкой технологии Tango ранее вышли смартфон Lenovo Phab2 Pro (2016 год) и Asus ZenFone AR (2017 год).

Базовая версия Tango позволяет с помощью смартфона точно измерять расстояние перед человеком, который держит устройство. Более продвинутые версии этого приложения рисуют линию в проходе магазина перед идущим человеком, чтобы доставить его прямо к предмету, который ему нужен. Также приложение может превратить ваше реальное движение в движение в видеоигре.

ARCore использует в работе штатную камеру устройства и датчики движения. Система отслеживает движение объектов, анализирует горизонтальные плоскости, наличие источников света и фиксирует виртуальные объекты в реальном пространстве, которое окружает пользователя.

Google считает, что ARCore будет работать на 100 млн устройств с Android к моменту публичного запуска в конце 2017 — начале 2018 года.

Google
дополненная реальность

Магазин исследований

Аналитика по теме
«Интернет»

Tango | 66 факторов

35балла

Tango

Почему Tango лучше чем другие?

  • Рейтинг в App Store компании Apple?
    4.5vs4

Какие сравнения самые популярные?

Tango

vs

WhatsApp

Tango

vs

Viber

Tango

vs

You & Me

Tango

vs

Telegram Messenger

Tango

vs

Zalo

Tango

vs

Facetime

Tango

vs

imo

Tango

vs

Kik Messenger

Tango

vs

Microsoft Teams

Tango

vs

Snapchat

Отзывы пользователей

Безопасность

1. Имеет двустороннее шифрование

✖Tango

Двустороннее шифрование защищает данные между двумя взаимодействующими сторонами и гарантирует, что только соответствующий получатель может получить доступ к незашифрованной информации.

2.сообщения по умолчанию зашифрованы

✖Tango

По умолчанию для всех чатов включено сквозное шифрование, что отличается от других приложений, которые шифруют сообщения только в том случае, если пользователь специально включает данную функцию.

3.имеет функцию обнаружения скриншотов

✖Tango

Обнаружение скриншотов — это функция безопасности, которая позволяет пользователям получать уведомления когда кто-то делает снимки их сообщений. Функция обнаружения скриншотов экрана, часто используемая в приложениях для безопасного обмена сообщениями, обеспечивает безопасность ваших сообщений и данных.

4.имеет сквозное шифрование в групповых чатах

✖Tango

Приложение поддерживает сквозное шифрование в групповых чатах.

5.Можно войти, используя аккаунт на Facebook

✔Tango

Вход с помощью своего аккаунта Facebook может быть быстрее и легче, если вы не хотите тратить время на заполнение страницы регистрации.

6.Имеет опцию входа через Twitter

✖Tango

Вход с помощью своего аккаунта Twitter может быть быстрее и легче, если вы не хотите тратить время на заполнение страницы регистрации.

7.Имеет настройки конфиденциальности

✖Tango

Вы можете изменить настройки конфиденциальности, чтобы не весь контент был доступен для публичного просмотра.

8.Вам не нужно сим-карту, чтобы войти

✔Tango

Приложение не подключено на ваш номер телефона, так что вы можете использовать его на устройствах, таких как планшетники, не нуждаясь в SIM-карте.

9.Нет необходимости в открытии аккаунта

✖Tango

Приложение не требует от вас открытия аккаунта для того, чтобы войти в систему и использовать приложение.

Функции обмена сообщениями

1.Имеет уведомление «сообщение просмотрено»

✖Tango

Вы можете увидеть когда кто-то открыл ваше сообщение, так что вы будете знать, прочитано оно уже или нет.

2.Показывает, что кто-то печатает

✖Tango

Вы можете видеть когда кто-то печатает ответ, что может предотвратить путаницу.

3.Показывает когда в последний раз пользователь был активным

✖Tango

Вы можете увидеть историю деятельности, например: «Последняя активность пользователя : вчера в 9:30.»

4.Имеет возможность удалять историю сообщений

✔Tango

Вы можете удалить старые сообщения, например, если они содержат конфиденциальную или частную информацию.

5.Вы можете указать информацию о доступности

✖Tango

Вы можете показать, что вы, например, заняты или находитесь далеко. Это идеальный вариант для того случая, когда вы работаете, но хотите остаться доступными для важных сообщений.

6.Посылает звуковые голосовые файлы

✔Tango

Вы можете отправить, предварительно записанное, голосовое сообщение.

7.Имеет временные текстовые сообщения

✖Tango

Вы можете отправить текстовое сообщение, которое через короткое время автоматически сотрется, чтобы другой человек не мог сохранить его на своем устройстве.

8.Имеет временные изображения

✖Tango

Вы можете отправить изображение, которое через короткое время автоматически сотрется, чтобы другой человек не мог сохранить его на своем устройстве.

9.Имеет двусторонний видео чат

✔Tango

Вы можете разговаривать по видео один на один.

Совместное использование контента

1.Вы можете отправлять документы

✖Tango

Вы можете отправлять документы, используя данное приложение.

2.Синхронизируется в облако

✔Tango

Ваши данные синхронизируются с облаком, что гарантирует их резервное копирование на случай потери или смены устройства.

3.Имеет функцию поиска

✖Tango

Если вам нужно найти что-то конкретное, вы можете проводить поиск в ваших данных по определенным ключевым словам.

4.Имеет предварительный просмотр изображения

✖Tango

Вы можете увидеть небольшую картинку изображения перед его полным открытием.

5.Вы можете отправлять видео

✔Tango

Вы можете отправить видео, используя данное приложение.

6.Вы можете посылать музыкальные файлы

✔Tango

Вы можете посылать музыкальные файлы своим друзьям.

7.Вы можете рисовать на фотографиях

✔Tango

Вы можете создавать и делиться забавными картинками с вашими собственными рисунками.

8.Подписи

✖Tango

Вы можете добавить подписи и заголовки к вашим фотографиям.

9.Может архивировать старые данные

✖Tango

При архивации старых данных, они будет складываться в специальную папку в случае, если вы когда-либо они вам понадобятся. Это означает, что они убраны, но не удалены навсегда.

Oтменить

Какие приложений обмена сообщениями лучше?

Что случилось с Google Tango?

Помните Google Tango, вычислительную платформу дополненной реальности, которая была впервые разработана Google ATAP (Advanced Technology and Projects) в 2014 году? Прошло уже больше года с тех пор, как они закрыли его 1 марта 2018 года, и до сих пор обидно видеть, что такая многообещающая технология добавлена ​​в список заброшенных проектов Google.

Но в чем именно причина? Google отказался от этого проекта? Давайте вспомним, как все начиналось, как это повлияло на тренд, а также чего нам ждать от AR в будущем.

Что такое танго (также известное как Project Tango)?

Tango, ранее называвшийся «Project Tango» во время его разработки, представлял собой вычислительную платформу дополненной реальности, которая работает вместе со сложными аппаратными компонентами, такими как данные акселерометра и гироскопа, включая камеры с датчиками движения и инфракрасные камеры, для отслеживания местоположения и отображения изображений его окружения в реальном времени. -время.

Идея проста и проста: сделать мобильный телефон, использующий технологию Tango, чтобы революционизировать то, как мы видим наше непосредственное окружение как физически, так и виртуально.

Местоположение и ориентация телефона в трехмерной среде отслеживаются, в то же время сохраняется виртуальное изображение его окружения. Это открывает возможность создавать приложения, такие как навигация в магазине, картографические утилиты, приложения для измерения, презентации и дизайна и многое другое.

Раннее развитие и этапы танго

Чтобы добиться значительных улучшений, Google создал два устройства Tango для разработчиков программного обеспечения:

  1. Peanut Phone
  2. Йеллоустонская табличка

Peanut Phone

Первым устройством Tango был «Peanut», выпущенный в первом квартале 2014 года. Это был мобильный телефон Android с камерой «рыбий глаз», процессором Movidius Vision и RGB-IR. камера для цветного изображения и инфракрасного определения глубины. Акселерометр и гироскоп были добавлены только в более поздних разработках.

Устройство было роздано большому количеству исследователей, в частности, университетам компьютерного зрения и робототехники. Более того, он также был распространен среди разработчиков приложений и других технологических стартапов. Телефон «Peanut» закончился в сентябре 2015 года, когда Google развила и поддержала новые версии Android.

Планшет Yellowstone

После телефона «Peanut» компания Google выпустила «Yellowstone», характеристики которого в целом лучше.

А именно, сенсорный экран с разрешением 1920×1200 пикселей, цветная камера с разрешением 4 МП, четырехъядерный процессор Nvidia Tegra K1 с тактовой частотой 2,3 ГГц, флэш-память на 128 ГБ и возможность подключения 4G LTE в дополнение к тому, что было у телефона «Peanut».

27 мая 2017 года Google официально прекратил поддержку «Йеллоустон».

Комплект разработчика и коммерческие устройства Tango

Для справки: в продаже было всего 2 устройства Tango. Но был Dev Kit от Intel, который был доступен исключительно для разработчиков.

Смартфон Intel RealSense

В августе 2015 года Intel объявила, что к концу 2015 года выйдет смартфон Intel RealSense, комплект разработчика, в котором используется технология Tango с более сложной камерой ZR300, которая также имеет оптические функции, такие как камера типа «рыбий глаз», необходимые для Tango.

Только в январе 2016 года они начали публично предлагать устройство разработчикам. Примерно в то же время был выпущен первый коммерческий смартфон с технологией Tango, о которой мы поговорим далее.

Lenovo Phab 2 Pro

Анонсированный в 2016 году, выпущенный в августе и доступный для покупки в США в ноябре, был Lenovo Phab 2 Pro. У него был 6,4-дюймовый экран с процессором Snapdragon 652, 64 ГБ встроенной памяти, а также 16-мегапиксельная задняя камера в паре с 8-мегапиксельной передней камерой 9.0003

Asus Zenfone АР

В следующем году на выставке CES 2017 был анонсирован второй мобильный телефон с технологией Tango: Asus Zenfone AR.

Помимо технологии Tango, компания также запустила Daydream VR, еще один проект Google, ориентированный на виртуальную реальность, встроенную в мобильную ОС Android. На этот раз он работал на Snapdragon 821 с 6 или 8 ГБ оперативной памяти и 256 ГБ встроенной памяти.

Что случилось с танго?

Tango был настолько последователен в своем обновлении до 1 марта 2018 года, когда Google официально заявил, что окончательно закрывает платформу Tango. Что случилось?

Ожидалось, что Lenovo Phab 2 Pro вызовет негативную реакцию, поскольку это было первое устройство Tango, доступное для широкой публики. Проблемы варьируются от низкого времени автономной работы, громоздкости до низкой производительности.

В довершение ко всему, он был доступен в хозяйственных магазинах, а не у операторов беспроводной связи, что еще больше усложняет потребителям получение устройства. Без пользовательской базы для поддержки и развития технологии AR платформа почти остановилась.

Несмотря на то, что Asus ZenFone AR был выпущен всего через три месяца после выхода Lenovo Phab 2 Pro, он все еще не попал в центр внимания. Что еще хуже, потребители утверждали, что всем AR-приложениям Tango не хватает точности и калибровки, и создается впечатление, что они используют демоверсии.

Вот почему Google полностью прекратил производство после Asus Zenfone AR. Однако это не означает, что они остановились навсегда, потому что Google достаточно умен, чтобы переключить свое внимание на другую платформу, над которой они работают. Вскоре мы подробно поговорим об этой платформе.

Как Tango повлиял на технологию дополненной реальности

Появление Google Tango открыло безграничные возможности для различных отраслей. Смешивая изображения виртуальной реальности с физическим миром, мир, каким мы его знали, перешел к более инновационному и продвинутому будущему.

Бизнес

Компании могут иметь дело с клиентами, а также более реалистично представлять своим клиентам бизнес-идеи.

Объединив виртуальную реальность с нашим физическим миром, можно добиться более захватывающего способа маркетинга при проведении презентаций или при предложении бизнес-идей. Кроме того, клиентам могут быть предоставлены реалистичные презентации, повышающие уровень потенциальных продаж или конверсий.

Измерение физического пространства

Google Tango также может дать вам приблизительную оценку реальных вещей вокруг вас.

Указав на края, вы получите оценку измерений и размеров объекта. Следует отметить, что, хотя результаты были не такими точными, они все же были достаточно хороши для большинства пользователей в то время. И, учитывая его огромный потенциал для улучшения и повышения точности в будущем, это может быть полезно во многих вещах, особенно в инженерном отделе.

По мере того, как мобильные телефоны становятся необходимостью в нашей повседневной жизни, мы, вероятно, заменим рулетки и другие формы измерения такими технологиями. Возможно, это произойдет не в ближайшие 10 лет, но придет время, когда эта технология станет следующей большой вещью.

3D-картографирование/навигация в помещении

Поскольку устройство отслеживает не только свое положение в пространстве, но и записывает подробную трехмерную среду, это открыло возможность создавать пользовательские приложения, такие как навигация в магазине и картографические утилиты, чтобы помочь покупателям ориентироваться. магазин.

С таким устройством вы сможете ходить по магазину так, как будто вы были там более сотни раз, даже если вы там впервые.

Домашнее хозяйство и мебель

Это устройство также может преобразить отдел товаров для дома. Помимо того, что они смогут лучше рекламировать свою продукцию с помощью реалистичных презентаций, клиенты также могут использовать такое устройство, чтобы проверить, подходит ли мебель для определенной области или пространства.

Эта технология позволяет вам поместить виртуальное изображение в ваше непосредственное окружение, чтобы вы могли видеть через экран, подходит оно или нет. В соответствии с этим вы также можете размещать другие предметы или живые организмы и учиться на них с помощью текстов и других интерактивных объектов, встроенных в приложение.

Игры

Технология дополненной реальности также вывела игры на новый уровень — например, Pokemon Go . Другим хорошим примером является игра под названием Ingress , мобильная игра с дополненной реальностью (AR), разработанная и опубликованная Niantic для устройств Android и iOS, в которой вы взаимодействуете с «порталами» или реальными местами и достопримечательностями, чтобы захватывать и защищать это от противоположной фракции.

Почему Google отказался от Tango и каково будущее AR

У Google было трехлетнее преимущество перед Apple в области дополненной реальности, когда они выпустили Project Tango в 2014 году. Но, похоже, это оказалось сложнее, чем они изначально предполагали. Не говоря уже о дорогом оборудовании, которое требовалось для работы и не отставать от передовых технологий.

Даже спустя более трех лет с момента анонса платформы Google AR было выпущено только 2 телефона с технологией Tango: Lenovo Phab 2 и Asus ZenFone AR . В этот момент Google понимает, что с продуктом что-то не так, и им нужно что-то сделать… быстро.

Вот почему они решили направить свои усилия в Tango на что-то действительно многообещающее: ARCore , новый набор SDK, в котором есть новая и улучшенная технология Tango, за исключением дорогостоящего аппаратного обеспечения, такого как датчики.

Теперь вы можете подумать, что Tango ушел навсегда, но на самом деле он просто переименовывается. Босс Google AR/VR Клэй Бавор даже добавил:

Наша цель с Tango состояла в том, чтобы действительно проверить основную технологию и показать миру, что это возможно. Очевидно, что другие начали инвестировать в AR для смартфонов, и наша цель с Tango всегда заключалась в том, чтобы реализовать эту возможность на как можно большем количестве устройств.

Бесспорно, есть много людей, интересующихся технологией Tango, но из-за отсутствия устройств, поддерживающих ее, понятно, почему им пришлось рассмотреть другой подход.

Благодаря тому, через что он прошел за эти годы, мы, вероятно, увидим более эффективную, более функциональную и более совершенную версию технологии дополненной реальности от Google.

 

Подробнее на DailyWireless:

Автор:

Люк Пенсворт

    Люк — главный редактор и менеджер сайта Dailywireless. Как энтузиаст/потребитель беспроводной связи, он анализирует множество услуг, основываясь на собственном опыте. Каким бы недовольным он ни был, он старается, чтобы его статьи были максимально честными.

    Tango: Платформа дополненной реальности от Google

    Tango — это вычислительная платформа дополненной реальности, разработанная Google. Он использует компьютерное зрение, чтобы позволить мобильным устройствам , таким как смартфоны и планшеты, определять свое положение относительно окружающего мира без использования GPS или других внешних сигналов.

    На данный момент следующие устройства поддерживают Tango:

    • Планшет Development Kit
    • Смартфон Lenovo Phab2 Pro
    • Asus ZenFone AR

    В этом блоге мы рассмотрим компоненты платформы, ключевые концепции и варианты использования.

    Компоненты Tango

    Все Android-устройства с поддержкой Tango имеют следующие компоненты:

    Камера слежения за движением: Tango использует широкоугольную камеру слежения за движением (иногда называемую линзой «рыбий глаз») для добавления визуальной информации, что помогает более точно оценить вращение и линейное ускорение.

    Трехмерное определение глубины: для реализации восприятия глубины устройства Tango используют общие технологии измерения глубины, включая Structured Light, Time of Flight и Stereo. Структурированный свет и время полета требуют использования инфракрасного (ИК) проектора и ИК-датчика.

    Акселерометр, барометр и гироскоп: акселерометр измеряет движение, барометр измеряет высоту, а гироскоп измеряет вращение, которое используется для отслеживания движения.

    Датчик внешней освещенности (ALS): ALS аппроксимирует реакцию человеческого глаза на интенсивность света при различных условиях освещения и при использовании различных материалов для ослабления.

    Ключевые концепции Tango

    Отслеживание движения
    Отслеживание движения позволяет устройству понимать свое движение по мере его перемещения по области. API-интерфейсы Tango обеспечивают положение и ориентацию устройства пользователя с шестью степенями свободы (6DoF).

    Tango реализует отслеживание движения с помощью визуально-инерциальной одометрии, или VIO, для оценки того, где находится устройство относительно того, с чего оно началось.

    Визуально-инерционная одометрия Tango дополняет визуальную одометрию инерционными датчиками движения, способными отслеживать вращение и ускорение устройства. Это позволяет устройству Tango оценивать как свою ориентацию, так и движение в трехмерном пространстве с еще большей точностью. В отличие от GPS, отслеживание движения с помощью VIO работает в помещении.

    Область обучения
    Area Learning дает устройству возможность видеть и запоминать ключевые визуальные особенности физического пространства: края, углы и другие уникальные особенности, чтобы позже оно могло снова распознать эту область.

    Для этого он сохраняет математическое описание визуальных особенностей, которые он идентифицировал, в доступном для поиска индексе на устройстве. Это позволяет устройству быстро сопоставлять то, что оно видит в данный момент, с тем, что оно видело раньше, без каких-либо облачных служб.

    Восприятие глубины
    Восприятие глубины позволяет приложению определять расстояние до объектов в реальном мире.

    Современные устройства лучше всего работают в помещении на среднем расстоянии (от 0,5 до 4 метров). Эта конфигурация дает хорошую глубину на расстоянии, уравновешивая требования к мощности для ИК-подсветки и обработки глубины.

    Во-первых, в системе используется 3D-камера, которая создает инфракрасный точечный рисунок, освещающий контуры окружающей среды. Это известно как облако точек. По мере того, как эти точки света удаляются от своего первоначального источника (телефона), они становятся больше. Размер всех точек измеряется алгоритмом, а различные размеры точек указывают на их относительное расстояние от пользователя, что затем интерпретируется как измерение глубины. Это измерение позволяет Tango понять всю трехмерную геометрию, существующую в вашем пространстве.

    API-интерфейсы Tango предоставляют функцию для получения данных о глубине в виде облака точек. Этот формат дает координаты (x, y, z) для максимально возможного количества точек сцены. Каждое измерение представляет собой значение с плавающей запятой, записывающее положение каждой точки в метрах в системе координат камеры измерения глубины.

    Обзор Tango API

    Это текущий стек разработки приложений Tango:

    Tango Service – это служба Android, работающая в автономном процессе. Он использует стандартную межпроцессную связь Android для поддержки приложений, написанных на Java, Unity и C. Tango Service выполняет все основные технологии Tango, такие как отслеживание движения, изучение области и восприятие глубины. Приложения могут подключаться к Tango Service через API.

    Варианты использования Tango

    Внутренняя навигация
    Устройство Tango можно использовать для точной навигации по торговому центру или даже для поиска определенного товара в магазине, когда эта информация доступна.

    VR- и AR-игры с несколькими пользователями
    Используя возможности отслеживания движения Tango, разработчики игр могут экспериментировать с 6DoF, чтобы создавать захватывающие 3D-игры AR, превращать дом в игровой уровень или создавать волшебные окна в виртуальной и дополненной средах.

    Измерение физического пространства и 3D-картографирование
    Используя встроенные датчики, устройства с поддержкой Tango предназначены для распознавания и захвата 3D-измерений помещения, которые поддерживают захватывающие новые варианты использования, такие как моделирование внутренних пространств в реальном времени. и 3D-визуализация для шоппинга и дизайна интерьера.

    Обнаружение маркера с помощью AR
    Устройство Tango может искать маркер, обычно черно-белый штрих-код или определенный пользователем маркер. Как только маркер найден, на него накладывается 3D-объект. Используя камеру телефона для отслеживания относительного положения устройства и маркера, пользователь может обойти маркер и рассмотреть 3D-объект под любым углом.

    Ссылки

    https://developers.google.com/tango
    https://medium.com/@rtpvr/project-tango-2093353f0def
    https://en.wikipedia.org/wiki/Tango_(platform)
    https://www.qualcomm. com/products/snapdragon/tango

     

     

    8 вещей, которые вам нужно знать о проекте 3D-картографии Google Tango

    Если все идет по плану, в Googleplex, приложение скоро разработчики смогут получить в свои руки первые планшеты с технологией Google Project Tango внутри.

    Tango позволяет устройству создавать точную 3D-модель своего непосредственного окружения, что, по словам Google, будет полезно для всего, от игр с дополненной реальностью до навигации по крупным торговым центрам.

    Мы думаем, у вас есть несколько вопросов по этому поводу, поэтому давайте попробуем на них ответить.

    ПОДРОБНЕЕ: Все, что вам нужно знать о Google Project Ara

    1. Что такое Project Tango?

    Google не довольствуется созданием программного обеспечения для телефонов, которое может просто снимать 2D-фото и видео. Он не просто хочет делать стереоскопические 3D-снимки.

    Вместо этого Project Tango предлагает оснастить каждое мобильное устройство мощным набором программного обеспечения и датчиков, которые могут фиксировать полную трехмерную картину окружающего мира в режиме реального времени.

    Почему? Таким образом, вы можете нанести на карту свой дом, мебель и все остальное, просто прогуливаясь по нему. Бинго — больше не нужно мериться перед покупкой нового гардероба. Или чтобы вы не заблудились в следующий раз, когда пойдете в больницу — у вас будет мгновенный доступ к 3D-плану ее лабиринтных коридоров. Или чтобы вы могли легко найти раздел «нездоровые закуски» в вашем местном мегамаркете. Или так можно играть в удивительные игры с дополненной реальностью. Или чтобы слабовидящие могли получить дополнительную помощь в передвижении.

    На самом деле, как и в случае с большинством проектов Google, способы, которыми Tango может оказаться полезным, ограничены только вашим воображением. В конце концов, кто бы мог подумать, что Просмотр улиц станет таким хитом среди художников?

    2. Кто за этим стоит?

    Двумя ключевыми технологическими партнерами, участвующими в проекте Tango, являются израильская компания по обработке изображений Mantis Vision и опытные инженеры-робототехники из калифорнийской компании hiDOF.

    Внутри Google Project Tango является работой группы передовых технологий и проектов (ATAP), которая ранее была частью Motorola. Его, в свою очередь, возглавляет Джонни Чанг Ли, который когда-то был наиболее известен своей работой по разработке Microsoft Kinect. ATAP также является группой, стоящей за экспериментом с модульным мобильным телефоном Project Ara, так что это явно au fait с технологией расширения границ.

    3. Как работает технология?

    Технология MV4D от Mantis Vision в настоящее время лежит в основе портативных 3D-сканеров и работает, освещая сетку невидимых огней перед группой из двух или более камер, чтобы запечатлеть топографию мира, который он видит — мало чем отличающийся от того, что видите вы. при установке игры Тайгера Вудса.

    HiDOF, тем временем, специализируется на программном обеспечении, которое может не только интерпретировать данные, производимые датчиком, но и объединять их с показаниями GPS, акселерометра и гироскопа для создания точной карты вашего непосредственного окружения в режиме реального времени.

    Делать все это на смартфоне с процессором ARM компания описывает как «сложную задачу».

    4. Могу ли я уже получить Project Tango?

    Во время своего объявления Google заявил, что в первую очередь отобранным разработчикам было передано 200 прототипов телефонов, и что 4000 планшетов стоимостью 1024 доллара США каждый будут доступны примерно сейчас. Это похоже на то, как были запущены Google Glass.

    Астронавты также могли поиграть с Tango, потому что он уже побывал в космосе — как показано в видео выше.

    ПОДРОБНЕЕ: Новый проект Google — картирование человеческого тела

    5. Как выглядит планшет?

    Это довольно стандартный 7-дюймовый планшет с небольшим клином сзади для размещения дополнительных датчиков. Насколько мы можем судить, у него три камеры, включая веб-камеру.

    Внутри у него один из еще не протестированных мобильных процессоров Nvidia Tegra K1 с мощными 4 ГБ оперативной памяти и 128 ГБ SSD.

    Google изо всех сил старается указать, что это не потребительское устройство, но, предположительно, оно уже в пути. Сделано LG, ожидается, что он появится в следующем году.

    Телефон, отправленный ранее в этом году, был разобран iFixit, так что мы знаем об этом больше. Например, мы знаем, что его датчик глубины состоит из инфракрасного проектора, 4-мегапиксельной задней камеры и фронтального объектива типа «рыбий глаз» с полем обзора 180 градусов. Физически это стандартная форма телефона, но довольно коренастая по сравнению с моделью 2014 года. Больше похоже на что-то примерно из 2010 года

    Предположительно, в следующем году также будет выпущен телефон, ориентированный на потребителя — в конце концов, Tango имеет больше смысла на карманном устройстве. – но пока нет ни слова о том, кто может это сделать или как это может выглядеть.

    6. Хочу ли я получить его?

    Сейчас, наверное, нет.

    Ранние наборы действительно предназначены для тестирования API устройств и начала работы над приложениями, которые будут использовать новые возможности Project Tango.

    В будущем почти наверняка.

    Уже обсуждалось несколько очевидных вариантов использования Tango — игры в альтернативной реальности (AR) и 3D-сканирование — популярные повседневные занятия — но, как и в случае с Street View и Maps, только когда Tango появится, мы по-настоящему почувствуем его. разница, которую это может иметь значение.

    7. Если все это звучит странно знакомо…

    Google уже некоторое время работает над чем-то похожим на Project Tango, но в гораздо большем масштабе, чем процессоры для смартфонов. Причина, по которой его хваленые беспилотные автомобили работают, заключается в том, что они могут видеть все, что происходит вокруг них, строя на лету топографические карты, чтобы избежать столкновений и выбоин.

    Многое из тех же технологий было использовано в Tango, и над обоими проектами работали одни и те же люди. Да, мы довольно завидуем их резюме.

    8. Чего добивается Google?

    Изобретатель Creative Commons Ларри Лессиг заявил в своем выступлении на TED, что легко забыть, насколько изменился мир сегодня, благодаря желанию Google знать все.

    Например, в то время как многие люди считают некоторые задачи, в частности политическую реформу, невыполнимыми, они без проблем допускают вероятность того, что одна компания сфотографирует каждый квадратный метр почти каждой дороги в мире и соединит их вместе, чтобы создать единый сервис изображений. Что, на первый взгляд, должно быть гораздо более сложным проектом.

    Непредвиденные преимущества картографической одиссеи Google включают в себя все: от возможности посетить места отдыха перед их бронированием до доставки на дом в местах, где нет почтовых отделений и названий улиц.

    Если Project Tango заработает — а у нас нет причин подозревать, что это не так, — он может оказаться столь же революционным, как Карты или Просмотр улиц. Просто может потребоваться некоторое время, чтобы его истинная гениальность стала очевидной.

    9. Появилось ли оно в Play Store? (Спойлер: да)

    Похоже, релиз Project Tango не за горами, потому что он появился в магазине Google Play, хотя и в виде комплекта для разработки.