Новости высоких технологий. Lytro камера

Как работет Lytro-камера | Keddr.com

На прошлой неделе компания Lytro представила свою новую камеру с мелодичным названием Illum. Как и предыдущая модель компании, их новое детище отличается от привычных всем фотокамер возможностью выбора точки фокусировки на снимке уже после того, как он сделан. При этом, данная возможность реализована не на софтверном уровне, как в новом поколении мобильных флагманов, а исключительно на физическом. И сегодня я расскажу, как именно все это работает. Всем интересующимся настоятельно советую пройти в подкат!

Начнем, как водится, с определений. Компания Lytro — стартап, выпускающий пленоптические камеры, работающие по принципу световых полей. По сути, это первый коммерчески более-менее успешный проект в данной области, что, скорее всего, повлечет за собой ситуацию аналогичную таковой с Xerox и копировальными машинами. В том смысле, что вполне вероятен сценарий, что в будущем все пленоптические камеры будут в народе называться Литро-камерами. Но об этом мы сможем узнать, только в этом самом будущем побывав, а сейчас давайте вернемся к сути.

lytro-illum-1-1260x710

Итак, что же такое пленоптическая камера? Наиболее наглядным будет сравнение с “обычными” фотоаппаратами, которые с помощью линз объектива фокусируют плоскую картинку на матрице, с которой происходит считывание информации об интенсивности и частоте световых лучей. При этом никакой дополнительной информации о том, в каком направлении лучи шли до того, как уперлись в матрицу собрать не выходит. В итоге мы получаем плоскую проекцию реального мира на том или ином носителе.

строение-линзы

В пленоптической фотографии используется немного другой подход. Свет, который заходит в объектив, перед тем как попасть на светочувствительную матрицу проходит через массив микролинз. Каждая из таких микролинз распределяет свет на разные участки матрицы, после чего все эти данные считываются.

fb7e8b15ba1eb820907b035d924ed0b0

Чтобы наглядно объяснить, как же именно мы получим итоговое изображение, в котором информации будет содержаться гораздо больше, нежели в “обычном”, давайте мысленно повторим эксперимент П.П. Соколова, описанный им в 1911 году. Для его осуществления он изготовил пленоптическую решетку с 1200 коническими отверстиями и пропустил через них свет на пленку. Затем, после проявки, подсвечивая пленку с обратной стороны, свет вновь проходил через отверстия, только в обратном направлении, формируя при этом 3D-изображение.

sokolov

В случае с Lytro роль конических отверстий выполняют вышеупомянутые микролинзы, которых в модели Illum не 1200, как в эксперименте 1911 года, а 40 000 000 (они же 40 мегалучей). И “проявка” пленоптического изображения осуществляется не просвечиванием через массив микролинз в обратную сторону, а умными алгоритмами, для которых и понадобилась вся мощь Snapdragon 800.

Перспективы пленоптической фотографии

Итак, что же нам дает вышеупомянутая технология? Есть ли у нее перспективы или это просто игрушка, основанная на красивых оптических эффектах? Давайте начнем с предлагаемых возможностей.

Во-первых, пленоптический снимок дает нам возможность выбрать точку фокуса после того, как снимок уже сделан. Эта возможность является самой распиаренной в случае с Lytro, но при этом она не единственная. Можно долго спорить, баловство это, и труъ-фотографы должны заранее выбирать точку фокусировки, иначе каждый лох сможет делать шедевры, или же это следующий логичный шаг в развитии фотографии. Лично я склоняюсь ко второму варианту, а приверженцы первого пусть поговорят с товарищами, снимающими на пленку, которые будут говорить, что баланс белого выставлять постфактумом — для безруких и ущербных.

Lytro-2a

Во-вторых, в пленоптическом снимке содержится данные о положении объекта в пространстве. В частности, из такого снимка можно вытащить 3D-модель, что может быть полезно во многих сферах жизни: охранные системы, спортивные состязания (как конкурент или же дополнение к hawk eye, например), сканер для 3D-принтеров, etc.

vjW3j

В-третьих, представьте себе пленоптическое видео. Такой подход может дать возможность создавать ролики, которые могут быть индивидуальными для каждого. В том плане, что любой зритель может выбрать для себя, где сфокусироваться в каждом отдельном моменте времени. Только представьте себе, смотрите вы какой-нибудь детектив через свой Oculus Rift, и у вас есть возможность рассмотреть место преступления несколько раз, фокусируясь на разных участках, находя каждый раз разные детали. Видеоквест получается, не иначе. В общем, возможностей открывается действительно много.

Sherlock_S1_004-pic4_zoom-1000x1000-58540

Выводы

Лично я считаю, что пленоптическая фотография – логичный эволюционный шаг вперед. Будем надеяться, что у компании Lytro, или же у какой-то другой, получится довести технологию до такого уровня, что ею будет удобно пользоваться всем. Ведь фотография плавно перестает быть плоским отпечатком реальности на бумаге, перекачевывая на экраны. Так почему бы не дать ей возможность стать интерактивной за счет того же выбора точки фокусировки или наделением ее полноценным третьим измерением? По моему скромному мнению, такая функциональность в первую очередь не будет “костылем для ламеров, не умеющих наводить фокус”, а напротив — дополнительным художественным инструментом в руках фотографа.

На этом все. Надеюсь, данная статья была интересной и познавательной. Оставляйте свои мнения о пленоптической фотографии и продукции компании Lytro в частности в комментариях, и, как обычно, не забывайте поблагодарить автора, жмакнув на кнопки соцсетей под статьей. До новых встреч!

Если вы нашли ошибку, пожалуйста, выделите фрагмент текста и нажмите Ctrl+Enter.

keddr.com

Камера Lytro на ощупь / Хабр

Впервые, изучения светового поля были проведены в Стенфордском университете более 15 лет назад. Для наиболее перспективных исследований светового поля требовалась камера размером с комнату, соединенная с суперкомпьютером. Сегодня, Lytro завершает работу по овладению световым полем в лабораториях и сделала их доступными для всех, в виде первой камеры светового поля — Lytro

Световое поле

Световое поле — область пространства заполненная светом. Световое поле полностью определяет, то как появляется картинка. Это количество света, распространяющегося в любом направлении через каждую точку в пространстве. Обычные фотоаппараты не могут фиксировать световое поле.

Захват светового поля

Запись световых полей происходит инновационным способом, с использованием совершенно нового типа датчика, называемым сенсор светового поля. Сенсор светового поля записывает не только информацию о цвете и интенсивности каждой точки изображения, но ещё и векторную информацию о направленности света, поступающего в объектив камеры.

Обработка светового поля

Как камера светового поля может использовать дополнительную информацию? Используя мощное программное обеспечение для обработки дополнительных данных камера Lytro предоставляет новые возможности, которые были недоступны ранее.

В отличии от обычной камеры, которая фиксирует только передний план фотокамера Lytro фиксирует световое поле, в котором свет распостраняется в любом направлении и взаимодействует в каждой точке пространства. Таким образом на пост обработке вы можете выбрать место фокусировки в кадре.

Характеристики Lytro

Цвета: красный, серый, голубой
Объем памяти: 16 гб. (750 фотографий) или 8 гб. (350 фотографий)
Тип памяти: встроенная flash память.
Технология: Lytro Light Field Sensor and Lytro Light Field Engine 1.0.
Оптика: 8-х оптический зум, постоянная f/2.
Управление: кнопка включения, затвора, зума и тачскрин.
Дисплей: ЖК дисплей 1,46″ с функцией тачскрин.
Экспозиция: устанавливается с помощью тачскрина.
Аккамулятор: литий-ионный встроенный аккумулятор.
Файл записи .flp
Разрешение: 11 мегарэй. Количество световых лучей улавливаемых сенсором.
ПО: входит в комлект поставки. Mac версия. Windows версия разрабатывается.
Хранение фотографий: бесплатное хранение фотографий на сервере Lytro.com.
Корпус: облегченный анодированный алюминий.
Вес: 214 грамм
Размеры: 41 mm x 41 mm x 112 mm
Комплект поставки: фотоаппарат Lytro, Крышка объектива, Платок для ухода за оптикой, Ремешок на запястье, 1 м. Micro-USB кабель, ПО.

Аксессуары: устройство быстрого заряда.

(с Lytro-russia.ru)

habr.com

Обзор камеры Lytro + видео

Многие камеры сегодня поддерживают как автоматическую, так и ручную фокусировку; а неопытные владельцы зеркальных камер огорченно смотрят на свои размытые снимки и сожалеют об упущенном моменте. Идеальным решением всех этих проблем может стать камера, которую представила компания Lytro.

Lytro - первая в мире фотокамера которая записывает световое поле. Ее уникальность в том, что в ней отсутствует фокусировка, она попросту не нужна. Съемка происходит мгновенно без какой либо подготовки. Полученный кадр можно рассмотреть и обработать. При этом сфокусировать можно любой участок изображения, даже если он получился размытым.

Камера, изготовленная по технологии Lytro, захватывает намного больше информации, чем любой традиционный фотоаппарат, который фактически снимает только то, что попало на его сенсор, и только в таком виде. Камера Lytro отслеживает движение каждого светового луча, его цвет, интенсивность и направление. Создается виртуальная модель интерактивной фотографии, фокусировку которой можно настроить уже после съемки, наведя ее или на фоновые объекты, или на то, что расположено на переднем плане. Никаких дополнительных средств обработки изображения уже не требуется.

Внешность камеры очень простая и больше походит на игрушку. При длине 11 см, камера весит 230 гр. Имеет всего две кнопки - питание и съемка. Камера компактная, она необычно выглядит и обладает неординарной функциональностью.

В ней используется оптика с постоянной шириной диафрагмы f/2, есть функция 8-кратного оптического увеличения, 8 или 16 ГБ флэш-памяти и всего две аппаратные кнопки. Одна отвечает за включение камеры, вторая — за спуск затвора, который происходит мгновенно. Активируется устройство тоже очень быстро. С момента включения камеры и до создания готового снимка проходит менее секунды.

Также есть сенсорный дисплей для построения кадра и просмотра готовых снимков, в процессе которого можно выбирать точку фокусировки. Это и есть главная особенность гаджета, которая не даст упустить интересный момент и при этом не будет ошибки с фокусировкой.

Во время съемки устройство сохраняет информацию не о цветовых параметрах определенной точки на плоской картинке, а о луче света, которых воспринимается камерой до 11 млн штук (11 «мега-лучей», как называет эту характеристику производитель).

Камера Lytro продается в 3-х цветовых исполнениях и с объемом памяти 8 и 16 Гб, что вмещает 350 и 750 фотографий соответственно. Вариант с 8 Гб памяти обойдется в $399, а варианты с 16 Гб памяти – в $499.

dphotoworld.net

Камера Lytro

Работа с файлами

Буквально считанные часы были у меня, чтобы ознакомиться с камерой Lytro. Однако впечатления были столь яркими, что я решил написать эту статью. Если рассматривать эту камеру среди других фотоаппаратов, то на данный момент это не практический инструмент, а занимательная игрушка и хорошее наглядное пособие. Идеи, лежащие в основе этой камеры, древни, как мир. Природа реализовала их сотни миллионов лет назад, создав фасеточный глаз насекомых.

Человечество технически попыталось реализовать эту идею лет сто назад. Растровая интегральная фотография связана с именем Габриэля Липмана, получившего в 1908 году Нобелевскую премию по фотографии — правда, не за интегральную растровую фотографию, а за интерференционную. Цель наглядного пособия — показать существование явления и продемонстрировать принципы, лежащие в его основе. С демонстрацией у камеры Lytro все очень хорошо, а с познавательностью и принципами — не так просто. Есть достаточно короткое описание на сайте проекта и существенно более полное в диссертации Ren Ng. Диссертация «стандартных» размеров, в 200 страниц. Автор, безусловно, руководствовался заповедями диссертанта: «Не пиши длинно: диссертация не “Война и мир”, а ты не Лев Толстой. Не пиши кратко, это свидетельствует либо о большом таланте, либо о скудости ума; ни того, ни другого ученый совет тебе не простит». В общем, диссертация очень интересная, но на пальцах изложить ее содержание я не берусь. Отмечу только, что в солидной библиографии среди работ, положенных в основу, упоминаются и труды 1930-х годов ведущего сотрудника ГОИ Андрея Александровича Гершуна, который, в том числе, является и одним из основоположников гидрооптики, которой я отдал значительную часть своей жизни.

Итак, что из себя представляет камера. Маленький параллелепипед, в одном торце которого виден объектив, другой ее торец целиком занимает сенсорный квадратный экран.

На верхней грани сенсорный ползунок, позволяющий менять фокусное расстояние объектива, и кнопка спуска затвора. На нижней грани кнопка питания и разъем Micro-USB. Если включить камеру, то у нас есть возможность касанием экрана выбрать точку фокусировки или точку, по которой будет оцениваться экспозиция, сделать снимок и потом его рассматривать. Экран довольно грубый, примерно 240×240 точек, но тем не менее, он позволяет увидеть и оценить тот эффект, ради которого была сделана камера. А именно: касанием экрана можно сфокусироваться на любой точке снимка. Т. е. фокусировка возможна не до, а после.

Камера записывает не изображение, а ход лучей. Чтобы посмотреть это более подробно и попытаться понять, как же это все работает, надо подключить камеру к компьютеру. На момент моего знакомства с камерой была только одна возможность: подсоединить ее к компьютеру фирмы Apple. (24 июля 2012 года анонсировано и программное обеспечение для Windows.)

В этом случае компьютер скачает с камеры программное обеспечение, установит его и позволит перенести снимки на компьютер. После этого, запустив программу, можно рассматривать полученные снимки уже размером 1080×1080 точек. Для того, чтобы поделиться снимками со знакомыми, предусмотрена только возможность выложить их в интернете на сайте производителя, где с помощью проигрывателя, построенного на технологии Flash, можно поиграть, меняя точку фокусировки снимка. Предусмотрена возможность вставить ссылку на проигрыватель и в тело собственного HTML-файла.

Возможность редактировать снимки или хотя бы просто записать их на внешний носитель не предусмотрена. Однако голь на выдумки хитра, и дотошные пользователи обнаружили на компьютере папочку, в которой сложены снимки двух типов: *.lfp и *-stk.lfp (ссылки позволяют скачать примеры файлов). А Nirav Patel научился разбирать эти снимки на составляющие. Для этого он написал программу lfpsplitter, которая преобразует эти файлы в несколько других, но уже привычного или достаточно легко читаемого формата. Файл *.lfp представляет собой сырую информацию с матрицы. После применения к нему программы преобразования:

./lfpsplitter IMG_0001.lfp

получаем следующие файлы: IMG_0001_table.json, IMG_0001_imageRef0.raw, IMG_0001_metadataRef.json, IMG_0001_privateMetadataRef.json. Применив к IMG_0001_imageRef0.raw программу raw2tiff из пакета Libtiff:

raw2tiff -w 3280 -l 3280 -d short IMG_0001_imageRef0.raw output.tif

получим стандартное изображение в формате TIFF, на котором увидим группу изображений, созданных микролинзами. В результате мы получим матрицу, на которой расположено 300×300 микроизображений.

Миниатюра сырого снимка. Красным квадратом отмечено положение фрагмента, приведенного ниже.

Фрагмент при верстке увеличен в два раза. Грубо говоря, светящаяся точка представляется кружком, чей диаметр зависит от расстояния до объекта.

Файл *-stk.lfp представляет собой стопку снимков, сфокусированных в разных плоскостях, и карту глубин. После применения к нему программы преобразования:

./lfpsplitter IMG_0001-stk.lfp

получаем следующие файлы: IMG_0001-stk_table.json, IMG_0001-stk_depth.txt, IMG_0001-stk_0.jpg, …, IMG_0001-stk_N.jpg.

Миниатюры половинного размера двух снимков из стопки. Щелкнув по ним мышью, можно увидеть исходное изображение.

Снимки в стопке — в формате JPEG, и содержат уже 1080×1080 точек. Достаточно легко представить себе, как из сырого снимка можно получить стопку снимков с разрешением 300×300. Если представить, что мы снимаем светящуюся точку, расположенную на разных расстояниях от аппарата, то ее изображение будет представлять из себя кружки, диаметр которых будет связан с расстоянием до объекта. Таким образом, беря яркость концентрических колец, мы можем получить стопку снимков, сфокусированных в разных плоскостях. Начиная с некоторого расстояния точки до аппарата, ее изображение будет фиксироваться уже не одной линзой микрорастра, а несколькими. Но и эту систему уравнений можно попытаться достаточно просто решить. А вот достижение авторов проекта, позволившее удевятерить разрешение, является нетривиальным.

Да, на сегодняшний момент это только игрушка. 12-мегапиксельная матрица этой камеры позволяет получить изображение 1 Мп. Если снять 12-мегапиксельной обычной мыльницей с той же дистанции тот же объект, то за счет диафрагмирования и преобразовав его в изображение размером 1 Мп, мы получим снимок, на котором все объекты будут резкими независимо от дистанции до них.

Снимок сделан с той же точки, что и камерой Lytro, но уже камерой Canon A650 при диафрагме F:8 и фокусном расстоянии 7 мм. Взят фрагмент кадра.

Таким образом, вся самая интересная информация, которую позволяет получить камера Lytro, лежит не в стопке снимков, а в текстовом файле IMG_0001-stk_depth.txt, содержащем карту глубин. Я написал простенькую программу на Gambas3, которая создает из этого текстового файла изображение, где расстоянию до объекта соответствует плотность серого. Чем темнее, тем ближе. Исходный код можно скачать здесь.

Воспользовавшись фильтром для графического редактора GIMP:

и применив к двум вышеприведенным снимкам нашу карту глубин, получим:

Объединив всю стопку снимков, записанных камерой Lytro, мы в лучшем случае получим снимок, резкость которого во всех плоскостях будет такой же, как у снимка, снятого обычной мыльницей. А вот карта глубин, записанная камерой, позволит из этого снимка выделить объекты, находящиеся на разной дистанции. Если применить эту карту глубин к снимку, снятому мыльницей, мы можем получить, с помощью достаточно простого проигрывателя, возможность менять точку фокусировки. Таким образом, у нас появляется возможность получить изображение, довольно точно соответствующее снимку, сделанному куда более светосильным объективом с очень маленькой глубиной резкости даже при использовании маленькой по площади матрицы.

Файл IMG_0001-stk_table.json связывает файлы в стопке с информацией о расстоянии. К сожалению, в стопке файлы расположены не в порядке изменения расстояния, а идентификатор, указанный в этом файле, при разборе на составляющие программой lfpsplitter не записывается в файл JPEG. Поэтому он практически бесполезен, и, чтобы определиться, необходимо посмотреть в двоичном редакторе исходный файл IMG_0001-stk.lfp. В результате я написал программу просмотра только для конкретного снимка, вставив параметры и номера файлов прямо в текст программы. Для полноценной программы просмотра надо было писать собственную программу разбора исходного файла на составлявшие. Кроме функций просмотра, данная программа может объединять снимки, показывая для каждого из 400 квадратов, на которые разбита карта глубин, самый резкий фрагмент. Исходный код можно скачать здесь.

Для конкретного снимка несложно сделать и собственную программу демонстрации на основе технологии Flash. Нижеприведенная программа не только перефокусирует снимок, но и показывает зону одинаковой, по мнению камеры, резкости.

Камера Lytro — это первый работающий и очень добротно сделанный прототип, показывающий, куда дальше может развиваться фотография. Уже сегодня можно сделать матрицы с размером чувствительного элемента столь маленьким, что практически не найдется объективов, которым такое разрешение полезно. Группировка же чувствительных элементов за микролинзовым растром позволит получить дополнительную информацию. При таком же размере пикселя, как в камере Lytro, но используя матрицу 25×25 мм, мы могли бы получить уже не 1-мегапиксельное, а 25-мегапиксельное изображение, из которого потом можно легко выбрать нужную плоскость фокусировки. Если реализовать видеосъемку с таким разрешением, то любимый многими режиссерами прием фокусировки на сюжетно важном объекте можно сделать независимым от мастерства оператора и реализовывать его на этапе монтажа. Кроме того, микрорастр открывает возможности получения стереоизображения.

На сегодняшний момент, к сожалению, камера Lytro — это игрушка не под Linux. Похоже, что проблема программного обеспечения состоит только в драйвере USB. Если бы память камеры была видна как съемный диск, никаких проблем с работой в других операционных системах не было бы. Хотя здесь есть одна неясность: файлы, которые мы научились разбирать, скачаны с MacBook, и непонятно, был ли файл со стопкой снимков получен и обработан камерой или уже компьютером.

www.ixbt.com

Lytro illum обзор, пленоптические камеры

Камера LYTRO

Работа с файлами

Буквально считанные часы были у меня, чтобы ознакомиться с камерой LYTRO. Однако впечатления были столь яркими, что я решил написать эту статью. Если рассматривать эту камеру среди других фотоаппаратов, то на данный момент это не практический инструмент, а занимательная игрушка и хорошее наглядное пособие. Идеи, лежащие в основе этой камеры, древни, как мир. Природа реализовала их сотни миллионов лет назад, создав фасеточный глаз насекомых.

Человечество технически попыталось реализовать эту идею лет сто назад. Растровая интегральная фотография связана с именем Габриэля Липмана, получившего в 1908 году Нобелевскую премию по фотографии, правда, не за интегральную растровую фотографию, а за интерференционную. Цель наглядного пособия – показать существование явления и продемонстрировать принципы, лежащие в его основе. С демонстрацией у камеры LYTRO все очень хорошо, а с познавательностью и принципами – не так просто. Есть достаточно короткое описание на сайте проекта и существенно более полное в диссертации Ren Ng. Диссертация «стандартных» размеров, в 200 страниц. Автор, безусловно, руководствовался заповедями диссертанта: «Не пиши длинно: диссертация не «Война и мир», а ты не Лев Толстой. Не пиши кратко, это свидетельствует либо о большом таланте, либо о скудости ума; ни того, ни другого ученый совет тебе не простит». В общем, диссертация очень интересная, но на пальцах изложить ее содержание я не берусь. Отмечу только, что в солидной библиографии среди работ, положенных в основу, упоминаются и труды 1930-х годов ведущего сотрудника ГОИ Андрея Александровича Гершуна, который, в том числе, является и одним из основоположников гидрооптики, которой я отдал значительную часть своей жизни.

На верхней грани сенсорный ползунок, позволяющий менять фокусное расстояние объектива, и кнопка спуска затвора. На нижней грани кнопка питания и разъем micro USB. Если включить камеру, то у нас есть возможность касанием экрана выбрать точку фокусировки или точку, по которой будет оцениваться экспозиция, сделать снимок и потом его рассматривать. Экран довольно грубый, примерно 240х240 точек, тем не менее, он позволяет увидеть и оценить тот эффект, ради которого была сделана камера. А именно, касанием экрана можно сфокусироваться на любой точке снимка. Т.е. фокусировка возможна не до, а после.

Камера записывает не изображение, а ход лучей.

Чтобы посмотреть это более подробно и попытаться понять, как же это все работает, надо подключить камеру к компьютеру. На момент моего знакомства с камерой была только одна возможность: подсоединить ее к компьютеру фирмы Apple (24 июля 2012 года анонсировано и программное обеспечение для Windows).

В этом случае компьютер скачает с камеры программное обеспечение, установит его и позволит перенести снимки на компьютер. После этого, запустив программу, можно рассматривать полученные снимки уже размером 1080х1080 точек. Для того, чтобы поделиться снимками со знакомыми, предусмотрена только возможность выложить их в Интернете на сайте производителя, где с помощью проигрывателя, построенного на технологии Flash, можно поиграть, меняя точку фокусировки снимка. Предусмотрена возможность вставить ссылку на проигрыватель и в тело собственного html файла.

Возможность редактировать снимки или хотя бы просто записать их на внешний носитель не предусмотрена. Однако «голь на выдумки хитра», и дотошные пользователи обнаружили на компьютере папочку, в которой сложены снимки двух типов *.lfp и *-stk.lfp (Ссылки позволяют скачать примеры файлов). А Nirav Patel научился разбирать эти снимки на составляющие. Для этого он написал программу lfpsplitter, которая преобразует эти файлы в несколько файлов, но уже в привычном или достаточно легко читаемом формате. Файл *.lfp представляет собой сырую информацию с матрицы. После применения к нему программы преобразования:

./lfpsplitter IMG_0001.lfp

Получаем следующие файлы: IMG_0001_table.json, IMG_0001_imageRef0.raw, IMG_0001_metadataRef.json, IMG_0001_privateMetadataRef.json. Применив к IMG_0001_imageRef0.raw программу raw2tiff из пакета Libtiff:

raw2tiff -w 3280 -l 3280 -d short IMG_0001_imageRef0.raw output.tif

Получим стандартное изображение в формате TIFF, на котором увидим группу изображений, созданных микролинзами. В результате, мы получим матрицу, на которой расположено 300х300 микроизображений.

Миниатюра сырого снимка. Красным квадратом отмечено положение фрагмента, приведенного ниже.

Фрагмент при верстке увеличен в два раза. Грубо говоря, светящаяся точка представляется, кружком чей диаметр зависит от расстояния до объекта.

./lfpsplitter IMG_0001-stk.lfp

получаем следующие файлы: IMG_0001-stk_table.json, IMG_0001-stk_depth.txt, IMG_0001-stk_0.jpg, …, IMG_0001-stk_N.jpg.

50% миниатюры двух снимков из стопки. Щелкнув по ним мышью, можно увидеть исходное изображение.

Снимки в стопке – в формате JPEG и содержат уже 1080х1080 точек. Достаточно легко себе представить, как из сырого снимка можно получить стопку снимков с разрешением 300х300. Если себе представить, что мы снимаем светящуюся точку, расположенную на разных расстояниях от аппарата, то ее изображение будет представлять из себя кружки, диаметр которых будет связан с расстоянием до объекта. Таким образом, беря яркость концентрических колец, мы можем получить стопку снимков, сфокусированных в разных плоскостях. Начиная с некоторого расстояния точки до аппарата, ее изображение будет фиксироваться уже не одной линзой микрорастра, а несколькими. Но и эту систему уравнений можно попытаться достаточно просто решить. А вот достижение авторов проекта, позволившее удевятерить разрешение, является нетривиальным.

Да, на сегодняшний момент это только игрушка. 12 Мп матрица этой камеры позволяет получить 1 Мп изображение. Если снять 12 Мп обычной мыльницей с той же дистанции тот же объект, то за счет диафрагмирования и преобразовав его в 1 Мп изображение, мы получим снимок, на котором все объекты будут резкими независимо от дистанции до них.

Снимок сделан сделан с той же точки, что и камерой LYTRO, но уже камерой Canon A650 при диафрагме F:8 и фокусном расстоянии 7 мм. Взят фрагмент кадра.

Таким образом, вся самая интересная информация, которую позволяет получить камера LYTRO, лежит не в стопке снимков, а в текстовом файле IMG_0001-stk_depth.txt, содержащем карту глубин.

Я написал простенькую программу на Gambas3, которая создает из этого текстового файла изображение, где расстоянию до объекта соответствует плотность серого. Чем темнее, тем ближе. Исходный код можно скачать здесь.

Воспользовавшись фильтром для графического редактора GIMP:

И применив к двум вышеприведенным снимкам нашу карту глубин получим:

Объединив всю стопку снимков, записанных камерой LYTRO, мы в лучшем случае получим снимок, резкость которого во всех плоскостях будет такой же, как у снимка, снятого обычной мыльницей. А вот карта глубин, записанная камерой, позволит из этого снимка выделить объекты, находящиеся на разной дистанции.

Lytro Illum — новое поколение камер светового поля

Если применить эту карту глубин к снимку, снятому мыльницей, мы можем получить, с помощью достаточно простого проигрывателя, возможность менять точку фокусировки. Таким образом, мы получаем возможность получить изображение, довольно точно соответствующее снимку, сделанному с куда более светосильным объективом с очень маленькой глубиной резкости даже при использовании маленькой по площади матрицы.

Файл IMG_0001-stk_table.json связывает файлы в стопке с информацией о расстоянии. К сожалению, в стопке файлы расположены не в порядке изменения расстояния, а идентификатор, указанный в этом файле, при разборе на составляющие программой lfpsplitter не записывается в файл JPEG. Поэтому он практически бесполезен и, чтобы определиться, необходимо посмотреть в двоичном редакторе исходный файл IMG_0001-stk.lfp. В результате, я написал программу просмотра только для конкретного снимка, вставив параметры и номера файлов прямо в текст программы. Для полноценной программы просмотра надо было писать собственную программу разбора исходного файла на составлявшие. Кроме функций просмотра, данная программа может объединять снимки, показывая для каждого из 400 квадратов, на которые разбита карта глубин, самый резкий фрагмент. Исходный код можно скачать здесь.

Для конкретного снимка несложно сделать и собственную программу демонстрации по технологии Flash. Нижеприведенная программа не только перефокусирует снимок, но и показывает зону одинаковой, по мнению камеры, резкости.

Установите проигрыватель Flash

Камера LYTRO – это первый работающий и очень добротно сделанный прототип, показывающий, куда дальше может развиваться фотография. Уже сегодня можно сделать матрицы с размером чувствительного элемента столь маленьким, что практически не найдется объективов, которым такое разрешение полезно. Группировка же чувствительных элементов за микролинзовым растром позволит получить дополнительную информацию. При размере пикселя, таком же, как и в камере LYTRO, но используя матрицу 25х25 мм, мы могли бы уже получить не 1 Мп, а 25 Мп изображение, из которого потом можно легко выбрать нужную плоскость фокусировки. Если реализовать видеосъемку с таким разрешением, то любимый многими режиссерами прием фокусировки на сюжетно важном объекте можно сделать независимым от мастерства оператора и реализовывать его на этапе монтажа. Кроме того, микрорастр открывает возможности получения стереоизображения.

На сегодняшний момент, к сожалению, камера LYTRO это игрушка не под Linux. Похоже, что проблема программного обеспечения состоит только в драйвере USB. Если бы память камеры была видна как съемный диск, никаких проблем с работой в других операционных системах не было бы. Хотя здесь есть одна неясность. Файлы, которые мы научились разбирать, скачаны с MacBook, и непонятно, файл со стопкой снимков был получен и обработан камерой или уже компьютером.

04.09.2012

Установите проигрыватель Flash

steptosleep.ru

Lytro camera - отзывы, фотографии и обзор фотоаппарата

Hi-News.ru
Темы
Технологии
Lytro представила камеру виртуальной реальности Immerge

Три года назад Lytro разработала камеру, способную захватывать всё световое поле в кадре и позволяющую изменять глубину резкости изображения после съёмки. Компания выпустила два цифровых фотоаппарата, один из которых похож на калейдоскоп (400-500 долларов), другой – на DSLR-камеру (1600 долларов). Однако ни одна из представленных моделей не поддерживала захват видео. Это был всего лишь вопрос времени. Lytro реализовала свои разработки в новом продукте, ориентированном на фильммейкеров и геймеров.

Читать далее →

Hi-News.ru
Темы
Технологии
Теперь все серьезно: Lytro представила камеру Illum

Несмотря на использование одной и той же технологии, вторая камера Lytro имеет мало общего с первой попыткой компании выпустить фотоаппарат, способный захватывать все световое поле в кадре. Если первая модель, дебютировавшая больше чем два года назад, была похожа на калейдоскоп и ориентирована на обывателей, то новая Lytro Illum по своему внешнему виду и по цене больше походит на профессиональную зеркальную камеру.

Читать далее →

Hi-News.ru
Темы
Камеры
Новое приложение Nokia превращает Lumia в камеру Lytro

Сегодня на ивенте Nokia World финская компания Nokia показала шесть новых устройств. Была проделана огромная работа, в том числе над улучшениями камеры. Помимо Pro Cam Nokia анонсировала приложение Refocus для всех WP-смартфонов, использующих технологию PureView. Новая опция позволяет менять фокус на уже отснятом изображении. Знакомо, не правда ли?

Читать далее →

Hi-News.ru
Темы
Камеры
Lytro готовит очередной переворот в мире фотографии

До недавнего времени мало кто слышал о компании Lytro, которая прославилась технологией, позволяющей изменять глубину резкости изображения после съемки. Затем она вновь исчезла из поля зрения СМИ. И вот стало известно о планах компании на 2014 год.

Читать далее →

hi-news.ru

Экспериментальная камера Lytro

Общее знакомство

Предыстория

Еще с тех давних времен, когда свет стали считать электромагнитной волной, а не потоком частиц, постепенно в употребление вошел термин «световое поле». По сути, это электромагнитное поле, действие которого мы непрерывно наблюдаем. И, как любое электромагнитное поле, оно векторное, то есть имеет направление в каждой точке пространства. То, что видит человек — это свет, который попал ему в глаз, отразившись от различных объектов с разной интенсивностью, разной длиной волны. И под разным направлением. То же «видит» объектив фотокамеры. Разве что у него гораздо меньше настроек, и динамический диапазон у́же.

Принцип действия фотокамеры без проблем описывается законами геометрической оптики, в которой свет, в основном, представляется световыми лучами без привлечения волн и полей. Однако в этом случае камера имеет ряд ограничений, таких как, например, необходимость выбора фокальной плоскости, или попросту фокуса. Что бы мы ни делали, по законам геометрической оптики камера получает резкое изображение лишь одной из множества плоскостей, перпендикулярных оптической оси объектива. Поскольку в жизни все объекты протяженные, а не точечные, всё, находящееся перед или за этой плоскостью, будет нерезким.

Фотокамера же, основанная на принципе записи светового поля, в некотором смысле «делит» один световой пучок на много, воспроизводя, таким образом, эффект, получаемый матрицей, составленной из нескольких отдельных камер — так называемой пленоптической камерой.

Идеей разработки и воплощения в жизнь портативной пленоптической камеры и загорелся однажды студент Стэнфорда Рен Нг (Ren Ng), когда, снимая на свою зеркальную камеру, заметил, что у него не всегда получается поймать в фокус нужный объект. На портрете его супруги здание на заднем плане получилось резким, а вот супругу фокус миновал. С подробного описания этой проблемы Рен и начал свою будущую диссертацию. Он не стал разбираться с тонкостями фокусировки своей камеры и, будучи человеком науки, пошел другим путем. Он решил расширить возможности камеры за счет получения информации о световом поле снимка.

В 2006 году Рен закончил работу над своей диссертацией «Digital light field photography» и защитил ее, получив ученую степень доктора (PhD). Но на этом он не остановился, решив, что все должны иметь возможность использовать технологию светового поля в цифровой фотографии. Практически в одиночку, найдя спонсоров, Рен создал компанию Lytro и занялся разработкой первой камеры светового поля.

В 2011 году камера, названная по имени компании, увидела свет. И, собственно, его поле.

Дизайн и комплектация

Камера выглядит очень необычно. Это небольшой вытянутый брусок, со слегка закругленными гранями и с миниатюрным сенсорным экраном на торце.

Передняя часть камеры покрыта металлом (доступны разные цветовые варианты; у нас был голубой), задняя — прорезиненным материалом.

Прямо скажем, для съемки с рук камера не очень удобна: кнопка съемки находится на одной из сторон этого бруска, и она не столь рельефна и заметна, как хотелось бы.

Камера поставляется в средних размеров коробке из белого плотного картона.

Для защиты объектива в комплекте идет резиновая насадка. Также в комплекте была ткань для протирки объектива и экрана, шнурок и краткая инструкция.

Соединение с компьютером производится посредством стандартного кабеля Micro-USB, который входит в комплект. Таким же образом происходит подзарядка аккумулятора.

Фотолюбители наверняка удивятся, что здесь нет привычных элементов управления. И действительно, помимо включения/выключения камеры, а также спуска затвора здесь есть только восьмикратный оптический зум, который осуществляется перемещением пальца по чувствительной зоне на прорезиненной части камеры (рядом с кнопкой съемки). На фотографии ниже эту зону обозначает ряд маленьких вертикальных черточек.

Сенсорный экран (размером 1,46″) в плане управления нужен только для того, чтобы самостоятельно выбирать фокусировку (включив режим Creative Mode; полезно при макросъемке). Кроме того, на экранчике можно посмотреть отснятые фотографии, и там же показывается значок подзарядки, когда камера подключена к компьютеру.

Если вам нужно удалить фотографии или сделать сброс настроек — сенсорный экранчик поможет и с этим.

Создаем фотографии и работаем с ними на компьютере

Главный сюрприз для фотолюбителей заключается в том, что без особых ухищрений (а попросту говоря, взлома) фотографии с камеры переписать невозможно. Для просмотра фотографий приходится использовать специальную программу, которая устанавливается сразу после подключения камеры к компьютеру. Далее эти снимки можно экспортировать в Facebook или на сайт Lytro, где вы создаете свою учетную запись. Там же можно получить embed-код и вставлять, таким образом, фотографии на любых других сайтах.

Первоначально ПО для работы с Lytro было доступно только в версии для OS X, и лишь недавно появилась Windows-версия.

Функциональность программы очень скромная: например, она не дает возможности редактирования фото. Только просмотр (с возможностью ручного перемещения фокуса), экспорт в онлайн или удаление.

Экспорт в онлайн-хранилище на lytro.com также не дает никаких дополнительных возможностей — разве что список социальных сетей, где можно автоматически опубликовать снимок, там дополнен Twitter и Google+. Однако если вы не хотите нигде публиковать снимки, можете просто прислать своим друзьям ссылку на вашу страницу на сайте Lytro — и они без проблем и без регистрации смогут посмотреть плоды ваших фотоэкспериментов.

Давайте и мы посмотрим, что же собой представляет снимок, сделанный камерой Lytro.

Смотрим снимки

Снимки имеют непривычное почти «квадратное» соотношение сторон. Впрочем, это здесь не столь важно. Да и пользователи Instagram будут довольны :)

Для того, чтобы понять, что же в этом снимке необычного, щелкните сначала по цветочку, а затем — по мишени на заднем плане. И вы увидите, что фокус сместился.

Далеко не во всех случаях игра с фокусом будет столь же эффектной. Скажем, приведенный ниже снимок уже не вызывает вау-эффекта. Хотя и на нем можно фокусироваться на разных объектах, наблюдая результат.

А уж пейзажи или какие-то другие общие виды снимать на Lytro совершенно бессмысленно.

Толк есть только тогда, когда на фотографии четко различается передний план и задний. Но надо быть готовым к тому, что абсолютно у всех снимков резкость и цветопередача хуже, чем даже у камеры бюджетного смартфона.

Принцип работы

Lytro была заявлена как революционная камера, способная фиксировать световое поле. Сразу возникает два вопроса: «В чем заключается “революционность”?» и «Что же это все-таки за световое поле?».

Для простоты восприятия можно сказать, что, делая снимок, мы получаем не обычную плоскую картинку, а некий объем, имеющий глубину в несколько слоев. Конечно, это лишь упрощение.

Для того, чтобы получить резкий объект в кадре, а всё лишнее «размыть», применяют светосильную оптику. В этом случае информация о снимке пополняется еще одним параметром: ГРИП (глубина резко изображаемого пространства). Чем она меньше, тем больше ненужного в кадре «размыто», и тем проще выделить на снимке нужный объект. Помимо самого кадра Lytro записывает дополнительную информацию о световом поле снимка, позволяя представить его как набор слоев, имеющих одинаковую ГРИП, но привязанную к разным объектам кадра. В итоге получается «живая» картинка, на которой можно выбрать любой план, чтобы объекты на нем были резкими.

Подробнее о принципе работы Lytro рассказано в отдельном материале Владимира Родионова.

Выводы

«Shoot now, focus later» — гласит слоган производителя. Предполагается, что новая технология избавляет фотографа от необходимости фокусироваться на нужном ему объекте, позволяя выбрать фокус потом, при обработке фото (которая, кстати, в данном случае невозможна). С одной стороны, это удобно, а с другой — делает фотосъемку до неприличия простой. Казалось бы, пропасть между любителями и профессионалами сокращается теперь до одного шага, на котором важно умение правильно поставить кадр, собрать композицию. Однако Lytro все же имеет ряд серьезных ограничений, начиная от скудного выбора настроек и заканчивая ее «революционным» дизайном, при котором становится сложно делать снимки с некоторых ракурсов.

В целом, если не обращать внимания на форму корпуса, которая, видимо, призвана подчеркнуть «инновационность», камера напоминает обыкновенную «мыльницу», из которой убрали все «лишнее», заменив свободой выбора фокуса на готовом снимке. Откровенно говоря, на место в ряду профессиональной техники она претендовать никак не может, да и «мыльницам» во многом проигрывает. Однако в первую очередь Lytro ценна не как готовый коммерческий продукт, а как демонстрация возможностей технологии, а также как практическое подтверждение теории (об этом также пойдет речь в статье Владимира Родионова — прим. редактора).

Но есть ли смысл в «живых» снимках, на которых можно выбирать фокус, как вам заблагорассудится? Все же, выбор фокуса — задача, обязанность и привилегия фотографа, а не зрителя. Но как раз профессиональным фотографам такая технология могла бы хорошо послужить. Проблема ошибки фокуса действительно существует. Есть области, в которых данная технология, интегрированная в зеркальные камеры, могла бы быть очень полезна. Например, портретная или макросъемка.

Часто бывает, что даже мотор дорогих объективов ошибается на долю миллиметра. Особенно такое возможно на двадцатиградусном морозе. Портрет на дисплее фотоаппарата может выглядеть неплохо, но на большом мониторе становится видно, что один глаз человека вышел резким, а второй ушел в туман. И тут уже ничего не исправить — снимок испорчен. Но вот появилась возможность немного подвигать фокус на снимке, чуть подрастянуть ГРИП — и снимок идеален.

В макро бывают иные проблемы. При использовании автофокуса (да пусть даже и ручного) всегда есть вероятность немного промахнуться при съемке мелких деталей. И вот тут может быть полезно иметь возможность потом все подправить.

Впрочем, все эти рассуждения не имеют прямого отношения к рассматриваемому нами устройству. Это лишь смутные перспективы. Сама же Lytro все же больше похожа на опытный образец, подкрепляющий диссертацию своего создателя, а не на готовый продукт. По поводу стратегии серийного производства камер Lytro можно лишь строить догадки. Но хочется надеяться, что гиганты-производители фототехники все же заинтересуются новой технологией и явят миру доработанную настраиваемую серьезную камеру, а не эффектный, но, в общем-то, бесполезный хипстерский гаджет.

Авторы благодарят Владимира Родионова за помощь и советы

www.ixbt.com