Нейронная сеть фото: 10 нейросетей для обработки изображений

Содержание

создаем оригинальные изображения с помощью нейронных сетей (удивляем девушку!)

Автор: Alexandr, 01.10.2022
Рубрики: Android (смартфоны, планшеты), Картинки, скрины и фото

Доброго времени!

Бесспорно, что яркие и броские фотографии всегда привлекали и будут привлекать внимание! Ну а вовремя сделанная такая необычная фотография способна не только поднять настроение, но и стать неплохим подарком по любому поводу 😉. Например, можно неплохо так удивить девушку!

Собственно, как вы догадались из названия статьи и предисловия — речь сегодня пойдет о нескольких сервисах, способных в авто режиме превратить вашу фотографию в яркую и интригующую картину (причем, не в простой рисунок, а во что-то более утонченное…).

Кстати, наверное, стоит отметить одну деталь: большинство нижеприведенных сервисов работают на основе нейросетей (т.е. одного из способа воплощения «искусственного интеллекта»). Так что есть (👇) неплохой способ проверить, что «думает» о вашем фото интеллект машины. ..

Приступим?!

 

*

📌 Близко к теме!

Как создать красивую открытку (картинку) для поздравления с Днем Рождения, Юбилеем, 8 марта и др. праздниками

 

*

Содержание статьи

  • 1 Подборка интересных сервисов и приложений по обработке фото
    • 1.1 Ostagram
    • 1.2 DeepArt.io
    • 1.3 Для Android
      • 1.3.1 Приложение Prisma
      • 1.3.2 Приложение Vinci
      • 1.3.3 Приложение GoArt
      • 1.3.4 Приложение Toolwiz Photos
  •  → Задать вопрос | дополнить 

Ostagram

Сайт: https://www.ostagram.me/

Было — стало (Ostagram)

Очень интересный сервис, позволяющий вам получить оригинальную и красивую картину из фотографий (причем, вам совсем не нужно уметь рисовать — все сделает нейросеть).

Как это работает: вы загружаете на сервис парочку нужных вам фотографий (для обработки), одна из которых выступает в роли «базового» изображения, а вторая в роли «стиля». И из двух картинок автоматически получается одна, но зато какая!

Нейросеть иногда творит чудеса и сможет хорошо так удивить вас! Кстати, на главной страничке сайта вы можете просмотреть все самые интересные и популярные картины (весьма занимательно!).

1+1 равно…

Примечание: для использования сервиса — потребуется регистрация. В бесплатной версии время на обработку одной фотографии может варьироваться (в зависимости от нагрузки) — в среднем 3-7 мин.

 

*

DeepArt.io

Сайт: https://deepart.io/

Примечание: в августе 2022г. сайт периодически стал недоступен. Надеюсь, владельцы доведут его до ума…

DeepArt — главная страничка сервиса (скриншот с офиц. сайта)

Этот сервис во многом похож на первый… Однако, в качестве изображения под «стилевую основу» здесь есть свой набор и из него вам и придется выбирать.

Полученные картины смотрятся весьма необычно и даже местами экстравагантно. Точно можно удивить собеседника!

Также отметил бы, что на подготовку одной картины здесь уйдет чуть больше времени — около 10 минут. За ускоренную обработку — предусмотрен тариф ~2 евро…

Примеры работ с DeepArt

 

*

Для Android

Приложение Prisma

Play Market: https://play.google.com/

Prisma — главное окно приложения

Весьма популярное приложение для обработки фотографий. Позволяет в мгновение ока стать художником! См. примеры ниже (👇).

В чем суть: разработчики «оцифровали» и смоделировали стили популярных художников (Ван Гога, Пикассо, Левитана). Искусственный интеллект при помощи этих моделей может «изменить» любую картинку или фотографию — и это можете сделать вы с любым изображением прямо на своем телефоне!

По-моему, звучит весьма заманчиво?! Благо, что в отличие от вышеприведенных сервисов фотографии обрабатываются моментально!

Фото превратилось в картину… / Prisma

Примечание: в приложении десятки различных арт-стилей (на любой вкус!). Часть из этих стилей — бесплатны, другие — платны. Из минусов: настойчиво предлагается купить годовую подписку.

 

*

Приложение Vinci

Play Market: https://play.google.com/store/apps/details?id=io.vinci.android

UpToDown: https://vinci.uptodown.com/android

Vinci – Обработка фото нейросетями

Добротное приложение для ретуширования и мгновенной обработки картинок и фото. В арсенале приложения несколько десятков арт-стилей и моделей, благодаря которым можно изменить изображение до неузнаваемости! 👆

Например, можно превратить фото в мозаику (кистью), рисунок карандашом, мультипликационный кадр и т.д. Даже бесплатных фильтров хватит, чтобы вдоволь «поколдовать» над снимками.

Кстати, приложение позволяет отправить созданное изображение своим друзьям и знакомым.

 

*

Приложение GoArt

Play Market: https://play.google.com/

GoArt — пример изменения фото

Это приложение также, как и предыдущие, позволяет применять различные эффекты к фото, за исключением одного момента: можно обрабатывать изображения вплоть до 10M Pixel!

Благодаря новейшим технологиям нейросетей — можно практически мгновенно имитировать живопись от Ван Гога до Моне к выбранной вами фотографии. (ряд эффектов, кстати, платные, но и открытых — хватает с лихвой!)

Стоит отметить, что приложение активно развивается и разработчики почти каждую неделю добавляют новые эффекты и стили (вы всегда сможете удивлять своих друзей, коллег, близких!).

Рекомендую к ознакомлению!

 

*

Приложение Toolwiz Photos

Play Market: https://play.google.com/

Toolwiz Photos — раздел фильтры

Toolwiz Photos — это полноценный редактор фотографий, позволяющий не только применять какие-то креативные эффекты, но и, например, изменить размер изображения, что-то подрезать, замазать и т.д. ✌

Что касается темы нашей статьи: обратите внимание на вкладку «Фильтры» (см. скрин ниже). В ней вы сможете найти несколько десятков фильтров и эффектов, которые смогут изменить ваше фото до неузнаваемости! Парочка примеров у меня приведена ниже. 👇

Пример наложения эффектов

Кстати, что радует — в процессе работы не выскакивает никаких рекламных окон с предложением что-то приобрести.

В целом, весьма удобное приложение для повседневных нужд. Также рекомендуется к знакомству! 👌

 

*

Дополнения по теме — точно не будут лишними (благодарю заранее за комментарии).

Всего наилучшего!

👋

Первая публикация: 22.10.2020

Корректировка: 1.10.2022

RSS  (как читать Rss)

Полезный софт:

  • Видео-Монтаж
  • Отличное ПО для создания своих первых видеороликов (все действия идут по шагам!).
    Видео сделает даже новичок!

  • Ускоритель компьютера
  • Программа для очистки Windows от «мусора» (удаляет временные файлы, ускоряет систему, оптимизирует реестр).

Другие записи:

Нейронные сети на службе фотографии.

Ретушь портрета в два клика, натуральная подстановка неба и другие современные возможности обработки

Порой совсем не обязательно добиваться идеальной картинки вручную: нужно обработать фото быстро, эффектно, пускай и не контролируя весь процесс. Последние версии редактора Adobe Photoshop как раз получили новые функции, базирующиеся на искусственном интеллекте (ИИ). До этого они были реализованы, например, в виде контентно-зависимого кадрирования, которое может дорисовать края изображения, инструмента Spot Healing Brush. Но технологии продвинулись настолько, что теперь нам доступны быстрая ретушь портрета, замена неба на фотографиях и не только. Искусственный интеллект берёт на себя всё больше.

Давайте посмотрим, какие инструменты будут полезны фотографу? Наша цель — не рассказать обо всех кнопках и регуляторах, а вдохновить читателя на новые подходы к обработке и познакомить с интересными программами.

Для подготовки обзора мы использовали рабочую станцию ConceptD СT-500 (ConceptD СT-500-51AD). Дело в том, что процессы, связанные с искусственным интеллектом, требовательны к ресурсам компьютера, в частности к видеокарте. В нашей конфигурации — мощнейшая видеокарта NVIDIA Quadro RTX4000. Линейка Quadro рассчитана не столько на геймеров, сколько на тех, кто работает с графикой: дизайнеров, архитекторов, видеомонтажёров и, конечно, фотографов. Зачем такая мощь для обработки картинок? Этим вопросом задаются до тех пор, пока фотограф не начал снимать профессионально, пока не появились задачи быстро и качественно обработать гигабайты снимков, пока он снимает в JPEG с низким разрешением… Да и упомянутые программы с ИИ на мощной видеокарте работают гораздо быстрее, что повышает и продуктивность, и комфорт.

Также в ConceptD СT-500 установлен процессор Core i9 девятого поколения (5 Ггц, 8 ядер) и целых 64 ГБ оперативной памяти — спасение для тех, кто работает с фото, ведь те же Adobe Lightroom и Photoshop требовательны к этому параметру.

Формат стационарного ПК хорош тем, что в него можно установить мощные десктопные комплектующие, сохранив низкий уровень шума при работе, ведь охлаждение в крупном корпусе реализовать проще, чем в тонком ноутбуке.

Корпус ConceptD СT-500 стильный: верх отделан под дерево, оранжевая подсветка. Здесь есть всё для удобной работы. К примеру, встроенный ридер для карт SD. Мечта фотографа и видеографа — больше не нужно подключать устройства для чтения карт памяти! Рядом есть встроенная беспроводная зарядка: кладём на неё смартфон, поддерживающий эту функцию, и он заряжается. Ещё один плюс — выдвигающаяся подставка для наушников. Её оценят и видеомонтажёры, и те, кто любит слушать музыку за работой.

Кстати, можно установить другой процессор, память, дополнительные жёсткие диски… Последнее актуально для тех, у кого объёмный фото- или видеоархив.

Что ж, приступим к изучению возможностей искусственного интеллекта.

Инструмент Neural Filters в Adobe Photoshop: быстрая ретушь портрета

Одна из сложностей портретной съёмки в том, что на ретушь порой уходит много времени, ведь нужно привести в порядок кожу модели. И если отдельные точки убрать легко, то с мелкими многочисленными недостатками справиться непросто. Здесь поможет новая функция — Neural Filters. Заявленный список возможностей Neural Filters гораздо шире, чем обработка портрета (к примеру, можно менять выражение лица модели). Но пока они находятся на уровне карикатурных скетчей и не способны выдать рабочий результат, так что сосредоточимся на сглаживании кожи в портрете.

Откроем портретный снимок и с помощью Spot Removal Tool уберём все крупные изъяны кожи. Теперь запустим Neural Filters.

Я специально взял кадр со сложным боковым светом, который подчеркнул все неровности кожи. Попробуем их исправить.

В открывшемся окне активируем пункт Skin Smoothing. Цвет и свет выровнены, убраны мелкие морщины. На этом можно было бы закончить, но обычно фильтр размывает кожу, отчего кадр выглядит «мыльным». Исправим это, подвинув регулятор Blur влево. Теперь всё отлично! Нажимаем «Ок». Окно Neural Filter закроется, а обработанное лицо появится в новом слое. Очень удобно!

Раз уж мы говорим о программах для обработки портрета, упомянем и Anhtropics PortraitPro, более мощный инструмент для бьюти-ретуши. Его отличают большие возможности настройки процесса, а также функция коррекции светотени на лице — эдакий Dodge and Burn за секунды. Если вы часто проводите портретные фотосессии, вам наверняка будет интересна эта программа. Однако такой эффект пригоден не для всех кадров, применять его нужно аккуратно.

С этими возможностями обработки главное — не перестараться. Чтобы эффективно ими пользоваться, нужно иметь чувство вкуса и меры, уметь вручную править результат средствами Adobe Photoshop: работать с масками, цветокоррекцией и прочим.

Luminar AI — редактор, базирующийся на функциях искусственного интеллекта

Luminar AI — графический редактор и RAW-конвертер, отличающийся от остальных решений на рынке. Если Capture One Pro нацелен на ручное управление процессом обработки (и от этого выглядит как пульт управления самолётом), то в Luminar AI тончайшие настройки подкрутить вручную нельзя, зато можно сказать программе «сделай красиво», и она сделает. Благодаря ИИ Luminar AI выполняет задачи, которые другим программам просто недоступны. Но обо всём по порядку.

Luminar AI умеет работать как самостоятельная программа, но можно запускать её и в среде Adobe Photoshop в качестве плагина.

Конечно, в Luminar AI есть привычные для любого RAW-конвертера функции регулировки яркости, контраста, цветов, работы с масками. Но в рамках этого обзора мы разберём интересные функции, связанные с ИИ.

Готовые решения обработки и простая ретушь портрета

Программа предлагает готовые решения обработки с учётом контента. Функция отлично подходит начинающим: подсказки программы сэкономят много времени.

Если открыть фото в Luminar AI, вы попадёте в раздел «Шаблоны» (зелёная стрелка). Здесь программа предложит варианты обработки (жёлтая стрелка). Ниже доступны и остальные шаблоны.

Готовые пресеты обработки были и раньше, в других программах. Отличие Luminar AI в том, что эти пресеты контентно-зависимые. Кстати, в них заложены не только параметры цветокоррекции, но и портретная ретушь.

Переходим в раздел «Редактирование», вкладка «Портрет AI». Здесь можно поработать над каждой частью лица отдельно, с помощью одного ползунка откорректировать форму лица. В Photoshop есть функция Liquify, и там пропорции можно настроить более детально. Но в этом и заключается философия Luminar — делать сразу всё с помощью одного регулятора. Кроме того, в Luminar AI можно быстро скорректировать фигуру: например, сделать модель стройнее или, наоборот, плечистее.

Доступные коррекции лица

Ретушь кожи — два ползунка и одна галочка. И при этом минимуме регулировок можно добиться хороших результатов!

Сглаживание неровностей кожи работает отлично. Полезная функция — устранение свечения. С её помощью можно убрать неестественный эффект размытия. А вот функция «Устранение дефектов кожи», призванная убирать значительные недостатки, не всегда работает корректно. Для этого по-прежнему удобнее использовать стандартные инструменты Adobe Photoshop (Spot Healing Brush).

На обработку этого снимка ушло немного времени. Luminar AI сам предложил такой стиль, и он действительно подходит сюжету.

Тревел-фотографы и пейзажисты также найдут здесь массу полезных функций. К примеру, можно подставить солнечные лучи, если того требует сюжет, или поработать с эффектом свечения, который часто используется в пейзажной фотографии.

Обработка пейзажной фотографии

Давайте рассмотрим на примере, какие уникальные возможности даст фотографу-пейзажисту софт с функциями ИИ.

Я немного опоздал на место съёмки: закатное солнце только что спряталось за гору, и эффектное освещение запечатлеть не получилось. Базовых коррекций в Lightroom оказалось недостаточно. Попробуем исправить ситуацию средствами Luminar AI.

Откорректируем базовые параметры яркости, контраста и цвета.

Регулировки «Акцент AI» и «Коррекция Неба AI» — это в прямом смысле ползунки «сделать красиво».

Добавляем солнце в нужном фрагменте кадра и настраиваем регулировки.

Добавим эффект «Мистика» (по сути это тоже эффект свечения).

И дополнительно настроим опции, которые есть в пункте «Свечение».

С помощью локальной маски я затемнил отвлекающее светлое пятно на земле. Но это можно сделать и стандартными инструментами Photoshop — кривыми и масками.

К минусам Luminar стоит отнести требовательность к ресурсам ПК, не очень стабильную работу. Однако эти проблемы решаются с помощью мощного компьютера с хорошей видеокартой. Последнюю программа нагружает очень активно!

Распознавание изображений с помощью глубокого обучения и нейронных сетей

Время чтения: 10 минут

Приятно осознавать, что нам, людям, удалось заставить машины работать с нашими естественными навыками: учиться на собственном примере и воспринимать внешний мир. Единственная проблема заключается в том, что требуется значительно больше времени и усилий, чтобы научить компьютеры «видеть», как мы. Но если мы подумаем о практической цели, которую эта возможность уже приносит организациям и предприятиям, усилия окупятся.

В этой статье вы узнаете, что такое распознавание изображений и как оно связано с компьютерным зрением. Вы также узнаете, что такое нейронные сети и как они учатся распознавать то, что изображено на изображениях. Наконец, мы обсудим некоторые варианты использования этой технологии в разных отраслях.

Что такое распознавание изображений и компьютерное зрение?

Распознавание изображений (или классификация изображений) — это задача идентификации изображений и их классификации по одному из нескольких предопределенных отдельных классов. Таким образом, программное обеспечение и приложения для распознавания изображений могут определить, что изображено на картинке, и отличить один объект от другого.

Область исследования, направленная на обеспечение машин такой способностью, называется компьютерное зрение . Являясь одной из задач компьютерного зрения (CV), классификация изображений служит основой для решения различных задач CV, в том числе:

Классификация изображений с локализацией – помещение изображения в заданный класс и рисование ограничивающей рамки вокруг объекта для показать, где он находится на изображении.

Классификация изображений и классификация изображений с локализацией. Источник: KDnuggets

Обнаружение объектов — категоризация нескольких различных объектов на изображении и отображение местоположения каждого из них с помощью ограничительных рамок. Итак, это вариация классификации изображений с задачами локализации множества объектов.

Объектная (семантическая) сегментация – идентификация конкретных пикселей, принадлежащих каждому объекту на изображении, вместо рисования ограничивающих рамок вокруг каждого объекта, как при обнаружении объектов.

Сегментация экземпляра – дифференциация нескольких объектов (экземпляров), принадлежащих к одному классу (каждого человека в группе).

Разница между обнаружением объектов, семантической сегментацией и сегментацией экземпляров. Источник: Условные случайные поля и глубокие нейронные сети для семантической сегментации

Исследователи могут использовать модели глубокого обучения для решения задач компьютерного зрения. Глубокое обучение — это метод машинного обучения, который фокусируется на обучении машин обучению на примерах. Поскольку в большинстве методов глубокого обучения используются архитектуры нейронных сетей, модели глубокого обучения часто называют глубокими нейронными сетями.

Глубокие нейронные сети: «как» распознавание изображений и другие методы компьютерного зрения

Распознавание изображений — одна из задач, в которых глубоких нейронных сетей (ГНС) преуспевают. Нейронные сети — это вычислительные системы, предназначенные для распознавания закономерностей. Их архитектура вдохновлена ​​структурой человеческого мозга, отсюда и название. Они состоят из трех типов слоев: входных, скрытых слоев и выходных. Входной слой получает сигнал, скрытый слой обрабатывает его, а выходной слой принимает решение или прогноз относительно входных данных. Каждый сетевой уровень состоит из 9 взаимосвязанных0025 узлов (искусственные нейроны ), которые выполняют вычисления.

Для визуальных типов — посмотрите наше видео, объясняющее технические особенности распознавания изображений

Что делает нейронную сеть глубокой? Количество скрытых слоев: в то время как традиционные нейронные сети имеют до трех скрытых слоев, глубокие сети могут содержать их сотни.

Архитектура нейронной сети, каждый слой состоит из узлов. Количество скрытых слоев не является обязательным. Источник: MathWorks

Как нейронные сети учатся распознавать закономерности

Как понять, знакомый это человек или незнакомец (осложнения вроде близорукости не учитываются)? Мы смотрим на них, подсознательно анализируем их внешность, и если какие-то врожденные черты — форма лица, цвет глаз, прическа, телосложение, походка или даже выбор одежды — совпадают с конкретным знакомым нам человеком, мы узнаём этого человека. Эта мозговая работа занимает всего мгновение.

Итак, чтобы иметь возможность распознавать лица, система должна сначала изучить их особенности. Его необходимо научить предсказывать, является ли объект X или Z. Модели глубокого обучения изучают эти характеристики иначе, чем модели машинного обучения (ML). Вот почему подходы к обучению моделей также различаются.

Обучение моделей глубокого обучения (таких как нейронные сети)

Чтобы построить модель машинного обучения, которая может, например, прогнозировать отток клиентов, специалисты по данным должны указать, какие входные характеристики (свойства проблемы) модель будет учитывать при прогнозировании результата. Это может быть образование клиента, доход, этап жизненного цикла, характеристики продукта или используемые модули, количество взаимодействий со службой поддержки клиентов и их результаты. Процесс построения признаков с использованием предметной области называется 9.0025 Особенности проектирования.

Если бы мы обучили модель глубокого обучения видеть разницу между собакой и кошкой с помощью инженерии признаков… Что ж, представьте себе сбор характеристик миллиардов кошек и собак, живущих на этой планете. Мы не можем построить точные функции, которые будут работать для каждого возможного изображения, учитывая такие сложности, как изменчивость объекта в зависимости от точки обзора, фоновые помехи, условия освещения или деформация изображения. Должен быть другой подход, и он существует благодаря природе нейронных сетей.

Нейронные сети изучают признаки непосредственно из данных, на которых они обучаются, поэтому специалистам не нужно извлекать признаки вручную.

«Сила нейронных сетей заключается в их способности изучать представление в ваших обучающих данных и в том, как лучше всего связать их с выходной переменной, которую вы хотите предсказать. В этом смысле нейронные сети изучают отображение. Математически они способны изучать любую функцию отображения, и было доказано, что они являются универсальными алгоритмами аппроксимации».0026 отмечает Джейсона Браунли в Ускоренном курсе по многослойным нейронным сетям персептрона .

Обучающие данные в данном случае представляют собой большой набор данных, содержащий множество примеров каждого класса изображений. Когда мы говорим о большом наборе данных, мы действительно имеем в виду это. Например, набор данных ImageNet содержит более 14 миллионов аннотированных человеком изображений, представляющих 21 841 концепцию (наборы синонимов или синсеты в соответствии с иерархией WordNet), в среднем по 1000 изображений на концепцию.

Каждое изображение аннотировано (помечено) категорией, к которой оно принадлежит – кошка или собака. Алгоритм исследует эти примеры, изучает визуальные характеристики каждой категории и в конечном итоге учится распознавать каждый класс изображений. Этот модельный стиль тренировок называется контролируемое обучение .

Иллюстрация того, как нейронная сеть распознает собаку на изображении. Источник: TowardsDataScience

Каждый слой узлов обучается на выходе (наборе признаков), созданном предыдущим слоем. Таким образом, узлы в каждом последующем слое могут распознавать более сложные детализированные функции — визуальные представления того, что изображено на изображении. Такая «иерархия возрастающей сложности и абстракции» известна как иерархия признаков 9.0026 .

Пример иерархии признаков, изученной с помощью модели глубокого обучения на лицах Lee et al. (2009). Источник: ResearchGate.net

Итак, чем больше уровней в сети, тем выше ее предсказательная способность.

Ведущей архитектурой, используемой для задач распознавания и обнаружения изображений, являются сверточные нейронные сети (CNN). Сверточные нейронные сети состоят из нескольких слоев с небольшими наборами нейронов, каждый из которых воспринимает небольшие части изображения. Результаты всех коллекций в слое частично перекрываются, чтобы создать полное представление изображения. Затем нижний слой повторяет этот процесс для нового представления изображения, позволяя системе узнать о композиции изображения.

История глубоких CNN восходит к началу 1980-х годов. Но только в 2010-х исследователям удалось добиться высокой точности решения задач распознавания изображений с помощью глубоких сверточных нейронных сетей. Как? Они начали обучать и развертывать CNN с использованием графических процессоров (GPU), которые значительно ускоряют сложные системы на основе нейронных сетей. Количество обучающих данных — фото или видео — также увеличилось, потому что камеры мобильных телефонов и цифровые камеры начали быстро развиваться и стали доступными.

Варианты использования распознавания изображений

Теперь вы знаете о распознавании изображений и других задачах компьютерного зрения, а также о том, как нейронные сети учатся назначать метки изображению или нескольким объектам на изображении. Давайте обсудим несколько реальных применений этой технологии.

Бренды отслеживают текстовые сообщения в социальных сетях с упоминанием своего бренда, чтобы узнать, как потребители воспринимают, оценивают, взаимодействуют с их брендом, а также что они говорят о нем и почему. Это называется социальным прослушиванием. Тип социального прослушивания, который фокусируется на наблюдении за разговорами, основанными на визуальном образе, называется (барабанная дробь, пожалуйста)… визуальным прослушиванием.

Тот факт, что более 80 процентов изображений в социальных сетях с логотипом бренда не имеют названия компании в подписи, усложняет визуальное прослушивание. Как получить представление об этом случае? С обнаружением логотипа.

Стартап Meerkat провел эксперимент, чтобы показать, как обнаружение логотипа может помочь визуальному прослушиванию. В течение полугода стартаперы собирали твиты со словами, часто употребляемыми в контексте пива, например, пиво , cerveza, барбекю, бар и другие. Они обучили систему распознавать логотипы популярных пивных брендов: Heineken, Budweiser, Corona, Bud Light, Guinness и Stella Artois. И они использовали его для анализа изображений из твитов, содержащих логотипы брендов.

Логотип Heineken в различных контекстах. Источник: Meerkat’s Medium

Специалисты проиндексировали метаданные твитов, чтобы получить представление о доле каждого бренда на рынке и его потребителях.

Сначала они сравнили количество постов с логотипами каждого бренда с их долей рынка и выяснили, что эти два параметра не взаимосвязаны. Затем специалисты извлекли географические координаты почти 73% изображений, размещенных в Твиттере, чтобы оценить присутствие бренда в разных регионах. Затем они нанесли на график процентное соотношение каждого сорта пива для пяти ведущих стран в наборе данных. Например, Bud Light наиболее популярен в США, в то время как у Heineken есть поклонники в разных странах с наибольшей долей в США и Великобритании. Команда также проанализировала изображения с лицами, чтобы определить пол любителей пива. Разница была незначительной: фотографии разместили на 1,34% больше мужчин.

Это не только измерение узнаваемости бренда. Предприятия используют обнаружение логотипа для расчета рентабельности инвестиций от спонсирования спортивных мероприятий или для определения того, был ли их логотип использован не по назначению.

Анализ медицинских изображений

Программное обеспечение на основе моделей глубокого обучения помогает радиологам справляться с огромным объемом работы по интерпретации различных медицинских изображений: компьютерной томографии (КТ) и ультразвукового сканирования, магнитно-резонансной томографии (МРТ) или рентгена. IBM подчеркивает, что радиолог отделения неотложной помощи должен ежедневно осматривать до 200 пациентов. Кроме того, некоторые медицинские исследования содержат до 3000 изображений. Неудивительно, что на медицинские изображения приходится почти 90 процентов всех медицинских данных.

Рентгенологические инструменты на основе ИИ не заменяют врачей, но помогают им принимать решения. Они отмечают острые аномалии, выявляют пациентов с высоким риском или тех, кто нуждается в срочном лечении, чтобы рентгенологи могли расставлять приоритеты в своих рабочих списках.

Исследовательское подразделение IBM в Хайфе, Израиль, работает над программой Cognitive Radiology Assistant для анализа медицинских изображений. Система анализирует медицинские изображения, а затем объединяет полученные данные с информацией из медицинских карт пациента и представляет результаты, которые рентгенологи могут учитывать при планировании лечения.

Демонстрация инструмента IBM Eyes of Watson для обнаружения рака молочной железы, использующего компьютерное зрение и машинное обучение. Источник: IBM Research

Ученые из этого подразделения также разработали специализированную глубокую нейронную сеть для выявления аномальных и потенциально раковых тканей молочной железы.

Компания Aidoc предлагает еще одно решение, использующее глубокое обучение для сканирования медицинских изображений (в частности, компьютерной томографии) и определения приоритетов в списках пациентов. Решение получило разрешение Управления по санитарному надзору за качеством пищевых продуктов и медикаментов США (FDA), Therapeutic Goods of Australia (TGA) и маркировку CE Европейского Союза для обозначения трех опасных для жизни состояний: легочной эмболии, перелома шейного отдела позвоночника и внутричерепного кровоизлияния.

В число клиентов компании входят мемориальный медицинский центр UMass в Вустере, штат Массачусетс, больница Монтефиоре Найак в округе Рокленд, штат Нью-Йорк, и центр визуализации Global Diagnostics Australia.

Приложения для распознавания произведений искусства

Magnus — это основанное на распознавании изображений приложение, которое ведет любителей искусства и коллекционеров «через художественные джунгли». Как только пользователь фотографирует произведение искусства, приложение предоставляет такие данные, как автор, название, год создания, размеры, материал и, самое главное, текущую и историческую цену. В приложении также есть карта с галереями, музеями и аукционами, а также выставленные в настоящее время произведения искусства.

Магнус получает информацию из базы данных, содержащей более 10 миллионов изображений произведений искусства; информация о товарах и ценах собирается из краудсорсинга. Интересный факт: Леонардо ДиКаприо инвестировал в приложение, говорит Магнус на своей странице в Apple Store.

Посетители музеев могут утолить жажду знаний с помощью таких приложений, как Smartify. Smartify — это путеводитель по музеям, который вы можете использовать в десятках всемирно известных художественных мест, таких как Метрополитен-музей в Нью-Йорке, Смитсоновская национальная портретная галерея в Вашингтоне, Лувр в Париже, Рейксмузеум в Амстердаме, Королевская академия художеств в Лондон, Государственный Эрмитаж в Санкт-Петербурге и другие.

Как работает Smartify. Источник: Smartify

Чтобы раскрыть детали произведения искусства, приложение сопоставляет отсканированные произведения искусства с цифровыми изображениями в базе данных, которая на 2017 год содержала почти 50 000 произведений искусства. Соучредитель Smartify Анна Лоу объясняет, как работает приложение. таким образом: «Мы сканируем произведения искусства, используя фотографии или цифровые изображения, а затем создаем цифровые отпечатки произведений искусства, что означает, что они сводятся к набору цифровых точек и линий».

Распознавание лиц для улучшения обслуживания в аэропорту

Распознавание лиц становится популярным среди авиакомпаний, которые используют его для облегчения посадки и регистрации. Есть два основных направления этих обновлений: следовать тенденциям самообслуживания и этой биометрической технологии и сделать работу в аэропорту более безопасной и быстрой. Чем меньше шагов должны сделать пассажиры и персонал, чтобы продолжить предполетную подготовку, тем лучше.

Посадочное оборудование сканирует лица путешественников и сопоставляет их с фотографиями, хранящимися в базах данных органов пограничного контроля (например, Таможенно-пограничной службы США), чтобы подтвердить их личность и данные о рейсе. Это могут быть фотографии с удостоверений личности, виз или других документов.

American Airlines, например, начала использовать распознавание лиц у выходов на посадку терминала D в международном аэропорту Даллас/Форт-Уэрт, штат Техас. Вместо того, чтобы использовать посадочные талоны, путешественники сканируют свое лицо. Единственное, что не изменилось, так это то, что для прохождения досмотра по-прежнему необходимо иметь паспорт и талон. Биометрический интернат работает на добровольной основе.

Биометрическая посадка для пассажиров American Airlines. Источник: Далласские утренние новости 9.0026

В 2018 году компания American в течение 90 дней тестировала биометрические данные в Терминале 4 международного аэропорта Лос-Анджелеса с идеей расширить использование технологий, если испытание пройдет успешно.

Многие авиакомпании используют распознавание лиц в качестве дополнительной опции при посадке: JetBlue, British Airways, AirAsia, Lufthansa или Delta. Последний из них установил систему самообслуживания для сдачи багажа в аэропорту Миннеаполис-Стрит. Paul International Airport в 2017 году.

Визуальный поиск товаров

Границы между онлайн- и офлайн-покупками исчезли с момента появления в игре визуального поиска. Например, в приложении Urban Outfitters есть функция Scan + Shop, благодаря которой потребители могут отсканировать товар, который они нашли в обычном магазине или распечатали в журнале, получить его подробное описание и сразу же заказать. Визуальный поиск также повышает удобство покупок в Интернете.

Приложения с этой возможностью работают на основе нейронных сетей. НС обрабатывают загружаемые пользователями изображения и генерируют описания изображений (теги), например, тип одежды, ткань, стиль, цвет. Описания изображений сопоставляются с товарами на складе вместе с соответствующими тегами. Результаты поиска представлены на основе оценки сходства.

Мы посвятили раздел визуальному поиску в статье о том, как ритейлеры используют ИИ. Там вы также можете прочитать о том, как технологии распознавания изображений и лиц превратили в реальность такие безкассовые магазины, как Amazon Go, а также о том, как они обеспечивают работу систем наблюдения или персонализацию в магазине.

Работа продолжается

Во второй половине 20-го века исследователи подсчитали, что для решения проблемы компьютерного зрения, среди прочего, потребуется относительно короткое время. В 1966 году математик и бывший содиректор лаборатории компьютерных наук и искусственного интеллекта Массачусетского технологического института Сеймур Пейперт координировал проект Summer Vision. У исследователей был амбициозный план: за одно лето построить значительную часть системы с возможностями компьютерного зрения, какими мы их знаем сегодня. «Основной целью проекта является создание системы программ, которые будут делить видекторное изображение на области, такие как вероятные объекты, вероятные фоновые области и хаос», — говорится в описании проекта.  

Ну, это заняло гораздо больше времени. Современное программное обеспечение может распознавать большое количество повседневных объектов, человеческие лица, печатный и рукописный текст на изображениях и другие объекты (ознакомьтесь с нашей статьей об API-интерфейсах распознавания изображений). Но работа продолжается, и мы продолжим наблюдать, как все больше и больше все больше предприятий и организаций внедряют распознавание изображений и другие задачи компьютерного зрения, чтобы выделиться среди конкурентов и оптимизировать операции.

Фотогеолокация с помощью нейронных сетей: как можно и как нельзя | от Нуфаля Самсудина | Аналитика Vidhya

Построение нейронной сети, которая может геотегировать наружное изображение, и как поймать мошенническую нейронную сеть с помощью град-камеры

Сверточные нейронные сети (CNN) в настоящее время являются последним достижением в области компьютерного зрения. В этой статье я расскажу о своем опыте создания геотега модели CNN к изображению — возьмите изображение в качестве входных данных и предскажите местоположение этого изображения в качестве выходных данных. Я также обсуждаю предыдущую итерацию модели, которая обманула меня, заставив поверить, что модель стала безумно хорошей в геолокации, но оказалось, что это была утечка данных.

Модель была обучена на наборе данных изображений Google Street View. Я собрал изображения случайных мест в Индии для создания этого набора данных. Модель достаточно хороша для предсказаний. Обычно он предсказывает в непосредственной близости от фактического местоположения.

Вот краткий обзор результатов для нетерпеливых — заштрихованная область указывает на сетки с высокими оценками, а прогнозируемое местоположение представляет собой средневзвешенное значение центра тяжести сетки и оценки:

Оценка модели геолокации — заштрихованная область указывает на сетки с высокими баллами и прогнозируемым местоположением является средневзвешенным значением центра тяжести сетки и оценкой

Это отобранные хорошие образцы. Даже когда предсказанное местоположение модели неверно, предсказанные сетки являются разумными:

Простительные ошибки — заштрихованная область указывает на сетки с высокими оценками, а предсказанное местоположение — это средневзвешенное значение центра тяжести сетки и оценка

Моя первая итерация модели дала мне очень хорошие результаты. Точность достигла 60%, что было невероятно для этого подхода и намного выше контрольных показателей, отмеченных в аналогичных исследованиях. Это вызвало у меня подозрения, и я стал копать дальше.

Дальнейшее исследование показало, что предсказания были очень точными даже для изображений плохого качества.

Хороший прогноз для изображений плохого качества — очень подозрительно

Это было очень подозрительно, поскольку на кривых потерь не было признаков переобучения. Затем я решил изучить активацию слоев в нейронной сети, используя метод Grad-Cam, чтобы увидеть, на что смотрит модель при принятии этих решений. И вот, афера была разоблачена!!

Как модель жульничает

Модель просматривала имя пользователя, загрузившего изображение в Google, и использовала его, чтобы предсказать местоположение. Очень подлый. Благодаря gradcam теперь мы можем пролить свет на «черный ящик».

Когда я замаскировал имена в правом нижнем углу. Модель просто пошла наперекосяк. Попался!

Точность предсказания резко снизилась, когда имя фотографа было замаскировано.

В более поздних итерациях я обрезал нижнюю часть изображения. Точность модели была не такой высокой, но при прогнозировании она смогла уловить некоторые общие закономерности, такие как ландшафт, здания, растительность, дороги, местность и т. д.

Модель повторно обучена на изображениях с именами фотографов, замаскированными для предотвращения мошенничества.

Я сформулировал это как проблему классификации нескольких классов. Я разделил карту Индии на сетки и обучил модель с номером сетки в качестве целевой переменной.

Подготовка набора данных

Я наложил изометрическую сетку на карту Индии. Полученные сетки, в которых целевые переменные модели необходимо предсказать.

Затем я равномерно отобрал точки в каждой сетке, использовал API просмотра улиц Google, чтобы получить ближайшее местоположение с изображением просмотра улиц, и взял 4 изображения из обзора 360 под углами 0,90,180 и 270 градусов.