Нейросеть художник: рисуют по описанию, дорисовывают картинки |

Содержание

рисуют по описанию, дорисовывают картинки

Максим Друковский

нагенерировал целый альбом Бэтменов

Профиль автора

Уже несколько лет говорят: «Еще чуть-чуть — и нейросети окончательно заменят художников».

За это время генеративные картины прошли путь от причудливых абстракций до качественных изображений, которые создаются за считаные минуты. Главным прорывом стала модель DALL-E от OpenAI: разработчики научили алгоритм довольно точно «рисовать» по текстовому описанию. Второе поколение нейросети совсем недавно перешло в стадию бета-теста: в ближайшее время доступ к технологии получит миллион человек.

Но и без DALL-E достаточно примечательных сервисов, которые можно протестировать уже сейчас. Мы проверили их и попытались дать всем программам одну и ту же задачу: нарисовать Бэтмена в Москве. Исключение — сервисы, у которых нет возможности сгенерировать супергероя.

Выбирайте, как будете генерировать

С помощью текста
По наброскам
С помощью картинок
Рандомно

С ПОМОЩЬЮ ТЕКСТА

DALL-E Mini

Где попробовать: сайты Dall-e Mini и Craiyon, телеграм-бот
Простота освоения: 🤖🤖🤖🤖
Качество генерации: 👨‍🎨👨‍🎨
Фан-эффект: 😎😎😎😎😎

На миниатюрах сразу считывается задумка, а еще не видно проблем с разрешением и артефактами

DALL-E Mini, несмотря на название, напрямую не связана с DALL-E от OpenAI. Американский разработчик Борис Дайма вдохновился нейросетью и попытался воспроизвести ее результаты с помощью моделей с открытым кодом. Первую версию он выпустил еще в июле 2021, но настоящая слава к нему пришла год спустя.

В мини-версии DALL-E привлекает простота: не нужно авторизовываться и разбираться в настройках, нет требований к вычислительным мощностям. Достаточно сформулировать запрос на английском языке и нажать на кнопку.

Нейросеть генерирует по описанию сразу девять картинок — так можно увидеть разные попытки изобразить задумку. Это идеальный формат, чтобы визуализировать любую безумную идею. Именно поэтому сервис настолько полюбился в соцсетях и стал очень популярным.

/dall-e-test/

Угадайте, что нарисовала нейросеть

Коллаж из девяти миниатюр еще и скрывает недостатки нейросети. DALL-E Mini проигрывает в качестве многим аналогам: лица получаются смазанными, видны артефакты — искажения после обработки нейросетью. Но все это перекрывается тем, что алгоритм хорошо подстраивается под запрос, а результаты часто получаются очень смешными.

С ПОМОЩЬЮ ТЕКСТА

ruDALL-E

Где попробовать: сайт, приложение «Салют», discord-канал, телеграм-бот
Простота освоения: 🤖🤖🤖🤖🤖
Качество генерации: 👨‍🎨👨‍🎨
Фан-эффект: 😎😎😎

В Discord генерируется не 9, а сразу 16 картинок за раз

ruDALL-E — сервис от разработчиков «Сбера», поэтому он умеет генерировать картинки по описанию на русском языке. Есть две версии ruDALL-E: первое поколение под названием «Малевич» и второе, более продвинутое — «Кандинский».

«Малевич» генерирует одно изображение за раз. У итоговой картинки высокое разрешение, а вот с точностью генерации есть проблемы: нейросеть не всегда понимает, что от нее хотят. Например, во время тестового запроса ruDALL-E то «терял» Бэтмена, то никак не изображал хоть что-то похожее на Москву. Поэтому лучше отправлять запрос несколько раз подряд, чтобы добиться приемлемого результата.

У «Малевича» есть официальный бот в «Телеграме». Там не нужно вводить капчу для каждого запроса, а за то же время генерируются сразу три картинки. Но есть и свой минус — водяной знак по центру каждого изображения.

Как улучшить изображение с помощью нейросетей: 12 сервисов

Результаты «Кандинского» на порядок лучше: нейросеть довольно узнаваемо генерирует сразу девять картинок и у любой можно увеличить разрешение. Нейросеть интегрировали в экосистему «Сбера», так что воспользоваться сервисом можно на умных устройствах компании или в мобильном приложении «Салют» — вход осуществляется через Sber ID. Альтернатива — вступить в официальное discord-сообщество и генерировать картинки там.

С ПОМОЩЬЮ ТЕКСТА

Midjourney

Где попробовать: discord-сервер проекта
Простота освоения: 🤖🤖🤖
Качество генерации: 👨‍🎨👨‍🎨👨‍🎨
Фан-эффект: 😎😎😎😎

Некоторые результаты впечатляют проработанностью

Midjourney совсем недавно перешла в стадию бета-теста: любой может присоединиться к каналу разработчиков в Discord и протестировать алгоритм прямо в чате. Для этого достаточно ознакомиться с правилами сообщества, затем ввести команду /imagen, после чего сформулировать запрос на английском языке. Сервис сгенерирует четыре варианта: у каждого можно увеличить разрешение или попросить нейросеть переделать в том же духе.

Картинки получаются достаточно качественными и узнаваемыми, хоть и не без промахов. Бесконечно генерировать изображения не выйдет: есть лимит на каждого человека. Когда он будет исчерпан, можно остаться в сообществе и смотреть, что генерируют другие пользователи.

С ПОМОЩЬЮ ТЕКСТА

Dream by WOMBO

Где попробовать: сайт, приложения для iOS и Android
Простота освоения: 🤖🤖🤖🤖
Качество генерации: 👨‍🎨👨‍🎨
Фан-эффект: 😎😎😎😎

За счет абстракции все проблемы нейросети можно списать на то, что так и было задумано

Это популярный сервис для создания вертикальных обложек. Арты делаются легко: нужно сформулировать текстовый запрос, выбрать стилистику, а при желании — еще и прикрепить картинку-референс. Веб версия-бесплатная, а вот в приложениях стили доступны только по подписке.

Результат выглядит очень абстрактно, но почти всегда красиво. Особо примечательный арт можно купить в высоком качестве в виде реального постера. В «Тиктоке» был флешмоб, где пытались угадать сгенерированные в Dream обложки фильмов и альбомов.

В июне научный журнал университета Emory вышел с обложкой, созданной в приложении. Источник: news.emory.edu

С ПОМОЩЬЮ ТЕКСТА

Starryai

Где попробовать: сайт, приложения для iOS и Android
Простота освоения: 🤖🤖🤖🤖
Качество генерации: 👨‍🎨👨‍🎨👨‍🎨
Фан-эффект: 😎😎😎

Мрачный стиль из настроек очень подошел Бэтмену

Нейросеть создает арты на основе текстового описания, но с дополнениями. Можно сразу задать стилистику изображения, прикрепить картинку-референс, добавить дополнительные параметры. Прогресс виден практически в прямом эфире: алгоритм на глазах превращает размытое нечто в полноценный арт.

Программа устроена как тематическая соцсеть: там доступны и чужие работы, чтобы вдохновиться или подсмотреть наиболее эффективные запросы. Для генерации используется система кредитов, которые можно не только купить за деньги, но и заработать, выполняя разные задания: например, посмотреть рекламу или поделиться работой в соцсетях.

Результаты получаются разные, от абстракций в духе ранних ИИ-моделей до качественных работ, почти неотличимых от настоящих картин. Готовое изображение можно пропустить через нейросеть еще раз или увеличить разрешение — за дополнительные кредиты.

Сообщество 22.07.22

Знакомый создал откровенное дипфейк-видео со мной. Какие есть риски и что делать?

С ПОМОЩЬЮ ТЕКСТА

Pixray

Где попробовать: сайт
Простота освоения: 🤖🤖
Качество генерации: 👨‍🎨👨‍🎨
Фан-эффект: 😎😎😎

Получилось не очень качественно, но при желании Бэтмена узнать можно

Это не столько самостоятельный сервис, сколько адаптация сразу нескольких моделей с открытым исходным кодом. Работает только в веб-версии, зато бесплатно и без ограничений или встроенных покупок.

Для генерации достаточно ввести текстовое описание на английском языке и выбрать одну из моделей для рендера: среди вариантов есть как популярные VQGAN и CLIPDraw, так и менее востребованные алгоритмы. Третьим пунктом можно ввести дополнительные настройки по приложенной инструкции либо оставить поле пустым.

45 интересных сайтов, на которых можно застрять надолго

Результаты зависят от модели и настроек. Обычно работы далеки от реализма, но, как правило, передают запрос пользователя. Генерируются изображения от нескольких минут, а в процессе можно увидеть промежуточные варианты итоговой версии.

ПО НАБРОСКАМ

Pix2pix

Где попробовать: Где попробовать: демо-сайт разработчика
Простота освоения: 🤖🤖🤖🤖
Качество генерации: 👨‍🎨
Фан-эффект: 😎😎😎😎😎

Получился вот такой котобэтмен

Pix2pix — это не конкретный сервис, а название модели в основе множества небольших сайтов. Она может имитировать стиль оригинального рисунка, дорисовывать кадры или превращать рисунки в реалистичные изображения. С помощью pix2pix, например, продолжали ролики и преобразовывали старые карты в снимки со спутников.

Исследователи представили модель еще в 2017 году. Тогда же разработчик OpenAI Кристофер Хессе создал демосайт, чтобы любой желающий мог протестировать Pix2pix. В четырех демонстрационных модулях нейросеть рисует объект по наброскам пользователя: кота, фасад здания, сумку или обувь. Алгоритм буквально на лету пытается понять задумку и подстраивается под каждый новый штрих.

Результат сложно назвать реалистичным, зато можно нарисовать кота в форме хлеба или здание, которое полностью состоит из дверей. Пространство для фантазии гораздо шире, а результат нагляднее, чем при текстовом запросе.

По нынешним меркам это устаревшая нейросеть: демоверсиям уже несколько лет, а технологии с тех пор сделали огромный шаг вперед. Но можно попробовать и другие сервисы на основе Pix2pix: разработчики-энтузиасты сделали сайты, где можно нарисовать портрет человека или Пикачу.

/virtual-cinema/

Как я посетил кинотеатр в виртуальной реальности — и стоит ли оно того

ПО НАБРОСКАМ

GauGAN

Где попробовать: программа Canvas для Windows, демосайт
Простота освоения: 🤖
Качество генерации: 👨‍🎨👨‍🎨👨‍🎨👨‍🎨👨‍🎨
Фан-эффект: 😎😎😎

Если немного посидеть на сайте GauGAN, то разобраться можно и интуитивно

GauGAN — нейросеть, разработкой которой занимается компания NVIDIA. Главная фишка — умение превращать даже не очень умелые наброски пользователей в фотореалистичные пейзажи. Во второй версии ИИ научился делать то же самое на основе текстового описания.

У GauGAN есть набор «материалов»: можно прямо указать нейросети, где должны быть облака, вода, солнце, деревья или здания. Смена инструментов может за пару штрихов полностью изменить пейзаж — но он останется таким же реалистичным. Модель уже встроена в сервис NVIDIA под названием Canvas: бета-версию программы можно бесплатно скачать с сайта разработчика. Но системные требования у нее солидные: Windows 10 или 11, видеокарта с поддержкой RTX, жесткий диск SSD.

Есть вариант проще: демосайт с ограниченными функциями. Сервис генерирует пейзаж на основе рисунка, заранее загруженного изображения или текстового описания — либо всех инструментов одновременно.

Из-за большого количества настроек с ходу разобраться на сайте может быть трудно. При первом запуске активируется инструкция, а на «Ютубе» есть обучающие ролики. Рекомендуем сначала ознакомиться с ними.

Как начать пользоваться GauGAN2 — видеоурок

Тьюториал по использованию GauGAN2 — видеоурок

СМЕШИВАЕТ КАРТИНКИ

Artbreeder

Где попробовать: сайт
Простота освоения: 🤖🤖
Качество генерации: 👨‍🎨👨‍🎨
Фан-эффект: 😎😎😎

Вместо Бэтмена пришлось тестировать нейросеть на Роберте Паттинсоне — тут он повзрослее и повеселее

С Artbreeder можно создавать уникальные изображения с помощью «смешивания» уже существующих. Как это работает: пользователи могут загрузить любую картинку, чаще всего — портрет. Ее при желании можно редактировать с помощью нейросети: сменить возраст, пол, добавить волосы или улыбку. Настроек достаточно много, но главное — не увлекаться: в противном случае узнаваемое лицо быстро превратится в абстрактное месиво.

Самое интересное начинается при добавлении второй картинки — тогда алгоритм уже покажет «ребенка» двух людей. Его внешность тоже можно менять: к стандартным настройкам добавляется слайдер «На кого больше похож». При серьезном подходе можно добиться очень реалистичных результатов: некоторые художники таким образом воссоздают внешность литературных персонажей или исторических личностей.

Главная проблема — бесплатно можно загрузить три свои картинки. После исчерпания лимита остается только брать стандартные изображения и работы других пользователей.

/discord/

Как правильно пользоваться Discord: для игр, общения и работы

БЕЗ УЧАСТИЯ ЧЕЛОВЕКА

This X Does Not Exist

Где попробовать: погенерировать людей, животных, кроссовки, резюме и идеи для стартапов
Простота освоения: 🤖🤖🤖🤖🤖
Качество генерации: 👨‍🎨👨‍🎨👨‍🎨👨‍🎨
Фан-эффект: 😎

Этого ночного неба не существует

Если у вас нет конкретного запроса или времени, можно зайти на один из сайтов с общей концепцией «Этого X не существует». На таких страницах вообще не придется ничего настраивать, вводить и даже кликать — после каждого обновления выводится уникальное сгенерированное нейросетью изображение. Причем довольно качественное: порой нужно долго всматриваться, чтобы заметить артефакты.

Мы постим кружочки, красивые карточки и новости о технологиях и поп-культуре в нашем телеграм-канале. Подписывайтесь, там классно: @t_technocult.

Художники против нейросетей — Дизайн на vc.ru

В августе 2022 в интернетах начался пожар, зарево которого невозможно было не заметить, пылали попы художников.

7648
просмотров

Попирать справедливость на этот раз посмел технический прогресс! Но поскольку питать обиду к нему, ровно как к погодным условиям, сложно, целью агрессии стали породившее это чудище айтишники.

В лучших традициях погромов Луддитов первой четверти XIX века, выступающих против внедрения машин в ходе промышленной революции, представители творческой интеллигенции*1 с одной стороны, и молодые технократы с другой стороны в равной степени считают себя незаслуженно оскорблёнными.

Как назревал конфликт

За последние 2 месяца в мире ML*2 изменилось многое, до того казалось, что DALL•E 2*3 от мастодонта Илона Маска — OpenAI это уже ого-го! Пример хорошо вписывался в картину мира и был прекрасен, крупная корпорация, передовые технологии, лучшие специалисты и финансирование произвели революцию. Мы приблизились к творческому искусственному интеллекту, способному решать абстрактные задачи. Но…

Но внезапно на бронепоезде в этот мир въезжает Midjourney*4, text-to-image нейросеть, способная генерировать графику, местами превосходящую по качеству работу начинающих коммерческих иллюстраторов. И что самое интересное, разработкой занималась не корпорация, а группа из нескольких человек!

(пример изображения, сгенерированного нейросетью midjourney)

Исторический момент

Не успели наиграться с Midjourney, как миру явили Stable Diffusion*5, просто посмотрите, что она рисует:

(изображение с официального сайта компании)

И главное здесь не визуал, а открытость: изображения можно генерировать бесплатно, модель и веса Stable Diffusion доступны на GitHub. Это очень важно. Не они, так другие, будущее, где инструмент генерации реалистичных иллюстраций будет доступен всем и каждому — неизбежно.

Технократы потирают лапки, художники переживают:

* ошибка перевода, Artist(англ.) = художник

Мнения художников разошлись.

Когда я впервые озвучил этот вопрос в группе «современное искусство» на Пикабу, то был удивлён количеству мата и оскорблений в комментариях. Складывалось впечатление, что люди читали первое предложение, и дойдя до слова «нейросеть» сразу спускались к форме отправки комментария, спеша излить желчь. Кажется, никто не читал текст полностью, в нём не было острых углов, да и писал больше о возможностях нейросетей, как полезного инструмента. Вот возьмём, к примеру, процесс раскрашивания наброска иллюстрации или комикса. Казалось бы, основная творческая часть работы выполнена и осталось раскрасить одинаково всю раскадровку. Это творческий процесс? А если это кадры в мультике, и их там миллион?

Утилита на основе нейронной сети отлично справляется с градиентной заливкой рисунков в несколько кликов мыши.

Конечно, без освещения позиции художников эта статья не имела бы смысла. Сам я пишу картины руками роботов и использую алгоритмы с элементами искусственного интеллекта для моделирования визуала, что вызывает раздражение в консервативно настроенных кругах Арт-сообщества. Суть претензий обычно сводится к «Не умеешь рисовать руками — не художник, не позорься.», но я не обращаю на это внимания, считая, что средство не должно быть выше цели.

Приведя в пример скрины из пабликов про нейросети, правильно было бы опросить и художников традиционных практик. Конечно, мат и грязь из Пикабу вставлять в статью смысла нет, я сменил тактику и обратился с этим вопросом к владельцам групп о искусстве в соцсетях, каналов в Дзен, иллюстраторам и художникам. Персонально.

Добрый день, у меня спокойное отношение к техническому прогрессу. Думаю, это неизбежный процесс эволюции, сокращение рабочих мест и подобные вещи. Будучи художником традиционным в какой-то момент осознал, что мир меняется и нужно в нём адаптироваться. Поэтому освоил рисование на компьютере, постоянно слежу за трендами в техническом плане, тестирую разные программы и приёмы цифрового рисования. С появлением криптовалют и NFT понял, что мир уже не будет прежним и вместо того, чтобы страдать от этого и ныть, я предпочитаю смотреть в направление трендов. А с искусственным интеллектом в частности пытаюсь подружиться. Он порой подкидывает интересные идеи, образы, которые я в состоянии доработать, улучшить и сделать оригинальную работу. ИИ ещё не скоро полноценно заменит художника, но уже сегодня может стать хорошим инструментом для генерации идей. Пользоваться этим или нет выбор каждого, в прочем, как всегда и во всём. Дзен канал «Муки творчества».

Художники против нейросетей? Скорее художники против такого нехорошего отношения к своему труду, а это талантливые люди, которые много лет учились, много слез пролито, критики выслушано, взлеты и падения… При всем этом это всегда трудный путь к мечте, путь творчества. И сравнивать труд человека и нейросети как минимум безнравственно.

Опять эти сети, везде они. Если так дальше будут продолжать, то люди обленятся, перестанут учить своих детей рисовать, они и так в планшетах сидят весь день. Что будет с будущим поколением? Перестанут уважать труд художника, забудут их? Будут сидеть и просить компьютер что то им нарисовать как нищие.

Я против всего этого! У этих «картин» нет души и они плодятся как раковая опухоль. Только человек может нарисовать хорошую картину, а не бездушные цветные фантики. Мир катится в пропасть. Люди слишком необразованны и готовы смотреть на эти мёртвые, бездушные изображения, по этому их будет только больше.

Знаешь как тяжело было учиться? Это тебе не кнопку нажать. Столько времени, сил, денег на материалы! И тут приходят какие то люди и говорят – мы тоже художники! Вы – кнопконажиматели без знаний, опыта и таланта.
Вам должно быть стыдно перед настоящими художниками!

Меня зовут Анна (ro_aiva), я художник-иллюстратор и считаю, что никакие технологии не смогут заменить художников. Да, нейросеть выдаёт интересный стиль и красивые изображения, но они никогда не смогут создать персонажа и его разные эмоции, образы, попав в желаемый стиль рисовки. Стиль нейросети интересный, но ограничен. Ну, и самое главное — пока технологии не научатся общаться с клиентами, обсуждать их правки, выявлять из голосового сообщения техническое задание, и понимать прочие «человеческие проблемы» в коммуникации, им никогда не занять место художников.

Добрый день, Алексей. Очень интересная у вас тема. Лично для меня она звучит как «Что лучше? Огонь или вода?» По моему твердому убеждению наш мир прекрасен именно тем, что разнообразен и гармоничен. Каждый выбирает для себя именно тот путь, для которого создан. Противостояний быть не может по определению ( в здравомыслящей голове). Противостояние уместно лишь по отношению к безграмотности, к праздности, к равнодушию и так далее… А главным образом важно нечто большее: уважение и принятие, как себя так и окружающих. Именно эти качества, способны просто истребить любые противостояния между материями, которые друг без друга не возможны.

Не берусь делать выводы, не имея возможности полностью отделить себя от участников процесса, но вижу некоторую обеспокоенность относительно своих ценностей.

Уже здесь же мы видим, что для многих эти технологии не новы, и не пугают. Любопытно и то, что качество визуализации картинки нейросетью особо не критиковали. Да, пока есть огрехи, но оглядываясь на результаты годичной давности и сопоставляя скорость развития технологии, уже через год-два мы не сможем отличить работу человека от результата работы алгоритма. Или сможем? Но по каким признакам?

Художники взывают к необходимости ценить их работы по тому, что это их работы. Иными словами, оценивать вложенное время жизни художника на получение навыков, насмотренности, совершенные ошибки… И конечно же, душа! Это всё очень важно и крайне ценно, для художника. А для зрителя? Думает ли он об этом, рассматривая картину, или его взор обращён в себя?

Но реалии современного общества таковы, что работы генеративно-состязательных сетей продаются на аукционах за сотни тысяч долларов, а талантливые художники традиционных практик порой не находят своего зрителя. У «души» же вообще нет физических параметров, по которым её можно точно идентифицировать. Как понять, картина написана с душой, или её там нет? Я могу оценить свой отклик, уловить изменения в эмоциональном состоянии. Вот только он бывает и от нейросетевой генерации, а картина, написанная человеком может не вызвать никаких эмоций. Скорее это относится к качествам зрителя, а не картины. В противном случае картина «с душой» вызывала бы отклик в душе каждого зрителя, а картина «без души» — ни у кого. Но так не бывает.

Попробуйте оценить эту картину критериями, описанными выше. Если что, её «придумала» midjourney…

Пожалуй, этот философский вопрос я оставлю открытым для вас. А на последок покажу свежие картинки, сгенерированные нейросетью Stable Diffusion. Без претензий на сюжет и смысл, просто портреты, как образец достигнутого на август 2022 года качества построения изображения:

Что можно сделать прямо сейчас.

Очевидно, необходимость диалога назрела. И я рискну выступить с инициативой:

Предлагаю организовать особое пространство для коммуникаций традиционных художников и искусствоведов с ML-щиками, генеративщиками и иже с ними ценителями технической эстетики.

Подозреваю, что первые недостаточно полно представляют возможности, которые могут дать технологии, а вторые не сведают в вопросах художественной ценности, ориентируясь пока на субъективные ощущения визуальной красоты или технологической сложности.

Зачем это технарю? — Это развитие, расширение кругозора, возможность поддержать беседу, погрузиться в культурную среду. Это поиск новых знаний и фактов (как мы любим). Художникам же будет полезно расширить круг зрителей и получить обратную связь, найти новые идеи и контакты для коллабораций в области технологического искусства.

Но осознавая всю сложность такой коммуникации, предлагаю следующий формат общения:

1 Всех достали эти уведомления в чатах, поэтому количество сообщений будет сильно ограничено, дабы можно было неторопливо подумать. И был повод не отключать уведомления.

2 Раз в две недели выходит пост с темой для обсуждения, открытый для комментариев, где можно будет описать своё видение описанного в сообщении вопроса, уточнить его или найти единомышленников.

3 Идеи (вопросы, боль, примеры) для постов присылайте на указанные в шапке канала контакты. Напрямую размещать посты с вопросами нельзя, дабы не нарушать спокойствие участников уведомлениями и блюсти ограничение на 2 поста в месяц. Если идей будет много, их выбор для публикации будет предложен в виде списка на голосование.

Предлагаемый дискуссионный клуб находится здесь: «Искусство-vs-Наука» Но если вы можете предложить более удобную для большинства участников площадку, пишите, большинством голосов решим куда переехать.

⚠ Я хочу, чтобы здесь всем было интересно, но качество общения зависит от аудитории. Поэтому прошу вас — прямо сейчас перешлите этот текст тем людям из своего контакт листа, кто в своём познании настолько преисполнился может обогатить опыт участников или обладает ценными знаниями в определённой области. Так и вам будет интереснее и им приятно, что вы их цените и выделили из общего списка своих друзей 😉

Объединившись, мы можем создать новое знание и опыт, подключайтесь!

какие бывают и как художник может их использовать в работе — Gamedev на DTF

Расскажем, как устроены нейросети, что они умеют, в каких можно рисовать. А еще — заменят ли они собой человека.

85 596
просмотров

Картинка от нейросети Disco Diffusion по нашему запросу «Старый город на закате, тепло-оранжевая палитра»

Как работают нейросети и при чем тут нейроны

Нейросеть — это понятие из биологии. Устройство нейросети очень похоже на устройство мозга: есть нейроны и связи между ними. Нейроны получают, обрабатывают и выдают информацию, а связи — передают ее.

Разница между мозгом человека и компьютерной нейросетью в том, что нейроны в мозге могут самостоятельно образовывать устойчивые связи, когда человек учится чему-то новому. А нейроны в компьютерной сети не умеют самостоятельно обучаться и формировать связи. Они умеют только получать, обрабатывать и выдавать информацию по команде.

Чтобы нейросеть начала работать, ее нужно научить. Это похоже на то, как маленьким детям объясняют новое. Вот вы показываете ребенку картинки с животными и называете их: корова, кошка, собака, верблюд. Потом ребенок на просьбу «покажи верблюда» сам показывает вам правильную картинку. Так же работает и нейросеть. При обработке информации внутри происходит сложный процесс. Но принцип обучения и последующего выполнения команды — одинаковый.

Самое большое заблуждение — что нейросети могут обучаться самостоятельно. Помните Альтрона в фильме о Мстителях из вселенной Марвел?

Так выглядит Альтрон

Он получил доступ к информации, вышел в сеть и стал самым сильным интеллектом. А потом и вовсе обрел физическую оболочку. Так вот, самостоятельное обучение Альтрона — это художественный вымысел. Все современные нейросети обучает человек. И алгоритм их работы пишет он же.

У каждой нейросети своя задача и свой алгоритм. К примеру, поиск Гугла по картинке — это тоже нейросеть. Вы показываете ей картинку и нажимаете кнопку «найти». Для нейросети это команда — «найди мне такую же или все, что на нее похоже». В память Гугла заранее загружена база картинок, сеть берет вашу и прогоняет ее по своей базе, сравнивая. И в итоге выдает вам все, что считает похожим. Как прогонять по базе и какие картинки считать похожими, нейросеть заранее научил человек.

А вот сеть DALL-E самостоятельно генерирует изображение из известных ей элементов по текстовому описанию. Вы пишете «космонавт едет на лошади, карандашный рисунок». Сеть сама ищет подходящие изображения, совмещает их, добавляет заданный стиль изображения и выдает уже готовую картинку.

Источник — dall-e-2

Нейросети еще очень несовершенны: иногда при создании картинки получается что-то бессмысленное или даже пугающее. А при поиске картинки то, что сеть выдает вам как «похожее», на самом деле совсем не похоже на исходник. Это происходит потому, что нейросеть так обучена. А для художников это означает, что нейросеть еще не может заменить человека в рисовании.

Нейросети, в которых вы можете рисовать

Работа нейросети по нашему запросу «Старый лес с озером и глициниями». Еще одна работа нейросети — на обложке этой статьи

Нейросеть от Гугла. Она создает картинки по текстовому описанию: нужно придумать тему или сюжет и задать его сети. В ответ она нарисует картинку на основе своих знаний о заданном сюжете. Если повторить тот же сюжет еще раз, картинка будет другой.

Как пользоваться: в программе много настроек, но все они не нужны. Первым делом найдите пункт 3 — настройки:

Выберите количество шагов в графе steps. Это то, сколько картинок будет использовано для финального результата. Чем больше шагов, тем резче изображение. Но не рекомендуем выбирать больше 500, иначе картинка будет слишком детальной и будет генерироваться очень долго. Обычно 250-300 шагов — вполне достаточно. В графе width_height можно выбрать размер и формат картинки.

Далее в разделе prompts введите ваш запрос на английском языке — то, что нейросеть должна нарисовать. Помимо самой темы, можно ввести либо имя художника/художников, на чей стиль будет опираться нейросеть, либо trending on Artstation — тогда она будет опираться на работы со страницы «Популярное» в Artstation:

После этого вернитесь в меню на самом верху страницы и пройдите по пути: Среда выполнения -> Выполнить все. Или нажмите комбинацию клавиш Ctrl+F9.

Сеть запросит у вас доступ к диску и приступит к работе — обычно на один рисунок уходит от 1 до 3 часов.

Примеры работ от нейросети

Смешивает между собой разные изображения. Можно взять несколько портретов и получить новое лицо. А еще можно поменять пол, возраст, настроение, черты лица. Брать портреты можно только из базы, загрузить свои изображения не получится.

Как пользоваться: чтобы сгенерировать новую картинку, нажмите на зеленый плюсик в правом верхнем углу экрана. Потом в открывшемся окне выберите тему будущей картинки.

В Artbreeder кроме портретов можно сделать пейзаж или мультяшного персонажа

Затем нажмите на кнопку «Add pattern» и выберите картинки для обработки. И дальше поиграйте настройками, чтобы получить интересное изображение.

В верхнем ряду — исходные фотографии. Средний и нижний ряд — то, что получилось в результате работы нейросети

Мы планировали нарисовать облака, а получилось похоже на лавину. Но так даже лучше

Это, по сути, не одна нейросеть, а две. Одна из них создает изображения очень похожие на те, которые есть в базе знаний нейросети. А вторая определяет, является ли оно уникальным. То есть две нейросети постоянно словно соревнуются между собой. Поэтому эта нейросеть называется генеративно-состязательной.

Как использовать: выберите тему картинки и рисуйте в левой части экрана.

Когда рисунок готов, поставьте галочки внизу рабочей области, чтобы согласиться с условиями использования. Потом выберите стиль изображения и нажмите на кнопку со стрелочкой вправо. В правой части экрана вы получите результат.

Пример работы нейросети. Слева вверху — исходное видео, слева внизу — измененный кадр, на который опиралась нейросеть

Сеть для стилизации и изменения изображений или видео. Допустим, вы хотите в фильме «17 Мгновений весны» переодеть Штирлица в другую форму. Для этого нужно взять один кадр, сохранить его, перерисовать так, как вы хотите, и запустить команду на обработку видео в соответствии с этим кадром.

Как использовать: процесс довольно трудоемкий и требует подготовки. Вам нужны видео и раскадровка в формате .PNG. Выберите один кадр, обработайте его и сохраните в папку. Программа синхронизирует обработанный кадр с видео.

Работа нейросети по запросу «Подсолнухи под луной» в разных стилях

Эта сеть тоже генерирует картинки по текстовому описанию по заданным шаблонам. В результате получаются абстрактные рисунки.

Как использовать: в графе Enter prompt напишите запрос, ниже выберите стиль и нажмите на кнопку Create.

Еще один пример работы нейросети:

Картинки по запросу «Осьминог с сигаретой» в разных стилях

Как художник может использовать нейросети в работе

Ментор Smirnov School Александр Айвак считает, что нейросети — это инструмент, который пригодится художнику.

• Например, можно использовать созданную нейросетью картинку как подмалевок и рисовать поверх нее. Вот картинка, которую сгенерировала нейросеть:

Александр дорисовал ее, вот результат:

• Можно устроить баттл между художником и нейросетью, когда ИИ и человек рисуют картинку на одну и ту же тему. Потом при помощи голосования выбрать, кто справился с заданием лучше.

• Еще один вариант: сломанный телефон с нейросетью. Нужно сгенерировать исходное изображение нейронной сетью и предложить художнику продолжить за ней. Затем опять дать нейронной сети это изображение, после — передать его следующему художнику, и так до конца.

Александр считает, что рисование при помощи нейросетей может быть довольно увлекательным и позволяет даже любителям создавать картинки. Нейросети — еще один новый инструмент, который использует человек, его не стоит бояться.

Но даже если вы используете нейросети, нужно прокачивать базовые навыки, работать с цветом и светом, быть креативным. Без этих навыков рисование даже при помощи нейронной сети не гарантирует хороший результат.

Человек, по мнению Александра, всегда будет на шаг впереди нейросетей, потому что именно он может придумать, каким необычным образом можно подать привычные темы.

Текст написала Наталья Куляшова, автор в Smirnov School. Мы готовим концепт-художников, левел-артистов и 3D-моделеров для игр и анимации. Если придёте к нам на курс, не забудьте спросить о скидке для читателей с DTF.

25 лучших художников ИИ 2022 года (фотографии, профили и история искусства ИИ) — AIArtists.org

Что такое искусство искусственного интеллекта (ИИ)?

Искусство искусственного интеллекта относится к искусству, созданному с помощью ИИ. Для непосвященных ИИ — это область информатики, ориентированная на создание машин, имитирующих человеческое познание и обучение. Искусство, созданное искусственным интеллектом, может варьироваться от автономных творений (например, работа Ахмеда Эльгаммала ) до импровизационных партнерств, созданных совместно в режиме реального времени (например, Sougwen Chung , работа). Художники ИИ сильно различаются в своих средах: от картин искусственного интеллекта Пиндара Ван Армана до музыки, созданной ИИ Тарин Саузерн , до поэзии ИИ от Росса Гудвина .

Что такое машинное обучение?

Как люди, мы учимся, приобретая знания через наши чувства и наш личный опыт. Машинное обучение похоже, но отличается. Машинное обучение относится к компьютерным системам, которые со временем учатся тому, как лучше справляться с конкретной задачей, либо путем воздействия на среду, предусматривающую поощрения и наказания (т. компьютер создает собственное представление идей, информации или объектов (т. е. «контролируемое» обучение). Затем машины используют свои математические представления данных, чтобы находить закономерности и делать точные предположения о вещах, которых они никогда раньше не видели. Например, набор данных изображений обезьян может помочь машине узнать, как выглядит обезьяна. Затем, столкнувшись с фотографией, которую она никогда раньше не видела, машина может опираться на свое понимание того, как выглядит обезьяна, – извлекая ее как элементы, называемые чертами, – и точно предсказывать, есть ли на картинке обезьяна. Хотя это простой пример, приложения чрезвычайно эффективны и являются основой всего, от автомобилей с автоматическим управлением до систем идентификации рака и рекомендаций по продуктам электронной коммерции. Чтобы узнать больше, мы рекомендуем наш обзор лучших книг по машинному обучению .

Что такое Google Deep Dream?

Google Deep Dream — известная ныне программа, придуманная Алексом Мордвинцевым, инженером, исследователем и художником в Google. Google Deep Dream использует технологию компьютерного зрения и сверточные нейронные сети, чтобы находить закономерности в изображениях, а затем итеративно улучшать их. Он генерирует триповые, почти психоделические, сказочные дополнения к изображениям, которые стали целым поджанром компьютерного искусства. Вы можете ознакомиться с работами, в которых используется Google Deep Dream, начиная с 9 лет.0005 Алексей Мордвинцев , Майк Тыка и Даниэль Амброси .

Что такое воплощенный ИИ?

Воплощенный ИИ означает искусственный интеллект, который может управлять чем-то в физическом пространстве. Например, тело, рука робота и т. д. Роботы, которые рисуют с помощью Sougwen Chung , являются отличным примером воплощенного ИИ.

Что такое тест Тьюринга?

Представьте себе машину, которая ведет себя как человек и неотличима от нас. Тест Тьюринга — это проверка способности машины вести себя как человек, то есть она не может определить разницу между поведением компьютера и человека. Алан Тьюринг изобрел тест в 1950. Если вам интересно узнать больше, ознакомьтесь с сборником основных работ Тьюринга . На самом деле тест уже пройден уже много лет, хотя эта веха не привлекла особого внимания прессы. Теперь возникают новые вопросы, например: может ли ИИ быть креативным? Может ли ИИ помочь решить некоторые из наших самых больших проблем как вида?

Что такое обучение с подкреплением?

Обучение с подкреплением — это метод, который машины могут использовать, чтобы со временем становиться умнее с помощью системы поощрений и наказаний. Эта форма обучения чрезвычайно эффективна и похожа на то, как мы учимся, будучи людьми. Машины сначала «наивны» (не зная многого или вообще ничего), а затем со временем совершенствуются, взаимодействуя с окружающей средой. Эта среда может быть смоделирована (например, в цифровой игре) или реальная (например, робот с физическими руками). Агенты автономно оптимизируют свое поведение для более эффективного достижения определенной цели, предпринимая действия, а затем калибруя их в зависимости от того, получают ли они вознаграждение или наказание. Чтобы узнать больше, мы рекомендуем Полная книга по обучению с подкреплением .

Что такое наука о данных?

Наука о данных — это изучение и практика использования математики для извлечения смысла и понимания из необработанных данных. Наука о данных использует статистику, интеллектуальный анализ данных, машинное обучение и другие дисциплины для анализа функций в наборе данных с целью предоставления некоторой полезной информации. Сегодня регистрируется так много данных, что это становится одной из самых популярных и быстро развивающихся областей бизнеса. Наука о данных и искусственный интеллект тесно связаны, и искусство искусственного интеллекта возможно только благодаря фундаменту, заложенному наукой о данных. Популярные инструменты в науке о данных включают 9Язык программирования 0005 R и Python .

Существует ли программное обеспечение для искусственного интеллекта?

Ага. Вы можете ознакомиться с некоторыми примерами из нашей коллекции ресурсов здесь: как создать искусство, сгенерированное искусственным интеллектом . Создавать искусство, созданное искусственным интеллектом, становится все проще и проще по мере того, как становятся доступными новые инструменты, сводящие к минимуму потребность в технических знаниях. ИИ и искусство больше не являются совершенно разными областями, и новое программное обеспечение помогает любому, у кого есть компьютер, объединить их. Примеры включают GANBreeder и генератор DeepDream .

Есть ли художественные выставки ИИ?

Абсолютно. На некоторых из них есть ссылки на нашу страницу для прессы, и вы можете нанять нашего куратора Марни Бенни, чтобы она организовала для вас выставку или мероприятия по искусственному интеллекту (свяжитесь здесь). Они могут варьироваться от полномасштабных установок ИИ в крупных учреждениях, таких как Barbican, до небольших всплывающих шоу в Нью-Йорке. Учитывая быстрое развитие отрасли, многие умопомрачительные выставки искусственного интеллекта еще впереди. У нас также есть открытый конкурс ai art для художников, желающих представить свои работы на нашем сайте.

Где я могу посмотреть некоторые картины ИИ?

Несколько наших художников рисуют ИИ. Некоторые из них созданы с помощью искусственного интеллекта, а другие полностью автономны. Мы рекомендуем для начала ознакомиться с ИИ-картинами Соугвена Чанга, ИИ-картинами Пиндара Ван Армана, ИИ-картинами Ахмеда Эльгаммала (искусство, созданное ИИ полностью автономно) или ИИ-картинами Александра Ребена.

Может ли ИИ создавать искусство?

ИИ уже создал искусство, которое некоторые зрители считают более трогательным, чем человеческое (см. работу Ахмеда Эльгаммала). Но красота в глазах смотрящего, и мы рекомендуем вам ознакомиться с некоторыми художниками ИИ на нашем сайте и решить для себя. Искусство, созданное искусственным интеллектом, выставлялось во многих ведущих галереях современного искусства в Лондоне, Нью-Йорке и по всему миру. Кроме того, одна картина, сгенерированная искусственным интеллектом, была продана на аукционе Christie’s почти за полмиллиона долларов, что является веским доказательством, подтверждающим финансовую ценность и историческую значимость искусства, созданного искусственным интеллектом.

Как я могу начать создавать искусство ИИ?

Мы составили список ресурсов инструментов о том, как создавать искусство, созданное искусственным интеллектом здесь . Например, RunwayML позволяет людям, не занимающимся кодированием, легко использовать ИИ в своей творческой практике. Курс Джина Когана «ml4a» учит новичков создавать искусство ИИ. Мы также включаем генераторы изображений с искусственным интеллектом, такие как Deep Dream Generator и GanBreeder. которые позволяют вам экспериментировать с передачей стиля и генеративно-состязательными сетями в качестве творческого инструмента. А если вам интересна история искусства ИИ, ознакомьтесь с нашими Временная шкала ИИ .

Где купить искусство ИИ?

Нет центрального рынка для покупки искусства, созданного ИИ. Если вы хотите купить искусство ИИ, мы рекомендуем работать напрямую с арт-консультантом/куратором , который разбирается в ландшафте, имеет отношения с художниками и знает историю движения искусства ИИ и его продаж. Наш соучредитель и куратор Марни Бенни консультирует клиентов о том, как собирать искусство ИИ. Если вы заинтересованы в покупке искусства ИИ, вы можете связаться с нами по телефону здесь . Мы работаем напрямую с коллекционерами, которые интересуются, где купить искусство ИИ, и можем помочь вам найти для продажи произведение искусства ИИ, которое соответствует вашим потребностям — будь то изобразительное искусство, скульптура или любой другой материал. Традиционные художественные аукционные дома также продают произведения искусства, созданные искусственным интеллектом. Например, в октябре 2018 года картина «Портрет Эдмонда Белами» была продана на Christie’s за 432 500 долларов. Произведение было создано французским художественным коллективом Obvious, который использовал алгоритмы, опубликованные с открытым исходным кодом, для создания новых портретов в классическом западном портретном стиле. Другие значительные продажи включают Марио Клингеманн «Воспоминания о прохожих», которые были проданы на Sotheby’s примерно за 50 000 долларов, постоянно развивающаяся пара портретов, где искусством является код и сама нейронная сеть. Мы верим, что ценность искусства ИИ будет продолжать расти, поскольку художники продолжают расширять возможности среды.

Что такое нейронная сеть?

Нейроны — это клетки мозга, которые передают информацию друг другу и обрабатывают сенсорную информацию. Нейронная сеть — это компьютерный алгоритм, который обрабатывает информацию, пытаясь имитировать процессы в нашем мозгу. Нейронные сети включают слои связанных «нейронов» или узлов, которые отправляют информацию друг другу. Это совершенно другой подход к вычислениям, чем обычные алгоритмы информатики, в которых программисты пишут явные указания, точно говорящие программе, что делать. Вместо этого нейронные сети учатся, что делать самостоятельно, без каких-либо пошаговых инструкций. Одним из примеров сети является сверточная нейронная сеть (CNN), которая может идентифицировать объекты или закономерности на изображениях, как и на любых фотографиях Facebook, на которых есть ваше лицо.

Что такое глубокое обучение?

Глубокое обучение относится к нейронным сетям с несколькими слоями связанных нейронов. Человеческий мозг состоит из множества слоев нейронов, между которыми существуют триллионы потенциальных связей. Точно так же в глубоком обучении большое количество слоев делает его «глубоким», а не поверхностным.

Что такое алгоритм?

Последовательность пошаговых инструкций. Это может быть простое указание: «поверните налево у знака остановки, пройдите прямо 100 футов, затем войдите в магазин». Или это может быть так же сложно, как миллион строк кода, просеивающих всю сеть, чтобы отобразить релевантные результаты поиска в Google. Эти инструкции сообщают компьютеру, что делать, как решать проблемы, как производить расчеты, как отображать данные на экране и т. д.

Что такое генеративно-состязательная сеть (GAN)?

Генеративно-состязательная сеть относится к двум нейронным сетям, которые «конкурируют» друг с другом, постепенно улучшая результаты для достижения желаемой конечной цели. Одна сеть пытается сгенерировать новые выходные данные на основе обучающего набора (например, она может попытаться создать новое изображение собаки на основе набора данных фотографий щенков). Затем другая сеть пытается определить, когда этот вывод слишком отличается от исходного обучающего набора (например, первая сеть рисует дом вместо собаки). Таким образом, сеть-создатель получает обратную связь о том, какие из ее результатов более близки к желаемому результату, и становится все лучше и лучше в создании двойников (в данном случае более реалистичных собак). Вместе они создают выходные данные, оценивают их сходство с исходным набором данных и повторяют, делая конечный результат поразительно согласованным с исходным обучающим набором (например, новые фотореалистичные фотографии собак, созданные на лету, которых никогда раньше не было, но которые выглядят точно так же, как настоящие). щенки). GAN используются для рисования, написания стихов и многого другого. Чтобы узнать больше, рекомендуем книгу Генеративное глубокое обучение: обучение машин рисовать, писать и играть. GAN используются художниками искусственного интеллекта, такими как Робби Баррат , для создания произведений искусства на основе других существующих работ, либо других художников, либо самого художника, либо наборов данных, которые не обязательно являются произведениями искусства (например, открытый набор данных изображений Google, или общедоступные фотографии Flickr).

Что такое креативная состязательная сеть (CAN)?

Творческая состязательная сеть основана на генеративной состязательной сети, но она встраивает случайность в выходные данные нейронной сети «создатель». Это создает новые и часто неожиданные результаты, пытаясь имитировать естественное человеческое творчество и отходя от существующих форм и моделей. Выходные данные также можно научить понимать, какая новинка хороша, а какая плоха (часто слишком большая случайность делает вывод эстетически неинтересным), чтобы его «новые идеи» попадали в сферу того, что люди сочтут привлекательными. Доктор Ahmed Elgammal — один из ведущих пионеров в этой области исследований.

Существуют ли арт-кураторы с искусственным интеллектом?

Да. Например, наш соучредитель Марни Бенни — куратор современного искусства, которая занимается искусством искусственного интеллекта и движением искусственного интеллекта. Если вы заинтересованы в сотрудничестве с Марни в организации выставки искусственного интеллекта, свяжитесь с нами здесь.

Существуют ли аукционы искусства ИИ?

Да, на сегодняшний день было проведено несколько аукционов искусства с искусственным интеллектом, в том числе аукционы искусства с искусственным интеллектом на Christie’s и Sotheby’s. Самой известной аукционной продажей произведений искусства с использованием искусственного интеллекта стал созданный искусственным интеллектом портрет, созданный французским арт-коллективом Obvious, который был продан почти за полмиллиона долларов. Продажа стала важной вехой, закрепившей ценность произведений искусства ИИ в традиционном мире искусства. Это также вызвало большие споры, потому что алгоритм, использованный для его создания, был первоначально выпущен в виде открытого исходного кода другим художником по искусственному интеллекту, Робби Барратом.

Избранные художники — AIArtists.org

Наши участники пересекают дисциплины и культуры и представляют многих наиболее исторически значимых современных художников, исследующих наш ИИ.

Джой Буоламвини

Джой Буоламвини — ведущий активист за алгоритмическую справедливость и поэт кода, который использует искусство и исследования, чтобы пролить свет на социальные последствия ИИ.

Посмотреть профиль исполнителя

Соугвен Чанг

Соугвен Чанг — мультидисциплинарный художник, использующий метки для исследования связи между людьми и машинами.

Посмотреть профиль исполнителя

Уэйн МакГрегор

Уэйн МакГрегор — известный британский хореограф, использующий искусственный интеллект для исследования возможности движения.

Посмотреть профиль исполнителя

Тега Брейн

Тега Брейн — австралийский художник и инженер-эколог, чьи работы исследуют искусственный интеллект и его связь с нашим природным миром.

Посмотреть профиль исполнителя

Стефани Динкинс

Стефани Динкинс — трансмедийный художник, который создает платформы для диалога об искусственном интеллекте, пересекающемся с расой, полом, старением и нашими будущими историями.

Посмотреть профиль исполнителя

Рефик Анадол

Рефик Анадол — медиа-художник и режиссер из Стамбула, чьи крупномасштабные интерактивные проекты в области искусственного интеллекта вдохновили аудиторию по всему миру.

Посмотреть профиль исполнителя

Memo Akten

Memo Akten — художница и филомат из Лондона, чьи отмеченные наградами проекты используют ИИ, чтобы отразить себя и то, как мы понимаем мир.

Посмотреть профиль исполнителя

Мими Онуоха

Мими Онуоха — нигерийско-американская художница, которая исследует изменчивый беспорядок людей и количественное состояние нашего технологического общества.

Посмотреть профиль исполнителя

Голан Левин

Голан Левин — художник, создающий артефакты и эксперименты, которые исследуют выразительное использование вычислений.

Посмотреть профиль исполнителя

Лорен Маккарти

Лорен Маккарти — художница из Лос-Анджелеса, исследующая человеческую идентичность и взаимодействие на фоне автоматизации и алгоритмической жизни.

Посмотреть профиль исполнителя

Марио Клингеманн

Марио Клингеманн (он же Квазимондо) сочетает в себе аналитический ум программиста, творческий пыл художника и немного сумасшедшего ученого.

Посмотреть профиль исполнителя

Джон МакКормак

Джон МакКормак — художник из Мельбурна, исследующий, как компьютеры могут улучшить и расширить наше творчество.

Посмотреть профиль исполнителя

Тарин Саузерн — художница и футуролог, создавшая первый сольный альбом, написанный и спродюсированный с помощью ИИ.

Посмотреть профиль исполнителя

Пиндар Ван Арман

Пиндар Ван Арман уже более десяти лет строит и программирует роботов для рисования, используя искусственный интеллект, роботизированные руки и 3D-печать.

Посмотреть профиль исполнителя

Скотт Итон — лондонский художник, дизайнер и преподаватель анатомии, использующий нейронные сети для расширения границ творческого самовыражения.

Посмотреть профиль исполнителя

Лидия Костопулос

Доктор Лидия Костопулос — американский эксперт по национальной безопасности, чье искусство исследует влияние ИИ на наше будущее.

Посмотреть профиль исполнителя

Александр Ребен

Александр Ребен — художник и робототехник, исследующий человечество с помощью искусства и технологий.

Посмотреть профиль исполнителя

Джин Коган — художник, программист и ведущий преподаватель творческого ИИ, который разрабатывает первый в мире децентрализованный автономный художник.

Посмотреть профиль исполнителя

Майк Тайка — художник, исследователь и инженер Google, чья работа над DeepDream помогла популяризировать искусственные нейронные сети как художественное средство.

Посмотреть профиль исполнителя

Сара Мехойас

Сара Мейохас — франко-американская художница, работающая в различных дисциплинах, включая кино, фотографию, виртуальную реальность, перформанс и скульптуру.

Посмотреть профиль исполнителя

Дэвид Янг — художник и технолог, чьи интимные работы с искусственным интеллектом помогают лучше понять, что такое искусственный интеллект и что он может дать в будущем.

Посмотреть профиль исполнителя

Росс Гудвин — художник, творческий технолог, гонзо-исследователь данных и писатель, который реализует новые формы и интерфейсы для письменного языка.

Посмотреть профиль исполнителя

Робби Баррат

Робби Баррат — 19-летний художник, чьи нейронные сети привели к исторической продаже на аукционе за 432 500 долларов, которая вывела ИИ на мировую арену.

Посмотреть профиль исполнителя

Том Уайт — новозеландский художник, исследующий, как машины видят мир.

Посмотреть профиль исполнителя

София Креспо

София Креспо — художница, интересующаяся пересечением биологических процессов и машинного обучения.

Посмотреть профиль исполнителя

Джейк Элвис

Джейк Элвис — лондонский художник, исследующий философию и этику искусственного интеллекта.

Посмотреть профиль исполнителя

Даниэль Амбрози

Даниэль Амбрози известен как один из основателей художественного движения ИИ и известен тонким балансом, которого он достигает в гибридном искусстве человека и ИИ.

Посмотреть профиль исполнителя

Кристиан «Мио» Локлер

Кристиан «Мио» Локлер — медиахудожник и хореограф из Берлина, исследующий гармоническое трение человеческих тел, движение и природу, сталкивающееся с цифровой эстетикой.

Посмотреть профиль исполнителя

Дариуш Гросс

Дариуш Гросс (DATAsculptor) — художник, исследующий идею бессмертия с помощью ИИ, использующий машинное обучение для захвата 60-летнего художественного наследия своего отца и создания новых работ.

[ПРОФИЛЬ СКОРО]

Бен Снелл

Бен Снелл — художник из Нью-Йорка, который исследует материальные аспекты и экологию вычислений.

Посмотреть профиль исполнителя

Майкл Седбон

Майкл Седбон — интерактивный дизайнер и художник, исследующий отношения между технологиями и природными формами.

Посмотреть профиль исполнителя

Роман Липски

Роман Липски — берлинский художник, исследующий возможные диалоги между художником и искусственным интеллектом.

Посмотреть профиль исполнителя

Анна Ридлер

Анна Ридлер — художница из Лондона, работающая с самостоятельно созданными наборами данных и творческим потенциалом машинного обучения.

Посмотреть профиль исполнителя

Филипп Шмитт

Филип Шмитт — художник из Бруклина, занимающийся автоматизацией восприятия и понятием непрозрачности в искусственном интеллекте.

Посмотреть профиль исполнителя

Лилла Локурто и Билл Аутко

Лилла Локурто и Билл Аутко — совместная команда художников, интересующихся телом и цифровым способом деконструкции трехмерных форм.

Посмотреть профиль исполнителя

Доктор Ахмед Эльгаммаль — профессор, исследователь и предприниматель, чья новаторская работа исследует вопрос: может ли ИИ быть творческим?

Посмотреть профиль исполнителя

Александр Мордвинцев

Александр Мордвинцев изобрел Google DeepDream, запустив совершенно новый поджанр искусства с использованием нейронных сетей.

Посмотреть профиль исполнителя

Генерация искусства из нейронных сетей

«Все искусство есть не что иное, как подражание природе». — Сенека

В октябре 2018 года картина под названием «Портрет Эдмонда Белами » должна была быть продана на аукционе по цене от 7000 до 10 000 долларов, но, к удивлению аукционного дома Christie’s, она была продана за колоссальную цену в 432 500 долларов. ¹ Картина в позолоченной раме представляет собой портрет мужчины в черном с нечеткими чертами лица. Углы портрета незакончены, но самой уникальной частью картины и, возможно, причиной ее высокой цены является математическая формула, которую можно увидеть в правом нижнем углу, где обычно находится подпись художника. Картина создана не человеком, а алгоритмом. В частности, он был создан с помощью класса алгоритмов машинного обучения, известных как генеративно-состязательные сети (GAN), разработанных Яном Гудфеллоу, известным исследователем искусственного интеллекта (ИИ), который в настоящее время работает в Apple.

В последнее время GAN привлекли большое внимание средств массовой информации из-за роста популярности дипфейков — видеороликов, созданных путем наложения лиц знаменитостей и политиков на тела других людей, часто лиц, выдающих себя за других. Эти дипфейки, основанные на GAN, невероятно реалистичны и способны убедить зрителей в том, что на них изображены настоящие знаменитости. Неудивительно, что GAN нашли применение во всех видах редактирования визуального контента, от автоматического создания аниме-персонажей до изменения фотографий фотомоделей для демонстрации разных поз и увеличения разрешения размытых фотографий. Индустрия дизайна видеоигр находится на пороге революции благодаря этой технологии, которая используется для создания более реалистичной компьютерной графики и виртуальных сред. Некоторые ориентированные на потребителя приложения, такие как FaceApp, также используют GAN, показывая пользователям, как они будут выглядеть, если состарятся на определенное количество лет. Даже астрономы используют GAN для заполнения частей неба недостающими данными и создания реалистичных реализаций дальнего космоса для дальнейших исследований.

Но истинный потенциал GAN заключается в том, как алгоритмы могут продвинуть область ИИ от узких приложений к более общим. С тех пор, как Алан Тьюринг опубликовал свою знаменитую статью, в которой задавался вопросом, могут ли машины думать, наблюдается неуклонный прогресс в разработке машины, которая может. ² ^{В последние несколько десятилетий в исследованиях ИИ все чаще используются методы статистического моделирования, такие как машинное обучение, при котором системы учатся, ища закономерности в данных и делая выводы с минимальным вмешательством человека. Один из таких методов моделирования, называемый нейронной сетью, в последние годы значительно продвинулся вперед, используя растущую вычислительную мощность и доступ к массивным наборам данных. GAN являются последними в линейке таких моделей и используют уникальный творческий подход с использованием нейронных сетей для обучения машин. Эта идея настолько новаторская, что Ян ЛеКун, один из современных пионеров в области искусственного интеллекта, назвал GAN «самой крутой идеей в области машинного обучения за последние 20 лет». ³}

Чтобы понять изменяющий правила игры потенциал GAN, нам нужно сначала рассмотреть концепции дискриминационного моделирования и генеративного моделирования. В области машинного обучения исследователи пытались разработать алгоритмы, которые могут обрабатывать большие объемы обучающих данных, чтобы изучать и понимать мир. Но до недавнего времени большая часть заслуживающего внимания прогресса в этой области была связана с идеей дискриминационного моделирования. Это относится к таким задачам, как определение того, есть ли на фотографии собака или данная картина была создана Ван Гогом. Здесь алгоритмы учатся на обучающих данных с пометкой каждого наблюдения. С математической точки зрения дискриминационное моделирование пытается оценить вероятность того, что наблюдение x принадлежит к категории y . С момента запуска базы данных ImageNet в начале 2010-х годов, конкурса ImageNet Visual Recognition Challenge и разработки глубокой сверточной нейронной сети (CNN) такие задачи классификации изображений стали проще, и многие считают эту задачу решенной.

Генеративное моделирование, с другой стороны, заключается не только в том, чтобы определить, изображена ли на фотографии собака. Он учится на обучающем наборе данных изображений собак, чтобы выяснить правила их внешнего вида и создать или синтезировать новые изображения собак. Важно отметить, что эта модель должна быть вероятностной, а не детерминированной. Детерминированная модель всегда дает один и тот же результат при заданном наборе начальных условий или начальных параметров. Поэтому генеративная модель должна включать случайный элемент, чтобы новое синтезированное изображение каждый раз было разным. Предположим, что существует некоторое неизвестное вероятностное распределение, описывающее, почему одни изображения, скорее всего, будут найдены в наборе обучающих данных, а другие — нет. Генеративная модель должна быть очень похожа на это распределение и производить выборку из него для вывода группы пикселей, которые выглядят так, как будто они могли быть частью исходного набора обучающих данных.

GAN состоит из нейронных сетей, основанных на двух предыдущих моделях, но выполняющих противоположные целевые функции: генерирующая сеть и дискриминаторная или состязательная сеть. Генераторная сеть обучена принимать случайный шум в качестве входных данных и выводить синтетический кандидат. Чтобы создать картину, GAN будет использовать многочисленные образцы картин в качестве входных данных и создать искусственный. Чтобы создать искусственные лица, нужно было изучить огромный набор данных реальных фотографий людей.

Противоборствующая сеть, с другой стороны, обучена отличать синтетического кандидата от реального. То есть ожидается, что этот дискриминатор «поймет» или классифицирует сгенерированную картину или искусственное лицо как фальшивку. При циклическом обучении генерирующая сеть постепенно становится лучше в том, что она делает — генерирует синтетических кандидатов, очень близких к реальным. И сеть дискриминатора лучше справляется со своей работой по отлову подделок и выбору синтетических кандидатов.

Думайте о генерирующей сети как о фальшивомонетчике, производящем имитации великих произведений искусства, а о состязательной сети — как об оценщике, оценивающем подлинность этих произведений. Эти двое заняты постоянным перетягиванием каната. Мошенник хочет, чтобы подделка была ошибочно классифицирована как настоящая; оценщик стоит на пути фальсификатора, потому что он может распознать подделку. Фальсификатор делает большое количество попыток и учится на том, что позволяет пройти оценщик. Оценщик, со своей стороны, учится на всех уловках фальсификатора и при этом становится все лучше и лучше в отличии подделки от настоящего произведения искусства. Этот процесс помогает обеим сетям понять нюансы того, что делает картину реальной. Как мы узнаем, что обучение завершено? Когда человеческий глаз не может сказать, была ли картина создана алгоритмом или настоящим художником.

Математически система GAN может быть представлена следующей функцией: D и G обозначают, соответственно, дискриминативную и генеративную модели. D(x) представляет вероятность того, что x получено из реальных данных, а не из распределения генератора. G(z) это функция, которая генерирует выходные данные, когда вводится шум z . По этой логике видно, что D(G(z)) оценивает вероятность того, что экземпляр синтезированных данных является реальным. E обозначает ожидаемое значение соответствующих распределений вероятностей.

Первый член в правой части формулы представляет вероятность прохождения реальной выборки через дискриминатор; второй член — это вероятность того, что синтетический образец не пройдет. Цель дискриминатора — максимизировать эту функцию так, чтобы в самом идеальном случае все реальные образцы проходили, а синтетические — нет. Задача генератора прямо противоположна — минимизировать функцию. Две сети участвуют в этой игре с нулевой суммой, пока модель не достигнет равновесия. На самом деле подпись на картине Эдмонда Белами является вариантом этой формулы.

Ходьба по канату

Для генеративно-состязательных сетей наиболее важной проблемой является процесс обучения. Обычно это делается циклически, поэтому обе сети имеют возможность учиться на опыте друг друга. За один шаг генератор узнает, как дискриминатор классифицировал ранее сгенерированные выборки. Если некоторые из них были классифицированы как настоящие с большей вероятностью, чем другие, генератор учится создавать больше образцов, похожих на них. Дискриминатор замораживается до тех пор, пока генератор не изучит как можно больше информации о текущем состоянии противника. Как только это произошло, генератор замораживается, и дискриминатору разрешается узнать, почему некоторые выборки были почти классифицированы как настоящие в предыдущей итерации; это помогает дискриминатору выявлять эти промахи в будущем. Этот цикл повторяется снова и снова, улучшая обе сети.

Слишком быстрое продвижение одной из сетей не идеально. Если какая-либо сеть станет слишком хорошей, прежде чем другая сможет ее догнать, обучение остановится, и общий результат будет неоптимальным. ⁴ Полезной аналогией является аналогия двух студентов-шахматистов, играющих друг с другом, чтобы улучшить свои игры. Они оба должны учиться и совершенствоваться примерно в одном темпе. Если один ученик улучшит свою игру значительно больше, чем другой, они оба окажутся на неоптимальном уровне мастерства: лучшему игроку будет недостаточно сложно, а слабый игрок будет продолжать проигрывать, так и не узнав ничего существенного.

При хорошем обучении GAN могут быть инструментами для генерации информации в любом сценарии, когда у нас есть определенное понимание того, чего ожидать, и где у нас есть система, чтобы определить, соответствует ли сгенерированная информация нашим ожиданиям.

Рассмотрим простую, но слишком распространенную цель увеличения разрешения фотографии или «увеличения масштаба». Начиная с изображения с низким разрешением, генератор GAN создаст тысячи случайных изображений с высоким разрешением в качестве кандидатов на роль увеличенной версии оригинала. Другими словами, это кандидаты на изображения с высоким разрешением, которые могли бы создать наше исходное входное изображение, если бы их разрешение было уменьшено или уменьшено. Затем дискриминатор просматривает эти изображения с высоким разрешением и пытается классифицировать их на основе наиболее вероятных и разумных возможностей, учитывая его обучение на множестве изображений с высоким разрешением. Вместе генератор и дискриминатор будут генерировать увеличенное изображение из изображения с низким разрешением, которое будет наиболее близко к реальному изображению с высоким разрешением, если бы оно существовало. ⁵ По сути, GAN пытается сделать наилучшее предположение на основе своего обучения, даже если изначально у него может не быть всей информации. GAN также можно использовать для удаления нежелательных объектов или нежелательных элементов с изображения — например, водяных знаков, фонарных столбов и мусорных баков. Это делается путем удаления ненужных элементов и предоставления GAN возможности заполнить пространство наиболее ожидаемой информацией, как в процессе масштабирования, описанном выше. ⁶

Что, если у нас нет входного изображения для начала, а есть только словесное описание? Допустим, у нас есть слова «синяя птица, сидящая на ветке дерева лицом влево». Теоретически GAN должна создавать изображение только из слов, описывающих изображение. В стандартном процессе генератор создаст тысячи изображений и дискриминатор просмотрит их все, пропуская только те, которые соответствуют описанию. После многих итераций GAN сгенерирует изображение синей птицы, сидящей на ветке лицом влево, и это будет совершенно новое творение, поскольку оно было сгенерировано из модели, включающей случайный элемент.

Возможность генерировать почти реалистичные данные пригодится в других областях исследований в области машинного обучения, таких как обучение с подкреплением, которое включает оптимизацию цели путем проб и ошибок. Эксперименты методом проб и ошибок могут быть сложными для проведения в определенных условиях. Рассмотрим случай обучения беспилотного автомобиля передвижению по каменистой местности с обрывами и ямами. Если бы алгоритм мог моделировать среду с помощью GAN, тестирование можно было бы проводить в виртуальной среде, и обучение можно было бы ускорить.

Современное состояние

Некоторые из наиболее простых приложений GAN включают масштабирование, удаление объектов с изображений и преобразование звука в изображения. Но самое интересное начинается, когда GAN объединяются с другими технологиями, такими как сверточные нейронные сети, которые специализируются на задачах обработки изображений и распознавания объектов. CNN состоят из слоев или фильтров, которые извлекают определенные функции из изображения и создают версии входного изображения, отфильтрованные по-разному. Они способны преобразовывать изображения в представления, фиксирующие содержание высокого уровня (какие объекты находятся на изображении, как они расположены), не беспокоясь о точных значениях пикселей. Они также могут создавать представление стиля — текстурированную версию входного изображения, которая фиксирует цвет и локализованные структуры.

В своей знаменательной статье 2015 года ученые-компьютерщики Леон Гэтис, Александр Экер и Маттиас Бетге совершили прорыв в разделении представления контента и стиля. ⁷ Затем они продемонстрировали идею переноса стиля: смешивая входную фотографию с известными произведениями искусства, они смогли синтезировать новые изображения фотографий в этих самых художественных стилях. Новый рендеринг показал то же содержание, что и фотография, но стиль напоминал произведение искусства. Например, совместив фотографию Неккарфронта (туристическая достопримечательность в Тюбингене, Германия) и картину Ван Гога Звездная ночь в качестве эталонного изображения стиля алгоритм смог создать новую художественную версию фотографии с постимпрессионистскими завитушками, напоминающими картину.

Хотя документ 2015 года был новаторским, он опирался на одно изображение в качестве эталона стиля. Последующие исследования развили эту идею, обучая GAN учиться на предметной области изображений, таких как полные работы конкретного художника или произведения искусства определенного периода времени. Именно так парижский арт-коллектив Obvious создал картину 9.0347 Портрет Эдмона Белами . Он обучил GAN на наборе данных из 15 000 портретов, написанных между 14 и 20 веками. Генератору в GAN было поручено синтезировать новые изображения на основе этого набора данных, в то время как дискриминатор пытался поймать изображения, которые не были созданы человеком.

По мере развития сетей GAN были обнаружены новые непредвиденные области их применения. Один из них связан с дипфейками и привлек широкое внимание средств массовой информации. Дипфейки используют GAN для наложения контента на исходное изображение или видео и плавного изменения исходного контента. Их можно использовать для забавных и безобидных целей, таких как выдавать себя за знаменитостей и переносить профессиональные танцевальные движения на тела любителей, но в чужих руках технология может быть использована в качестве оружия для преследований, социальной инженерии, политических кампаний по дезинформации и пропаганды. Видео дипфейка президента Барака Обамы, наложенное на комика Джордана Пила, было своевременным предупреждением о возможных опасностях дезинформации с использованием этой технологии. Мы достигли стадии, когда любой, у кого есть доступ к разумному набору данных и вычислительной мощности, может создавать такие видеоролики, чтобы вводить общественность в заблуждение, разрушать финансовые рынки или даже вызывать инциденты с национальной безопасностью.

Уже ведутся исследования по обнаружению этих дипфейков с помощью криминалистических методов, которые моделируют тонкие манеры и выражения лица, характерные для манеры речи человека. Одно наблюдение, сделанное на ранних этапах создания дипфейков, заключалось в том, что глаза искусственно созданных лиц не моргали, как естественные глаза. Это было связано с тем, что обучающие данные не включали изображения с закрытыми глазами человека, и у алгоритмов не было возможности узнать о концепции моргания. Но как только этот недостаток был замечен, следующее поколение дипфейков учитывало моргание и легко обходило методы обнаружения. Впоследствии пионер дипфейков Хао Ли провел исследование, которое выявило определенные «мягкие биометрические данные» — отчетливые движения лица, головы и верхней части тела — которые могли помочь отличить настоящие видео людей от дипфейков. ⁸ Но Ли считает, что вскоре обнаружение подделок станет невозможным, поскольку новые криминалистические методы и контрмеры будут бороться друг с другом, улучшая каждую сторону, мало чем отличаясь от двух сетей, конкурирующих в системе GAN. ⁹

Заключение

В своем знаменитом тесте 1950 года Алан Тьюринг предположил, что можно сказать, что машина демонстрирует разумное поведение, если оценщик-человек не может отличить ее ответы от ответов человека в текстовом диалоге. . С тех пор область ИИ резко выросла и породила ряд приложений, большинство из которых ограничены узкими задачами в определенных областях. Подумайте об интеллектуальных системах, таких как Google Translate, Siri, Alexa и обычном программном обеспечении для распознавания лиц. Они демонстрируют высокий уровень интеллекта для определенных функций и в некоторых случаях превосходят человеческие возможности. Но эти системы не очень полезны, когда они применяются к задачам, отличным от их специализации. Напротив, гипотетическая форма искусственного общего интеллекта могла бы расширить обучение на различные функции и могла бы решать более сложные проблемы, реагировать на незнакомую среду и принимать решения самостоятельно.

Появление GAN добавило волнения в эту растущую область исследований. Это позволило методам машинного обучения выйти за рамки простого понимания и маркировки данных, которые им предоставляются. В настоящее время методы становятся все более совершенными для выяснения того, как данные были сгенерированы в первую очередь.