Песня искусственный интеллект: Слушайте первую песню, написанную искусственным интеллектом – Test Press

Содержание

Музыка, созданная искусственным интеллектом, начала получать награды. На очереди Грэмми?

Когда пару месяцев назад MBW выпустили статью об искусственном интеллекте, создавшего трек в стиле Трэвиса Скотта, это вызвало некий ажиотаж в музыкальной индустрии.

Тем временем «роботы, пишущие песни», одержали очередную победу.

Во вторник (12 мая) были объявлены результаты первого в истории конкурса песен, написанных ИИ, организованного голландской вещательной компанией VPRO в сотрудничестве с радиостанцией NPO 3FM и NPO Innovation.

AI Song Contest был задуман как шуточный кивок в сторону Евровидения — полного китча ежегодного музыкального конкурса, который обычно (в год без COVID) привлекает глобальную телевизионную аудиторию более чем в 180 млн человек.

Мы говорим «кивок»; хотя на самом деле все чуть более очевидно. Питч AI Song Contest буквально содержит упоминание конкурса: «следующим выдающимся исполнителем на Евровидении может стать компьютер. В рамках AI Song Contest команды музыкантов, артистов, ученых и разработчиков берут на себя задачу создания нового хита, подобного Евровидению, но с помощью искусственного интеллекта».

Победителя конкурса частично определила группа высококвалифицированных экспертов, в том числе британский исполнитель Эд Ньютон-Рекс, чья музыкальная компания Jukedeck была приобретена владельцем TikTok Bytedance в прошлом году.

Помимо Ньютона-Рекса в число судей вошли нидерландский исследователь ИИ и композитор Винсент Купс и американка Анна Хуанг, ранее участвовавшая в проекте Magenta в Google Brain, где она работала над генеративными моделями для музыки.

Эти трое судей голосовали за набор треков, созданных искусственным интеллектом, после чего их выбор совместили «общественным голосованием» от международной онлайн-аудитории, чтобы определить победителя.

В конце концов, (во многом благодаря значительной поддержке зрителей), победу одержал трек «Beautiful The World» от Uncanny Valley.

(Uncanny Valley, изображенные на фото, на самом деле из Австралии, а не из Европы, но Австралия также является участником настоящего песенного конкурса «Евровидение», так что все вполне справедливо).

По словам VPRO, трек был «в значительной степени написан с использованием искусственного интеллекта».

Команда, стоявшая за песней, скормила ИИ аудио-сэмплы животных, обитающих в Австралии – включая коал, кукабурр и тасманийских дьяволов, чтобы сделать ее максимально отражающей их родину, а затем просто позволили ИИ делать его работу.

VPRO добавляют: «энтузиазм аудитории по поводу трека от австралийцев — это большой толчок для ИИ как творческой техники будущего. Это показывает, что компьютер может написать хорошую песню с запоминающимся хуком».

Однако, Beautiful The World на самом деле нельзя назвать излюбленным треком судей AI Song Contest.

Приз «Выбор Критиков» достался треку, который занял второе место в настоящем конкурсе, с блестящим названием I’ll Marry You, Punk Come.

Он был создан, ну, искусственным интеллектом в тандеме с немецкой командой Dadabots x Portrait XO.

Вы можете послушать представленную версию этого трека здесь, а также другую версию «part 1» ниже:

После Австралии (№1) и Германии (№2), на третьем месте расположился трек «Abbus» от голландской команды  Can AI Kick It??

Трек описывают как «дуэт» между ИИ и артистом Вилли Вартаалом, текст трека была в значительной степени написан машиной и заканчивается противоречивой строкой: «мы хотим революции, убьем правительство, убьем систему!».

Голландская команда использовала систему искусственного интеллекта Аррана Лайона для создания сотен мелодий и басовых линий, которые они затем вводили в другой искусственный интеллект – Eurovision Hit Predictor от Эшли Бургойн – чтобы выявить самые привлекательные варианты.

Судьи AI Song Contest заявили: «Мы были поражены широким спектром инновационных подходов команд к использованию ИИ в творческом процессе при создании песен. Все песни очень отличались и отражали то, как художественное видение каждой из команд повлияло на взаимодействие с ИИ».

«Сочинять песню с помощью искусственного интеллекта очень трудно, потому что остаются не только все творческие задачи, которые возникают при написании песни, но и появляется необходимость в правильном машинном обучении. Работа с машинным обучением — это всегда непросто, когда вы изо всех сил стараетесь направить его в определенном направлении с помощью имеющихся у вас данных, наполняя ИИ мелодиями, а он создает нечто совсем в другом направлении».

«Мы обратили внимание на то, как команды принимают эту непредсказуемость, внимательно слушают и находят вдохновение, которое в некоторых случаях подпитывает всю историю песни. Мы видим, что команды используют целый поток идей, которые генерирует машинное обучение, что часто требует прослушивания огромного количества материала, прежде чем будет найден тот самый лучший вариант. Некоторые команды подошли к этой проблеме иначе, создав другую модель, которая оценивает и ранжирует результаты машинного обучения, а также чувствительна к этическим последствиям использования ИИ в написании песен.

С полным списком финалистов AI Song Contest можно ознакомиться здесь.

ИСТОЧНИК: Music Business Worldwide

Как нейросети пишут музыку и составляют плейлисты — Нож

Взломать божественный код: кто и зачем использует ИИ в музыке

В конце 2019 года американская певица и электронщица Grimes заявила, что мы, похоже, живем в эпоху заката искусства — по крайней мере человеческого. «Как только действительно появится сильный искусственный интеллект, он будет значительно превосходить нас в создании произведений искусства», — сказала певица.

Спустя год Grimes написала бесконечную цифровую колыбельную для приложения Endel. Вернее, она предоставила только музыкальную основу, а искусственный интеллект приложения теперь непрерывно изменяет ее, подстраиваясь под время суток, погоду, передвижения и пульс конкретного пользователя.

«Мне кажется, в этом есть что-то по-настоящему магическое, — сказала Grimes, рассуждая об ИИ в интервью для The New York Times. — В этом будто бы сокрыт смысл Вселенной. Звучит абсурдно, но вы понимаете, о чем я? Может, мы взламываем божественный код или что-то в этом роде?»

Тизер бесконечной колыбельной Grimes

С не меньшим трепетом смотрит на искусственный интеллект певица и музыкальный продюсер Arca. Используя его, она создала сто вариантов своей песни Riquiquí.

«Это принесло мне облегчение и воодушевило: не всё еще сделано, горизонт возможностей широк», — призналась певица. Для нее сотрудничество с искусственным интеллектом — опыт освобождения. Вместо того чтобы принимать множество микрорешений, теперь она может просто создать музыкальную экосистему, в которой — благодаря ИИ — творчество происходит само и всегда приводит к неожиданному результату.

Один из ремиксов песни Arca Riquiquí

Другие артисты не только используют ИИ в своих песнях, но и дают ему право на самостоятельное высказывание. Так, ирано-британский электронщик Аш Куша создал виртуальную певицу Yona. Она пишет музыку и тексты песен, а затем сама исполняет их.

Песня виртуальной певицы Yona

Как отмечает Time, большая часть ее стихов туманны и бессмысленны, но иногда она выдает строчки вроде: The one who loves you sings lonely songs with sad notes.

По мнению создателя Yona, на такую прямоту и «эмоциональную обнаженность» не способны даже большинство людей.

Но Yona — не единственный ИИ-музыкант. Осенью 2019 года она выпустила два альбома в соавторстве с другими цифровыми артистами. А еще музыку пишет виртуальная инфлюенсерка Lil Miquela, у которой три миллиона подписчиков в инстаграме.

Клип виртуальной певицы Lil Miquela
Читайте также

Lil Miquela: виртуальная икона стиля завоевывает инстаграм

От компьютерной сюиты 1950-х до робота, пишущего под Баха: краткая история ИИ в музыке

Впрочем, всё это не так уж и ново. Первая композиция, сочиненная искусственным интеллектом, увидела свет еще в 1956 году. Два профессора Иллинойского университета Леджарен Хиллер и Леонард Айзексон использовали для этого университетский компьютер «Иллиак». Хиллер и Айзексон прописали правила, на основе которых машина сгенерировала код, переложенный затем на ноты. Результатом эксперимента стало четырехчастное произведение для струнных, которое Хиллер и Айзексон назвали «Сюита Иллиака».

«Сюита Иллиака»

В 1965 году на американское шоу I’ve Got a Secret, где звездное жюри угадывало секреты гостей, пришел семнадцатилетний Рэймонд Курцвейл, будущий изобретатель и футуролог. Он сыграл композицию на пианино — секрет был в том, что сочинил ее компьютер.

А в начале 1980-х увлекавшийся программированием композитор Дэвид Коуп начал работу над программой Experiments in Musical Intelligence (ЭМИ). ЭМИ должна была анализировать существующую музыку и создавать на ее основе новые произведения. На разработку ушло семь лет, но когда работа закончилась, ЭМИ за один день сочинила пять тысяч хоралов в стиле Баха.

В 1997 году Коуп представил слушателям три композиции. Одна была написана Бахом, другая — ЭМИ, третья — преподавателем музыкальной теории Стивом Ларсоном. Зрители должны были угадать, кому принадлежит каждое из этих произведений. Композицию, сочиненную Ларсоном, публика приняла за музыку искусственного интеллекта. Музыку ЭМИ — за Баха.

Фуга в стиле Баха, написанная ЭМИ

Сегодня ИИ пишет музыку к видеоиграм, сочиняет поп-песни в духе The Beatles и даже дописывает неоконченные пьесы умерших композиторов. Появляется всё больше стартапов, которые разрабатывают ИИ-сервисы для создания музыки (например, Amper Music, Popgun и AIVA). Но как работает музыкальный искусственный интеллект?

Обучающиеся нейросети и люди-редактора: как ИИ делает музыку

Большинство из этих систем используют глубинное машинное обучение, объясняет музыкант и журналистка Дени Дил в статье для The Verge. Проанализировав множество существующих композиций, система создает собственную музыку.

«По сути, ты скармливаешь программному обеспечению тонны оригинального материала, от танцевальных хитов до классики диско, а та старается найти в нем какие-либо закономерности, — пишет Дил. — Эти программы чувствительны к таким вещам, как аккорды, темп, длительность нот и их отношение друг к другу».

ИИ-сервис Jukebox переделал Smells Like Teen Spirit «Нирваны»

«Проблема данного подхода в том, что получающейся музыке не хватает структурированности, — рассказывает Валерио Велардо, эксперт в области музыкального ИИ и экс-глава компании Melodrive, которая до недавнего времени использовала ИИ для создания саундтреков к видеоиграм. — Музыка чрезвычайно сложна и многомерна, так что ты не можешь заставить компьютер написать ее, просто тренируя нейронную сеть на десяти тысячах или даже миллионе песен».

Поэтому для создания музыки машинное обучение нужно сочетать с музыкальной теорией, говорит Велардо. Например, если вы хотите создать алгоритм, который напишет произведение для целого оркестра, стоит подумать о его структуре, мелодии, инструментовке. Велардо добавляет:

«За все эти факторы не может отвечать один-единственный алгоритм».

Этого же метода придерживается и люксембургская компания AIVA, сочинившая саундтрек к видеоигре Pixelfield. За разные характеристики музыкального произведения — например, гармонию, темп и мелодию — в AIVA отвечают разные ИИ-системы. Вот что получается в результате:

Саундтрек ИИ к игре Pixelfield

«Мы спросили себя: „Какие структурные блоки нужны для создания цельной песни?“ — говорит глава AIVA Пьер Барро. — Начать можно, например, с мелодической линии. Затем, основываясь на ней, вы можете создать другую модель, которая сочинит инструментальный аккомпанемент для этой мелодии. Когда ты разбираешь целое на части, всё становится значительно проще».

Тем не менее логика, по которой ИИ создает музыку, все-таки отличается от человеческой. Ник Брайан-Киннс, специалист по машинному обучению в области музыки, поясняет:

«Проблема в том, что мы пытаемся научить ИИ создавать музыку, которая нравится нам, но не позволяем делать музыку, которая нравится ему».

Чтобы композиции, написанные искусственным интеллектом, звучали интересно для человека, ИИ все-таки нередко требуются живые редактора — по крайней мере, пока. «Можно скормить ИИ целый каталог с песнями Эми Уайнхаус, и на выходе получится много музыки. Но кто-то должен взять и отредактировать ее, — говорит Брайан-Киннс. — Кто-то должен решить, какие части ему нравятся, а над какими ИИ стоит поработать еще немного».

Талантливый соратник: как живые артисты смотрят на сотрудничество с ИИ

Гораздо проще работа искусственного интеллекта выглядит в глазах музыкантов, которые используют его для своих экспериментов. Очень простой интерфейс, например, у сервиса Amper Music. Чтобы ИИ сочинил для вас композицию, нужно просто создать новый проект, определить длительность трека, выбрать жанр, настроение и бит. Когда трек будет готов, вы можете вносить правки: например, поменять тональность или темп.

Вот, что получилось у меня.

Чтобы создавать музыку с помощью Amper, вам не нужно знать ни музыкальную теорию, ни основы композиции.

У американской певицы Тэрин Саузерн, по ее признанию, «нет традиционного музыкального бэкграунда». Но это не помешало ей выпустить в 2018 году целый альбом I AM AI, музыку для которого придумал искусственный интеллект.

«Обычно я находила красивый аккорд на пианино, — рассказывает Саузерн о том, как сочиняла до знакомства с ИИ, — и писала целую песню на основе этого аккорда, но не могла перейти к следующим нескольким аккордам, потому что не знала, как сыграть то, что слышала в голове».

Когда же она стала работать с Amper Music и другими ИИ-сервисами, процесс упростился. Теперь Саузерн сообщала ИИ, какой она видит будущую композицию, а он уже предлагал свои варианты. Саузерн могла отвергнуть тридцать версий, предложенных компьютером. Но когда он придумывал что-то, что действительно нравилось певице, она переносила получившиеся аудиодорожки в программу для создания аранжировок GarageBand, расставляла музыкальные фрагменты в нужном ей порядке и затем писала текст.

Песня Тэрин Саузерн, сочиненная в соавторстве с ИИ

Причем музыка ИИ была одним из источников вдохновения для текстов и вокальных партий, говорит Саузерн. Искусственный интеллект для нее — талантливый соратник: работа с ним очень напоминает певице взаимодействие с живым человеком.

Некоторые, впрочем, могут спросить: «А велик ли в итоге вклад самой артистки? Не жульничество ли это?» Саузерн уверена, что всё по-честному. Нет одного-единственного способа создавать музыку, считает певица, и через двадцать лет, предсказывает она, такое «программирование» песен будет общим местом.

ИИ как станок Гутенберга: какие еще есть музыкальные ИИ-сервисы и в чем они видят свою цель

«Мы открываем двери к самовыражению для миллиардов людей», — говорит глава Amper Music Дрю Сильверстайн. Для него музыкальный ИИ — сродни типографскому станку Гутенберга, благодаря которому мир однажды наводнился книгами и газетами. Только вот к книгопечатному оборудованию доступ имеется далеко не у всякого, а воспользоваться сервисами вроде Amper Music сегодня может кто угодно.

В демократизации песенного искусства видит свою цель и компания ALYSIA. Искусственный интеллект ALYSIA не только создает музыку, но и пишет тексты. «Люди, которые никогда прежде не сочиняли песен, могут попробовать себя в этом за считаные минуты», — поясняет создательница сервиса Майя Акерман, специалистка по информатике.

Но чтобы записанная композиция звучала одинаково хорошо и на дорогих колонках, и в дешевых наушниках, ей нужно пройти мастеринг. Зачастую это недешево. Сервис LANDR предложил музыкантам недорогую альтернативу: автоматический мастеринг с помощью ИИ.

А британский стартап Volchea создал программу, которая помогает транслировать музыку прямо из головы. Например, вы можете напеть в микрофон какую-то мелодию, а приложение превратит ее в звуки трубы.

Попробуйте набитбоксить ритмический рисунок — Volchea сделает из него партию для барабанов. Или просто настучите ритм карандашом по кружке.

Так звуки битбокса Volchea превращает в электронные

А если вам хочется сыграть с кем-то на пианино в четыре руки, на помощь придет искусственный интеллект Alice, созданный австралийским стартапом Popgun. Когда вы играете на пианино несколько нот, Alice, наученная на тысячах песен, сообразит, как подыграть вам. AI Duet — еще один похожий сервис. Чтобы понять, как это работает, просто попробуйте сами. Похожим путем пошел музыкант и программист Ден Тепфер: он научил акустическое пианино аккомпанировать ему.

Умное акустическое пианино подыгрывает музыканту Дену Тепферу

Ежедневно на стриминговых сервисах вроде Spotify появляются десятки тысяч новых песен. Редактора этих сервисов просто физически не успевают прослушать такое количество музыки. Но если треки не будут помечены тегами, указывающими, например, на их жанр, слушателям будет сложнее открывать для себя новую музыку. Сервисы типа Musiio способны прослушивать тысячи композиций и автоматически классифицировать их по жанру, настроению, темпу и другим характеристикам.

А на сайте издания Pudding в конце 2020 года появился музыкальный бот, оценивающий музыкальный вкус пользователей, — How Bad Is Your Spotify. По утверждению создателей, их нейросеть «обучалась на корпусе из более чем двух миллионов показателей объективно хорошей музыки, включая рецензии Pitchfork, рекомендации музыкальных магазинов и сабреддиты, о которых вы в жизни не слышали». Всё, что нужно сделать, чтобы ваш вкус разнесли в пух и прах, это предоставить сервису доступ к своему аккаунту в Spotify и, возможно, подождать — Spotify ограничил число пользователей, которые могут пользоваться ботом одновременно.

Сам Spotify использует ИИ, например, для создания персонализированных рекомендаций. А недавно стало известно, что компания хочет предлагать пользователям новую музыку на основе наблюдений за их эмоциями и окружающей обстановкой.

Для этого Spotify будет использовать голосовое распознавание. Сервису будет интересно, например, каков ваш возраст и пол, с какой интонацией и в каком ритме вы говорите, в одиночестве ли вы или на вечеринке и многие другие подробности вашей личной жизни.

Хотя описание новой функции звучит слегка антиутопично, в Spotify уверяют, что осознают ценность личной цифровой истории каждого из нас и обещают соблюдать моральные нормы.

Заменит ли ИИ живых музыкантов?

«Мы всегда смотрели на творчество как на последний бастион человечности», — говорит Сиаваш Махдави, глава одного из ИИ-стартапов AI Music. Сегодня музыканты выстраиваются в очередь, чтобы люди послушали их музыку. Последнее, чего они хотят, — это конкурировать с искусственным интеллектом, способным за секунду сочинить симфонию.

Многие музыканты со скепсисом относятся к ИИ, соглашается экс-глава Melodrive Валерио Велардо. Проблема в том, что они не очень хорошо понимают, чем занимаются компании вроде Melodrive. Но немало и тех, кто разбирается в теме и нуждается в искусственном интеллекте.

В Велардо ИИ придумывал музыку для видеоигр, которую композиторы потом дорабатывали, как им вздумается. Поскольку сочинители в этой области работают в условиях жестких дедлайнов, к сервисам вроде Melodrive они относятся с большой симпатией, уверяет Велардо, добавляя:

«Они понимают, что ИИ не отнимет у них работу, а просто станет еще одним инструментом».

Новые технологии нередко встречают с недоверием. «Возьмем для примера автотюн», — говорит Дрю Сильверстайн из Amper Music в одном из интервью. Когда он только появился, его применение вызывало споры, но сегодня это стандартный инструмент, который использует почти каждый артист. В другом интервью он замечает:

«Даже когда творчество ИИ и музыка, созданная людьми, станут неотличимы друг от друга, люди всегда будут ценить возможность посидеть в комнате с другим человеком и позаниматься искусством. Это часть нашей природы. И она навсегда останется с нами».

Искусственный интеллект еще долго не сможет делать музыку, которая трогала бы наши чувства, считает консультант в области музыкального бизнеса Марк Маллиган. «Когда ИИ научится имитировать человеческие эмоции, тогда последний рубеж будет преодолен. Но до этого еще очень и очень далеко», — говорит он.

Но даже такая имитация вряд ли сделает ИИ настоящим артистом. Алгоритмы глубинного обучения, натренированные на хоралах Баха, возможно, и могут делать музыку, которую даже эксперты порой принимают за истинного Баха, но это всего лишь мимикрия, рассуждает американский философ Шон Дорренс Келли. Подражать стилю мастеров и развивать его — это то, что артисты делают на ученическом этапе своей карьеры. Но вовсе не за это мы ценим композиторов вроде Баха или Арнольда Шенберга.

Шенберг стал великим музыкантом не потому, что он показал миру более быструю или совершенную версию произведений своего предшественника Оскара Штрауса. Он стал великим, потому что показал, что все двенадцать ступеней хроматического звукоряда могут быть равнозначны. Другими словами, он поменял само наше представление о том, какой может быть музыка, говорит Дорренс Келли.

Может быть интересно

Изящные речи чистого разума: может ли нейросеть быть художником?

Тем не менее ИИ вполне пригоден в качестве инструмента для творчества, считает философ. Подобно тому, как труба помогала джазовому музыканту Майлзу Дэвису создавать искусство, алгоритмы ИИ могут прийти на помощь современным художникам.

Сооснователь Amper Music Майкл Хоуб придерживается похожей точки зрения. Существующие сегодня алгоритмы он рассматривает не как искусственный интеллект, а скорее как дополнение, примочку к человеческому разуму. «Для меня речь о том, чтобы дать большему числу людей возможность проявить креативность, а тем, кто уже обладает какими-то творческими талантами, позволить по-настоящему продвинуться вперед», — говорит Хоуб.

Какое будущее ждет ИИ в музыке

Представьте, что вы едете в переполненном вагоне метро и злитесь, потому что опаздываете на работу. Крошечный биометрический гаджет над вашим ухом замечает вашу тревогу и включает песню вашего любимого артиста, но изменяет ее так, чтобы она звучала более мягко и спокойно. По обратной связи гаджет замечает меняет ваши биометрические показатели и продолжает менять композицию, чтобы ее эффект был еще более благотворным.

Таким недалекое будущее музыкального ИИ видит Анмол Саксена, глава стартапа Ashva WearTech, разрабатывающего «умную» одежду, например прибор, помогающий поддерживать осанку. «На мой взгляд, есть большая вероятность, что стриминговая индустрия попробует предлагать функции, которые будут считывать такие показатели организма, как пульс, уровень стресса, частоту дыхания, может быть, даже неврологические сигналы», — говорит Саксена.

На основе этой биометрической и психологической информации ИИ будет менять жанр, тональность, гармонию и другие характеристики песен в вашем плеере, чтобы вы чувствовали себя лучше. Это будет новая эра в персонализации музыки с помощью ИИ.

Читайте также

Нейросеть смогла распознать прослушиваемую песню по активности мозга

Экс-глава поглощенного тик-током стартапа Jukedeck Эд Ньютон-Рекс видит будущее ИИ похожим образом. На вопрос газеты The Guardian о том, смогут ли однажды программы, хорошо понимающие нашу психику, сочинять музыку, которая будет помогать нам засыпать, Ньютон-Рекс отвечает: «Безусловно. Это именно та область, в которой ИИ может быть полезен».

Впрочем, частично это будущее уже наступило. Похожими вещами занимаются в том же Endel, для которого Grimes написала бесконечную колыбельную. Endel, разрабатывающийся в том числе выходцами из России, еще не умеет использовать неврологические сигналы, но уже способен учитывать циркадные ритмы, уровень физической активности (определяемый по количеству шагов в минуту) и пульс (считываемый умным браслетом). На основе таких показателей приложение создает персонализированные звуковые пейзажи. По словам создателя Endel Олега Ставицкого, пользователи рассказывали о том, как оно помогало им в борьбе с ПТСР, бессонницей и звоном в ушах.

Кроме того, работа над ИИ может помочь нам понять, как мы сами сочиняем музыку, говорит Ньютон-Рекс: «Мы по-хорошему не знаем, как работает творчество. Но разрабатывая эти системы, мы начинаем задаваться вопросами о том, как аналогичные задачи решаются нашим мозгом».

Искусственный интеллект также может сильно разнообразить жанровый ландшафт музыки.

«Мне кажется, большого прорыва стоит ждать на пересечении различных музыкальных стилей», — говорит специалист по машинному обучению в области музыки Ник Брайан-Киннс. Ожидать, что живые музыканты будут смешивать большое количество разных стилей, не приходится. Но вот искусственный интеллект с легкостью может сочетать жанры в миллионах комбинаций, считает эксперт.

Впрочем, ИИ может порождать и проблемы. Как замечает Франсуа Паше, который проводит музыкальные эксперименты с искусственным интеллектом в Spotify, количество музыки, созданной ИИ, еще очень невелико по сравнению с интенсивностью исследований в этой области. Мы еще в самом начале.

Например, чем больше будет появляться музыки, сочиненной ИИ, тем больше будет и судебных тяжб. Существующие законы об авторском праве были написаны без учета искусственного интеллекта. Поэтому скоро нам придется разобраться, за кем признавать права на песню, сочиненную ИИ: за программистом, разработавшим нейросеть, за артистом, который использовал результаты ее работы в своем творчестве, за композиторами, на чьих работах ИИ тренировался, или за самим ИИ?

Может быть интересно

Искусство искусственного интеллекта: кого считать автором в эпоху творчества нейросетей

Другая проблема использования этой технологии в том, что нейросети становятся сегодня всё больше и потребляют огромное количество энергии, говорит Брайан-Киннс. Представьте, например, сколько электричества потребуется, чтобы ИИ проанализировал всю поп-музыку последних двадцати лет.

«В какой-то момент нам придется спросить себя, стоит ли эта новая музыка того воздействия на окружающую среду, которое окажет выработка нужного количества энергии», — предупреждает Брайан-Киннс.

Но если мы хотим развития музыкального искусственного интеллекта, нам придется найти удовлетворительные ответы на подобные вопросы. Ведь пока музыка ИИ далека от того, что мы привыкли добавлять в свои плейлисты. Алгоритмы еще недостаточно хороши, чтобы создать песню, услышав которую, мы бы сказали себе: «Буду, пожалуй, слушать это, а не Дрейка», объясняет Олег Ставицкий.

Тем не менее появление виртуального конкурента Дрейка, похоже, — только вопрос времени. Создатель Amper Music Дрю Сильверстайн заключает: «То, что музыка ИИ станет неотличима от человеческой, — неизбежно».

Искусственный интеллект создал песню — Dudom

Композиция «Break Free» является первым выпущенным треком нового альбома американской певицы и актрисы Тэрин Саузерн (Taryn Southern). Песня, как и весь альбом в целом, создавался при участии некоего артиста под именем Ампер (Amper), однако то, что со стороны могло показаться обычным сотрудничеством между артистами, на деле оказалось совсем не тем, чем представлялось.

Тэрин довольно известна в своей стране и занимается музыкой уже давно. Она впервые появилась на экранах телевизоров еще в 2004 году, участвуя в американском шоу талантов American Idol. У нее более 500 миллионов просмотров на сайте YouTube и более 450 тысяч подписчиков. Для Ампер же выпуск альбома станет дебютом. И правда в том, что он (или оно) не является человеком.

Ампер является искусственным интеллектом (по крайней мере так его называют его создатели), а по совместительству композитором, продюсером и исполнителем. Он был разработан командой профессиональных музыкантов и технологических экспертов и по факту является первым ИИ, создавшим полноценный музыкальный альбом. Он символично называется «I AM AI» и поступил в продажу 21 августа.

С песней «Break Free» можно ознакомиться на видео ниже. Если верить описанию ролика, весь видеоряд и музыка были созданы искусственным интеллектом.

Дрю Сильверстейн, кинокомпозитор и один из тех, кто создал Ампер, объяснил порталу TechCrunch, что тот не работает исключительно самостоятельно и был создан именно для коллективной работы в составе музыкантов.

«Мы в целом считаем, что в будущем музыка будет создаваться при сотрудничестве человека и искусственного интеллекта. И мы хотим, чтобы этот совместный опыт начался как можно раньше и двигал этот креативный процесс вперед», — прокомментировал Сильверстейн.

В команде отмечают, что, в отличие от других песен, созданных ИИ-алгоритами, все аккорды и инструментал композиции «Break Free» были написаны и использованы исключительно силами Ампер. По мнению создателей, Ампер в конечном итоге разрушает ту модель, согласно которой работают нынешние ИИ-алгоритмы, использующиеся при создании музыки. Обычно в таких случаях тот результат, который получается при использовании алгоритма, затем проходит довольно серьезную переделку людьми. Другими словами, по сути всю основную и сложную работу делает именно человек. Как указывают в пресс-релизе создатели Ампер, «типичный процесс создания музыки ИИ-алгоритмом включает ручную работу человека, который проводит существенные изменения, включая даже изменения аккордов и мелодий в созданных этим алгоритмом композициях».

Но с Ампер все иначе. Как указывалось выше, он сам создает все структуры аккордов и подбирает нужные звуки. Человек-композитор в дальнейшем занимается только «огранкой», если необходимо все подогнать к общему стилю и ритму. И что самое интересное, благодаря технологиям машинного обучения Ампер может создавать музыку за считанные секунды. Пример созданной Ампер мелодии находится здесь. А здесь можно послушать аранжировку Тэрин.

Несмотря на то, что «I AM AI» является первым студийным альбомом, записанным с привлечением искусственного интеллекта, это не первый случай, когда ИИ занимается творчеством и создает музыку и другие произведения искусства (если их можно так называть).

Например, ИИ-алгоритм Aiva обучили создавать классические мелодии. А алгоритм DeepBach способен творить музыку, в которой явно отмечается вдохновение от немецкого классика Иоганна Себастьяна Баха.

Первый студийный альбом, записанный ИИ, – это лишь первый шаг в новую музыкальную эру, где люди будут не только делиться своей артистичностью с искусственным интеллектом, но и в какой-то степени смогут с ним посоревноваться.

ИИ помогает музыкантам тестировать новые идеи, находить оптимальный эмоциональный контекст, интегрировать музыку в современные медиа и просто развлекаться.

Первые и самые успешные мировые разработки

В начале 1960-х годов французский архитектор и композитор греческого происхождения Яннис Ксенакис начал использовать звучания, сгенерированные с помощью ЭВМ и специальных программ на языке Fortran. В 1980-х годах музыкант и ИТ-исследователь Кемаль Эбчиоглу предложил в своей докторской диссертации алгоритмическую систему для гармонизации хоралов в стиле Баха.

По мере того как искусственный интеллект и машинное обучение становились всё более изощренными, рос потенциал компьютерной музыки. Вскоре алгоритмы смогли анализировать принципы составления музыкальных произведений на основании реальных примеров.

Учёный и музыкант Джон Байлс разработал алгоритм GenJam, способный на джазовые импровизации. Байлс, исполняющий джазовые композиции на трубе, выступал вместе с GenJam в рамках проекта Al Biles Virtual Quintet. Аналогичный алгоритм GenBebop был разработан учёными-когнитивистами Ли Спектором и Адамом Алперном для соло импровизаций в стиле Чарли Паркера.

Одной из наиболее убедительных попыток компьютерного музыкального творчества стал алгоритм Continuator, разработанный Франсуа Паше в Sony Computer Science Laboratory в Париже. В тесте Тьюринга, в котором Continuator джемил с профессиональным пианистом, большинство слушателей не смогли угадать искусственное происхождение его мелодий.

Наиболее известная попытка обучить компьютер творческой самостоятельности — Эмили Хауэлл, программа, созданная в 2012 году профессором музыки Дэвидом Коупом. Он предполагал, что любое творчество вдохновлено плагиатом, а великие композиторы впитывали музыкальные гармонии, которые были созданы ранее, и их мозг «перекомпоновал» мелодии и фразы характерными для них, узнаваемыми методами. Эти взгляды легли в основу его разработки.

Первой программой, создавшей симфоническую композицию в своём собственном стиле (вместо того, чтобы подражать стилю существующих композиторов), стала Iamus. Первый музыкальный фрагмент её «сочинения» Opus One был создан 15 октября 2010 года, а ровно через год появилась первая полная композиция Hello World!

Четыре произведения Iamus транслировались в прямом эфире из Школы компьютерных наук в Университете Малаги 2 июля 2012 года. Композиции, исполненные на этом мероприятии, были позже записаны Лондонским симфоническим оркестром и составили альбом Iamus, который New Scientist отметил как первый полный альбом, созданный исключительно компьютером и записанный музыкантами-людьми.

Авторы Iamus — специалисты исследовательского проекта Малагского университета Melomics, который частично финансируется испанским министерством экономики.

Другой рекордсмен в области машинной музыки — созданная в феврале 2016 года AIVA — специализируется на сочинении симфонической музыки для кино. Этот ИИ стал первым в мире виртуальным композитором, признанным музыкальным обществом (SACEM).

Исследовательское подразделение Google Magenta, которое находит способы использования искусственного интеллекта для сотворчества с людьми, в 2017 году представило NSynth Super.

В отличие от традиционного синтезатора, который генерирует аудио из компонентов, разработанных вручную, NSynth использует глубокие нейронные сети для генерации отдельных звуков и собственных семплов. Кроме того, NSynth Super — экспериментальный инструмент с открытым исходным кодом. Это даёт музыкантам исследовать новые звуки, а разработчикам — алгоритм машинного обучения NSynth.

Flow Machines — это исследовательский проект, финансируемый Европейским исследовательским советом (ERC) и возглавляемый Франсуа Паше.

Программа Flow Machines сочинила две песни в соавторстве с поп-композитором Бенуа Карре: Daddy’s Car и Mister Shadow. Flow Machines также выпустили DeepBach, систему нейронных сетей, которая производит правдоподобную гармонизацию в стиле Баха.

С помощью этого алгоритма в 2017 году был выпущен альбом с уже знакомым нам названием Hello World, созданный с использованием искусственного интеллекта. BBC назвала его первым «хорошим» музыкальным альбомом от ИИ.

Запущенный в январе 2017 года австралийский стартап Popgun создал искусственный интеллект Alice, способный подпевать и подыгрывать исполнителям в реальном времени. Начало было положено, когда Alice научилась прогнозировать гармоничное продолжение проигранного ей отрывка композиции.

В августе 2017 года Alice научилась импровизировать: изменять «услышанную» последовательность нот, сохраняя общую музыкальную тему. К началу 2019 года Alice освоила аранжировку на нескольких музыкальных инструментах: она может подыграть вокалисту на басу, барабанах, пианино, а также свести разные музыкальные отрывки в одну композицию.

Другой проект музыкального творчества ИИ, The Watson Beat, написанный IBM Research, не нуждается в огромной музыкальной базе данных, как проекты Google Magenta и Flow Machines, поскольку он использует обучение с подкреплением и глубокую сеть доверия для создания музыки.

Например, в рамках партнёрства с британским хип-хоп-продюсером Алексом Да Кидом алгоритм The Watson Beat проанализировал данные о музыке и культуре человечества за последние пять лет. Чтобы определить наиболее распространенные темы творчества, разработчики использовали API языка Watson Alchemy для чтения и понимания речей Нобелевской премии мира, статей New York Times, текстов песен, синопсисов фильмов и многого другого.

Затем API Watson Tone Analyzer проанализировал более 2 миллионов строк социального контента, чтобы понять эмоции, связанные с актуальными темами.

Используя алгоритмы машинного обучения, The Watson Beat способен учиться на песнях, деконструируя высоту тона, время, последовательность и скорость нот. В сочетании с теориями об эмоциональных реакциях на музыку, The Watson Beat может генерировать совершенно новые музыкальные партитуры, основанные на разнообразных предпочтениях или чувствах.

Используя эту технологию, Алекс смог создавать новые песни или фрагменты песен, например, басовую партию, пока не нашел звук, который вдохновил его. И хотя итог этого партнерства — композиция Not Easy, вышедшая осенью 2016 года — это оригинальная работа Алекса, The Watson Beat стала инструментом для поиска сильных музыкальных приемов и мелодий, анализа транслируемых музыкой эмоций для создания популярной композиции.

В России

В марте 2019 года звукозаписывающая компания Warner Music подписала свой первый контракт на создание музыки, созданной с использованием компьютерных алгоритмов, с компанией Endel. Сооснователь этого немецкого стартапа Олег Савицкий — бывший журналист российского издания F5 и мобильный разработчик.

Endel — кроссплатформенная аудиосистема для смартфонов и колонок Amazon Echo. Приложение генерирует музыкальный фон, учитывая время дня, погоду, разные цели слушателя — пробуждение, отдых, концентрация, тренировка. Президент подразделения по искусству и музыке Warner Music Group Кевин Гор объяснил, что новый бренд позволит закрыть пустующие направления в ассортименте компании.

Скоро будет ИИ во всем, а значит и в медиа. Например, ИИ компании Mubert начал писать музыку еще раньше Endel, и вполне неплохую. Просто в бизнесе они сфокусировались немного на другом.

А компания Instreamatic с помощью ИИ превращает аудиорекламу, размещаемую в онлайн-музыке, фактически в полноценный диалог бренда с каждым представителем его целевой аудитории индивидуально.

Что касается шоу-бизнеса, то представьте себе вечеринку, на которой DJ — это ИИ, а каждый на танцполе либо с умными часами, либо с выданными на входе браслетами, которые мониторят состояние и «настроение» всей аудитории, подстраивая музыку дальше так, чтобы она все больше и больше нравилась всей аудитории, доводя толпу фактически до группового экстаза — как вам такое?

Российский «Яндекс» также экспериментирует с применением искусственного интеллекта в музыке. Первым таким опытом стал альбом симфонической музыки по мотивам «Гражданской обороны» в 2016 году.

Для создания «Нейронной обороны» искусственный интеллект проанализировал тексты Егора Летова, а инженеры перегнали цифровую запись композиций через аудиокассету, после чего оцифровали обратно для получения аутентичного звучания.

В феврале 2019 года другая нейросеть Алексея Тихонова и Ивана Ямщикова из «Яндекса» стала соавтором пьесы для альта с оркестром композитора Кузьмы Бодрова. Несмотря на то, что нейросеть была обучена на четырех гигабайтах MIDI-файлов с произведениями разных эпох, справиться с классической музыкой оказалось сложнее, чем с сибирским панк-роком.

Более 90% материала было отбраковано композитором, а наиболее удачные идеи Кузьма Бодров развил в полноценную музыкальную композицию. 24 февраля её исполнил государственный симфонический оркестр «Новая Россия» под управлением Юрия Башмета на закрытии Зимнего международного фестиваля искусств в Сочи.

Сейчас начинается эпоха сервисов, подписных моделей и, пока что, ИИ активно и по-настоящему использует только Netflix при создании своих сериалов. Во-первых, индустрии нужно научиться пользоваться онлайн-каналом продаж, во-вторых, применять ИТ при построении бизнес-процессов и только потом внедрять ИИ. Однако на горизонте 3-5 лет и это станет привлекательнее для инвесторов.

Интересные проекты в сфере музыкального ИИ

Сейчас исследования направлены на применение искусственного интеллекта в составлении музыкальной композиции, исполнении и цифровой обработке звука, а также продажу и потребление музыки. Множество созданных на основе ИИ программ и приложений используется для обучения и создания музыки.

AlgoTunes — это музыкальная компания, разрабатывающая приложения, которые генерируют музыку. На сайте любой может создать рандомный музыкальный отрывок с заданным стилем и настроением одним нажатием клавиши — правда, выбор настроек очень ограничен.

Музыка создается веб-приложением за несколько секунд и доступна для загрузки в виде файлов WAV или MIDI.

MXX (Mashtraxx Ltd), основанная в 2015 году — это первый в мире механизм искусственного интеллекта, который мгновенно преобразует музыку в видео, при этом используя только стерео-файл.

MXX позволяет адаптировать музыку под конкретный пользовательский контент: например, для спортивных занятий и бега, для сюжетов компьютерных игр и так далее. Первый продукт MXX, Audition Pro, позволяет любому редактировать музыку для видео: загружать уже существующую композицию и автоматически подгонять повышение интенсивности звучания, затухание и паузы в соответствии с динамикой видео.

Сейчас MXX предоставляет услуги ведущим коммерческим библиотекам, музыкальным сервисам, производителям игр и контент-студиям, которым нужна адаптированная для современных медиа музыка.

Orb Composer — разработанная Hexachords программа для помощи в составлении оркестровых композиций на этапах выбора жанра, подбора инструментов, составления структуры трека.

OrchExtra может помочь небольшому ансамблю средней школы или городского театра собрать полную бродвейскую партитуру. OrchExtra играет роль недостающих инструментов, отслеживая колебания темпа и музыкального выражения.

По мнению Игоря Шнуренко, специалиста по искусственному интеллекту и криптовалютам, ИИ-стартапы сегодня полностью захватили digital-маркетинг в музыкальной индустрии. В октябре 2018 года Apple приобрела стартап Asaii, занимающийся аналитикой для музыкальных лейблов и музыкальных агентов.

Алгоритм Asaii помогает найти перспективных артистов до того, как их музыка «выстрелит» в чартах. Что касается внедрения искусственного интеллекта в творческое создание и другие аспекты музыкальной индустрии в России, эксперты считают эту нишу перспективной — правда, пока в отдаленном будущем.

Этой весной я наблюдаю высокую активность среди акселераторов и фондов, которые находятся в поиске проектов, связанных с искусственным интеллектом. ИИ уже незаменим в различных нишах: в рекламе, медицине, автомобилестроении, — благодаря возможности выполнять сложнейшие вычисления за короткое время, с высоким качеством. Со временем он придёт и в музыкальную индустрию и шоу-бизнес.

По мере развития искусственного интеллекта (ИИ) растет и его потенциал в креативных областях, одной из которых является музыкальная индустрия. Последним трендом, внесенным ИИ в музыкальную индустрию, является сочинение музыки с помощью алгоритмов машинного обучения. Несмотря на то, что «искусственной» музыке еще далеко до произведений великих классиков, алгоритмы уже успели добиться достойных удивления результатов. Данная статья обозревает некоторые существующие на январь 2019 года методы использования ИИ для сочинения музыки и различные по масштабу релевантные проекты: от стартапов до продуктов от технологических гигантов.

Содержание

2019: Warner Music заключила первый в истории контракт с исполнителем-алгоритмом Endel

27 марта 2019 года появилась информация о том, что Warner Music заключила первый в истории контракт с исполнителем-алгоритмом Endel, создающим музыкальные композиции под настроение пользователя в текущий момент. По условиям контракта, в течение года нейросеть Endel выпустит 20 уникальных альбомов. На март 2017 года пять альбомов уже доступны для скачивания в iTunes, при этом все альбомы созданы, как выражаются разработчики, «нажатием одной кнопки».

Endel разработан одноименным стартапом, сооснователем и исполнительным директором которого выступает игровой журналист россиянин Олег Ставицкий. По утверждению разработчиков алгоритма, Endel адаптируется к настроению пользователя и помогает ему в зависимости от поставленных задач — музыка нейросети помогает заниматься спортом, работать, засыпать или медитировать. При этом ИИ сам определяет, что требуется человеку в данный момент, анализируя множество параметров: время суток, геолокацию, погоду за окном, пульс и частоту биения сердца человека.

Мы на пороге затопления рынка системами автоматической и процедурно-сгенерированной музыки, продукт которых удовлетворит большинство людей в большинстве ситуаций, — утверждает аналитик рынка Холли Херндон.

По мнению эксперта, дальнейшая трансформация рынка музыки и шоу-бизнеса будет происходить ускоренными темпами. Как известно, в Китае и Корее концерты полностью виртуальных исполнителей — уже обычное дело, а число фанатов «цифровых» кумиров исчисляется миллионами. Теперь эта тенденция, полагает аналитик, будет распространяться и на более консервативном западном рынке.

На пересечении двух растущих индустрий

Ожидается [1] , что в мировом масштабе доход компаний от использования искусственного интеллекта составит $1,2 трлн по итогам 2018 года, что на 70 процентов больше по сравнению с 2017 годом, а в 2022 году, по прогнозам, эти выгоды достигнут $3,9 трлн. И такой быстрый рост уже далеко ни для кого не тайна: искусственный интеллект можно назвать определяющей технологией 21-го века. Искусственный интеллект отличается от традиционных программ анализа данных своей способностью учиться распознавать шаблоны с помощью алгоритмов машинного обучения, а затем принимать автономные решения на основе этих шаблонов, будучи явно не запрограммированным на это.

В то же время, мировой рынок программного обеспечения для производства музыки, по прогнозам [2] , вырастет до $6,26 млрд к концу 2022 года. Ключевым фактором, который будет стимулировать рост индустрии, является растущий спрос на цифровой аудио-контент во всем мире. Аудио-контент, в свою очередь, набирает популярность в связи с недавно начавшимся ростом [3] потоковых (стриминговых) сервисов. Это приводит к увеличению числа исполнителей и музыкальных продюсеров, создающих музыкальный контент, что, в конечном итоге, увеличивает спрос на программное обеспечение для сочинения музыки. Алгоритмы ИИ уже несколько лет используются для определения музыкального вкуса и настройки персональных рекомендаций на потоковых сервисах, и на фоне всплеска исследований и инвестиций в технологию искусственного интеллекта в целом, произошел шквал активности [4] вокруг предмета сочинения музыки с помощью этой технологии. И по прогнозам [5] , ИИ сильно повлияет на процесс создания музыкального контента.

Примеры использования: крупные компании

NSynth Super (Google)

NSynth Super [6] является частью продолжающегося эксперимента под именем Magenta [7] : исследовательского проекта в Google, который «изучает, как технология машинного обучения может помочь деятелям искусства творить по-новому» и взглянуть на творческий процесс с другого ракурса.

Различные звуковые эффекты [8] , изменяющие частоту и амплитуду звука, электрические музыкальные инструменты [9] — всё это примеры других звучаний, созданных с помощью технологий. Теперь в список таких технологий можно включить и машинное обучение, потому что прогресс в этой области открывает нетрадиционные возможности для генерации необычного звучания.

Основываясь на прошлых исследованиях в этой области, Magenta создала NSynth (Neural Synthesizer (прим. Нейронный Синтезатор)) — алгоритм машинного обучения, который использует глубокую нейронную сеть для изучения различных характеристик звука, а затем создает совершенно другое звучание на их основе. По словам разработчиков [10] , вместо того, чтобы комбинировать или смешивать звуки, NSynth синтезирует звук, используя акустические качества оригинальных звуков. Благодаря этому можно получить звук, который является и звучанием флейты, и звучанием ситара, — всем сразу.

С момента релиза алгоритма NSynth, Magenta продолжала экспериментировать с различными музыкальными интерфейсами и инструментами, чтобы сделать вывод алгоритма NSynth более понятным для обывателя и воспроизводимым. В рамках этого исследования они создали NSynth Super в сотрудничестве с Google Creative Lab. Это экспериментальный инструмент с открытым исходным кодом, который дает музыкантам возможность создавать музыку, используя новые звуки, генерируемые алгоритмом NSynth из 4-х различных базовых исходных звуков. Затем прототипом опыта (на фото выше) поделились с небольшим сообществом музыкантов, чтобы лучше понять, как они могут использовать его в своем творческом процессе. Например, можно посмотреть [11] , как лондонский музыкальный продюсер Гектор Плиммер исследует звуки, сгенерированные NSynth Super.

Звуки, сгенерированные NSynth Super

Как пишут разработчики на своем сайте, «используя NSynth Super, музыканты имеют возможность исследовать более 100 000 новых звуков, сгенерированных с помощью алгоритма NSynth».

Flow Machines (Sony)

Flow Machines [12] , (прим. дословный перевод — Потоковые Машины) — это научно-исследовательский проект, целью которого является расширение границ креативности человека в музыке.

Центральной частью этого проекта является Flow Machines Composer. Пока что это не робот с сознанием, который стремится выразить свои переживания с помощью музыки, но это набор сложных алгоритмов, которые получили свое знание и «чувство» музыки за счет изучения огромной базы данных (15 000 песен).

Чтобы написать песню с помощью Flow Machines Composer, сначала нужно задать стиль мелодии, а затем внутри системы происходит следующее [13] : алгоритм получает выборку песен с похожим стилем, запускает аналитическую модель, известную как цепь Маркова, которая идентифицирует шаблоны в этих выборках, а затем имитирует и изменяет их, чтобы создать свою собственную оригинальную композицию.

Далее компьютер вычисляет вероятность определенных аккордовых прогрессий [14] , мелодических связей и ритмических рисунков [15] , и использует эти вероятности для создания правдоподобных и звучащих удачно (с точки зрения музыки) вариаций.

А вот на следующем этапе сочинения, система требует вмешательства человека. Пользователь может сохранить понравившуюся часть получившейся мелодии, и отказаться от остального, а затем снова запустить программу в ожидании следующих удачных сгенерированных вариаций. И так можно делать до тех пор, пока не появится мелодия и последовательность аккордов, которыми вы будете довольны.

В сентябре 2016-го года Flow Machines представили свету свой сингл «Daddy’s Car» — это достаточно оживленная поп-песня, основанная на выборке мелодий Beatles [16] .

Сингл «Daddy’s Car»

Примеры использования: стартапы

AIVA [17] (Artificial Intelligence Virtual Artist)— это стартап, базирующийся в Люксембурге и профинансированный в размере 768 000$ [18] , цель которого, как пишут разработчики на своем сайте [19] ,— это «дать возможность людям создавать персонализированные саундтреки с помощью искусственного интеллекта». По словам разработчиков, AIVA способна сочинять эмоциональные саундтреки для фильмов, видеоигр, рекламных роликов и любого другого типа развлекательного контента.

AIVA изучила искусство сочинения музыки, «прочитав» большую коллекцию музыкальных партитур, написанных композиторами (Моцартом, Бетховеном, Бахом и др.), и «создала математическую модель представления того, что такое музыка» [20] . Именно эта модель и используется для сочинения современной музыки. Стоит упоминания тот факт, что недавно AIVA стала виртуальным композитором, чьи работы были зарегистрированы в обществе авторских прав (SACEM [21] ). Одну из этих работ можно послушать ниже [22] .

AIVA — «Genesis» Symphonic Fantasy in A minor, Op. 21

Запущенный в январе 2017 года, австралийский стартап Popgun, как сообщается [23] , использует глубокое обучение для создания музыкального искусственного интеллекта, который сможет «дополнять» исполнителей в режиме реального времени.

Проектом Popgun стал искусственный интеллект Alice, который может предсказать, что музыкант будет играть дальше, подыгрывать ему, и даже немного импровизировать на музыкальную тему партитуры музыканта-человека.

Всему этому Alice научилась не сразу, а постепенно: лучше всего это отобразит видео [24] , которое показывает эволюцию технологии с января 2017 года по июль 2018 года. Видео начинается с того как искусственный интеллект Alice демонстрирует свои навыки прогнозирования: музыкант играет короткие мелодии на фортепиано, и Alice отвечает тем, что по ее предположению музыкант будет играть дальше.

Искусственный интеллект Alice может «дополнять» исполнителей в режиме реального времени

К августу 2017 года Alice была способна на импровизацию: т.е сначала она прослушивала последовательность нот, сыгранную человеком, а затем изменяла её, но при этом сохраняла главную музыкальную тему. К концу года Alice могла в различных стилях создавать оригинальные фортепианные композиции без участия человека.

На январь 2019 года Popgun имеет искусственный интеллект (или, лучше сказать, группу искусственных интеллектов), который может подыграть человеку на пианино, на басу или на барабанах (или на всем сразу). Если же мелодия снабжена человеческим вокалом, то разработанный алгоритм может сочинять подходящую инструментальную партию, а также сводить несколько музыкальных отрывков в один и производить финальную обработку звучания.

Будущее искусственного интеллекта для сочинения музыки

Всё это, конечно, удивительно, однако же имеющиеся технологии далеки от того, чтобы искусственный интеллект обладал способностью создавать что-то принципиально новое: машина может пропустить через себя огромный объём данных, и «понять» как можно сделать и как уже было сделано, но она не может загореться внезапным приступом вдохновения и воплотить свою творческую задумку. Мелодии, сочиненные искусственным интеллектом, все еще нуждаются в том, чтобы человек приложил к ним руку в отношении теории музыки, музыкального производства и оркестровки. Иначе же они будут звучать немного непривычно и достаточно сумбурно для человеческого уха.

Большой проблемой для искусственного интеллекта является понимание творческих и художественных решений (однако же иногда это является проблемой и для экспертов в области музыки). Кроме того, машины по-прежнему не обладают неуловимым творческим началом, являющимся жизненно необходимым для создания искусства. В целом, ИИ-эксперты согласны, что искусственный интеллект никогда не сможет заменить человека на поприще создания музыки, но, как упоминалось выше, сможет значительно изменить весь процесс.

2017: Выход альбома Тэрин Саузерн I AM AI в соавторстве с ИИ

Американская певица Тэрин Саузерн выпустила летом 2017 года сингл Break Free, который открывает её новый альбом I AM AI – «Я – искусственный интеллект». В официальном анонсе было указано, что весь альбом, включая этот трек, создается в соавторстве с неизвестным публике музыкантом Amper. Однако не вызывающий на первый взгляд никаких подозрений творческий дуэт оказался вовсе не тем, что можно было ожидать [25] .

Проект Amper – искусственный интеллект, результат совместной работы технических специалистов и профессиональных музыкантов. Он способен писать, исполнять и продюсировать музыку. Ампер – первый в истории искусственный интеллект, выпустивший собственный музыкальный альбом.

Ампер является уникальным в своем роде. ИИ, генерирующие музыку, существовали и до него, однако ранние модели работали по определенному алгоритму и итоговый продукт требовал серьезной переделки человеком, вплоть до изменения аккордов и целых частей мелодии, прежде чем мог считаться полноценным музыкальным произведением.

Ампер же не нуждается в помощи, когда создает собственные треки – он самостоятельно подбирает необходимые звуки и выстраивает структуры аккордов. Обрабатывающему полученную в итоге мелодию человеку остается только подкорректировать ритм и стилистику – все остальное Ампер делает сам всего за несколько секунд.

2016: Google запускает Magenta для создания музыки и видео нейронными сетями

В мае 2016 года компания Google даже запустила специальный проект Magenta, основная задача которого заключается в изучении креативных возможностей нейронной сети. Ученые планируют осваивать премудрости творческого процесса постепенно: сначала будет разработан алгоритм для создания музыкальных произведений. Затем настанет очередь видео и изобразительного искусства. Данные о результатах работы планируется размещать в открытом доступе на GitHub.

«Есть несколько причин, по которым я захотел сформировать Magenta, и одна из них заключалась в желании увидеть полноценные, честные и удивительные улучшения в искусстве глубинного обучения», — говорит руководитель проекта Дуглас Экк [26] .

Буквально через пару недель после открытия Magneta, была запущена программа по импорту музыкальных файлов MIDI-формата в систему TensorFlow с целью обучить искусственный интеллект созданию музыки. Однако пока результаты работы программы не столь удачны (хотя справедливости ради нужно сказать, что прошло еще не так много времени).

AI Изображение к песне [Melobytes.com]

Автоматически сохраненная форма

Вы просматриваете сохраненную форму (создана

Это приложение автоматически обнаруживает объекты, концепции, сцены и тексты на ваших изображениях с помощью технологии искусственного интеллекта (ИИ) и создает песню.

Как это работает

1. Загрузите свое изображение

2. Приложение генерирует с помощью алгоритмов искусственного интеллекта уникальный результат на основе вашего контента

3. Станьте свидетелем своего творения и поделитесь им со всем миром или оставьте себе — это твое

Входные данные