Музыка созданная искусственным интеллектом: Слушайте первую песню, написанную искусственным интеллектом

Содержание

Музыка нас связала — с помощью искусственного интеллекта

Начнем с базовых вещей: расскажите про свой сервис. Что такое FONMIX и чем вы занимаетесь?

Брусникина: Давайте я начну с того, что сейчас главная задача любого владельца бизнеса — повысить продажи, вложив в это минимальное количество средств. Мы живем в очень конкурентной среде, поэтому важен каждый клиент. Возвращаюсь к вашему вопросу: чем мы занимаемся? FONMIX как раз и является тем ресурсом, который помогает повысить продажи. Что конкретно мы делаем? Помогаем бизнесу работать эффективнее с помощью музыки.

Невозможно представить ресторан, магазин или салон красоты, где люди бы находились в тишине. Звук такой же важный маркетинговый инструмент, как интерьер, аромат и прочие вещи, которые создают атмосферу вашего бренда. Это отличный и недорогой способ невербального влияния на клиента: если ему было хорошо в вашем пространстве, согласитесь, вероятность того, что он вернется к вам и расскажет о вас своим знакомым, куда больше.

Мы работаем с 2017 года, и за это время нашими клиентами стали более 45 000 предприятий в девяти странах, включая Россию. С 2020 года FONMIX усиленно развивается как одна из ведущих международных IT-компаний в музыкальной сфере: искусственный интеллект, машинное обучение, Big Data, системы распределенного реестра. Мы проводим большое количество исследований на тему музыкального потребления разнообразного контента, поэтому, когда я рассказываю вам про возможности увеличить продажи, это не просто слова, а большая аналитическая работа нашей команды.

Кто ваша аудитория и насколько она широка?

Брусникина: По большому счету, нашу целевую аудиторию можно поделить на две большие группы: представители бизнеса и правообладатели — создатели и/или обладатели прав музыкального контента — те самые представители творческих, или креативных, индустрий.

Владельцы бизнеса приходят к нам, потому что в нашем каталоге более 15 млн абсолютно легальных музыкальных фонограмм, что позволяет нам сделать индивидуальное аудиооформление под задачи каждого конкретного клиента. При этом FONMIX практически единственный сервис, который может предложить услуги бизнесу, расположенному в разных странах, но которые хотели бы централизованно управлять аудио- и видеооформлением своих заведений. У нас нет ограничений — мы можем работать с любым видом вашей деятельности: салоны красоты, спортивные клубы, торговые центры, рестораны, магазины, АЗС, банки, гостиницы — все что хотите.

Приведу пример. Представим, что у вас шоурум одежды. Девушка приходит, рассматривает вещи, подбирает много разных образов, сомневается, выбирает. Прошел час, она все еще не решила, что хочет, а она после работы, или с парнем рассталась, или еще что-то. Она пришла к вам отвлечься от своих мыслей. Ей нужно помочь — создать настроение. Классная музыка — самый простой способ. Клиент отлично провел время в вашем шоуруме, он с большим удовольствием отблагодарит вас рублем, еще и подруге вас посоветует. Так это и работает. Уже давно никто не продает просто продукт, продают эмоции и настроение.

Интересно Вы рассказываете… Я визуализировал картину и теперь тоже улыбаюсь. Но давайте вернемся к вопросу. Вы говорили, что часть вашей аудитории — создатели контента. Как вы с ними взаимодействуете?

Брусникина: Давайте сразу подчеркнем, что мы говорим о тех создателях контента, которые являются правообладателями. Это важно. FONMIX позволяет формировать очень детализированную отчетность об использовании музыкальных фонограмм. Мы имеем прямые договоры с правообладателями, на основании которых получаем контент для нашего каталога и осуществляем регулярную выплату роялти. А также у нас есть договоры с обществами по коллективному управлению правами — Российское Авторское Общество (РАО) и Всероссийская организация интеллектуальной собственности (ВОИС). В нашей стране действует система коллективного управления правами. РАО и ВОИС выплачивают авторам и артистам вознаграждения, основанные на информации о фактическом использовании фонограмм. Разумеется, музыкантам важно, чтобы статистика на этот счет была максимально прозрачной, а это наш сервис гарантирует. Мы храним всю информацию в распределенном реестре IPChain, где данные невозможно изменить или подделать.

Расскажите, пожалуйста, подробнее про глобальную систему мониторинга музыки. Для чего, если говорить просто, она требуется?

Брусникина: Каждый день появляется большое количество музыки, и весь этот объем необходимо отслушать, распределить по категориям. Это внутренняя задача музыкальной редакции FONMIX. Тут нам, к счастью, помогают технологии искусственного интеллекта. Также есть задача рынка и правообладателей по мониторингу разнообразных источников, где может звучать музыка: это радио-, телеканалы, стриминговые сервисы, подкасты и т.д. Есть два момента: первый — система мониторинга необходима для получения точной статистики. От нее зависит размер вознаграждения правообладателя. Данные строятся на основе информации по использованию музыки, причем неважно где: офлайн в заведениях, по радио, на телевидении, в онлайн-сервисах и проч.

Второй момент, система мониторинга — это еще и огромный пласт ценной информации для аналитики. Например, благодаря этим данным мы знаем, что при озвучке бизнес-пространств лучше использовать популярные треки. Таким образом, мы можем отслеживать музыкальные тренды, чтобы добавлять в каталог новые перспективные композиции.

Давайте поговорим про искусственный интеллект. Что в целом сегодня могут нейросети в музыкальной индустрии?

Брусникина: За последние несколько лет искусственный интеллект сделал бешеный скачок в функционале. FONMIX использует нейросети для отбора совершенно гигантского количества музыки, которая появляется ежедневно. Мы как бизнес заинтересованы в обновлении плейлистов: важно, чтобы музыка не приедалась не только посетителям ресторана или салона красоты, но и их работникам, которые слушают эти песни круглые сутки. ИИ способен отбирать композиции и распределять их по множеству категорий: жанр, темп, скорость и др. На рынке B2C подобная схема работает уже давно: система анализирует, какие треки человек лайкнул или добавил в свой плейлист, и на этих данных «обучает» свой рекомендательный механизм. FONMIX делает так же, но только для B2B-рынка: клиент может дать пять композиций, нажать на кнопку, и система подберет ему шестичасовой плейлист с очень схожими треками. Более того: у FONMIX есть разработка, которая позволяет отследить и прогнозировать эмоции слушателя в определенный момент времени. Соответственно, мы можем сформировать плейлист, который будет вызывать у клиента определенный спектр эмоций: радость, умиротворение, восторг и множество других.

Пролубщиков: Система работает на основе нейрокогнитивного отклика: человек слышит какой-то звук, и он вызывает в определенный момент времени какую-то эмоцию. Это история из медицины: так же, как при проведении электроэнцефалограммы, на голову крепятся датчики, и они считывают изменения в мозге. В медицине, кстати, как показывает практика, происходит активное внедрение нейронных сетей для диагностики болезней. У них точность прогноза выше, чем у человека. И в музыке примерно то же самое — можно получить от нейросети некий прогноз, который необходимо затем валидировать. При этом важно помнить, что все подобные инструменты носят ретроспективный характер: мы всегда анализируем прошлое. Как сложится будущее, никто не знает. Любая нейросеть обучается на исторических данных. Но мир меняется, люди меняются, а значит, нейросети нужно непрерывно переобучать, иначе качество прогнозов начнет падать.

Сравнится ли музыка, созданная ИИ, с музыкой Бетховена или Моцарта по качеству?

Брусникина: Конечно, с шедеврами композиторов сгенерированная нейросетью музыка в сравнение не идет, но здесь есть свои нюансы. Не всегда в жизни нам хочется слушать Девятую симфонию. Каждая музыка, неважно кем созданная, найдет своего поклонника и слушателя. Давайте здесь разделим аудиторию. Не факт, что музыка, написанная искусственным интеллектом, подойдет тем, кто слушает ее для удовольствия — чтобы просто помечтать или подумать о чем-нибудь важном. Но при этом музыка, созданная ИИ, может отлично закрывать вспомогательные функции — создавать настроение во время шопинга, задавать ритм на тренировке, расслаблять во время косметических процедур. Музыки много, и она разная, но и у нас большой спектр потребностей и задач. Самое главное здесь — то, что есть возможность выбрать, что нужно именно нам в соответствии с настроением и видом деятельности.

На «Российской креативной неделе» вы рассказывали, что примерно 20% музыки на стримингах никогда не проигрывалось. Причина — несовершенные рекомендательные алгоритмы. А зачем их вообще нужно совершенствовать?

Брусникина: Да хотя бы просто для разнообразия! Мы же не слушаем всю жизнь одно и то же. Вкусы потребителя меняются, причем достаточно активно. Любой музыкальный рекомендательный сервис стремится максимально удовлетворить интерес потребителя. Если пойти от гипотезы, что у каждого из нас свой индивидуальный вкус, то эту задачу никак не решить без огромного разнообразия музыки. Сегодня музыкального контента на самом деле не хватает, а скоро его потребуется куда больше.

На форуме вы затрагивали понятие «период полураспада» музыкального трека. Расскажите поподробнее.

Пролубщиков: Этот термин пришел из физики: радиоактивные вещества непостоянны, они быстро распадаются на составные части. В музыкальном мире эта метафора означает время, сколько тот или иной трек был в топе, некий период славы. В среднем, по подсчетам, он длится 59 дней.

Получается, в этот «период славы» трек на стримингах добавляют, скачивают, больше прослушивают. Из-за этого он чаще других показывается рекомендательными алгоритмами?

Пролубщиков: Да, хотя и не всегда: это вопрос конкретного алгоритма. Безусловно, количество прослушиваний учитывается, но у популярных стримингов механизм рекомендаций более сложный. Например, что значит прослушивание? Можно весь трек проиграть, можно 70%, а можно вообще только 30 секунд. Во всех случаях формально композиция была проиграна, ее правообладатель даже получил с этого отчисления. Но для сложного рекомендательного сервиса только прослушивания мало, обычно используется несколько метрик. В каждом конкретном случае рекомендации треков зависят от того, какую именно информацию сервис собирает о пользователях.

Вы как-то упоминали про сервис hits prediction — механизм искусственного интеллекта, способный предугадывать вероятность попадания трека в топы. Расскажите, как он работает.

Пролубщиков: Механизмы hits prediction, основанные на искусственном интеллекте, работают по принципу нейронных сетей. Эти сети отражают модель работы нейронов в реальном человеческом мозге: на них так же поступают определенные сигналы, распределенные по параметрам. В музыке, например, первым параметром может быть тембр, вторым — длительность трека, третьим — эмоция, которую этот трек вызывает, и т. д. Вся эта информация подается на вход тому, что мы называем нейросетью, и дальше она проходит процесс обучения. Сегодня эти нейросети в основном многослойные, то есть нужная информация передается от слоя к слою. А на выходе получается прогноз — с такой-то вероятностью, например, трек будет хитом и попадет в чарты. По сути, нам нужно обучить нейросеть решать простую бинарную задачу: попадет в топ или не попадет. Есть механизмы, способные с вероятностью 98% сказать, какой трек точно не станет хитом. Однако сказать противоположное, то есть какой трек станет хитом, можно пока лишь с вероятностью 55%.

FONMIX уже использует hits prediction?

Брусникина: Пока что сервис находится на уровне внутренней разработки. Мы знаем, что на него точно будет спрос от музыкантов, продюсеров и менеджеров, но FONMIX пока не работает напрямую с физлицами, он больше про B2B. Но мы уже думаем над тем, как можно сделать продукт более доступным для обычных пользователей.

Недавно была новость о том, что ИИ написал о самом себе научную статью. Нейросети уже способны сами успешно создавать музыку?

Брусникина: Тут нужно понять, что значит «успешно». Говорить сейчас, что ИИ сочиняет песни, тексты или музыку в целом на уровне человека, нельзя. Скорее, это хороший инструмент для музыканта, то же самое, как hits prediction — хороший инструмент для продюсера или лейбла. Искусственный интеллект совершенно не исключает наличия человека в цепочке создания музыки, так что это точно не приведет к тому, что музыканты или продюсеры не будут нужны. Возможно, процентное соотношение будет меняться в сторону ИИ.

Пролубщиков: Например, есть сервис Vocaloid, где существенная часть задач по созданию музыки решается нейросетью. Но вообще музыку ведь можно синтезировать и без нейросетей: например осуществить чистый синтез и строго по формуле создать оригинальную звуковую волну. А можно сделать на основе сэмплов, которые, в свою очередь, первоначально были придуманы человеком. Все, опять-таки, зависит от подхода. Мир всем этим активно занимается, и сейчас это плотный симбиоз человека и компьютерных технологий.

Напоследок философский вопрос: может ли искусственный интеллект, как в «Матрице», захватить власть над своим создателем-человеком?

Брусникина: Чем ближе к технологиям, тем сильнее понимаешь, что мы от этого пока далеко. Мы еще не находимся на той стадии, когда произойдет переход к цифровой сингулярности. Мы можем долго моделировать работу мозга, но с нейрофизиологической точки зрения то, что сейчас есть на рынке, все эти нейросети моделируют довольно примитивные процессы. Человеческий мозг в разы, может, и в миллионы раз, сложнее этого. В мозге ведь кроме электрических процессов, которые имитируются искусственной нейронной сетью, есть куча других процессов, биологических и химических. На сегодняшний день нейросети никак эту часть не моделируют.

Пролубщиков: Другие исследователи придерживаются мнения, например, что и не надо человеческий мозг копировать. Нужен новый, особенный, машинный интеллект. Это уже не совсем про нейросети, это будет некий НЛО, с иным разумом. Тут вряд ли что-то можно спрогнозировать. Тут же возникает и более глобальная проблема: где вообще возникает мысль при когнитивном процессе? Ни медицина, ни биология, ни компьютерные технологии не понимают, откуда берется мысль у человека. То, что ее дальше мозг обрабатывает, это понятно, но кто сказал мозгу, зачем это вообще нужно делать?

Брусникина: Вот человек сочиняет музыку — где формируется стимул, посыл? В музыкальной школе учат, чтобы пальцы правильно выдавали аккорд или звукоряд. Это все механика, это можно воспроизвести технически. Но человечество даже близко не подошло к проблеме, где возникает вся эта история с мыслями и мотивами! Более того, ученые до сих пор не могут ответить на вопрос: чисто анатомически точно мозг этим всем занимается? Приведем аналогию с компьютером: вот есть центральный процессор, который сам по себе ничего не делает. Нужен некий программист, который его на что-то запрограммировал. Пока эта «невидимая рука программиста» не заложила определенный алгоритм, толку от всего компьютера нет. Так же и с мозгом.

Поэтому, пока человечество не подобралось к решению этой задачи, говорить, что ИИ заменит человека, некорректно.

***

Эта статья и многие другие материалы опубликованы на сайте ©IPQuorum — первого в России издания о креативных индустриях и интеллектуальной собственности. IPQuorum — это новый формат работы международного бренда, который организует все самые яркие события мира интеллектуальной собственности и креативных индустрий в России, включая рынок LegalTech и сферы институтов развития. IPQuorum исповедует доказательную редакционную политику и показывает на достоверных фактах и судьбах, что сегодня инновации возникают на пересечении разных идей и индустрий.

Музыка, картины и тексты нейросетей. Девять удачных примеров

«ВКонтакте» анонсировала выход сериала, сценарий которого написан нейросетью». «В России вышел сборник рассказов, написанный в соавторстве с нейросетью». «Нейросеть написала музыку о российских городах». Это далеко не полный список новостей про эксперименты с искусственным интеллектом в творческой индустрии только в мае.

Музыка, изображения, тексты, видео — это набор данных для нейросети. Как и все остальное. Разработчики загружают в программу, например, тысячи изображений, текстов, видео или музыкальных композиций, алгоритмы находят в них закономерности и на их основе создают набор данных — классическую мелодию, летний хит, стихи в стиле конкретного автора — с теми же закономерностями.

Написать программу, которая может сгенерировать что-то, сумеют многие студенты IT-факультетов. А в технологических корпорациях есть команды, которые занимаются такими экспериментами. Творцы вместе с разработчиками все чаще пробуют применить это в деле.

Показываем, на что в успешном случае способны нейросети в искусстве.

«Нейронная оборона»…

Это самый известный музыкальный эксперимент в России. В 2016 году Иван Ямщиков и Алексей Тихонов — тогда разработчики «Яндекса» — сделали проект с генерацией текстов, стилизованных под творчество Егора Летова. Альбом «Нейронная оборона» включал 13 песен. Это вышло настолько убедительно, что поклонники «Гражданской обороны» путали, где строчки искусственного интеллекта, а где те, куда Летов вкладывал чувства.

Поймете ли вы, что из этого написал Летов, а что — программа?

«Мне будет сниться, ты можешь сбиться, и как много лет назад, в гости к богу в Ленинград».
«Дождик по миру брел живой, за собой вел свои войска».

Второй вариант — «Дождик по миру брел живой…» — настоящий Летов. Первый — строчка из песни «Мы будем драться» на альбоме «Нейронная оборона».

«Мы собирали стихи по одной строчке, — рассказывал ТАСС Иван Ямщиков. — Видим интересную строку — оставляем, ищем ей «пару». Неинтересную пропускаем. Потом мы сочиняли музыку и сами исполняли песни».

Альбом прослушали несколько сотен тысяч человек.

…и Neurona

Спустя год Ямщиков и Тихонов попробовали повторить успех на англоязычную аудиторию. Для этого они стилизовали лирику Курта Кобейна, выпустив альбом Neurona. Его тоже стоит записать в хорошие примеры искусства нейросетей, но популярность у него меньше — сейчас около 66 тыс. просмотров на YouTube.

Классика Скрябина

В 2017 году Иван Ямщиков и Алексей Тихонов сделали еще один проект с нейросетями в музыке. На открытии конференции YaC-2017 камерный ансамбль, состоящий из струнных и терменвокса, исполнил композицию, которую написала нейросеть, обученная на произведениях Александра Скрябина. Композитор Мария Чернова, эксперт по творчеству Скрябина, сочинила аранжировку и свела вместе треки нейросети. Свет и графику для видеоряда тоже сочинила программа.

Колыбельная от Grimes

В 2020 году певица Grimes, бывшая девушка Илона Маска и большая поклонница технологий, создала бесконечную колыбельную для своего сына, дав нейросети в приложении Endel за основу свою композицию. Если слушать эту музыку в Endel, она получается разной, подстраивается под время суток или погоду. Это красивая умиротворяющая музыка, под которую можно медитировать или засыпать. Вот пример.

«Евровидение» для искусственного интеллекта

Уже существуют конкурсы песен, созданных искусственным интеллектом. И среди этих композиций есть удачные примеры. Эта музыка от австралийской команды — победителя «ИИ-Евровидения» могла бы стать летним хитом.

Музыка российских городов

Пять мелодий, отражающих звучание Москвы, Санкт-Петербурга, Нижнего Новгорода, Архангельска и Казани, написанных нейросетью, — это проект Tele2 и Platforma. Программа превратила в мелодии фотографии линий горизонта, крыш и зданий в городах. Основа для композиции «Санкт-Петербург» — линия крыш Кронштадта и куполов Исаакиевского собора, для «Москвы» — Красной площади и Кремля. Треки нейросети в мелодии собирали популярные музыканты в этих городах. В Санкт-Петербурге — Симфонический оркестр.

Реклама «Лексуса»

Искусственный интеллект пробуют в создании клипов и рекламы. В роликах нейросеть сочиняет сценарий и текст. Хороший пример — реклама седана Lexus E, сценарий для которого написала нейросеть IBM Watson. Программа обучалась на роликах про автомобили, получивших каннскую награду.

«Новый Рембрандт»…

В 2016 году команда разработчиков, спонсируемая Microsoft и нидерландским банком ING, показала обществу проект «Следующий Рембрандт» под лозунгом «Через 347 лет после смерти Рембрандта представлена его следующая картина».

С помощью нейросетей разработчики изучили всю коллекцию работ художника, выявили параметры, которые делали его уникальным, от выбора тем до точных пропорций типичных рембрандтовских полотен. Полученная модель представляла собой «мужчину 30–40 лет в черном платье с белым воротником, лицо повернуто вправо». Эти параметры использовали для создания портрета, выполненного в стиле художника.

Картина «Следующий Рембрандт»

…и вымышленный господин Белами

Искусственный интеллект слаб в создании текстов — прозы, стихов, киносценариев. Создателям таких проектов приходится многое делать вручную — отбирать строчки, компоновать, чтобы улавливался какой-то смысл. Музыку, созданную нейросетью, тоже приходится собирать человеку. А вот генерировать изображение алгоритмам проще. Человеку не нужно собирать картину по кусочкам. То, что получается, выходит убедительно. Наверняка вы видели в интернете тесты в духе «угадайте, какая картина нарисована нейросетью, а какая — человеком» — догадаться трудно.

«Портрет Эдмонда Белами»

Картины, сочиненные нейросетями, в подавляющем большинстве случаев ничего не стоят. Авторство, уникальность, история творца — все это сильно влияет на ценность произведения. Но в 2017 году произошло то, что взволновало художников. Картина, написанная нейросетью, — «Портрет Эдмона Белами», на которой изображен вымышленный мужчина средних лет, — была продана за $432 тыс. на аукционе Christie’s в Нью-Йорке.

Анастасия Акулова

Как музыка, созданная искусственным интеллектом, меняет способ создания хитов

Мысль о том, что искусственный интеллект может сочинять музыку, пугает многих людей, включая меня. Но программное обеспечение искусственного интеллекта для создания музыки за последние несколько лет продвинулось настолько далеко, что это уже не пугающая новинка; это жизнеспособный инструмент, и — это , который продюсеры используют для помощи в творческом процессе. В связи с этим возникает вопрос: сможет ли искусственный интеллект однажды заменить музыкантов? Для второй серии Будущее музыки , я отправился в Лос-Анджелес, чтобы посетить офисы платформы искусственного интеллекта Amper Music и дом Тарин Саузерн, поп-артистки, которая работает с Amper и другими платформами искусственного интеллекта над созданием своего дебютного альбома Я ЕСМЬ ИИ .

Использование ИИ в качестве инструмента для создания музыки или помощи музыкантам практикуется уже довольно давно. В 90-х Дэвид Боуи помог разработать приложение под названием Verbasizer, которое брало литературный исходный материал и произвольно переставляло слова для создания новых комбинаций, которые можно было использовать в качестве текстов. В 2016 году исследователи из Sony использовали программное обеспечение Flow Machines для создания мелодии в стиле The Beatles. Затем этот материал был передан композитору-человеку Бенуа Карре и превратился в полностью спродюсированную поп-песню под названием «Daddy’s Car». (Компания Flow Machines также использовалась для создания музыки для целого альбома под названием SKYGGE, что в переводе с датского означает «тень».) На потребительском уровне эта технология уже интегрирована с популярными программами для создания музыки, такими как Logic. программного обеспечения, используемого музыкантами по всему миру, и оно может автоматически заполнять уникальные барабанные паттерны с помощью ИИ.

ИИ уже интегрирован с потребительскими программами для создания музыки, такими как Logic

Теперь целая индустрия построена на сервисах ИИ для создания музыки, включая вышеупомянутые Flow Machines, IBM Watson Beat, NSynth Super от Google Magenta, Jukedeck, Melodrive, Spotify Лаборатория исследований технологий Creator и Amper Music.

Большинство этих систем работают с использованием сетей глубокого обучения, типа ИИ, который зависит от анализа больших объемов данных. По сути, вы загружаете в программу тонны исходного материала, от танцевальных хитов до классики диско, которые затем анализируются, чтобы найти закономерности. Он улавливает такие вещи, как аккорды, темп, продолжительность и то, как ноты соотносятся друг с другом, изучая все входные данные, чтобы писать свои собственные мелодии. Существуют различия между платформами: одни передают MIDI, а другие передают аудио. Некоторые учатся, просто изучая данные, в то время как другие полагаются на жестко закодированные правила, основанные на музыкальной теории, для управления их выводом.

Однако всех их объединяет одно: на микроуровне музыка убедительна, но чем дольше слушаешь, тем меньше в ней смысла. Ни один из них не настолько хорош, чтобы сочинить песню, удостоенную премии Грэмми, в одиночку… пока.

Майкл Хоуб, соучредитель Amper Music. Фото Кристиана Мацца / The Verge

Из всех опробованных мной музыкальных ИИ-платформ Amper, безусловно, самая простая в использовании. Проекты IBM и Google требуют некоторых знаний в области кодирования и распаковки языка разработчика на GitHub. Они также дают вам MIDI-выход, а не звук, поэтому вам также нужно иметь немного больше знаний о производстве музыки, чтобы преобразовать вывод в настоящую песню.

Amper, с другой стороны, имеет до смешного простой интерфейс. Все, что вам нужно сделать, это зайти на сайт и выбрать жанр музыки и настроение. Вот и все. Вам не нужно знать программный код, композицию или даже теорию музыки, чтобы написать с ее помощью песню. Он строит треки из предварительно записанных семплов и выдает реальный звук, а не MIDI. Оттуда вы можете изменить темп, тональность; отключите звук отдельных инструментов или отключите целые наборы инструментов, чтобы изменить настроение песни, которую она написала. Затем этот звук можно экспортировать целиком или в виде отдельных слоев инструментов (известных как «основы»). Затем стемы можно обрабатывать в DAW, таких как Ableton или Logic.

Я попросил Ампера сгенерировать музыкальный клип ниже, пока катался по Лос-Анджелесу на заднем сиденье машины моего друга. С помощью телефона я выбрал рок в качестве жанра, а затем, соответственно, «драйв» в качестве настроения. Он потратил около минуты на взбивание, прежде чем выдать 30 секунд звука. Результат не готов к радио, но в нем есть аккорды, небольшая структура, и звучит… приятно. Он мог бы легко разместиться в конце видео на YouTube или в рекламе, и никто бы не догадался, что он закодирован, а не написан.

Как человек, который занимается музыкой, мысль о том, что код может делать то же, что и я, кажется странной. Мысль о том, что алгоритм может сочинить неплохую песню за считанные минуты, обескураживает, и что ИИ проникает на творческую территорию, которую мы определяем как чисто человеческую. Если ИИ в настоящее время достаточно хорош, чтобы создавать звенящую музыку для лифтов, как в клипе выше, как скоро он сможет создать хит номер один? И если дело дойдет до этого, что это значит для людей-музыкантов?

Тарин Саузерн демонстрирует IBM Watson Beat. Фото Кристиана Мацца / The Verge

Тарин Саузерн интересует не эти вопросы. Саузерн — онлайн-личность, которую вы могли знать по ее каналу на YouTube или когда она была участницей American Idol . В настоящее время Саузерн интересуется новыми технологиями, что привело к ее нынешнему проекту: записи поп-альбома. Эти две вещи не кажутся связанными, но в ее альбоме есть особенность: вместо того, чтобы писать все песни самой, Саузерн использовала искусственный интеллект для создания перкуссии, мелодий и аккордов. Это делает его одним из первых альбомов в своем роде, своего рода сотрудничество между ИИ и человеком.

Ампер была первой платформой искусственного интеллекта, которую Саузерн использовала в начале своего альбома, и теперь она также работает с IBM Watson Beat и Google Magenta. Она рассматривает ИИ как мощный инструмент и партнера, а не как замену музыкантам.

«Используя ИИ, я пишу свои тексты и вокальные партии к реальной музыке и использую это как источник вдохновения», — говорит мне Саузерн. «Я нахожу это действительно забавным, и поскольку я могу повторять музыку, давать ей отзывы и параметры и редактировать столько раз, сколько мне нужно, она все еще кажется в некотором смысле моей».

ИИ сам по себе недостаточно хорош, чтобы создать хит для радио… но

Чтобы получить представление о том, как человек может работать с ИИ, посмотрите сингл Southern 2017 года «Break Free». Аудио из SoundCloud, представленное ниже, представляет собой ранний экспорт материала из Amper. Сравните это с видео на YouTube, в котором есть финальная выпущенная версия песни. Кое-где просматриваются фрагменты оригинального ИИ, но это больше похоже на приправу, а не на основное блюдо. Чтобы превратить ее в поп-песню, Саузерн принял множество творческих решений, включая смену инструментов, изменение тональности и, конечно же, написание и исполнение вокала.

Саузерн изначально обратилась к ИИ, потому что, хотя она и была автором песен, она «очень, очень мало знала о теории музыки». Это был контрольно-пропускной пункт, который расстраивал ее до бесконечности. «Я находил красивый аккорд на пианино, — говорит Саузерн, — и писал вокруг него целую песню, но потом не мог подобрать следующие несколько аккордов, потому что просто не знал, как играть». то, что я слышал в своей голове. Теперь я могу повторять музыку, давать отзывы и параметры и редактировать столько раз, сколько мне нужно. Мне все еще кажется, что это мое в каком-то смысле».

Это чувство расширения возможностей — именно то, что пытается донести Amper Music. «Я не смотрю на это как на искусственный интеллект, — говорит соучредитель Amper Майкл Хоуб. «Это больше связано с увеличением интеллекта. Мы можем облегчить ваш творческий процесс, убрав из него множество ерундовых элементов. Для меня это позволяет большему количеству людей быть творческими, а затем позволяет людям, у которых уже есть некоторые из этих творческих аспектов, действительно развиваться».

Когда Хоуб говорит «элементы ерунды», он имеет в виду гитариста, не знающего, как оркестровать инструмент, с которым он никогда раньше не работал, времени, потраченного на создание скорости отдельных ударов барабана, или просто столкнувшись с писательским кризисом. Ампер не предназначен для создания следующей суперзвезды ИИ; это предназначено для музыкантов. Конечно, использование ИИ также имеет дополнительное преимущество, позволяя Саузерн и другим лицам, не имеющим формального музыкального образования, участвовать в создании музыки. Это демократизирует творческое игровое поле, так что каждый может играть то, что слышит у себя в голове, как и Southern.

речь идет не о создании следующей суперзвезды ИИ; речь идет о предоставлении музыкантам возможности

. Я спрашиваю Саузерн, что бы она сказала людям, которые считают использование ИИ обманом. «Отлично, — говорит она. «Да, мы полностью обманываем. Если конкретно определить музыку как процесс, которого все должны придерживаться, чтобы достичь какой-то конечной цели, тогда да, я жульничаю. Я прокладываю путь всем мошенникам». Она смеется, а затем многозначительно говорит: «Процесс создания музыки не может быть определен так узко».

Есть над чем подумать. Каждый раз, когда внедряется новая технология, которая тектонически меняет то, как мы создаем музыку, появляются скептики. Такие вещи, как AutoTune, использование сэмплов и лупов, а также рабочие станции цифрового аудио, были «разрушителями», к которым мы адаптировались, и теперь они являются обычными инструментами и методами. ИИ, вероятно, будет следующим.

Влияние технологии на музыкальную индустрию в целом еще предстоит выяснить. Уничтожит ли это рабочие места? Как это повлияет на авторские права на музыку? Сможет ли он когда-нибудь работать без человека? Но такие люди, как Хоуб и Саузерн, считают, что в конечном итоге это принесет положительные плоды. Конечно, алгоритм, создающий музыку, звучит пугающе, потому что он отражает человеческие способности, которые мы уже находим загадочными, но это также убедительный инструмент, который может улучшить эти человеческие способности. ИИ в качестве соавтора расширяет доступ к созданию музыки, упрощает рабочие процессы и дает искру вдохновения, необходимую для создания следующего хита.

«Вы сотрудничаете и работаете с ИИ для достижения своей цели», — говорит Хоуб. «Дело не в том, что ИИ просто делает что-то свое. Все дело в процессе между ним и вами для достижения этого окончательного художественного видения».

ИИ теперь может сочинять поп-музыку и даже симфонии. Вот как к нам присоединяются композиторы.

В течение последних двух столетий композиторы, ученые и поклонники классической музыки ломали голову над Симфонией № 8 Франца Шуберта, от которой он отказался в 1822 году после написания первых двух частей.

Почему австрийский композитор отказался от своей «неоконченной симфонии» за шесть лет до смерти? Связал ли он это с болезнью? Он отвлекался на другую работу? А если бы он закончил последние две части, как бы они звучали?

Теперь Лукас Кантор, композитор из Лос-Анджелеса для кино и телевидения, завершил работу, начатую Шубертом, — с помощью искусственного интеллекта, работающего на смартфоне.

«Я ухватился за возможность использовать ИИ для завершения симфонии; я думаю, что ответил «да» еще до того, как закончил читать электронное письмо, когда Huawei связался», — сказал Кантор NBC News MACH. «Я всегда был в восторге от пересечения технологий и музыки».

Кантор не одинок. Композиторы, с которыми он работал, стремятся использовать новые технологии как инструмент для продвижения своей работы в новые области. И это не только в классической музыке. С появлением нескольких новых музыкальных программ, которые поощряют музыкантов сочинять музыку с помощью ИИ, технический энтузиаст и бывшая участница конкурса American Idol Тарин Саузерн выпустила первый поп-альбом, который был написан и спродюсирован совместно с искусственным интеллектом.

Превращение узоров в музыку

ИИ — это, по сути, система распознавания образов. Предоставьте ему достаточно данных, и он найдет закономерности в этой информации, которые сможет использовать для принятия решений. В случае с симфонией Шуберта решения заключались в том, какие музыкальные ноты и где следует размещать.

Есть и другие примеры творчества ИИ из других дисциплин.

Художники, такие как мюнхенский Марио Клингеманн, использовали искусственный интеллект для распознавания узоров на тысячах европейских портретов маслом 14–17 веков, чтобы создать постоянно меняющуюся единую работу, выделив попурри из «лучших хитов». (Работа продана на аукционе в марте более чем за 50 000 долларов.)

Точно так же программное обеспечение от Open AI, компании искусственного интеллекта из Сан-Франциско, может написать часть новости, а ИИ напишет остальное. (Результаты настолько убедительны, что Open AI, опасаясь создания машины для фальшивых новостей, которую любой пропагандистский орган или враждебная нация могли бы использовать для распространения дезинформации, выпустила для общественности лишь ограниченную версию программного обеспечения.)

Для Cantor и Huawei , китайскому телекоммуникационному гиганту, разработавшему программное обеспечение для завершения симфонии Шуберта, вопрос заключался в том, какой набор данных использовать для обучения программного обеспечения. Вся западная музыка? Вся классическая музыка?

В конце концов, Кантор и инженеры из Huawei загрузили столько каталога Шуберта, сколько смогли найти — примерно 2000 произведений для фортепиано — в программное обеспечение внутри нового телефона компании Mate 20. Цель состояла в том, чтобы научить ИИ думать как Шуберт и сочинять новые отрывки, включая то, что Кантор называет «сердцем и душой любого музыкального произведения»: мелодию.

«Я был впечатлен тем, что компьютер может генерировать музыкальные идеи, поэтому все, что он присылал мне обратно, казалось мне чем-то невероятным, — говорит Кантор. утомленный, у которого никогда не заканчиваются идеи, у которого никогда не бывает плохого отношения и которому никогда не нужно делать перерыв».

Когда ИИ предложил серию новых мелодий, Кантор использовал свой профессиональный опыт, чтобы выбрать одну из них. Затем он доработал заметки программного обеспечения, добавив инструменты и гармонии, чтобы конкретизировать вклад ИИ в полноценное движение.

Могут ли алгоритмы заменить композиторов?

Экономисты, ученые-бихевиористы и другие эксперты уже давно утверждают, что однажды искусственный интеллект сможет автоматизировать целые отрасли, от доставки до химчистки. Однако критики ИИ пришли к выводу, что даже самое сложное программное обеспечение ИИ не может заменить нашу самую типичную человеческую способность: способность находить вдохновение в окружающем нас мире и использовать наше врожденное творчество для создания искусства.

Но даже самая красивая музыка, в конечном счете, всего лишь код. Алгоритмы можно научить писать код, и когда алгоритм насмотрелся на музыкальный код, который его просят подражать, он может сочинять музыку, которая звучит, скажем так, по-человечески.

Означает ли это, что искусственный интеллект теперь может заменить опытного композитора? Кантор возражает, называя ИИ «просто еще одним инструментом в наборе инструментов», когда он сочиняет музыку, и говорит, что использует все виды технологий в творческом процессе. «Гитара — это часть технологии, с которой вы будете сотрудничать, — говорит он. — Ни одна из этих вещей не может создавать музыку сама по себе. Попав в руки способного человека, они действительно могут увеличить человеческий потенциал. И ИИ ничем не отличается».

Но что происходит, когда ИИ используется для создания целых композиций?

Саузерн, поп-артистка из Лос-Анджелеса, говорит, что технология, которая, по ее словам, делает процесс сочинения больше похожим на покупку мелодии, идеально подходит для таких, как она: меломана, который вырос на написании кода, но которому не хватает формальностей. обучение по той или иной дисциплине.

«Музыка всегда была для меня забавным хобби, но я всегда чувствовал, что на самом деле у меня нет навыков, чтобы стать музыкантом», — сказал Саузерн. «Но понимание языка данных и того, как музыка может преобразовываться в данные, имело для меня большой смысл».

Поп-исполнительница и бывшая участница конкурса American Idol Тэрин Саузерн беседует с техническим корреспондентом NBC News Джейкобом Уордом о своем альбоме, сопродюсером и соавтором которого является искусственный интеллект. Саузерн сочинял песни, используя платформу искусственного интеллекта Amper. Но это всего лишь одна из нескольких подобных программ, которые музыканты могут использовать для сочинения песен, включая Magenta от Google, Flow Machines от Sony и Jukedeck. Каждая из этих программ позволяет музыканту выбирать тональность музыки, определенные инструменты, количество ударов в минуту ритма, а также точку, в которой музыка достигает кульминации. Затем искусственный интеллект предлагает ряд вариантов, из которых музыкант может выбрать — выбрать один, объединить несколько или изменить исходный ввод для получения альтернативного результата.

Сложные вопросы

Создатели Amper, которые предполагали, что он заменит музыкантов, обычно нанимаемых для сочинения и записи рекламной музыки, накормили его множеством жанров. Выберите «документальный», «футуристический» и «обнадеживающий», и появится запасной, глючный трек с оптимистичной басовой партией. Выберите «напыщенную ловушку», и вы можете себе представить, как в результате дребезжат стекла вашего автомобиля.

Музыка, созданная Amper и подобными программами, по сути неотличима от того, что можно услышать на любой радиостанции, и вызывает непростые вопросы. Например, если мы используем программное обеспечение для распознавания образов, чтобы создавать только музыку, похожую на ту, что нам нравилась в прошлом, не попадем ли мы в ловушку обратной связи? Как музыканты найдут новое вдохновение, если они только пробуют то, что уже сделано? Будут ли любители музыки будущих поколений слушать только вариации на сочинения прошлого?

Саузерн говорит, что, к лучшему или к худшему, потребность производить почти бесконечное количество новой работы будет стимулировать рынок программного обеспечения искусственного интеллекта для создания музыкальных композиций.