Содержание
Собрать плейлист, найти застрявший в голове трек, написать пьесу: что искусственный интеллект умеет делать с музыкой
30 мартаТехнологииМузыка
Гуманитарий или технарь, творческая личность или мастер рутинных процессов — в отличие от людей искусственный интеллект успешно совмещает в себе все эти роли. Яркий тому пример — музыкальная индустрия. Вместе с образовательным проектом «Урок Цифры», экспертом из «Яндекса» Анатолием Старостиным и певицей Mary Gu рассказываем, что нейросети могут предложить миру музыки.
Поделиться
0
Узнавать композиции
Классный трек можно услышать где угодно: в торговом центре, в кафе и даже из окна соседней машины, стоя в пробке. Чтобы не упустить понравившуюся незнакомую песню, достаточно включить приложение для распознавания. Название композиции и имя исполнителя в них за секунды выдаёт искусственный интеллект. Правда, за столь стремительным результатом стоит основательная подготовка: чтобы быстро узнать мелодию, программе сначала нужно её запомнить. Для этого нейросети знакомят с огромной библиотекой треков, а затем алгоритмы преобразуют звук в спектрограмму и раскладывают его на время, частоту и интенсивность.
Анатолий Старостин
Руководитель службы развития технологий в медиасервисах «Яндекса».
Спектрограмма — это график. По оси горизонтали расположено время, по вертикали — частота звука, а цветом выражена его интенсивность в фиксированный момент. Низкий сигнал представляется красной полоской снизу, а высокий — сверху. В итоге получается картинка, состоящая из цветных горизонтальных полос. Анализ таких схем помогает распознавать музыку. При работе со спектрограммами используются те же нейросетевые подходы, что и при анализе изображений.
Допустим, человек слышит по радио песню и хочет узнать название и исполнителя. Программа распознавания строит спектрограмму звучащего отрывка и отправляет её в свою библиотеку треков. Затем сравнивает «картинку» искомой мелодии со спектрограммами других композиций и выбирает наиболее точное совпадение. При этом искусственный интеллект распознаёт мелодию даже сквозь серьёзные помехи вроде дорожного шума или ремонта в соседней квартире.
Кстати, нейросеть способна не только идентифицировать исполнителя и название застрявшего в голове трека, но и примерно определить его жанр. Для этого искусственный интеллект учат находить закономерности разных музыкальных стилей. Такие специфические характеристики, как правило, недоступны человеческому зрению и слуху. Но благодаря машинному обучению вычислять музыкальные жанры по изображениям спектрограмм становится возможно.
Рекомендовать песни
Изображение: Studio.c / Shutterstock / Hoowy / Shutterstock / Julie Kramer / Wikimedia Commons / Kreepin Deth / Wikimedia Commons / Ольга Селепина / Лайфхакер
Кажется, что самостоятельно найти «тот самый» трек под настроение в миллиардах композиций почти так же маловероятно, как взаимно влюбиться с первого взгляда. Но благодаря алгоритмам рекомендаций идеальные мэтчи случаются не так уж редко. Сначала искусственный интеллект ищет людей с похожими вкусами, а дальше подключаются статистические формулы: количество лайков, дизлайков, прослушиваний и пропусков конкретной композиции.
Анатолий Старостин
Рекомендация песен работает по простой схеме: если Васе понравился трек X, а потом Петя тоже его оценил, то, когда Васе понравится Y, порекомендовать трек Y стоит и Пете. Когда алгоритму нужно найти следующую песню, готовая формула применяется к набору потенциальных композиций. Самая подходящая всплывает наверх.
«Холодный» контент, не замеченный в плейлистах массового слушателя, распространяется медленнее. Но благодаря нейросетям у неизвестных исполнителей и нишевой музыки всё же есть небольшой шанс мелькнуть в потоке рекомендаций. Если упростить все технические нюансы, то можно сказать, что в подобных случаях искусственный интеллект выясняет, как часто конкретный пользователь слушает песни с похожими спектрограммами, и периодически предлагает ему познакомиться с новыми треками.
Mary Gu
Певица.
Иногда я ищу вдохновение в рекомендациях. Доверяю выбор композиции музыкальному сервису, вслушиваюсь в мелодии, нахожу интересные звучания или тексты. Так действительно можно спонтанно влюбиться в трек неизвестного исполнителя. А ещё случайно услышанная строчка способна натолкнуть меня на создание собственных стихов.
Нейросети также помогают генерировать подборки музыки для фитнеса, прогулок или сна. Контент‑редакторы отбирают для алгоритмов треки‑ориентиры, и на основе их спектрограмм искусственный интеллект расширяет тематические рекомендации.
Генерировать музыку
Раньше создавать мелодии могли лишь композиторы. Сейчас это возможно и без участия музыкантов. В 2020 году в Нидерландах впервые провели «Евровидение» для нейросетей — AI Song Contest. Победила в нём австралийская коллаборация искусственного интеллекта с коалами, зимородками и тасманскими дьяволами. Песня посвящалась бушевавшим на континенте лесным пожарам. Звуки животных записали в короткие семплы — отрывки длиной в 1–2 секунды. Алгоритм соединил их с хитами всех предыдущих победителей реального «Евровидения», после чего собрал семплы в собственную мелодию.
Это не единственный пример удачного творческого союза программистов и нейросетей. В 2019‑м на закрытии Зимнего международного фестиваля искусств в Сочи государственный оркестр исполнил 8‑минутную пьесу. Написал её композитор Кузьма Бодров из отдельных фрагментов мелодий, сгенерированных нейросетями. Сегодня создание музыки — самая перспективная сфера для развития искусственного интеллекта.
Анатолий Старостин
Создавать музыку искусственный интеллект может тремя путями. Первый связан с конструированием из готовых «кирпичиков» звука — семплов. В таком случае алгоритм просто расставляет их в нужном порядке по нескольким звуковым дорожкам, а электронный аранжировщик сводит готовый трек. Второй способ — генерировать нотные записи. Это как писать инструкцию, для того чтобы музыкант сыграл по ней готовое произведение. И третий путь — записывать «сырой» аудиосигнал. В этом случае нейросеть сама создаёт звуковые волны, которые похожи, например, на Моцарта или Beatles.
Кстати, писать стихи для песен нейросети тоже могут. Пока такие треки звучат довольно странно, поэтому сонграйтерам не стоит переживать о безработице. К тому же «компьютерный разум» лишён чувств. Он не может вникнуть в эмоциональный контекст и передать те переживания, которые заставляли авторов произведений творить.
Mary Gu
Поэзия и музыка — это в первую очередь про душу, внутренний мир, переживания, чувства и эмоции людей. Например, новый трек «Не перегори» — это моя личная история, но она также и про каждого, кто идёт к мечте и пытается разобраться в себе. Я не думаю, что искусственный интеллект когда‑то заменит живого человека в музыкальной индустрии. Но здесь может получится интересный тандем «человек — нейросеть». Мы уже знаем десятки примеров, когда искусственный интеллект помогал композиторам создавать уникальные мелодии. По сути, это новое направление в музыкальном мире, которое, я уверена, в будущем будет иметь своего слушателя и свою аудиторию.
Искусственный интеллект делает творчество доступным для всех, а музыка помогает ему развиваться. Разобраться, как эти два полюса сходятся и влияют друг на друга, можно на «Уроке Цифры» от «Яндекса» — «Цифровое искусство: музыка и IT». Вместе с героями комиксов участники узнают, как нейросети распознают и генерируют треки и какие технологии помогают в работе знакомых нам музыкальных сервисов. На занятии ученики попробуют сами угадать мелодию по спектрограмме и соберут плейлист с рекомендациями.
Хочу на «Урок Цифры»
Саундтрек к фильму «Искусственный разум»
Original Motion Picture Soundtrack and Score
Оригинальные саундтрек и музыка
Artificial Intelligence: AI
2001
США
Джон Уильямс
Разные исполнители
Количество песен
2001:31:16
Формат
mp3
128-320 кбит/с
191 Мб
Далее перечислены музыкальные композиции, прозвучавшие в киноленте «Искусственный разум».
Необязательно скачивать сразу весь саундтрек, Вы можете проверить, включена ли в сборник нужная Вам песня или фоновая музыка. Для этого Вы можете прослушать любой трек онлайн, а уже после скачать бесплатно весь альбом.
Вся музыка и песни из фильма «Искусственный разум» — Artificial Intelligence: AI»
доступна для онлайн прослушивания,
однако качество ее звука значительно ниже, чем в представленном для скачивания альбоме, включающем все mp3-треки сразу.
Вы можете скачать полный саундтрек к фильму «Искусственный разум» бесплатно
в высоком качестве (битрейт указан в описании альбома).
ТРЕКЛИСТ
Качество треков, представленных на сайте для прослушивания не выше 100 кбит/с.
Original Scoreоригинальная композиторская музыка, как правило, написанная специально для определенного произведения, иногда такой альбом включает в себя треки других исполнителей
НАЗВАНИЕ | ВРЕМЯ | ||
---|---|---|---|
1 | Abandoned in the Woods John Williams | 3:07 | |
2 | Cybertronics John Williams | 3:31 | |
3 | Hide and Seek John Williams | 3:08 | |
4 | Replicas John Williams | 5:58 | |
5 | Rouge City John Williams | 4:57 | |
6 | Stored Memories and Monica’s Theme John Williams | 10:57 | |
7 | The Mecha World John Williams | 6:23 | |
8 | The Moon Rising John Williams | 4:26 | |
9 | The Reunion John Williams | 7:45 | |
10 | The Search for the Blue Fairy John Williams | 6:12 | |
11 | Where Dreams are Born John Williams | 4:23 | |
12 | For Always Lara Fabian | 4:42 | |
13 | For Always (Duet) Lara Fabian and Josh Groban | 4:41 |
Бонус-трекипесни, прозвучавшие в фильме, но не вошедшие в официальный саундтрек
НАЗВАНИЕ | ВРЕМЯ | ||
---|---|---|---|
1 | Cheek to Cheek Fred Astaire | 3:20 | |
2 | Une Chanson Douce Maurice Pon, Henri Salvador | 2:32 | |
3 | What About Us Ministry | 5:52 | |
4 | Guys and Dolls Stubby Kaye, Johnny Silver | 2:36 | |
5 | I Only Have Eyes for You The Flamingos | 3:22 | |
6 | Dodo, l’enfant do 2 Французская колыбельная | 1:05 | |
7 | Dodo, l’enfant do Французская колыбельная | 2:18 |
AI Изображение к песне [Melobytes.
com]
Автоматически сохраненная форма
Вы просматриваете сохраненную форму (создана
) Загрузить чистую форму
Это приложение автоматически обнаруживает объекты, концепции, сцены и тексты на ваших изображениях с помощью технологии искусственного интеллекта (ИИ) и создает песню.
Как это работает
1. Загрузите свое изображение
2. Приложение генерирует с помощью алгоритмов искусственного интеллекта уникальный результат на основе вашего контента
3. Станьте свидетелем своего творения и поделитесь им со всем миром или оставьте себе — это твое
Входные данные
Загрузить свое изображение (R)
Допустимые типы файлов: jpeg, jpg, bmp, wmf, gif, png, ico, tiff, emf, rle
Максимальный размер: 10 МБ
Перетащите файлы куда угодно
Загрузить
Язык (R)
АнглийскийНемецкийФранцузскийИспанский (Европейский)Испанский (Латинская Америка)Португальский (Бразилия)Португальский (Европейский)ИтальянскийГреческийТурецкийРусский
Маркировочные этикетки Max (R)
Минимальная достоверность обнаружения (%) (R)
Случайные прилагательные (R)
ДаНет
Тональность (R)
СлучайныйМайорМинор
Темпо (П)
Random60616263646566676869707172737475767778798081828384858687888990919293949596979899100101102103104105106107108109110111112113114115116117118119120121122123124125126127128129130131132133134135136137138139140141142143144145146147148149150151152153154155156157158159160161162163164165166167168169170171172173174175176177178179180181182183184185186187188189190191192193194195196197198199200201202203204205206207208209210211212213214215216217218219220221222223224225226227228229230231232233234235236237238239240241242243244245246247248249250251252253254255
Певица (R)
NoMaleFemaleMale + FemaleRobotRapСлучайный выбор
А капелла (R)
НетДа
Тактовый размер (R)
Случайный2/43/44/45/46/47/48/49/4
Создать видеоклип (R)
ΝοДаДа, с изображениями пользователяДа, только с субтитрами
Загрузите свои изображения
Допустимые типы файлов: jpeg, jpg, bmp, wmf, gif, png, ico, tiff, emf, rle, mov, wmv, avi, mp4, gif, mkv, flv
Максимальный размер: 10 МБ
Загрузить
Загрузить
Загрузить
Загрузить
Загрузить
Загрузить
Загрузить
Загрузить
Загрузить
Загрузить
Загрузить
Загрузить
Загрузить
Загрузить
Загрузить
Создать песню
Результаты
Быстрая обратная связь
Ваша оценка
GoodNeutralBad
Дополнительные комментарии
Комментарии
Перетащите файл куда угодно
Профессор Университета штата Айдахо создает искусственный интеллект, который сочиняет музыку
Когда дело доходит до музыки, сочинение — это одна из проблем, которая всегда беспокоила компьютеры. Конечно, они могут связать вместе несколько нот или слов, но создание мотивов — повторяющихся музыкальных паттернов, создающих форму и смысл, — настоящая проблема. Теперь, после более чем семи лет размышлений над проблемой, ученый-компьютерщик из Университета штата Айдахо нашел решение.
«В области искусственного интеллекта существует проблема, известная как проблема дальней зависимости», — объясняет доктор Пол Бодили, доцент кафедры информатики ISU. «По сути, ИИ очень сложно создавать последовательности элементов, таких как музыка или язык, где элементы, выбранные в одной части последовательности, зависят от того, какие элементы выбраны в совершенно другой части последовательности. Например, музыканты могут захотеть, чтобы припев повторялся в разных местах песни или чтобы слова рифмовались в разных позициях. Достаточно просто копировать и вставлять или отдельно генерировать взаимозависимые последовательности заметок. Но, как правило, эти подходы означают принесение в жертву естественного потока или согласованности между взаимозависимыми элементами, и именно в этом заключается проблема».
Введите Pop*. Pop* — произносится как «поп-звезда» — это система искусственного интеллекта, разработанная компанией Bodyly. Он предназначен для работы без участия человека и, что наиболее важно, решает проблему долгосрочной зависимости.
«Pop* использует особый тип модели машинного обучения, которая заглядывает вперед в последовательности на то, что в конечном итоге будет сгенерировано, чтобы скорректировать вероятность того, что она сгенерирует в краткосрочной перспективе», — сказал Бодили. «В конце концов, произведение связно на всем протяжении».
Телесный использовал известные песни, такие как «Twinkle, Twinkle Little Star» и «Somewhere Over the Rainbow», а также классические поп-музыки, такие как «Hey Jude» группы The Beatles и «Imagine» Джона Леннона для обучения поп-музыке*. на аккордах, высотах, ритмах и текстах. После этого этапа ускоренного обучения ИИ теперь может сочинять свои собственные короткие поп-песни. В поисках лирического вдохновения Pop* ищет в Твиттере твиты на свои любимые темы: влюбленность, депрессия и новые начинания.
«Одной из первых композиций, созданных Pop*, была эта действительно мрачная, задумчивая песня со словами: «И я думаю, что я просто ложь», — объяснил Bodyly. «Я был поражен тем, насколько это меня тронуло. Мы, люди, все время от времени сталкиваемся с чувством неадекватности, но помимо этого, здесь есть система ИИ, которая, кажется, ставит под сомнение собственную достоверность и делает это творчески и творчески».
Недавно в журнале Special Collection: AI and Musical Creativity Transactions of the International Society for Music Information Retrieval была опубликована статья Боди и соисследователя доктора Дэна Вентуры, профессора компьютерных наук Университета Бригама Янга. . Публикация знаменует собой кульминацию многолетней работы Бодили, начиная с того времени, когда он работал над докторской диссертацией в УБЯ под руководством Вентуры.
«Когда я начал заниматься исследованиями в области искусственного интеллекта, я уже был активно вовлечен в совершенно другое направление исследований, и это был большой скачок веры, чтобы переключиться», — сказал Бодили. «Эта публикация представляет собой награду за этот скачок семь лет назад».
В июне Pop* примет участие в своего рода битве групп, AI Song Contest 2022, и будет соревноваться, используя одну из своих самых ранних композиций «And I Think I». Заглядывая в будущее, Bodily стремится исследовать использование таких систем, как Pop*, в терапевтических целях. Он будет изучать, как объединение людей с искусственным интеллектом, который знает, как сочинять музыку, может помочь повысить их способность к творчеству и справляться с любыми проблемами, с которыми они могут столкнуться.
«Мое видение состоит в том, чтобы интегрировать Pop* в мобильное приложение, в котором у пользователя запрашиваются мысли или чувства, а затем Pop* и пользователь работают вместе, чтобы создать осмысленное музыкальное выражение этих идей или реакцию на них. Система может быть разработана таким образом, чтобы помочь пользователю поделиться своими творениями или найти других авторов-единомышленников, с которыми они могли бы связаться.