Нейросеть Яндекс музыка как сделать?

Цифровой слух: как «Яндекс» подбирает музыку под ваше настроение

Чарты музыкальных предпочтений слушателей «Яндекс.Музыки» показывают, что пользователи все чаще ищут новую музыку, а не ставят на повтор проверенных Scorpions или Metallica. И сегодня одна из самых сложных и интересных задач для музыкальных сервисов — научиться подбирать музыку под настроение. Согласитесь, на мосту весеннего Будапешта и в трамвае заснеженного Екатеринбурга мы, скорее всего, выберем совершенно разные треки. Найти музыку, которая понравилась бы пользователю в определенный момент времени нам помогают нейросети.

Искусственные нейронные сети — один из методов машинного обучения, который стал особенно популярен в последние годы. Нейросети прекрасны тем, что им достаточно показать, условно, что такое хорошо, а что такое плохо, чтобы получить желаемый результат. Например, нейронную сеть можно обучить распознавать на изображениях те или иные объекты — скажем, автомобили или собак. В ходе обучения ей показывают огромное количество картинок, где есть нужные объекты (положительные примеры) и где их нет (отрицательные примеры). В результате нейросеть получает способность верно определять нужные объекты на любых изображениях.

В «Яндексе» машинное обучение (в том числе и нейросети) используется повсеместно: оно помогает лучше понимать смысл поисковых запросов пользователей, строить оптимальные маршруты в «Навигаторе», с высочайшей точностью прогнозировать погоду и многое другое. А в технологии «Диско» (от слова discovery), которая находится под капотом «Яндекс.Радио», нейросети помогают находить новую интересную для пользователя музыку и подсказывать песни, которые будут созвучны его настроению.

Настроение в цифрах

«Яндекс.Радио» — сервис, который предлагает выбирать станции под настроение и лайками или дизлайками оценивать звучащую музыку. Чтобы сформировать такие станции на основе одного лишь абстрактного понятия настроения необходима помощь нейросетей. Именно они помогают из миллиона композиций отобрать треки, которые могут звучать на конкретной станции. Для жанрового радио такие треки отобрать довольно легко: достаточно, например, взять наиболее популярные песни в определенном жанре среди слушателей «Яндекс.Музыки» и предложить их пользователю.

Но что делать, если нужно отобрать треки для «весенней» станции? И что вообще понимать под «весенним» треком? На первый взгляд кажется, что ответить на второй вопрос могут только люди, поэтому для начала мы используем собственный сервис «Яндекс.Толока», позволяющий поставить большое количество несложных задач, за выполнение которых пользователи получают деньги. В нем мы просим пользователей сказать, считают ли они какие-то треки из нашей библиотеки весенними, и делаем из этого выборку. После этого в игру вступают нейронные сети, для которых такая выборка служит положительным примером, и каждую песню в ней они раскладывают буквально по кирпичикам. В итоге на основе этой выборки нейросеть способна оценить на соответствие теме и другие треки из нашей библиотеки.

Дальше начинается самое интересное. Когда у нас на руках есть готовая «весенняя» радиостанция, нам уже проще создавать новые подборки музыки, пусть даже и полностью противоположные по настроению: например, осеннюю или дождливую. А все потому, что нейросеть, на самом деле, понимает музыку в очень широком смысле. Настолько, что для человека такое понимание довольно сложно представить. Подкрепленная знанием о музыкальных жанрах и их составляющих частях, она видит даже такие особенности треков, которые мы никогда бы не заметили, но при этом они играют важную роль в создании настроения музыки. И этих особенностей очень и очень много. Жонглируя ими, наша заряженная нейросетями рекомендательная система с каждой новой радиостанцией все точнее определяет настроение треков, а для создания новых радиостанций требуется уже не так много пользовательских определений настроения, как в самом начале (хотя без них все равно не обойтись). Говоря простыми словами, нейросеть по-настоящему понимает, из чего состоит, например, восприятие «дождливости» у человека и может выразить числами то, что мы никогда бы не выразили словами.

Найти похожий

Недавно мы начали предлагать пользователям еще один способ открывать для себя новую музыку. Если вы, например, заслушали до дыр Can’t Believe It исполнителей Flo Rida и Pitbull, «Яндекс.Музыка» может предложить вам песню куда менее известного исполнителя, и она будет похожа не только по жанру, но и по звучанию.

Сама по себе задача поиска акустически похожих треков действительно непростая, потому что понятие «схожести» музыки довольно условно. Для кого-то важно, чтобы был похож вокал, другой услышал интересный музыкальный инструмент, а третьему важен ритм.

Во время разработки технологий компьютерного зрения (те самые технологии, которые понимают, что изображено на картинке) мы в «Яндексе» заметили, что в процессе обучения нейросеть строит некоторое свое внутреннее представление изображения, и похожие представления соответствуют похожим по смыслу изображениям. Например, нейросеть может «разглядеть» в разных картинках белых кошек. Мы решили поступить аналогичным образом с музыкой. Казалось бы, что мешает нам просто брать и сравнивать разные треки: вот тут перед припевом бит ускоряется похожим образом, а здесь такая же партия саксофона в конце? Проблема в том, что музыки в мире много, а это значит, что есть и огромное число параметров, каждый из которых не так очевиден, как наличие в песни саксофонной партии, но при этом не менее важен.

Для решения этой задачи, как и в случае с «Радио», мы использовали метод обучения с учителем. Мы даем нейросети пример: вот это трек Can’t Believe It, его спектрограмма (мощность звукового сигнала в разные отрезки времени) выглядит так, а теперь определи, почему он считается танцевальным. Нейросеть понимает, например, что в какой-то момент в треке много высоких частот звука, а в другой момент, наоборот, преобладают низкие. И она начинает искать в спектрограмме другие такие зависимости. Это могут быть и не совсем понятные нам колебания звука, которые не факт, что действительно определяют наш запрос, а могут быть вполне очевидные вещи (например, смена ритма в середине песни). В итоге нейросеть переводит все эти особенности в цифры, а сами треки получаются представлены относительно небольшим набором чисел (от нескольких десятков до пары тысяч). Математически это представление выглядит как вектор, и теперь нам нужно всего лишь найти другие песни, чьи вектора будут похожи на вектор нашего трека.

Когда у нас есть несколько таких представлений, построенных разными сетями, возникает логичный вопрос, а как нам их сравнивать? Здесь снова не обойтись без помощи человека. Мы предлагаем людям послушать исходный трек и пару похожих, по мнению нейросетей, треков. А затем спрашиваем, какой трек из этой пары больше похож на исходный. После этого мы можем измерить, насколько точно решение алгоритма совпадает с оценкой людей и лучший из алгоритмов внедрить в «Яндекс.Музыку».

Электронный композитор

Разработанные нами на основе нейросетей алгоритмы и похожие разработки других компаний позволяют компьютерам лучше понять, как устроена музыка, и научиться воспринимать ее подобно тому, как это делает человек. Все это в перспективе позволит не только делать более качественные рекомендации в сервисах, но и создавать алгоритмы, которые смогут сочинять музыку. Сложно предсказать точное время появления таких алгоритмов, но сегодня мы уже понимаем, как это может работать. А это уже большое дело. Например, можно пытаться обучить нейронные сети составлять музыку подобно тому, как это делают люди в специальных программах — секвенсорах: выбирать музыкальные сэмплы, составлять из них последовательность, накладывать эффекты, но не генерировать сами исходные звуки. Задача выглядит вполне решаемой, но и для этого все равно понадобится помощь музыкантов: исполнители должны предоставить примеры таких последовательностей с наложенными эффектами, и тогда нейросеть научится генерировать свои треки. Пускай поначалу у них будет не самая сложная структура, но это в любом случае неплохое начало.

Совсем другое дело создавать музыку с нуля: здесь мы опускаемся на иной уровень абстракции, и такой задаче сеть обучить гораздо сложнее. Только представьте: одна секунда звука в виде волны в цифровом виде это 44 100 чисел. И чтобы сочинять музыку, алгоритм должен научиться понимать зависимости между этими числами на разных временных масштабах. Допустим, мы научились генерировать короткие и неплохо звучащие отрывки, но сложить целое произведение из них очень сложно. Иными словами, этюд на фортепьяно и симфония — это большая разница, и до сочинения нейросетями симфоний еще довольно далеко. Зато они уже неплохо справляются с имитацией авторского стиля в текстах песен, что можно увидеть на примере «Нейронной обороны», проекта сотрудников Яндекса, которые научили нейросеть сочинять тексты песен в стиле Егора Летова, а затем положили их на музыку.

В ближайшем будущем мы наверняка увидим еще много проектов, которые будут использовать нейросети и для написания текстов, и для генерации музыки. Сложно сказать, как это повлияет на искусство, но нейросети в составе рекомендательных сервисов на него уже совершенно точно повлияли: сегодня мы совсем иначе слушаем и открываем для себя музыку, этот процесс стал проще и интереснее, и это прекрасно.

www.forbes.ru

Композитор — нейросеть. Как алгоритмы пишут классическую музыку

Фантазия для альта и оркестра «Цифровой восход» — так назвали музыку, созданную нейросетью «Яндекс». Произведение исполнил Юрий Башмет в сопровождении оркестра «Новая Россия». Впервые музыкант мирового уровня сыграл мелодию, созданную искусственным интеллектом. Заменят ли компьютеры композиторов, — узнаем из нашего репортажа.

Юрий Башмет впервые в жизни исполняет произведение, созданное искусственным интеллектом. Партитуру сочинения «Цифровой восход», которую сгенерировала нейронная сеть «Яндекс», музыканты получили перед самым выступлением.

«Вечный вопрос: ну как, машина же не может сочинить человеческую музыку? Но она выдала там полторы минуты, по-моему, всего. Кирпичики какие-то», — поделился народный артист СССР Юрий Башмет.

Александр Крайнов – один из создателей нейросети «Яндекс». Сравнивает искусственную нейронную сеть с человеческим мозгом. Компьютерная модель построена по примеру биологических нейронных сетей, как совокупность нейронов в центральной нервной системе человека.

«Принцип генерации музыки нейронной сетью строится на том, что нейронная сеть учится на определенных музыкальных произведениях и старается из ничего, из шума, воспроизводить некую гармонию, свойственную тем музыкальным произведениям, на которых она училась», — поясняет руководитель лаборатории машинного интеллекта Яндекса Александр Крайнов.

В нейросеть загрузили сотни классических произведений – от Баха до Шнитке. После этого энкодер сжал террабайты тщательно отобранной музыки так сильно, что при обратной распаковке с помощью декодера обязательно появляются ошибки и пробелы. И тогда нейросеть дописывает потерянную музыку наилучшим, как она считает, способом.

«Вообще-то там, конечно, хранятся какие–то другие непонятные нам людям описания музыкального произведения, но они тоже очень сжаты и компактны. И поэтому сеть эта тоже не может воспроизвести по этим компактным данным исходное произведение, но она пытается сделать максимум и добиться максимум правдоподобности», — добавляет Александр Крайнов.

Получившийся результат сложно назвать полноценным музыкальным произведением. Это материал без развития, без динамики, без структуры. Но композитор Кузьма Бодров, который согласился закончить сочинение, нашел в этой нечеловеческой музыке некое «зерно».

«Несколько повторяющихся нот в разном порядке. Это очень интересно, напоминает минимализм и тут же вводит в состояние транса буквально через 30 секунд, потому что одно и то же идет. Но в этом потоке вдруг появляются интонации, которые неожиданно цепляют слух, и начинаешь откликаться на них», — говорит композитор Кузьма Бодров.

Из созданного нейросетью материала Кузьма Бодров выбрал самое перспективное. И превратил поток сознания машины в восьмиминутную фантазию для альта и оркестра.

«Мы видим, что и в шахматы искусственный интеллект выигрывает у живого человека, может быть и музыку начнут машины писать интереснее, чем живые люди. Кто это знает? Как раз кризис композиторского искусства в наш век, он очень очевиден, и может быть это какой-то новый выход», — отмечает дирижер Денис Власенко.

Эксперименты по созданию музыки с помощью нейронных сетей продолжаются по всему миру. Но пока искусственный интеллект производит музыку, как математику, и только человек может превратить ее в нечто большее.

tvkultura.ru

Нейросеть Яндекс музыка как сделать?

Вы используете устаревший браузер. Обновите свой браузер сегодня

Нейросеть против русского рэпа: тест Яндекс.Музыки и RAP.RU

13 куплетов, которые за русских рэперов написала нейросеть. Сможете узнать в них фирменный авторский стиль наших хип-хоп-звезд?

Команда «Яндекс.Музыки» провела масштабное исследование текстов русского рэпа, чтобы проследить изменения в жанре за последние годы и выявить самые часто используемые слова — как для хип-хопа в целом, так и для отдельных рэперов.

На основе полученных данных компания сгенерировала с помощью нейросети тексты песен, которые могли бы написать русскоязычные артисты. Вот что говорят о результатах в «Яндекс.Музыке».

Мы обучили нейросеть на русском рэпе и нагенерили с её помощью десятки тысяч строк. Для каждого исполнителя автоматом отобрали такие, которые мог бы написать он — то есть те, в которых много слов, которые он использует заметно чаще коллег. Затем вручную выбрали самые осмысленные строки и составили из них куплет. В тесте предлагается угадать, кто мог бы написать этот куплет.

В итоге получился отличный тест, в котором вам предлагается угадать, кто мог бы написать тот или иной куплет. Такими темпами тексты для русских рэперов вскоре и правда сможет писать нейросеть (осталось только разобраться с битами)!

Пройти тест можно ниже — и не забывайте делиться своими вариантами в комментариях.

www.rap.ru

«Яндекс» создал искусственный интеллект, пишущий музыку

МОСКВА, 30 мая – РИА Новости. Программисты «Яндекса» создали необычную нейронную сеть, которая умеет сочинять музыку и создавать ее в стиле тех произведений, которые писали известные композиторы прошлого. Итоги работы и описание этой системы искусственного интеллекта были опубликованы в электронной библиотеке arXiv.org.

«В прошлом году я познакомилась с Андреем Себрантом, руководителем отдела маркетинга сервисов компании Яндекс. В процессе общения с командой Яндекса стали рождаться новые идеи, и Андрей предложил разработать неординарную концепцию открытия очередной конференции YaC с живой музыкой и технологиями на основе идей Александра Скрябина, которому в этом году исполняется 145 лет», — рассказывает Мария Чернова, композитор и музыкальный эксперт.

В последние годы, благодаря развитию математики и росту вычислительных мощностей компьютеров, у ученых появилась возможность создавать сложные нейросети, системы искусственного интеллекта, способные исполнять нетривиальные задачи и даже «мыслить» креативно, создавая новые образцы искусства и технологий.

К примеру, только за последний год ученые создали ИИ, способные обыграть человека в «непросчитываемую» древнекитайскую игру Го, отыскивать важнейшие события в истории по газетам, писать сценарии к компьютерным играм и раскрашивать фотографии и видеоролики под Ван Гога, и рисовать свои собственные картины.

Алексей Тихонов и Иван Ямщиков, программисты из Яндекса, добавили в число достижений искусственного разума и музыку, создав нейросеть, способную анализировать музыкальные произведения и писать свои собственные композиции, не похожие на них.

Эта система искусственного интеллекта, как и многие другие проекты такого рода, состоит из множества связанных друг с другом слоев «нейронов. Каждый из них анализирует простые элементы, из которых состоит музыка великих композиторов, и обладает памятью, позволяющей им учитывать при анализе и «сочинении» музыки то, что они делали в недавнем прошлом, и то, как часто они связывались с другими нейронами и слоями сети.

Для того, чтобы превратить эту систему в настоящего композитора, Тихонов и Ямщиков «скормили» ей огромное количество произведений Моцарта, Брамса, Бетховена и других великих композиторов, в том числе и Скрябина. В общей сложности ИИ проанализировал около 4 гигабайтов MIDI-файлов, электронных наборов «нот», что оставляет около 600 часов музыки, прежде чем он приобрел способность самостоятельно сочинять музыку.

Мария подтвердила сходство пьес музыкальной нейросети с творчеством композитора-«юбиляра». Используя этот ИИ, программисты Яндекса и Чернова подготовили музыкальное произведение в стиле Скрябина, которое было исполнено на открытии YaC 2017, ежегодной конференции Яндекса, под аккомпанемент камерного оркестра. Действие сопровождалось видеорядом, свет и графика в котором также созданы машиной — они подчиняются музыке, а партия терменвокса точно воспроизводит цвета по цветовой шкале первооткрывателя цветомузыки.

Русский композитор и пианист Александр Скрябин родился 6 января 1872 в Москве. Он является первым композитором, использовавшим цвето- и светомузыку при создании своих произведений, создавшим таблицу соответствия цветов определенным тональностям. В 1910 году для симфонического оркестра расширенного состава, фортепиано, органа, хора, света Скрябин написал «Поэму огня», которая считается одним из самых значительных его творений.

ria.ru

Нейросеть Яндекс музыка как сделать?

В этой статье я расскажу об интересном генераторе музыки, который работает на нейронных сетях. Генератор называется Amper. С его помощью любой человек, даже весьма далекий от сочинения композиций может самостоятельно создать уникальную мелодию и использовать ее в своих целях.

Вот, например, что нейросеть разработала для меня:

Существуют и другие генераторы музыки, но для их использования надо знать Python и иметь базовые понятия о библиотеках, на которых эти генераторы были созданы. Amper же предоставляет удобный и интуитивно понятный интерфейс.

Стать композитором теперь может каждый!

Регистрация

Amper все еще в процессе разработки. Сейчас вы можете попробовать бесплатную бету. Вполне вероятно, что в скором времени разработчики введут платную подписку.

Для начала работы перейдите на страницу регистрации Amper.

После заполнения формы вам потребуется подтвердить введенный email адрес.

Создание музыки

После регистрации вы попадаете в свою библиотеку созданных мелодий. Автоматически включается режим обучения. В нашем случае эта статья является режимом обучения, так что можете просто отключить обучающий режим, щелкнув по надписи «Skip Tutorial»:

Для создания собственной мелодии надо нажать на желтую надпись «Create New Project». Появится окно с выбором режима создания: простым «Simple» и профессиональным «Pro».

Простой «Simple» режим

Тут все просто. Сначала вам предлагают задать общий стиль всей мелодии. На выбор предлагаются следующие варианты:

• Кинематографический
• Классический рок
• Современный фолк
• Поп-музыка 90-ых

После выбора стиля надо указать общий эмоциональный настрой мелодии. У разных стилей разные наборы эмоций.

Дальше осталось только выбрать длительность создаваемой композиции. По умолчанию мелодия идет 30 секунд.

Нажимаем на большую желтую кнопку «Render Music» для создания нашего шедевра!

Теперь надо немного подождать. Чем больше длительность композиции, тем больше придется ждать. Когда процесс создания завершиться, вы можете прослушать готовую мелодию.

Профессиональный «Pro» режим

В этом режиме вы можете создавать мелодии из различных сгенерированных кусков и самостоятельно размещать их на монтажном столе.

Для начала кликните в любом месте на монтажном столе. Таким образом вы создадите первую часть композиции. Его длина по умолчанию будет равна 30 секундам. Последующие клики на незанятые места монтажного стола приведут к созданию дополнительных частей композиции.

Большая красная кнопка сверху по центру нужна для применения любых сделанных вами изменений.

Настройка части композиции

Настроить любую выделенную часть композиции можно с помощью кнопки настроек в левом верхнем углу.

Нажатие на нее вызовет боковое меню настроек.

С помощью первой кнопки вы можете настроить стиль и настроение. Все то же самое, что и в простом режиме создания.

Вторая кнопка позволяет настроить (включить/выключить) инструменты. Кликнув на надпись «Add Instrument» вы можете добавить новые инструменты.

Если вы, как и я не разбираетесь в названиях инструментов, то можете навести на них мышкой и прослушать их звучание.

Дальше по списку идет кнопка настройки темпа. Из названия настройки понятно, что она задает общий темп или скорость вашей композиции. Если прислушаться, то практически в любой музыке можно услышать регулярно повторяющиеся моменты. Их даже можно выделять хлопками. Так вод значение темпа, равное 60 означает один хлопок в секунду. 120 — 2 хлопка и так далее. Почему 60 и 120? Потому что мы считаем удары в минуту, а не в секунду. Если хлопать раз в секунду, то за минуту как раз будет 60 хлопков и так далее. Есть много сайтов, где можно самому указать и прослушать темп.

Следующая кнопка в списке отвечает за длительность выделенной части композиции.

С помощью последней кнопки вы можете более точно задать тон части композиции.

В самом низу окна настроек вы можете отменить или сохранить изменения. Не забудьте кликнуть на большую красную кнопку для применения всех изменений.

Пересоздание части композиции

Если вам не понравилась сгенерированная часть композиции, то вы можете пересоздать ее с помощью кнопки со стрелками справа от кнопки редактирования.

Нажатие на эту кнопку вызовет специальное боковое меню.

Выберите те пункты, которые хотите создать заново. Желтая кнопка выбирает все пункты списка.

При сохранении изменений и пересоздании части композиции все выбранные пукты будут созданы снова и не будут похожи на предыдущий вариант.

Копирование настроек одной части в другую

Если вы хотите, чтобы некоторые части вашей композиции по некоторым параметрам были похожи друг на друга, то выделите ту часть, которую хотите изменить. Затем нажмите на кнопку подстройки:

Далее кликните по той части, настройки который вы хотите использовать для подстройки выбранной части.

Затем появится окно, в котором можно выбрать параметры, которые надо позаимствовать:

Вставка эффектов

В композицию можно вставлять различные звуковые эффекты. Сделать это можно с помощью специальной кнопки слева внизу:

Откроется боковая панель с большим количеством звуковых эффектов. С помощью динамика слева можно прослушать, как звучит каждый эффект.

Каждое действие можно изменить. Для этого надо вызвать панель истории с помощью кнопки в правом верхнем углу:

По нажатию на эту кнопку появится боковое меню:

Нажмите на любой элемент списка для отката до этого действия.

Скачивание музыки

Скачать готовую мелодию можно с помощью кнопки в правом верхнем углу:

Для скачивания доступно два формата: MP3 и WAV.

• MP3 — заранее сжатый файл (весит мало), который больше не предполагается изменять
• WAV — несжатый файл (весит много), над которым можно работать в других редакторах

Где можно использовать?

С бесплатной подпиской вы можете использовать треки в своих некоммерческих проектах. Скорее всего при покупке одного из вида подписок вы сможете использовать созданную музыку в собственных продуктах для продажи: фильмах, играх, концертах и так далее.

Тут уже все на ваше усмотрение. Сомневаюсь, что кто-то специально будет вскрывать ваши проекты и смотреть, на чем это вы там писали музыку. Проверить будет трудно. Часто продукты бывают бесплатные, но с рекламой (как этот сайт). В таком случае это уже не совсем коммерческий продукт.

В любом, случае, если имеется возможность приобрести подписку, допускающую использование созданных мелодий в коммерческих целях, лучше это сделать. Потом будет меньше проблем 🙂

Amper отлично подойдет для разработчиков инди-игр. Большой команды нет, как и денег на содержание композитора. А музыку для игры надо брать. В таких случаях разработчикам приходилось идти на сайты с бесплатной музыкой и звуками. Например на Freesound.org.

Теперь же можно создавать уникальные мелодии для своей игры. У людей не будет возникать ощущения, что они где-то это уже слышали.

В общем случае, если вам нужна мелодичная, уникальная и бесплатная композиция, то Amper вам отлично подойдет.

neuralnet.info