Microsoft Research Songsmith

Microsoft Research Songsmith
Камилл Ахметов, сотрудник технологического департамента Microsoft
В конце 2008 года Microsoft Research – исследовательское подразделение корпорации Microsoft
— произвело новую сенсацию. Очередной продукт Microsoft Research, который уже существовал
некоторое время под именем MySong, и стал широко известен под названием Songsmith, творил
чудеса — он подкладывал под запись пения пользователя наиболее подходящую для него
музыку, и делал это (если пользователь действительно пел, а не пытался «обмануть» программу
всеми доступными средствами) хорошо.
Исследовательский проект MySong был детищем Дэна Морриса (Dan Morris) and Сумита Басу
(Sumit Basu), исследователей из Microsoft Research и Иена Саймона (Ian Simon) из Вашингтонского
университета. Ему посвящен ряд серьезных научных публикаций, главные из них: Simon I, Morris
D, and Basu S. MySong: Automatic Accompaniment Generation for Vocal Melodies. Proceedings of ACM
CHI 2008 (the 26th SIGCHI Conference on Human Factors in Computing Systems), p725-724; и Morris D,
Simon I, and Basu S. Exposing parameters of a trained dynamic model for interactive music creation.
Proceedings of AAAI 2008 (the 23rd National Conference on Artificial Intelligence), p.784-791.
Если говорить коротко, то процесс создания музыки на основе готового пение программой
Songsmith состоит из трех этапов:
1. Методом автокорреляции программа приблизительно определяет, какие частоты — и,
следовательно, какие ноты — использовались при пении. Это не дает возможности
создать точную партитуру, но для записи музыкального сопровождения она и не
требуется.
2. По результатам первого этапа программа выбирает аккорды. Алгоритм выбора использует
математическую модель, основанную на статистике последовательности аккордов в 298
популярных песнях, и выбирающие наилучшие по звучанию комбинации аккордов для
различных типов мелодий. Поскольку удачных вариантов комбинаций аккордов
достаточно много, пользователь может задавать желаемые настроение и степень
импровизации.
3. Аккорды преобразуются в аранжировку в соответствии с признаками одного из 30
музыкальных стилей, описанных в Songsmith. На основе аранжировки создается
аккомпанемент при помощи заданного набора инструментов от Garritan. Описания
музыкальных стилей предоставлены компанией PG Music Inc.
Если вы хотите попробовать свои силы в создании песен таким способом, загрузите программу
Microsoft Research Songsmith с сайта http://research.microsoft.com/enus/um/redmond/projects/songsmith, установите ее и запустите. Первое, что вы увидите – мастер
создания песни (Рисунок 1). Самое главное на этом этапе – правильно выбрать музыкальный
стиль (хотя бы размер – 4/4 или 3/4) и темп (число ударов в минуту).
Рисунок 1
Теперь можно нажать кнопку «REC», записать пение, и подождать, пока Songsmith подберет
аккомпанемент... Но что же при этом происходит на самом деле?
Рисунок 2
Пример процесса преобразования мелодии приведен выше (Рисунок 2). На первом этапе частоты,
пропетые пользователем, сопоставляются со стандартными тонами музыкальной шкалы — C (до),
C# (до-диез), D (ре) и т.д. Типичной ошибкой пения является ошибка на один-два полутона,
ошибками преобразования могут быть ноты, отличные от исходных.
Для преобразования пения в аккорды приняты следующие предположения:
1) В зависимости от выбора пользователя, длительность каждого аккорда в одной песне
измеряется полутактами, тактами или двойными тактами.
2) Для выбора аккордов достаточно двенадцати основных тонов в пределах только одной
октавы (от C до B).
3) Информации о пропетом тоне достаточно, если его длительность была не меньше
выбранной в п. 1.
4) Тональность песни не меняется.
5) Аккорды выбираются из заданного справочника аккордов.
6) Границы тактов отсчитываются ударами барабана при записи песни.
Всего в базе данных Songsmith 62 типа аккордов — пять типов триад на основе 12 нот, а также
«виртуальные» типы — «начало песни» и «конец песни».
Рисунок 3
На основе анализа песни создается обзорная матрица песни, состоящая из строк,
соответствующих выбранной длительности аккорда. Строку можно графически отобразить так, как
в приведенном примере строки (Рисунок 3), в данном случае аккорд, созданный для данной
строки, скорее всего, будет основан на нотах «до», «ми» и «соль». Далее схематически показан
процесс создания последовательности аккордов (Рисунок 4).
Рисунок 4
Однако, мы еще не обсудили, как именно решается задача выбора аккордов из ряда возможных.
Один из факторов, влияющий на выбор аккордов — это насколько «веселым» должен получиться
аккомпанемент. Для максимально «веселых» мелодий аккорды подбираются из из чисто
мажорной матрицы аккордов, для «грустных» мелодий — из чисто минорной. Если пользователь
выбирает любое промежуточное значение между «веселой» и «грустной» песней (в интерфейсе
Songsmith этот параметр называется «Happy»), для подбора аккордов генерируется
промежуточная матрица (Рисунок 5).
Другой фактор — это степень импровизационности, неожиданности подбираемых аккордов.
Определяя выбор аккордов и последовательность перехода от аккорда к аккорду, программа
может стремиться использовать минимально приемлемое количество переходов между
аккордами при максимальном соответствии аккордов используемым нотам, или, напротив,
показать максимальное количество переходов между приемлемыми для данного набора нот
аккордами. В интерфейсе Songsmith этот параметр называется «Jazzy» (Рисунок 5).
Рисунок 5
Для того, чтобы выбрать наиболее приемлемую тональность песни, программа использует метод
подбора — набор аккордов генерируется для каждой из двенадцати тональностей от «до» до
«си», для каждого набора аккордов прочитывается вероятность его использования при создании
аккомпанемента (для этого разработан специальный алгоритм), после чего выбирается наиболее
вероятная последовательность аккордов. Эта процедура занимает две-три секунды.
Рисунок 6
На этом творческий процесс пользователя Songsmith только начинается – то, что в вашем
распоряжении оказался первый вариант аккомпанемента, подготовленный Songsmith (Рисунок 6),
не означает, что вы не можете ничего с ним сделать. Все аккорды доступны для редактирования,
исправляйте их с клавиатуры или при помощи меню. Можно выбирать из аккордов,
рекомендуемых программой (Рисунок 7).
Рисунок 7
Что особенно интересно — на этом этапе можно подобрать для вашей песни любой подходящий
для нее музыкальный стиль (разумеется, если вы записали песню в размере 3/4, то изменить
изначально выбранный стиль можно на любой другой стиль с тем же размером, но не на стиль в
размере 4/4). По умолчанию в Songsmith включено тридцать различных музыкальных стилей (рокн-ролл в стиле 50-х годов, различные джазовые стили, блюз и блюз-рок, классический рок, попрок, диско, фанк, хип-хоп, баллады, R&B, регги, сальса, твист, техно и т.д.), для дополнительного
заказа доступна огромная библиотека — от ста до трехсот стилей.
Отдельная возможность, позволяющая изменить любой аккомпанемент до неузнаваемости –
подбор и микширование инструментов. В общем случае у вас есть пять дорожек — ударная,
басовая, клавишная, гитарная и струнная, причем вы можете попросить свой ансамбль играть
«спокойно» или «бурно» (Рисунок 8).
Рисунок 8
Но самое интересное для тех, кто предпочитает начинать создание песен не с пения, а с записи
аккомпанемента, я приберег напоследок. Для пользователей, которые ориентируются в
музыкальных аккордах, стилях и звучании различных инструментов, Songsmith — это море
возможностей. Не хотите сразу петь – не пойте, наберите и отредактируйте аккорды вашей песни,
поиграйте с полученной мелодией в разных ритмах, темпах, музыкальных стилях и настроениях,
пробуя комбинации разных музыкальных инструментов. И уже когда музыка будет готова,
запишите с микрофона свое пение или звучание дополнительного инструмента, которым вы
хорошо владеете. В первую очередь!
Сохранив полученные звуковые дорожки в виде аудиофайлов, можно свести их в
профессиональной программе, использовать для озвучивания видеороликов, проведения уроков
музыки и т.д.
Преподаватели оценят Songsmith как прекрасный способ стимулировать учащихся к творчеству, а
также помочь им изучить ряд важных музыкальных понятий и разобраться с тем, как сочетаются
мелодии и аккорды. Программа Songsmith является бесплатной для использования учащимися и
преподавателями, академическая версия доступна с сайта http://www.pil-network.com.