Использование время-частотного представления сигнала для

Использование времячастотного представления
сигнала для поиска
музыкальных произведений
Шехирев А.В.
[email protected]
Новосибирск, 2007
SAV
ПОИСК МУЗЫКАЛЬНЫХ ПРОИЗВЕДЕНИЙ
База музыкальных произведений – одна из
востребованных областей информационного
обмена в сети Интернет.
Основные методы поиска в сети:
 по названию произведения;
 по исполнителю;
 по жанру.
SAV
ПРОБЛЕМЫ ПРИ «СТАНДАРТНОМ» ПОИСКЕ




музыкально произведение известно
только на слух;
наличие только записи фрагмента
музыкального произведения;
музыкальное произведение в другом
формате (midi, mod, mmf);
наличие только файла музыкального
произведения низкого качества.
SAV
ЦЕЛЬ РАБОТЫ
На основе упрощенного представления
сжатого аудио сигнала разработать
алгоритм поиска музыкального
произведения по его контенту.
SAV
ВРЕМЯ-ЧАСТОТНОЕ ПРЕДСТАВЛЕНИЕ СИГНАЛА
sin( f1t )  sin( f 2t ), 1  t  5

y  sin( f1t ), 5  t  7.5

sin(
f
t
),
7
.
5

t

10
2

SAV
АЛГОРИТМ ВЫЧИСЛЕНИЯ ВРЕМЯ-ЧАСТОТНОГО
ПРЕДСТАВЛЕНИЯ, ОСНОВАННЫЙ НА ОКОННОМ
ПРЕОБРАЗОВАНИИ ФУРЬЕ
frequency band
25…50 Hz
frequency band
50…100 Hz
frequency band
100…200 Hz
SAV
ИЗБЫТОЧНОСТЬ. НОТА «ЛЯ» ПЕРВОЙ ОКТАВЫ
Саксофон
Пианино
Временное представление
Частотное представление
SAV
ВРЕМЯ-ЧАСТОТНОЕ ПРЕДСТАВЛЕНИЕ МУЗЫКАЛЬНОГО
ПРОИЗВЕДЕНИЯ
>play
Исходное музыкальное произведение
>play
Сжатое музыкальное произведение
>play
Музыкальное произведение после удаления избыточности
SAV
СВОЙСТВА ВРЕМЯ-ЧАСТОТНОГО АЛГОРИТМА



воспроизведение основной мелодии
произведения (использование всех
гармоник);
выявление частотного состава гармоник
основных тонов;
существенное сжатие.
SAV
ВРЕМЯ-ЧАСТОТНОЕ ПРЕДСТАВЛЕНИЕ МУЗЫКАЛЬНОГО
ПРОИЗВЕДЕНИЯ, СЫГРАННОГО НА РАЗНЫХ
МУЗЫКАЛЬНЫХ ИНСТРУМЕНТАХ В РАЗНЫХ ОКТАВАХ
Третья октава
саксофон
Первая октава
гитара
C избыточностью
Без избыточности
SAV
СТРУКТУРА ПОЛУЧЕННОГО ФАЙЛА
<?xml version="1.0" encoding="utf-8"?>
<tfp>
<ti Fs="44100" bits="16"/>
<notes>
<n f=“be">
<t ts=“3">
</n>
<n f=“1c">
</t>
<t ts=“1">
</t>
<t ts=“5">
</n>
<n f=“1f">
</notes>
</tfp>
</n>
</t>
<t ts=“5">
</t>
<a>10</a>
<a>10</a>
<a>10</a>
<a>10</a>
<a>10</a>
<a>10</a>
<a>10</a>
<a>10</a>
SAV
АЛГОРИТМ ПРЯМОГО ПОИСКА
Коэффициент корреляции (r) разных
музыкальных произведений.
Название
chizhikC5_piano
elochkaC2_guit
(0.609690
A  A )( B

chizhikC2_piano
0.528820
chizhikC2_sax
r
mn
m
n
mn
 B 0.115447
)
0.199392
chizhikC2_guit

0.705981
0.148841

  ( Amn  A ) 2   ( Bmn  B ) 2 
chizhikC3_sax
0.703532
0.128974
 m n
 m n
chizhikC3_piano
0.693751
0.138741
chizhikC3_guit
0.727062
0.139847
chizhikC5_sax
0.891586
0.114998
elochkaC2_sax
0.090966
0.634058
elochkaC2_piano
0.110336
0.676066
elochkaC3_sax
0.228477
0.677049
elochkaC3_piano
0.120298
0.805887
elochkaC3_guit
0.386786
0.763768
elochkaC5_sax
0.119258
0.614792
elochkaC5_piano
0.120328
0.653941
SAV
АЛГОРИТМ БЫСТРОГО ПОИСКА
1c. 1c. 1c. 1c. 1c bg#. bg#. bg#. bg#. 0.
1c. 1c. 1c. 1c. 1c. bg#. bg#. bg#. bg#. 1c#.
1c#. 1c#. 1c#. 1c#. 1c. 1c. 1c. 1c ba#. 1c
ba#. ba#. ba#. ba#. ba#. ba#. ba#. ba#.
ba#. bd# 1g. bd#. bd#. bd#. bd#. bd#.
bd#. bd#. bd#. bd#. bd#. bd#. bd#. bd#.
bf. bf. bg. bg. bg. bg. bg#. bg#. bg#. bg#.
bg#. bg#. bg#. bg#. bg#. bg#. bg#. bg#.
bg#. bg#. bg#. bg#.