Концепция скрытых (латентных) переменных в химическом анализе. Часть 1. Качественный анализ Померанцев Алексей Леонидович Российское хемометрическое общество Институт химической физики РАН им Семенова 13.03.07 Лекция в МГУ 1 Вопрос 1 . Кто я ? Еще студент Уже не студент 13.03.07 Лекция в МГУ 2 Вопрос 2. Моя направленность Экспериментатор Теоретик Я ошибся комнатой 13.03.07 Лекция в МГУ 3 Вопрос 3. Специальность Химик Физик Биолог Математик 13.03.07 Лекция в МГУ 4 Вопрос 4. Область Аналитическая химия Органическая химия Физическая химия Не занимаюсь ничем подобным 13.03.07 Лекция в МГУ 5 Вопрос 5. Специализация Электрохимия Хроматография Спектроскопия Масспектрометрия Хемометрика 13.03.07 Лекция в МГУ 6 Вопрос 6. Знаю (читал) ... 1 журнал по аналитической химии 2 журнала по АХ 4 журнала по АХ больше 6 журналов по АХ 13.03.07 Лекция в МГУ 7 Вопрос 7. Хемометрика это ... статистика в аналитической химии метрология применительно к АХ то, что делают хемометрики понятия не имею ?! 13.03.07 Лекция в МГУ 8 Данные о нас Персона Студент Экс/Теор Наука Область Специал Журнал Хемом Иванов И. 1 1 1 1 1 1 1 Петров П. 1 1 1 1 1 1 1 Сидоров С. 1 1 1 1 2 образец/объект 2 2 ... 0 0 1 3 1 1 ... 1 1 1 1 1 1 1 ... 0 1 1 1 4 1 1 ... 0 1 1 1 5 1 3 ... 0 1 1 1 1 1 1 0 1 1 2 4 ... 0 1 2 1 1 1 1 0 3 Матрица данных 1 ... 4 6 0 1 ... 0 1 1 1 2 1 1 ... 0 0 2 1 3 1 2 ... 1 1 1 1 1 1 2 Померанцев А. 0 0 переменная/свойство 1 3 1 6 12 3 ... 1 1 1 2 2 1 1 ... 1 1 1 1 1 2 3 ... 1 1 2 1 2 1 2 Зонтов Ю. 13.03.07 1 1 Лекция в МГУ 9 Матрицы и векторы: учебник 13.03.07 Лекция в МГУ 10 Графическое представление 2D-данных 13.03.07 Лекция в МГУ 11 Графическое представление 3D-данных 13.03.07 Лекция в МГУ 12 Почти наши данные 13.03.07 Лекция в МГУ 13 Таблица данных Персона № 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 13.03.07 Пол M/F M M M M M M M M M M M M M M M M F F F F F F F F F F F F F F F F Регион S/N N N N N N N N N S S S S S S S S N N N N N N N N S S S S S S S S Рост см 198 184 183 182 180 183 180 180 185 187 177 180 181 176 175 178 166 170 172 169 168 157 164 162 168 166 158 163 162 165 161 160 Вес кг 92 84 83 80 80 81 82 81 82 84 65 72 75 68 67 75 47 60 64 51 52 47 50 49 50 49 46 50 50 51 48 48 Волосы S/L S S S S S S S S S S S S S S L S S L L L L L L L L L L L L L L L Обувь размер 48 44 44 42 43 42 44 44 45 46 41 43 43 42 42 42 36 38 39 36 37 36 38 37 37 36 34 36 36 36 35 35 Возраст лет 48 33 37 35 36 37 43 46 26 27 26 33 42 50 55 30 32 23 24 24 27 32 41 40 49 21 30 18 20 36 41 40 Лекция в МГУ Доход K€/год 45 33 34 30 30 35 37 42 16 17 18 19 31 36 38 24 28 20 22 23 24 32 34 34 34 14 18 11 12 26 32 31 Пиво л/год 420 350 320 398 388 345 355 362 295 299 209 236 198 195 185 203 270 312 308 250 260 235 255 265 170 150 120 143 133 121 116 118 Вино л/год 115 102 98 65 63 45 82 90 180 178 160 175 161 177 187 208 78 99 91 89 86 92 134 124 162 245 120 136 146 129 196 198 Сила баллы 98 92 91 85 84 90 88 86 92 95 86 85 83 82 80 81 75 81 82 78 78 70 76 75 76 75 70 75 74 76 75 74 IQ баллы 100 130 127 140 129 105 109 113 109 119 120 115 105 96 105 118 112 110 102 98 100 127 101 108 135 123 119 102 132 126 120 129 14 Корреляции 1 Вес 100 a) MN 90 MN MN MN MN MN MN MN MS MS MS 80 70 FN 60 50 FN FS FS FS FS FS FN FS FS FN b) Вес MN 90 MS MS MS 80 MS MN MN MN MN MN MS MS FN 60 FN FS FS FS FS FS FS FS FS FN 50 FN Рост FS 40 MN MS MS 70 MS MS MS MN MS MS FN FN 100 FN FN FN FN FN FN Пиво 40 150 13.03.07 160 170 180 190 200 100 Лекция в МГУ 200 300 400 15 Корреляции 2 250 Вино c) 45 MN Доход FS d) MN 40 FS 200 MS MS FS FS 150 FS FS MS MS 30 MS FN FN FN FN 50 FN FN FN FN MN MN MN MN MN MN 13.03.07 200 250 300 350 400 MS FN MS MS 450 FS MS FN MS 15 MS FS FS FN 20 0 150 MN FN MN MN Пиво 100 MN 25 MS FS FN FS 100 FNFN FN MS FS MN MN MN 35 MS MS MN MS FS FS FS Возраст FS 10 10 Лекция в МГУ 20 30 40 50 60 16 Все возможные корреляции 250 Вино c) FS FS 200 MS FS MS MS FS 150 Вино FS 150 FN FN FN FN FN FN FN FN FS FN FN Пиво 0 250 150 200 250 300 350 400 450 Вино c) FS FS 200 MS MS FS 150 MS FS 150 FN FN FN FN MN MN MN MN MN MN MN 250 200 250 300 350 400 Вино c) FS FS 200 MS MS MS FS 150 200 MN MN MN MN MN 250 200 250 300 350 400 FN MN MN MN MN c) FS FS 200 MS MS FS 150 MS FS 150 FN FN FN FN MN MN MN MN 250 200 250 300 350 400 c) FS FS 200 FN MN MN MN MS MS MS FS 150 200 250 MN MN MN MN 250 150 200 250 300 350 400 c) FS FS 200 MS MS MS FS 150 FS FS FN MN MN MN 50 MN MN MN MN 400 FS FS 150 200 250 300 350 400 FN FN FN FN 13.03.07 MN MN MN 250 250 MN 350 400 MS FS FS 200 250 300 350 400 FN FN FN FN MN 300 MN MN MN 350 400 200 250 300 350 400 150 MN 250 300 MN MN MN 350 400 250 150 300 350 400 MN MN MN MN MN MN 250 150 200 250 300 350 400 c) FS MS 250 250 300 350 400 c) FS FN MN MN MN MS FS FS 250 200 MS MS MN FN MN MN MN MN 400 FS FS 200 250 300 350 400 200 FN FN FN FN 250 MN MN MN MN 350 400 FS FS 200 250 300 350 400 MN MN MN MN Лекция в МГУ 400 FS FS FN FN FN FN 50 MN FN 200 250 300 350 400 450 250 MN MN MN MN 350 400 FS FS 50 MN FN MN MN MN 200 250 300 350 400 450 MN MN MN MN MN 300 350 400 200 250 300 350 400 MS MS MS FN FN FN MN MN FN FN FN FN FN MN MN MN MN MN MN 100 250 150 200 MS MS FS 150 FN FN FN FN MN MN MN MN 450 MS MS MS FS FS MS FN FN FN MN FS 100 MN MN 400 MS FS MN MN FN FN FN FN 350 c) MS FS MS MS 300 FS FS MS 250 Вино 200 FS MN FN FN FN FN 50 FN MN MN MN MN MN MN Пиво Пиво 0 150 200 250 300 350 400 450 Вино c) FS FS FS 100 250 150 200 MS MS MS FS MS 150 FN FN FN FN FN FN FN MN FN MN MN MN FS FS MN 450 MS MS MS MS FN FN FN MN FS 100 MN MN 400 MS FS MN FS 350 c) MS FS MS MS 300 FS 200 MS FS 250 Вино FS MS FS 50 450 MS FS MS FS FS 100 250 450 Пиво 450 FN FN FN FN 50 MN FN MN MN MN MN MN MN Пиво 0 150 400 MS FS FS 50 MS Пиво 100 350 c) MS FS 100 MN MN 300 FS MN FN MS FS 100 MN MN 0 150 250 MS MS Пиво 100 FN c) FS FN FN FN FN 250 FS FS FS MN FS MN MN Вино MS MS FS 150 FN 200 MS MS Вино MS FN FN 250 150 150 200 MS MS MN MN MN 0 200 MS FS MN FN MN 100 200 MN 150 50 MS FN MN FN FN FN FN FS FN FN FS MS FS FN FN Пиво 450 FS 100 MN MN 300 MS MS MS Пиво 450 MS FN FN FN FN 100 MN MN c) MS MS 0 150 250 200 FS Пиво 100 MN MN MN Вино MN FS 400 0 150 150 FN 350 FS 100 250 450 MS FS FS FS 50 MS MS MS MN 400 MS FS MS FS FS MN FN 350 c) MS FS 100 MN MN Пиво MS FN FN 300 MS FS FN MN 100 MS MS 250 FS 150 FN FN FN FN FN FN 200 MS FS MN MN MN c) MS MS FS 50 450 MS MN FN 300 FS MN FS 200 MS FS MS FS 100 MN MN 350 FS MS MS MN FN 300 c) FS FN FN FN FN 250 Вино MN FS 50 450 250 200 FN Вино MS FS FS 250 Вино FS FS 450 MS FS 100 MN MN 400 0 150 150 FN 0 150 MN MN MN 200 FS MS MS MS MN 350 c) FS MN FN 250 150 50 FS FS FN 300 Пиво MS FN FN 250 Вино 150 FN FN MN 100 MS MS 250 200 MN MN 0 100 MN MN 200 MS MS 0 150 MS MS MS FN FN FN FN 200 MS FS MN MN MN MN 100 200 FS 50 MS FN MN MN MN Пиво MN MN FN FN FN FN 250 150 150 FN FN FS FN 100 200 MN 100 150 FN FN MN MN FN MN MS MS FN FN FN FN MS MS FN Пиво 450 MS MS MS MS FN FN FN FN FN FN MS FS FS 200 FS MS FS FS FS MS FS Пиво 100 MS 400 MS FS 450 MS MS MS MS FS MS FS MS FS FS FS MS FS 350 Пиво 450 c) FS 450 FS 100 MN MN 300 c) MS MS MN FN 400 FS 100 MN MN Вино FS FS 50 450 250 150 150 0 150 MN MN MN 350 300 FS FS MS 50 0 MN Пиво 100 MN 300 Вино MN FN 400 c) FS 100 MN MN Пиво 200 FN 250 MS MS FN MN 100 MS FN FN 250 200 FS FN FN FN FN MS MS MN MN MN 350 0 150 150 FN FN FS 50 MS MN 300 FS MN FN 250 c) 50 FS FS FN MN 100 MS MS 250 450 MS FS FS FS 50 FS 100 MN MN Вино 150 FN FN FN FN 200 MS 200 MS MS FS MS FS FS FS 450 MS FS 100 MN MN MS 250 150 MS MS FN FN FS MS FS MN MN MN Пиво 450 c) FS MS FS MN FS 350 c) FS FN 300 FS 150 FN FN FN FN 250 Вино MS FN FN 400 0 150 MS MS 350 Пиво 200 MS FS 300 MN FN 400 MS FS 100 MN MN 0 200 MS MN MN MN Вино MN MN 100 MS FS FS MN 350 c) MS FS MN FN 300 FS FS FN Пиво 450 MS 200 MS MS FN 250 Вино 150 FN FN FS FN FN FN FN FS MS 50 FS 100 MN MN MN 100 FS MS FS 250 MS MS MN FN FN FN FN 400 c) FS 100 MN MN Вино MN FS 50 450 Вино 250 200 FS FN 0 200 MN MN MN 350 250 150 150 FN FN MN MN 0 100 MS MS 200 MS MS MN 200 MS 250 150 MS MS MS FN FN FN FN MS FS FS FS MN MN MN Пиво 450 MS FS 50 0 150 FN FN Пиво 150 MN 300 Пиво 150 MS MS 250 FS MN FN 400 100 MS FS FS FS MS FS 100 MN MN FS FS FN MN 100 200 MS MN MN MN Вино 150 FN FN FN FN MS FS FS FS 200 MS MS FN FN FS MS FS MN 350 c) FS FN 300 FS MN MN 150 MS MS FS 50 450 Вино 250 200 MS 250 MN MN FN Пиво 450 200 FS 50 0 100 MS FS FS FS 100 MN MN MS 200 Вино 150 FN 400 MS FS 100 MN MN Пиво 450 0 100 MN MN MN 100 50 450 FS MN 400 250 150 MS MS FN FN FS MS FS MN FN 350 c) MS MS FN 300 MN MN MN 350 0 100 MS MS MS FN FN FN FN 50 FS 150 MS MS FN 250 Вино 200 MN 100 MN MN FN FN FN FN 250 200 MN FN MN FS MS FS MN FN 300 c) FS FN FN FN FN FN FN FN 50 FS 150 FN FN 250 MS MS MN MS FS FS FS 200 MS MS FN FN FN FN 200 FS 100 MN MN MS 150 Вино 200 MS FS MS MS MS 250 MS FS FS MS 0 100 Пиво 450 0 150 MS MS FN FN FS FN MN MN MN MN 100 FS FN FN FN FN 150 FN FN MN 400 c) FS MN FN 350 100 MN MN MS MS MS FS FS FS Пиво 450 MS FS 50 FS FS FN 300 Вино 150 FN FN 250 FN MS FS MN MN MN MN MN MN FS MS FS 100 MN MN Пиво 450 MS FS MS MS FS 100 MN MN 400 200 MS MS MS FN FN FN FN 50 MS FS 0 200 250 200 Пиво 450 MS MS MS MN MN MN 350 MN MN MN 400 0 100 MS FS FS FS MS FS FS MS FS FS MN MN 300 MS FS 200 Пиво 150 MS FS 100 MN MN c) 50 MS FS FS FN 250 FS 100 MN MN c) MS 150 FN MN MN MN FS MN FN FS MS FN FN MN FN MN 350 c) FS MN FN 300 FS FS FN MN FS MS FS 250 Пиво 450 c) FS Вино FS FN FS MS MS 250 200 MS MS Вино 50 MS MN 100 400 0 150 150 200 FS FS 50 450 250 450 0 150 350 200 Вино 150 FN FN FN FN FN FN 50 FS MN 0 200 Пиво 100 300 Вино 150 FN Пиво 100 MN MN MS FN FN FN FN 250 MS MS MN 100 200 MN 100 MN MN MS FS FS 200 Пиво 450 MS MS FN FN MS MS FN FN FS 100 MN MN 400 MS FS FS 150 MS MS FN FN FS FN FN FN FN 150 MS MS MN MN MN 350 FS MS MS 250 250 200 MS FN FN FN FN MS FS FS 200 FS MN MN FN 300 MS FS 450 c) FS FN FS 50 450 250 150 FN FN 0 150 400 Вино MS MS 250 MS FS FN FN 200 100 MN MN 150 MS MS MS 0 100 MS FS FS FS 50 0 150 MN MN MN 250 MS FS FS FN 0 100 MS MS FS FS 150 FN FN Пиво 450 200 Пиво 450 MS FS 100 MN MN Пиво MS Пиво 100 350 MN 200 MS FS MN MN MN c) 50 MS FS MS FS MN FN FS 100 MN MN MS FN FN FN FN 100 FN MN FS MS FS MN FS MS 50 450 FS 100 MN MN 300 c) MS MS MN MN MN 300 FS 100 MN MN Вино MN MN FN MN MN MN 0 200 FS FN MN Пиво 150 150 FN FN FS 50 450 FN MN 100 MS 0 100 MS MS FS FS 400 c) FS FN Вино MN FN MS FS MN MN FN FN FN FN MS MS FN c) FS FN 200 FS FS 150 FN FN 250 150 MS MS FS MS MS MS 350 0 200 Вино 200 FS 200 Пиво 0 MS 300 FS 150 FN FN 0 MS FS FS 50 MS 250 250 Вино MS MS MN 100 150 250 200 Пиво 450 MS MS FN FN 200 250 150 MS MS MS FN FN FN FN 50 MS FS MS FS 450 MS FS 100 MN MN 350 400 MN 150 MN FN FN FN FN 50 400 MS FS MN 0 100 MS FS FS FS 100 MN MN MS FN FN FN FN 100 100 MN MN FN Пиво 450 200 Пиво 450 c) FS MS FS MS MS MN FN 300 c) FS FN FN FN FN 250 FS MN FS 100 250 200 Вино 150 FN 400 0 MS FN FN 350 Пиво 150 MS MS 300 FS 100 MN MN 350 FS 50 FS MS MS MN 100 200 MS FS 250 400 MS FS MS FS FS MN MN MN MN FS MS FS MS FS 100 MN MN Вино MN MN FN FN FN FN FS MS FS 200 FS FN FS 50 450 Вино 250 150 FN FN MN MN MN 0 150 MS MS MS 0 100 MN MN MN MN 100 200 Пиво 0 MN FN 300 FS MN FS MS FS FS MN FN c) MS MS FN 350 c) FS MN FS FS FN FN FN FN 250 FN FS 150 FN FN 350 FS MS FS MS MS MS 300 c) MS MS 250 FS MS FS FS 200 Вино 12(12-1)/2=66 FN Вино 150 FN FN 300 FS MS MS Пиво 450 MS FS 100 MN MN 400 250 200 MN FN FN FN FN 50 0 150 MS MS 250 Вино 200 MN 100 200 MS 200 FS FN FN FN FN FN FN MS FS FS FS 250 150 Пиво 450 MS 100 MN MN 250 150 MS MS MS FN FN FN FN 50 c) FS FS MS MS MS FS 100 MN MN MN 0 100 200 FS FN Вино 200 MS FS FS FS MN MN MN MN MN Пиво 450 MS FS MN 0 100 150 MS FS MS FS MS MS MS MN 350 c) FS MN FN 400 c) 50 FS FS FN 300 Вино 150 FN FN FN FN FN FN 50 150 MS MS FS 100 250 200 MS 350 0 MS FS FS FS 300 FS 100 MN MN MN 100 FS MS FS 250 MN MN MN FN 400 FS MS FS FN FN 350 c) FS 150 MS 300 FS MS MS 250 Вино MS FS FS 200 MS MS Пиво 450 MS MS MS FS FS FS 50 FS MN MN FN FN FN FN 400 MS FS 100 MN MN Пиво 450 Вино MN MN MN Вино FS FN 0 150 200 MS MS Пиво 100 250 200 FS 50 0 MN FN MN FS MS FS MN FN 350 c) FS FN 300 FS 150 FN FN 250 Вино MS MS MN FN FN FN FN 50 0 150 150 FN FN 200 MS MS MN 100 MS MS 150 Пиво 450 MS 250 200 MS FN FN FN FN MS FS FS 100 MN MN 400 MS FS MN MN FN FN FN FN 350 100 MN MN 250 150 FS FN MS FS 150 FN FN 250 FS MS MS MS FN FN FN FN 50 c) FS MS MS MS FS 100 MN MN MN 0 100 200 FS FN Вино 200 MS FS FS FS MN MN MN MN MN Пиво 450 MS FS MN 0 100 MS FS FS FS MS FS MS MS MS 300 c) MS MS 250 MN MN MN FN 400 FS MS FS FN FN 350 c) FS 150 MS 300 FS MS MS 250 Вино MS FS FS 200 MS MS Пиво 450 MS FS 50 FS 200 FS 50 200 Вино MS FS FS FS 100 250 150 FS MS FS 400 0 100 FN MN FS MS FS 100 MN MN 350 c) FS MN MN FN FN FN FN MN FN FN FN FN 50 FS FS FN 300 Вино 150 FN FN 250 Пиво 450 Вино 200 MS MS MS 0 150 250 150 MS MS Пиво 100 100 MN MN 250 150 FS FN MS FS 150 FN FN 250 FS MS MS MS FN FN FN FN 50 c) FS MS MS MS FS 100 MN MN MN 0 100 200 FS FN Вино 200 MS FS FS FS MN MN MN MN MN Пиво 450 MS FS MN 0 100 MS FS FS 50 0 MN MN MN FN 400 FS MS FS FN FN 350 c) FS 150 MS 300 FS MS MS 250 Вино MS FS FS 200 MS MS Пиво 450 200 FS 100 MN MN 400 MS FS MN FN FN MN FS MS FS FN 350 c) FS 150 FN FN 300 FS MS MS 250 MS MS MS FN FN FN FN 50 150 Вино MS FS FS FS 100 250 200 FS MN FN FN FN FN 250 150 FS FN MS FS 150 FN FN 250 FS MS MS MS FN FN FN FN 50 c) FS MS MS MS FS 100 MN MN MN 0 100 200 FS FN Вино 200 MS FS FS FS MN MN MN MN MN Пиво 450 MS FS MN 0 100 FS MS FS FN 400 FS MS FS FN FN 350 c) FS 150 MS 300 FS MS MS 250 MS MS Пиво 450 200 Вино MS FS FS 50 0 150 250 150 FS FN MS FS 150 FN FN 250 FS MS MS MS FN FN FN FN 50 c) FS MS MS MS FS 100 MN MN MN 0 100 200 FS FN Вино 200 MS FS FS FS MN MN MN MN MN Пиво 450 MS FS 100 MN MN MN 400 FS MS FS MN FN 350 c) FS FN 300 FS 150 FN FN 250 Вино MS MS Пиво 100 200 MS MS MS FN FN FN FN 50 0 250 150 FS FN MS FS 150 FN FN 250 FS MS MS MS FN FN FN FN 50 c) FS MS MS MS FS 100 MN MN MN 0 100 MS FS FS FN Вино 200 MS FS FS FS MN MN MN MN MN Пиво 450 200 FS 100 MN MN MN 400 MS FS MN MN FN FN FN FN 350 FS MS FS MS MS MS 300 c) MS MS 250 FS 200 FS 50 200 Вино MS FS FS FS 100 250 150 FS FN MS FS 150 FN FN 250 FS MS MS MS FN FN FN FN 50 c) FS MS MS MS FS 100 MN MN MN 0 100 FS MS FS FN Вино 200 MS FS FS FS MN MN MN MN MN Пиво 0 100 FS FN MS FS 150 FN FN 250 FS MS MS MS FN FN FN FN 50 c) FS MS MS MS FS 100 MN MN MN Вино 200 MS FS FS FS MN MN MN MN MN MS FS 150 FN FN 250 FS MS MS MS FN FN FN FN 50 c) FS MS MS MS FS 100 MN MN MN Вино 200 MS FS FS FS MN MN MN MN MN MS FS MS MS 250 FS MS MS MS MS FS 50 c) FS 200 MS FS FS FS 100 250 FS MS Пиво 0 100 150 200 250 300 350 400 450 100 150 200 250 300 350 17 400 450 Главные направления и проекции Данные без структуры 0.6 0.6 X2 0.4 0.4 0.2 0.2 X1 0 -0.6 -0.4 Данные со скрытой структурой -0.2 0 0.2 0.4 0.6 ГК1 X2 X X 11 0 -0.6 -0.4 -0.2 0 -0.2 -0.2 -0.4 -0.4 -0.6 -0.6 0.2 0.4 0.4 0.6 0.6 X2=aX1+E 13.03.07 Лекция в МГУ 18 Проекция на подпространство Исходные данные Подпространство Центр данных Главные компоненты Проекции данных 13.03.07 Лекция в МГУ 19 Представление данных в подпространстве 13.03.07 Лекция в МГУ 20 Метод главных компонент: МГК (PCA) p1 X = t1 pA + ... + tA + E X - матрица данных, E - матрица погрешностей, обе (I J) T - матрица счетов: (I A), P - матрица нагрузок: (A J) A - число главных компонент (A<<J) Karl Pearson, 1901 13.03.07 Лекция в МГУ 21 Unscrambler® by CAMO ASA 13.03.07 Лекция в МГУ 22 Matlab 13.03.07 Лекция в МГУ 23 Люди: Графики счетов 4 4 ГК2 2 MS MS MS MS MS FS ГК4 35 2 49 MS MS MS FS FS FS FS 40 FS FS 0 MN FN FN FN -4 13.03.07 -2 FN FN FN MN FN 40 55 MN MN MN 50 20 30 26 30 32 21 33 37 43 MN MN -2 46 0 MN 37 36 33 36 41 FS FN 32 23 26 24 27 24 18 42 41 48 ГК1 ГК3 -2 0 2 4 6 27 -3 Лекция в МГУ -2 -1 0 1 2 24 Люди: Графики нагрузок 0.6 Регион ГК2 a) Вино 1.0 ГК4 IQ b) 0.5 0.3 Рост Обувь IQ Вес Сила 0.0 Возраст Доход Вес Регион 0.0 Возраст Вино Волосы Пол -0.3 -0.4 13.03.07 Пиво Доход -0.2 0.0 0.2 Волосы Сила Пол Обувь Рост ГК1 0.4 Пиво ГК3 -0.5 -0.8 Лекция в МГУ -0.6 -0.4 -0.2 0.0 0.2 25 Разделение пиков в ВЭЖХ-ДАМ 13.03.07 Лекция в МГУ 26 Свойства чистых веществ A и B 1.2 A B C (t ) 1.0 S (l) A B 1.0 0.8 0.8 0.6 0.6 0.4 0.4 0.2 0.2 0.0 0.0 0 5 10 15 20 25 30 220 240 время удерживания 260 280 300 320 340 длина волны X=CST+E 13.03.07 Лекция в МГУ 27 Хроматограмма смеси 13.03.07 Лекция в МГУ 28 Данные в Unscrambler 13.03.07 Лекция в МГУ 29 График счетов A t 2 (ГК2) 12 11 13 10 14 15 9 16 19 2120 22 23 24 25 26 29 28 27 30 18 17 8 t 1(ГК1) 1 2 7 1.2 A B C (t ) 1.0 3 0.8 0.6 6 0.4 0.2 4 5 0.0 0 5 10 15 20 25 30 время удерживания 13.03.07 Лекция в МГУ B 30 Выводы из графика счетов 1. линейные участки = чистые компоненты 2. кривые участки = коэлюция 3. ближе к началу = меньше интенсивность 4. число поворотов = число чистых компонент 13.03.07 Лекция в МГУ 31 Факторный анализ и анализ ГК J X 2 × J A × ST I C 13.03.07 X I = = I I J PT T + + E1 E2 Лекция в МГУ J 32 Счета и нагрузки 3.2 A C, T B t1 t2 1.0 A S, P B p1 p2 0.8 2.2 0.6 0.4 1.2 0.2 0.0 0.2 220 0 5 10 15 20 -0.8 25 30 260 280 300 320 340 -0.2 -0.4 время удерживания 13.03.07 240 длина волны Лекция в МГУ 33 Прокрустово преобразование X ≈ CST X ≈ TPT I = RRT = единичная X ≈ T(RRT)PT = (TR)(PR)T ^ ≈ TR ^ ≈ PR C S R = Rstratch ×Rrotation 13.03.07 Лекция в МГУ 34 Преобразование счетов t2 t2 4 15 17 16 18 1 9 20 21 22 23 26 25 24 28 29 30 27 14 12 13 11 10 3 9 5 6 7 8 t1 СЖАТИЕ 2 8 27 30 29 28 26 1 25 24 23 22 21 20 19 18 9 17 16 15 14 13 10 1211 1 2 7 3 6 4 t1 5 t5 4 2 6 7 3 8 9 t1 10 11 2 12 17 16151413 30 29 28 27 26 25 24 23 121 22 20 19 18 13.03.07 Лекция в МГУ 35 Результат Прокрустова преобразования 1.2 1.0 A C (t ) B Ahat Bhat 1.0 A B S (l) Ahat 0.8 Bhat 0.8 0.6 0.6 0.4 0.4 0.2 0.2 0.0 0.0 0 5 10 15 20 25 30 220 время удерживания 13.03.07 240 260 280 300 320 340 длина волны Лекция в МГУ 36 Классификация поддельных лекарств 13.03.07 Лекция в МГУ 37 Измерения: БИК спектроскопия 13.03.07 Лекция в МГУ 38 Образцы Обучающий набор Подлинники: 8 серий по 5 таблеток Всего: 8×5= 40 образцов Подлинники: 11 серий по 5 таблеток Подделки: 4 серии по 5 таблеток Проверочный набор Всего 15×5= 75 образцов Подлинники: 3 серии по 5 таблеток Подделки: 4 серии по 5 таблеток Всего: 7×5= 35 образцов 13.03.07 Лекция в МГУ 39 БИК спектры мезима 0.6 AU 0.5 0.4 0.3 0.2 см- 1 0.1 4000 4500 5000 5500 Настоящие 13.03.07 6000 6500 7000 7500 Фальшивые Лекция в МГУ 40 Данные: БИК спектры образцы длины волн (переменные x1, x2, x3, …) 13.03.07 X Лекция в МГУ 41 График МГК счетов 0.4 Обучающий набор ГК2 Подлинники: 8 серий по 5 таблеток Всего: 8×5= 40 образцов ГК1 -0.4 0.4 Проверочный набор Подлинники: 3 серии по 5 таблеток Подделки: 4 серии по 5 таблеток Всего: 7×5= 35 образцов -0.4 13.03.07 Лекция в МГУ 42 Размах и отклонение Размах h: расстояние внутри модели Отклонение d: расстояние до модели эллипс Хоттелинга: нормальные образцы 13.03.07 Лекция в МГУ 43 Размах и отклонение для мезима 0.7 h размах 0.6 0.5 0.4 0.3 0.2 0.1 0.0 14 0.006 15 17 18 03 04 05 06 07 08 09 10 d 11 12 13 отклонение 0.005 0.004 0.003 0.002 0.001 0 14 13.03.07 15 17 18 03 04 05 06 07 Лекция в МГУ 08 09 10 11 12 13 44 SIMCA 0.006 d G13-1 Soft Independent 0.005 Modeling of Class 0.004 Analogy 0.003 формальное независимое 0.002 моделирование 0.001 аналогий h 0 0 13.03.07 0.05 0.1 0.15 0.2 0.25 0.3 0.35 0.4 0.45 Лекция в МГУ классов 0.5 45 Выброс G13-1 0.5 AU H 2O 0.4 0.3 см- 1 0.2 4500 13.03.07 5000 5500 Лекция в МГУ 6000 46 Хемометрика: два определения Дедуктивное Хемометрика - это научная дисциплина, находящаяся на стыке химии и математики, предметом которой являются математические методы исследования химических данных сайт Российского хемометрического общества Индуктивно е Хемометрика – это то, что делают хемометрики. сайт Международного хемометрического общества Хемометрики – это такие люди, которые все время пьют пиво и воруют идеи у математиков Svante Wold 13.03.07 Лекция в МГУ 47 Что делают хемометрики? • контролируют производство полупроводников, аспирина и пива; • исследуют причины разрушения старинных документов; • проводят допинг контроль спортсменов; • расшифровывают состав косметики Древнего Египта; • локализуют месторождение золота в Швеции; • идентифицируют подозреваемого в убийстве Анны Линд; • проводят диагностику артрита и рака на ранних стадиях; • исследуют органические субстанции в кометном веществе; • исследуют кормовой рацион на свинооткормочных комплексах; • проверяют, как рацион питания влияет на умственные способности; • определяют фальшивые лекарства; • и еще многое, многое другое 13.03.07 Лекция в МГУ 48 А если серьезно .... • Хемометрика имеет дело с данными (зачастую с очень большими), поэтому хемометрика это подраздел информатики (Data mining) • Данные, которые исследует хемометрика по большей части происходят из химии, поэтому хемометрика - это подраздел химии (Analytical chemistry) • Методы, которые использует хемометрика ориентированы на формальное моделирование (Soft modeling) 13.03.07 Лекция в МГУ 49 Два «не» и три «да» 1. Хемометрика ≠ химическая метрология 2. Хемометрика ≠ статистика в химии Хемометрика решает следующие задачи в области химии: (1) как получить химически важную информацию из химических данных, (2) как организовать и представить эту информацию, (3) как получить данные, содержащие такую информацию. 13.03.07 Лекция в МГУ 50 Что можно почитать ... 13.03.07 Лекция в МГУ 51 Что осталось на потом ... Хемометрика в биологии Электронные язык и нос Определение качества бензина по ИК ИК--спектру 0.6 Исследование состояния лесов (Канада) 0.4 Новые посадки Старые деревья 0.2 Исходный аэроснимок 0 Он же в пространстве ГК1 1100 0.6 PC2 92 по материалам David O. Nelson and M att Coleman, USA H 0.3 10.02.05 Scores 90 HH H H H H H WSC-4 Courses 61 LL LLLL L 10.02.05 1600 S S S S S S S S S S H M 0.2 PC1 0.4 0.6 10.02.05 73 86 0.8 Measured Y 86 87 88 89 WSC-4 Courses 07.10.06 13.03.07 1500 S Elements: 13 Slope: 1.010279 O ffset: -0.918475 Correlation: 0.987680 RMSEP: 0.233897 SEP: 0.243305 Bias: 0.008032 WSC-4 Courses 0 1400 88 -0.3 -0.2 1300 S S по материалам Алисы Рудницкой, Россия H LMM M LM L 0 1200 Predicted Y Лекция в МГУ Область с высоким коэффициентом отражения 90 91 92 9 EVENT 30 52 Спасибо за внимание! 13.03.07 Лекция в МГУ 53