Repeated measures ANOVA

Занятие 5
Дисперсионный анализ ANOVA
(продолжение)
1
Сложная «омнибусная» гипотеза АНОВЫ:
H 0 : 1  2  3  4  ...  k
Похожа на стрельбу из дробовика: не
нужно особенно точно целиться,
непонятно, какая дробинка попала в
какую мишень – какая из маленьких
гипотез не верна.
Что делать, если мы изначально хотим
проверить не все эти гипотезы? Хотим
выстрелить из винтовки в строго
определённую мишень?
2
a priori Tests =
Planned comparisons = анализ
контрастов (вместо ANOVA)
Вся мощность теста направляется на одну
гипотезу, остальные игнорируются.
Важно: то, какую гипотезу тестировать, выбирают
ЗАРАНЕЕ, до проведения какого-либо анализа! В идеале
– ещё при постановке исследования.
Частный случай а priori теста – двухвыборочный tкритерий Стьюдента.
Процедура тестирования у а priori тестов – почти как у tкритерия Стьюдента.
3
анализ контрастов
Обычно используются для тестирования КОМПЛЕКСНЫХ
(а не парных) гипотез.
Dr. J разработал новую диету и собирается протестировать
её эффективность. Из 20 добровольцев
группа 1 (n=5) соблюдает новую диету;
группа 2 (n=5) занимается на тренажёре;
группа 3 (n=5) занимается аэробикой;
группа 4 (n=5) бегает по утрам.
4
анализ контрастов
Зависимая переменная – число грамм, на которое
изменилась масса тела добровольцев за 3 месяца.
Можно было бы провести ANOVA затем апостериорный
тест, но нас интересует лишь сравнение диеты Dr. J с
разными видами физических упражнений.
5
анализ контрастов
H 0 : 1 
 2  3   4
3
1
1
1
H 0 : 1   2  3   4  0
3
3
3
«Контраст» = «сравнение» (contrast, comparison) –
линейная комбинация средних значений.
Коэффициенты сравнения – константы, на которые
умножены средние. В сумме = нулю:  C j  0
Другая формулировка Н0: «популяционное сравнение» = 06
анализ контрастов
1
1
1
H 0 : 1   2  3   4  0
3
3
3
1
1
1
H1 : 1   2  3   4  0
3
3
3
параметр выборки – параметр популяции
Статистика = стандартная ошибка параметра выборки
выборочное сравнение - 0
Статистика = стандартная ошибка выборочного сравнения
C1 X 1  C2 X 2  C3 X 3  C4 X 4
t
scontrast
Она имеет t-распределение
7
анализ контрастов
Ещё один пример:
У нас 4 группы тигров, их кормят: овощами; фруктами;
рыбой; мясом.
Вопрос: отличается ли масса тигров, питающихся
животной и растительной едой?
H0 :
1   2
2

3   4
2
8
анализ контрастов
9
мы отвергаем Н0.
Масса тигров, питавшихся растительной и животной едой,
различалась
10
анализ контрастов
Planned comparisons (анализ контрастов):
МОЩНОСТЬ такого теста существенно ВЫШЕ, чем
последовательное использование АНОВЫ и методов
множественного сравнения!
Поэтому, если исследователя интересует конкретное
сравнение, лучше использовать анализ контрастов.
(и это лучше, чем просто объединить выборки и сравнить т-тестом,
так как учитываются различия между группами по одну сторону знака
«=»)
11
Factorial ANOVA
One-way ANOVA:
Одна зависимая переменная, variable (масса тела);
Одна группирующая = фактор (тип пищи).
Одна нулевая гипотеза H 0 : 1  2  3  4
Что делать, если нужно проанализировать влияние
двух (трёх и т.д.) факторов на зависимую переменную?
12
Factorial ANOVA
Например,
Мы изучаем влияние размножения на массу тела у
самок африканских земляных белок разного возраста.
Зависимая переменная – масса тела.
Фактор A – наличие выводка (1. есть; 2. нет)
Фактор B – возраст (1 год, 2 года, 3 года и старше).
Фактора ДВА, наш выбор - two-way ANOVA
13
Factorial ANOVA
1 год
2 года
≥3 года
без
выводка
440
438
429
502
602
892
868
855
866
932
1575
849
759
1602
1327
с
выводком
308
328
326
326
325
737
798,5
876
810
861
1000,5
901
958
1032
883
Получилось a x b = 2 х 3 = 6 групп белок – 6 ячеек (cells) в
таблице.
Заметим, что во ВСЕХ ячейках должны выполняться
условия соответствия нормальному распределению и
равенства дисперсий.
Пусть в каждой ячейке по n наблюдений.
14
Factorial ANOVA
1 год
2 года
≥3 года
без
выводка
440
438
429
502
602
892
868
855
866
932
1575
849
759
1602
1327
с
выводком
308
328
326
326
325
737
798,5
876
810
861
1000,5
901
958
1032
883
Формулируем 3 нулевые гипотезы (и 3 альтернативные):
Н0: наличие выводка не влияет на массу самки
(μб/выводка =μс выводком)
Н0: возраст самки не влияет на массу самки ( 1   2  3)
Н0: нет взаимодействия между факторами.
15
Factorial ANOVA
a
MS factorA 
SS factorA
df factorA
bn ( X i  X G ) 2

i 1
a 1
F factorA 
MS factorA
F factorB 
MS factorB
MS error
b
MS factorB 
SS factorB
df factorB
MS error
j 1
b 1
MS error
n
2

 ( X ijl  X ij ) 
i 1 j 1  l 1


N  ab
a
SS error

df error

an ( X j  X G ) 2
b
16
Factorial ANOVA
Дисперсия между ячейками не равна сумме изменчивостей
между уровнями фактора А и уровнями фактора В. Эта
разница определяется взаимодействием факторов:
SS AB int eraction SS cells  SS factorA  SS factorB
MS AB int eraction 

df AB int eraction
df cells  df factorA  df factorB
dfinteraction= dffactorA x dffactorB
MS AB int eraction
FAB int eraction 
MS error
a
b
SScells   n( X ij  X G ) 2
i 1 j 1
df cells  ab  1
17
Factorial ANOVA
То есть, для каждой гипотезы мы рассчитываем своё Fзначение и сравниваем его со своим критическим уровнем.
Изменчивость между строками
MSerror, cредняя по ячейкам
внутригрупповая изменчивость
Изменчивость между столбцами
«взаимодействие» факторов
Достоверное взаимодействие факторов говорит о том, что
различия между уровнями одного из факторов неодинаковы для
всех уровней другого фактора.
18
Factorial ANOVA
ANOVA table
19
Factorial ANOVA
Масса тела
Масса тела
Примерный вид графического представления:
1
2 ≥3
возраст
с выводком без
выводка
20
масса
масса
Factorial ANOVA
без выводка
с выводком
1
2
3
возраст
и размножение, и возраст влияют
на массу;
взаимодействия факторов НЕТ
без выводка
с выводком
1
2
3
возраст
возраст влияет на массу,
размножение – нет;
взаимодействие ЕСТЬ
если линии на рисунке ПАРАЛЛЕЛЬНЫ, взаимодействия
факторов НЕТ.
если НЕ ПАРАЛЛЕЛЬНЫ, взаимодействие ЕСТЬ.
(насколько они параллельны, решает ANOVA)
21
Factorial ANOVA
Возможные варианты графиков для таблицы 2х3
(пример про 3 типа лечения у опытных и неопытных врачей):
Оба эффекта недостоверны, но есть взаимодействие факторов 22
эффекты не
достоверны,
взаимодействия нет
1 эффект достоверен,
взаимодействия нет
1 эффект достоверен,
взаимодействие есть
2 эффекта достоверны,
взаимодействия нет
23
Factorial ANOVA
1 эффект достоверен,
взаимодействие есть
1 эффект достоверен,
взаимодействия нет
24
Factorial ANOVA
Как определить на глаз влияние каждого из факторов
25
Factorial ANOVA
Взаимодействие между факторами ≠ корреляция между
факторами!!!
1 год 2 года ≥3 года
без выводка 900
с 1-м
выводком
600
1200
900
с 2-мя
выводками
300
600
1500
1200
900
1 год 2 года ≥3 года
без выводка 900
с 1-м
выводком
600
1200
900
с 2-мя
выводками
300
600
600
1200
1200
Взаимодействия
факторов НЕТ, при
этом между ними есть
корреляция
Взаимодействие
факторов ЕСТЬ
У старых самок участие в
размножении по-другому
сказывается на физическом
состоянии, чем у молодых
26
Factorial ANOVA
Для разных моделей АНОВы по-разному рассчитываются
статистики F.
27
Factorial ANOVA
Апостериорные (post hoc) тесты для двухфакторной АНОВы
1. Не используются для Модели 2 (а именно, для random
factors);
2. Если взаимодействие между факторами достоверно,
бессмысленно проводить пост хок тесты для каждого из
факторов по отдельности, нужно сравнивать между
собой ячейки.
28
Factorial ANOVA
Частный случай Factorial ANOVA - Main effect ANOVA
1. Мы исследуем действие на выборку ДВУХ (трёх,
четырёх) категориальных факторов (independent
variables).
2. Зависимая переменная ОДНА.
3. Факторы НЕЗАВИСИМЫ (то есть, мы откуда-то
заранее это уже знаем).
Мощность такого теста выше, чем у Factorial ANOVA, но в
независимости факторов надо как-то убедиться.
29
Main effect ANOVA
Здесь тигры разного пола едят разную пищу
30
Тип еды оказывал достоверное влияние на массу тигров;
пол – не оказывал достоверного влияния на массу.
31
Factorial ANOVA
суслики
даже здесь линии
пересекаются
32
33
первые две гипотезы мы отвергаем: и пол, и возраст
влияют на массу белок.
третью не отвергаем: взаимодействия факторов НЕТ
34
Factorial ANOVA
Если факторов не 2 а много, а зависимая переменная
ОДНА, анализ называется
Multiway ANOVA
В этом случае становится много гипотез о
взаимодействии факторов (для 3-х факторов 4
гипотезы об их взаимодействии).
Не рекомендуется исследовать действие более 4-х
факторов, так как затрудняется интерпретация
результатов.
Расчёт статистик в таких сложных случаях
производится с использованием принципов
регрессионного анализа.
35
Repeated measures ANOVA
Сравнение связанных групп
Преподаватель решил узнать, как у его студентов
продолжительность занятий зависит от дня недели (он
поделил время на 15-минутные блоки).
36
Repeated measures ANOVA
Представим, что эти группы независимы и проведём ANOVA.
Различия между ними недостоверны. Почему?
Из-за большой внутригрупповой изменчивости?
Студенты по усердию сильно различаются между собой!\
Как элиминировать межиндивидуальные различия
(between-subjects effect)?
37
Repeated measures ANOVA
Вычесть из каждого измерения среднее значение для
каждого студента!
Вот теперь измерения стали независимы
(«исправленные»), и дальше можно сравнить их ANOVA
(от обычной ANOVA отличается число степеней свободы
внутри измерений – df w  (k  1)( n  1) )
38
Repeated measures ANOVA
H 0 : 1  2  3  4
Н1: нулевая гипотеза не верна
Обычная ANOVA:
оценка дисперсии между группами
F = оценка дисперсии внутри групп
MS B
F
MS W
Repeated measures ANOVA:
MS B
оценка дисперсии между измерениями
F
F=
MS err
«ошибка» внутри исправленных измерений
Изменчивость:
1. Между измерениями;
2. Между особями (получается из средних значений для особей);
39
3. «ошибка» (внутри «исправленных» измерений) – error, residual
Repeated measures ANOVA
Теперь Н0 будет отвергнута, т.е., преподаватель сможет
утверждать, что усердие его учеников зависит от дня
недели.
Мощность дисперсионного анализа для повторных
измерений выше, чем обыкновенного дисперсионного
анализа (в случае связанных выборок).
40
Repeated measures ANOVA
Другой пример: к тиграм-самцам пришёл новый
служитель, а потом – новая уборщица. И возможно, они
стали по-другому питаться. Мы хотим узнать, менялась ли
их масса.
Мы анализируем влияние служителя на массу тигров-самцов.
Зависимая переменная – масса.
Для каждой особи по 3 измерения (3 столбика в таблице).
41
Каждый тигр ТРИ раза участвует в наблюдениях.
ДО СЛУЖ УБОР
1 тигр
2 тигр
3 тигр
4 тигр
5 тигр
6 тигр
356
351
353
355
354
355
363
361
358
356
359
355
200
182
193
194
184
173
H 0 : 1  2  3
оценка дисперсии между измерениями
F=
«ошибка»
42
В Statistica каждый
столбик измерений
называется
dependent variable
43
изменчивость между особями
между наблюдениями
«ошибка» - внутри «исправленных»
наблюдений
Отвергаем Н0:
Масса тигров в среднем достоверно изменялась после прихода
44
нового служителя и новой уборщицы.
Repeated measures ANOVA
Отвергаем Н0:
Масса тигров в среднем достоверно изменилась после
прихода нового служителя и новой уборщицы.
А теперь можно провести апостериорный (post-hoc) тест.
И выяснить, кто и как повлиял на массу тигров.
45
Nested ANOVA
Factorial ANOVA: в таблице были представлены все
возможные комбинации факторов.
Но существуют варианты исследований, которые этого не
предполагают.
При этом, группы, образованные фактором (группирующей
переменной) делятся на подгруппы какой-то другой
переменной, значения которой разные для разных групп.
Nested = hierarchical design
46
Nested ANOVA
Например, представим однофакторную АНОВу, в которой
нас интересует действие только одного фактора. Но в силу
обстоятельств данные в группах не гомогенны, они делятся
на подгруппы каким-то (обычно случайным, random) фактором.
5 образцов
меха с каждого
зверька
(возможно и дальнейшее деление подгрупп на «под-подгруппы» и т.д.,
т.е., иерархическая классификация)
47
Nested ANOVA
Нас интересует два вопроса: 1) влияет ли основной
фактор (цвет меха) на значения переменной; 2) влияет ли
случайный фактор (личность крысы) на значения
переменной.
Взаимодействие факторов обычно не проверяется.
Тестируются две гипотезы.
MSsubgroups within groups
F=
MSerror within subgroups
Проверка действия
случайного фактора
MSbetween groups
F=
MSsubgroups witin groups
Проверка действия
основного фактора
48
Nested ANOVA
Фактор В – фиксированный,
фактор С - случайный
49
Nested ANOVA
Фактор В – фиксированный,
фактор С - случайный
50
Multivariate factorial ANOVA = MANOVA
Всё это время мы работали с ОДНОЙ зависимой
переменной.
что делать в случае, если ЗАВИСИМЫХ переменных две
или больше?
Например, нам интересно, как вид пищи (фактор) влияет
на массу тигров и длину тела тигров (две зависимые
переменные).
51
MANOVA
Multivariate ANOVA = MANOVA
многомерный дисперсионный
анализ
Multiway ANOVA
Многофакторный
дисперсионный анализ
Предполагается многомерное нормальное распределение.
52
MANOVA
Почему бы не провести отдельные дисперсионные
анализы для каждой из переменных?
1. Вероятность ошибки 1-го рода превысит 5%;
2. Не будет учтена возможная корреляция между
переменными;
3. Средние различия групп по каждой переменной могут
быть малы, но по всем переменным совместно
различия могут быть очевидными.
53
MANOVA
Нулевая гипотеза одна: о равенстве средних значений
по одной из переменных И по другой переменной (и по
третьей, четвёртой и т.д.)
Существует несколько вариантов статистики критерия
для MANOVA.
Все они считаются на основе:
SStotal, SSbetween groups, SSwithin groups
( X i  X )(Y j  Y )
и сумм «векторных произведений» 
i
j
(это понятие уже из регрессионного анализа).
В Statistica –
Wilks’ lambda λ. Чем она меньше, тем вероятнее
отвергнуть Н0. Это мера изменчивости, которая не
объясняется действием факторов.
54
MANOVA
55
MANOVA
56
MANOVA
Требования и рекомендации:
1. Для MANOVA особенно важно, чтобы измерения
были случайными и не зависели друг от друга.
2. Многомерное нормальное распределение
3. Гомогенность дисперсий в группах
4. Корреляции между зависимыми переменными
должны быть одинаковыми между группами
5. Чем больше число переменных, тем меньше
мощность теста, т.е., для большого числа
переменных необходимы большие выборки
6. После проведения MANOVA допустимо проводить
просто ANOVA с последующими пост-хок тестами.
57
Задания
1. крыс обучают ставить лесенку и доставать корм. В разных
группах крыс используют разный корм: сыр, морковь и мясо.
Затем часть крыс помещают в знакомую среду, а часть – в новые
условия. Исследователь хочет узнать, как зависит время
прохождения лабиринта в разных группах и условиях. Н0? Тип
статистического анализа? Статистика критерия?
2. мы хотим изучить, как уровень глюкозы в крови у кошек зависит
от времени суток. У нас есть 10 особей, мы берём у них кровь 3
раза в день. Н0? Тип статистического анализа? Статистика
критерия?
3. телефонная компания поставила новые телефоны в аэропорты
и размышляет, стоит ли оборудовать места для разговоров
креслом – не увеличит ли это продолжительность разговоров. В 15
местах она поставила кресла, в 15-и местах говорить можно
только стоя. Как проверить влияет ли наличие кресла на
длительность разговора? Н0? Тип статистического анализа?
Статистика критерия?
58