Доверительный интервал Карина Cадова Тимлид в Ozon Карина Садова О спикере: Тимлид в Ozon, предприниматель, DS-консультант Специализируюсь на CV и генеративных моделях Консультирую людей и компании по DS Занимаюсь разработкой стартапов и ведением проектов Учусь в аспирантуре по Computer Science План занятия 1 Доверительный интервал 2 Уровни значимости и доверия 3 Построение доверительного интервала 4 Разнообразие доверительных интервалов 5 Решение задач с доверительным интервалом Доверительный интервал 1 Доверительный интервал Доверительный интервал — интервал, который покрывает возможные значения параметра с некоторой вероятностью Параметр находится где-то вокруг точки Параметр находится где-то здесь с вероятностью 95% Доверительный интервал 360 Точечная оценка 350 370 Зачем нужен доверительный интервал Пример: есть сервис, работающий на проде и отслеживающий дубликаты. Мы постоянно замеряем количество прилетающих на него в секунду запросов, чтобы обеспечивать устойчивость, понимать скорость работы при различных нагрузках и в случае его падения разбираться, каким пиком это было вызвано Зачем нужен доверительный интервал Возьмем период за 1 000 замеров и посчитаем среднее количество rps-ов — 368. Это только показатель по малой выборке по сравнению со всем временем наблюдения за сервисом, поэтому такая оценка может не всё говорить о реальной картине. Что в таком случае делать? Намного лучше знать не просто конкретную точечную оценку, а интервал, в котором с большей вероятностью будет находиться реальная средняя нагрузка. К примеру, с вероятностью 95% средняя нагрузка лежит в интервале от 350 rps до 370 Интервал против точечной оценки Ни одна точка не попадает в среднее. Доверительный интервал информативнее точечной оценки: N Распределение из очень большого количества разбиений генеральной совокупности на выборки Средние выборочные х1 = 362.3 х2 = 369.5 х3 = 360 х4= 362.12 х5 = 373.88 362.12 368 373.88 362.3 360 362.12 369.5 373.88 Доверительный интервал Доверительные интервалы для разных выборок одной и той же генеральной совокупности могут отличаться: х1 = 362.3 х2 = 369.5 х3 = 360 х4= 362.12 х5 = 373.88 356.42 362.12 368 362.3 368.18 363.62 354.12 356.24 360 362.12 373.88 369.5 375.38 365.88 368 368 373.88 Уровни значимости и доверия 2 Уровни значимости и доверия Уровень значимости α — вероятность, с которой значение параметра не попадает в доверительный интервал. Уровень доверия β = 1 - α — это вероятность, с которой значение параметра попадает в доверительный интервал α = 0.05 α = 0.01 362.12 368 373.88 Как подобрать уровень значимости и уровень доверия Поскольку уровни значимости и доверия обратны друг другу, уровни значимости 0,1, 0,05 и 0,01 эквивалентны уровням доверия 0,90, 0,95 и 0,99. Величины могут выражаться в процентах, то есть уровень доверия 0,95 и 95% — одно и то же Выбор уровня доверия Чем длиннее доверительный интервал, тем больше вероятность, что заданный параметр попадает в него. Но покрытие доверительным интервалом всего множества значений, которые принимает параметр на выборке, лишает смысла сам доверительный интервал. Для нормального распределения обычно берутся уровни доверия 0,9 и 0,95 Пример «Британские ученые доказали на уровне значимости 42%, что размышления о смысле Вселенной и всего такого увеличивают жизнь». В терминах доверительного интервала это значит, что в 58% случаев значение параметра продолжительности жизни попадет в доверительный интервал: α = 0.05 α = 0.01 362.12 368 373.88 Построение доверительного интервала 3 Ограничения Строят, исходя из предположения, что данные распределены нормально. Учитывают ЦПТ: если распределение генеральной совокупности имеет конечные математическое ожидание и дисперсию, то при n → ∞ основные выборочные характеристики (среднее, дисперсия, эмпирическая функция распределения) являются нормальными 0.06 0.04 0.02 0.00 10 20 30 40 Принципиальная схема построения Рассмотрим случайную выборку объёма n, вычислим среднее значение по выборке и зададим уровень значимости β. Доверительный интервал для среднего имеет вид: (х – ∆ ; х + ∆ ) ∆ — точность интервальной оценки х–∆ х+∆ Строим дельту Вычисление ∆ зависит от знаний о генеральной совокупности и от выборки, с которой мы имеем дело. Допустим, известно стандартное отклонение σ генеральной совокупности. Тогда σZ ∆= n a Za — квантиль нормального распределения уровня 1 - α / 2. Доверительный интервал для нормально распределенных данных: σZ σZ x— n a;x+ n a Вспомним про квантили Квантиль уровня — значение случайной величины, которое все остальные значения случайной величины не превышают с заданной уровнем вероятностью. Пример: «80-й персентиль времени выхода из строя станка на заводе — 3 года» означает, что 80% станков работает 3 года или меньше, а 20% станков работает больше трёх лет Посмотрим на формулы внимательно Сигма и N — заданные выборкой числа. Варьировать можно только квантиль в зависимости от того, какая точность предсказания нужна: σ ∆ = nZa Чем больше квантиль, тем больше дельта, на которую мы отступаем для оценки, тем длиннее сам доверительный интервал, тем больше вероятность, что параметр, который мы оцениваем, в него попадет (и тем расплывчатей наше предсказание): σ σ x — nZa ; x + nZa Как посчитать квантиль Посмотреть в таблицах либо посчитать в Python: уровень 0,90 0,95 0,975 0,98 0,99 0,995 0,999 0,9995 0,9999 односторонняя 1,282 1,645 1,960 2,054 2,326 2,576 3,090 3,291 3,719 двусторонняя 1,645 1,960 2,241 2,326 2,576 2,807 3,291 3,481 3,891 Разнообразие доверительных интервалов 4 Области интервала Доверительный интервал может быть двусторонним и односторонним: 1-α α/2 x α/2 α/2 x 1- α/2 Двусторонняя область 1-α α 1-α xα α x 1-α Односторонние области Области интервала Односторонняя область: b’ = b + (1 - b) / 2 = (1 + b) / 2 Пример: если b = 0,90, то b’ = 0,90 + 0,10 / 2 = 0,95 если b = 0,95, то b’ = 0,95 + 0,05 / 2 = 0,975 Таким образом, односторонний вариант помогает увеличить уровень доверия для конкретного конца параметра ДИ для среднего при маленькой выборке Если выборка маленькая, про её параметры ничего неизвестно, то вместо нормального распределения используют t-распределение: t a (n-1) — квантиль распределения стьюдента уровня 1 - a/2 со степенью свободы n-1 (смотрите по таблице): σ ∆ = nta(n-1) σ σ x — nt(n-1) ; x + n t(n-1) ДИ для среднего при неизвестной дисперсии Если в условиях задачи не дана дисперсия, её (или лучше сразу СКО) можно посчитать вручную. Важно, чтобы значений в выборке было немало: Решение задач с доверительным интервалом 5 Задача №1 Дана выборка 9, 5, 7, 7, 4, 10, дисперсия σ² = 1. Нужно построить доверительный интервал с уровнем доверия 99% Задача №1 Решение: Среднее значение равно x¯ = (9 + 5 + 7 + 7 + 4 + 10) / 6 = 7. Доверительный интервал имеет вид (¯x − ∆; ¯x + ∆). По таблице нормального распределения 1 - α/2 = 0,995, квантиль z_α = 2,81. Точность ∆ = (σ/√n)*z_α = 1/ √6 * 2,81 ≈ 1,14 Здесь мы воспользовались тем, что известна дисперсия генеральной совокупности. Искомый 99%-доверительный интервал — (7 − 1,14; 7 + 1,14) = (5,86; 8,14) Задача №2 Пусть для выборки размера 25 вычислено среднее — 130. От предыдущих исследователей досталось значение СКО — 12. Нужно построить доверительный интервал для среднего значения с уровнем доверия 98% Задача №2 Решение: Уровень доверия 0,98, следовательно, a = 0,02 Вычисляем уровень квантиля 1 - a/2 = 0,99 Находим его по таблице нормального распределения Za = 2,33 Вычисляем дельту 12 * 2,33 / 5 = 5,59 Тогда доверительный интервал получается (130 – 5,59, 130 + 5,59) = (124,41, 135,59) Итоги Обобщим 1 Доверительный интервал — интервал, который покрывает возможные значения параметра с некоторой вероятностью 2 Уровень значимости α — вероятность, с которой значение параметра не попадает в доверительный интервал 3 Уровень доверия β = 1 - α — это вероятность, с которой значение параметра попадает в доверительный интервал 4 Эти уровни обратны друг другу 5 Для нормально распределённых данных доверительный интервал рассчитывается по формуле: σ σ x — nZa ; x + nZa Доверительный интервал Карина Cадова Тимлид в Ozon
