Функция плотности вероятности
В теории вероятностей функция плотности вероятности (PDF), функция плотности или
плотность абсолютно непрерывной случайной величины - это функция, значение которой в любой
заданной выборке (или точке) в пространстве выборки (набор возможных значений, принимаемых
случайной величиной) может быть интерпретировано как обеспечивающее относительную
вероятность того, что значение случайной величины будет равно этой выборке.[2][3] Плотность
вероятности - это вероятность на единицу длины, другими словами, в то время как абсолютная
вероятность того, что непрерывная случайная величина примет какое-либо конкретное значение,
равна 0 (поскольку для начала существует бесконечный набор возможных значений), значение PDF в
двух разных выборках можно использовать для определения того, насколько более вероятно, что
случайная величина будет близка к одной выборке по сравнению с другой выборкой.
В более точном смысле PDF используется для указания вероятности того, что случайная величина
попадет в определенный диапазон значений, в отличие от принятия какого-либо одного значения. Эта
вероятность определяется интегралом от PDF этой переменной в этом диапазоне, то есть она
определяется площадью под функцией плотности, но выше горизонтальной оси и между наименьшим
и наибольшим значениями диапазона. Функция плотности вероятности везде неотрицательна, а
площадь под всей кривой равна 1.
Термины функция распределения вероятностей и функция вероятности также иногда
использовались для обозначения функции плотности вероятности. Однако такое использование не
является стандартным среди вероятностников и статистиков. В других источниках "функция
Прямоугольный график и функция плотности
распределения вероятности" может использоваться, когда распределение вероятности определяется
как функция по общим наборам значений, или это может относиться к кумулятивной функции
вероятности нормального распределения N(0, σ2).
распределения, или это может быть функция массы вероятности (PMF), а не плотность. Сама
"функция плотности" также используется для функции массы вероятности, что приводит к
дальнейшей путанице.[4] Однако в целом PMF используется в контексте дискретных случайных величин (случайных величин,
которые принимают значения в счетном множестве), в то время как PDF используется в контексте непрерывных случайных
величин.
Пример
Предположим, что бактерии определенного вида обычно живут от 4 до 6 часов. Вероятность того, что бактерия живет ровно 5
часов, равна нулю. Многие бактерии живут примерно 5 часов, но нет никаких шансов, что какая-либо данная бактерия погибнет
ровно в 5.00... часов. Однако вероятность того, что бактерия погибнет между 5 и 5,01 часами, поддается количественной оценке.
Предположим, что ответ равен 0,02 (т.е. 2%). Тогда вероятность того, что бактерия погибнет между 5 и 5,001 часами, должна
составлять около 0,002, поскольку этот временной интервал на одну десятую длиннее предыдущего. Вероятность того, что
бактерия погибнет между 5 часами и 5.0001 часами, должна составлять около 0.0002, и так далее.
В этом примере отношение (вероятность смерти в течение интервала) / (продолжительность интервала) приблизительно
постоянно и равно 2 в час (или 2 часа-1). Например, существует 0,02 вероятности смерти в 0,01-часовом интервале между 5 и 5,01
часами, и (0,02 вероятности / 0,01 часа) = 2 часа-1. Эта величина 2 часа-1 называется плотностью вероятности смерти примерно
через 5 часов. Следовательно, вероятность того, что бактерия погибнет через 5 часов, можно записать как (2 часа-1) dt. Это
вероятность того, что бактерия погибнет в течение бесконечно малого промежутка времени, около 5 часов, где dt продолжительность этого промежутка. Например, вероятность того, что он живет дольше 5 часов, но короче (5 часов + 1
наносекунда), равна (2 часа-1) ×(1 наносекунда) ≈ 6 × 10-13 (используя преобразование единиц 3,6 × 1012 наносекунд = 1 час).
Геометрическая
визуализация моды,
медианы и среднего
произвольной
унимодальной
функции плотности
вероятности.[1]
Существует функция плотности вероятности f с f(5 часов) = 2 часа-1. Интеграл от f за любой промежуток времени (не
только бесконечно малые окна, но и большие окна) - это вероятность того, что бактерия погибнет в этом окне.
Абсолютно непрерывные одномерные распределения
Функция плотности вероятности чаще всего ассоциируется с
распределениями. Случайная величина
имеет плотность
, где
функция, если:
абсолютно непрерывными одномерными
неотрицательная интегрируемая по Лебегу
Примеры четырех непрерывных
функций плотности вероятности.
Следовательно, если
и (если
является кумулятивной функцией распределения от
, то:
непрерывна при )
Интуитивно можно думать о
вероятности
попадания в бесконечно малый интервал
Формальное определение
(Это определение может быть распространено на любое распределение вероятностей, используя .,,,)
.
Случайная величина со значениями в измеримом пространстве
(обычно
с множествами Бореля в качестве измеримых подмножеств) имеет
в качестве распределения вероятностей меру X*P on
: плотность
относительно эталонной меры on
является производной Радона–
Никодима:
То есть, f - это любая измеримая функция, обладающая свойством, которое:
для любого измеримого набора
Обсуждение
В непрерывном одномерном случае, приведенном выше, эталонной мерой является мера Лебега. Функция массы вероятности дискретной случайной
величины - это плотность относительно меры подсчета в пространстве выборки (обычно это набор целых чисел или некоторое их подмножество).
Невозможно определить плотность со ссылкой на произвольную меру (например, нельзя выбрать счетную меру в качестве эталона для непрерывной
случайной величины). Более того, когда она существует, плотность почти уникальна, что означает, что любые две такие плотности совпадают почти
везде.
Дополнительные сведения
В отличие от вероятности, функция плотности вероятности может принимать значения, большие единицы; например, непрерывное равномерное
распределение на интервале [0, 1/2] имеет плотность вероятности f(x) = 2 для 0 ≤ x ≤ 1/2 и ) = 0 в других местах.
Стандартное нормальное распределение имеет плотность вероятности
Если задана случайная величина X и ее распределение допускает функцию плотности вероятности f, то ожидаемое значение X (если ожидаемое
значение существует) может быть рассчитано как
Не каждое распределение вероятностей имеет функцию плотности: распределения дискретных случайных величин этого не делают; также как и
распределение Кантора, хотя оно не имеет дискретной составляющей, т. Е. Не присваивает положительную вероятность какой-либо отдельной точке.
Распределение имеет функцию плотности тогда и только тогда, когда его кумулятивная функция распределения F(x) абсолютно непрерывна. В данном
случае: F почти везде дифференцируема, и ее производная может использоваться как плотность вероятности:
Если распределение вероятностей допускает плотность, то вероятность каждого одноточечного множества {a} равна нулю; то же самое справедливо для
конечных и счетных множеств.
Две плотности вероятности f и g точно представляют одно и то же распределение вероятностей, если они различаются только на множестве нулевой по
Лебегу.
В области статистической физики в качестве определения функции плотности вероятности обычно используется неформальная переформулировка
приведенного выше соотношения между производной кумулятивной функции распределения и функцией плотности вероятности. Это альтернативное
определение следующее:
Если dt бесконечно малое число, вероятность того, что X включено в интервал (t, t + dt) равна f(t) dt, или:
Связь между дискретным и непрерывным распределениями
Можно представить определенные дискретные случайные величины, а также случайные величины, включающие как непрерывную, так и дискретную
части, с помощью обобщенной функции плотности вероятности, используя дельта-функцию Дирака. (Это невозможно с помощью функции плотности
вероятности в смысле, определенном выше, это может быть сделано с помощью распределения.) Например, рассмотрим двоичную дискретную
случайную величину, имеющую распределение Радемахера, то есть принимающую значения -1 или 1 с вероятностью 1⁄2 каждый. Плотность вероятности,
связанная с этой переменной, равна:
В более общем плане, если дискретная переменная может принимать n различных значений среди действительных чисел, то соответствующая функция
плотности вероятности равна:
где
- дискретные значения, доступные для переменной, и
- вероятности, связанные с этими значениями.
Это существенно унифицирует обработку дискретных и непрерывных распределений вероятностей. Приведенное выше выражение позволяет
определять статистические характеристики такой дискретной переменной (такие как среднее, дисперсия и эксцесс), исходя из формул, приведенных для
непрерывного распределения вероятности.
Семейства плотностей
Обычно функции плотности вероятности (и функции массы вероятности) параметризуются, то есть характеризуются неопределенными параметрами.
Например, нормальное распределение параметризуется в терминах среднего и дисперсии, обозначаемых
и
соответственно, что дает семейство
плотностей
Разные значения параметров описывают разные распределения разных случайных величин в одном и том же выборочном пространстве (один и тот же
набор всех возможных значений переменной); это выборочное пространство является областью семейства случайных величин, которые описывает это
семейство распределений. Данный набор параметров описывает единое распределение внутри семейства, разделяющее функциональную форму
плотности. С точки зрения данного распределения параметры являются константами, а члены в функции плотности, которые содержат только
параметры, но не переменные, являются частью коэффициента нормализации распределения (мультипликативный коэффициент, который гарантирует,
что область под плотностью — вероятность того, что что-то произойдет в области — равна 1). Этот коэффициент нормализации находится за пределами
ядра распределения.
Поскольку параметры являются константами, повторная параметризация плотности в терминах различных параметров для характеристики другой
случайной величины в семействе означает простую замену новых значений параметров в формуле вместо старых.
Плотности , связанные с несколькими переменными
Для непрерывных случайных величин X1, ..., Xn также можно определить функцию плотности вероятности, связанную с набором в целом, часто
называемую совместной функцией плотности вероятности. Эта функция плотности определяется как функция от n переменных, такая, что для
любой области D в n-мерном пространстве значений переменных X1, ..., Xn вероятность того, что реализация заданных переменных попадает внутрь
области D, равна
Если Ф(Х1, ..., хп) = пр(х -1 ≤ х1, ..., хп ≤ хП) является кумулятивная функция распределения вектора (х1, ..., хп), то совместная функция плотности
вероятностей может быть вычислено как частную производную
Предельные плотности
Для in, пусть ) будет функцией плотности вероятности, связанной только с переменной i,. Это называется функцией предельной плотности и
может быть выведено из плотности вероятности, связанной со случайными переменными X1, ..., Xn путем интегрирования по всем значениям других
n − 1 переменных:
Независимость
Непрерывные случайные величины X1, ..., Xn, допускающие совместную плотность, все независимы друг от друга тогда и только тогда, когда
Следствие
Если совместную функцию плотности вероятности вектора из n случайных величин можно разложить на произведение n функций одной переменной
(где каждое fi не обязательно является плотностью), тогда все n переменных в наборе независимы друг от друга, и предельная функция плотности
вероятности каждой из них задается формулой
Пример
Этот элементарный пример иллюстрирует приведенное выше определение многомерных функций плотности вероятности в простом случае функции от
набора двух переменных. Давайте вызовем
двумерный случайный вектор координат (X, Y): вероятность получения
в четверти плоскости
положительных x и y равна
Функция случайных величин и изменение переменных в функции плотности
вероятности
Если функция плотности вероятности случайной величины (или вектора) X задается как fX(x), возможно (но часто не обязательно; см. Ниже) вычислить
функцию плотности вероятности некоторой переменной Y = g(X). Это также называется "изменением переменной" и на практике используется для
генерации случайной величины произвольной формы fg(X) = fY с использованием известного (например, единообразного) генератора случайных чисел.
Заманчиво думать, что для того, чтобы найти ожидаемое значение E(g(X)), сначала нужно найти плотность вероятности fg(X) новой случайной
величины Y = g(X). Однако вместо вычисления
вместо этого можно найти
Значения двух интегралов одинаковы во всех случаях, когда и X, и g(X) на самом деле имеют функции плотности вероятности. Необязательно, чтобы g
была однозначной функцией. В некоторых случаях последний интеграл вычисляется гораздо проще, чем первый. Смотрите Закон бессознательного
статистика.
От скалярного к скалярному
Пусть
- монотонная функция, тогда результирующая функция плотности[5]
Здесь g-1 обозначает обратную функцию.
Это следует из того факта, что вероятность, содержащаяся в дифференциальной области, должна быть инвариантной при изменении переменных. То
есть,
или
Для функций, которые не являются монотонными, функция плотности вероятности для y равна
где n(y) - количество решений в x для уравнения
,и
являются ли эти решения.
От вектора к вектору
Предположим, что x является n-мерной случайной величиной с совместной плотностью f. Если y = G(x), где G - биективная, дифференцируемая
функция, то y имеет плотность pY:
с дифференциалом, рассматриваемым как якобиан обратной к G(⋅), оцениваемой через y.[6]
Например, в двумерном случае x = (x1, x2), предположим, что преобразование G задается как y1 = G1(x1, x2), y2 = G2(x1, x2) с обратными x1 = G1-), ).
Совместное распределение для y = (y1, y2) имеет плотность[7]
Вектора на скаляр
Пусть
- дифференцируемая функция и - случайный вектор, принимающий значения в
,
- функция плотности вероятности в и
- дельта-функция Дирака. Можно использовать приведенные выше формулы для определения
функции плотности вероятности
, которая
будет задана
Этот результат приводит к закону бессознательного статистика:
Доказательство:
Пусть - свернутая случайная величина с функцией плотности вероятности
преобразование определяются как
Ясно, что
является биективным отображением, а якобиан из
(т.Е. константа, равная нулю). Пусть случайный вектор
и
задается формулой:
которая представляет собой верхнюю треугольную матрицу с единицами на главной диагонали, следовательно, ее определитель равен 1. Применяя
теорему об изменении переменной из предыдущего раздела, мы получаем, что
которая, если ее исключить,
приводит к желаемой функции плотности вероятности.
Суммы независимых случайных величин
Функция плотности вероятности суммы двух независимых случайных величин U и V, каждая из которых имеет функцию плотности вероятности,
является сверткой их отдельных функций плотности:
Предыдущее соотношение можно обобщить на сумму N независимых случайных величин с плотностями U1, ..., UN:
Это может быть получено из двустороннего изменения переменных, включающего Y = U + V и Z = V, аналогично приведенному ниже примеру для
частного независимых случайных величин.
Произведения и частные независимых случайных величин
Учитывая две независимые случайные величины U и V, каждая из которых имеет функцию плотности вероятности, плотность произведения Y = UV и
частное Y = U/V можно вычислить путем изменения переменных.
Пример: Частное распределение
Чтобы вычислить частное Y = U/V двух независимых случайных величин U и V, определите следующее преобразование:
Тогда плотность соединения p(y,z) может быть вычислена путем изменения переменных с U,V на Y,Z, а Y может быть получен путем исключения Z из
плотности соединения.
Обратное преобразование является
Абсолютное значение определителя матрицы Якоби
Якобиевой матрицы этого преобразования равно:
Таким образом:
И распределение Y может быть вычислено путем маргинализации Z:
Этот метод принципиально требует, чтобы преобразование из U,V в Y,Z было биективным. Приведенное выше преобразование соответствует этому,
потому что Z может быть отображено непосредственно обратно в V, а для данного V частное U/V является монотонным. Аналогично обстоит дело с
суммой U + V, разностью U − V и произведением UV.
Точно такой же метод можно использовать для вычисления распределения других функций множества независимых случайных величин.
Пример: Частное от двух стандартных нормалей
Учитывая две стандартные переменные U и V, частное можно вычислить следующим образом. Во-первых, переменные имеют следующие функции
плотности:
Мы преобразуем, как описано выше:
Это приводит к:
Это плотность стандартного распределения Коши.
Смотри также
Оценка плотности – Оценка ненаблюдаемой базовой функции плотности вероятности
Оценка плотности ядра – Оценщик
Функция правдоподобия – функция, связанная со статистикой и теорией вероятностей
Список распределений вероятностей
Амплитуда вероятности - Комплексное число, квадрат абсолютного значения которого является вероятностью
Функция массы вероятности – Распределение вероятностей с дискретной переменной
Вторичная мера
Используется как плотность вероятности положения:
Атомная орбиталь – функция , описывающая электрон в атоме
Домашний ареал – Территория, в которой животное живет и периодически перемещается
Ссылки
1. "Обзор статистики AP - кривые плотности и нормальные распределения" (https://web.archive.org/web/20150402183703/http://apstatsreview.tumblr.com/po
st/50058615236/density-curves-and-the-normal-distributions). Архивировано с оригинала (https://apstatsreview.tumblr.com/post/50058615236/density-curvesand-the-normal-distributions) 2 апреля 2015 г.. Проверено 16 марта 2015.
2. Гринстед, Чарльз М.; Снелл, Дж. Лори (2009). "Условная вероятность - дискретное условие" (https://www.dartmouth.edu/~chance/teaching_aids/books_arti
cles/probability_book/Chapter4.pdf) (PDF). Введение Гринстеда и Снелла в теорию вероятностей. Тексты Orange Grove. ISBN 978-1616100469.
Заархивировано (https://web.archive.org/web/20030425090244/http://www.dartmouth.edu/~chance/teaching_aids/books_articles/probability_book/Chapter4.pd
f) (PDF) с оригинала 2003-04-25. Проверено 2019-07-25.
3. "вероятность - является ли равномерно случайное число на действительной прямой допустимым распределением?" (https://stats.stackexchange.com/q/
541479). Перекрестная проверка. Проверено 2021-10-06.
4. Орд, Дж.К. (1972) Семейства частотных распределений, Гриффин. 0-85264-137-0 ISBN (например, таблица 5.1 и пример 5.4)
5. Сигрист, Кайл. "Преобразования случайных величин" (https://stats.libretexts.org/Bookshelves/Probability_Theory/Probability_Mathematical_Statistics_and_S
tochastic_Processes_%28Siegrist%29/03%3A_Distributions/3.07%3A_Transformations_of_Random_Variables#The_Change_of_Variables_Formula).
Статистика LibreTexts. Проверено 22 декабря 2023 года.
6. Девор, Джей Л.; Берк, Кеннет Н. (2007). Современная математическая статистика с приложениями (https://books.google.com/books?id=3X7Qca6Ccf
kC&pg=PA263). Cengage. стр. 263. ISBN 978-0-534-40473-4.
7. Дэвид, Стирзакер (2007-01-01). Элементарная вероятность. Издательство Кембриджского университета. ISBN 978-0521534284. OCLC 851313783 (ht
tps://www.worldcat.org/oclc/851313783).
Читать далее
Биллингсли, Патрик (1979). Вероятность и мера. Нью-Йорк, Торонто, Лондон: Джон Уайли и сыновья. ISBN 0-471-00710-2.
Казелла, Джордж; Бергер, Роджер Л. (2002). Статистический вывод (Второе изд.).). Обучение по Томсону. стр. 34-37. ISBN 0-534-24312-6.
Стирзакер, Дэвид (2003). Элементарная вероятность (https://archive.org/details/elementaryprobab0000stir). Издательство Кембриджского
университета. ISBN 0-521-42028-8. Главы с 7 по 9 посвящены непрерывным переменным.
Внешние ссылки
Ушаков, Н.Г. (2001) [1994], "Плотность распределения вероятностей" (https://www.encyclopediaofmath.org/index.php?title=Density_of_a_probability_distrib
ution), Математическая энциклопедия, Пресс EMS
Вайнштейн, Эрик У. "Функция плотности вероятности" (https://mathworld.wolfram.com/ProbabilityDensityFunction.html). Математический мир.
Retrieved from "https://en.wikipedia.org/w/index.php?title=Probability_density_function&oldid=1204301029"