Основы теории вероятностей, математической статистики и

МИНИСТЕРСТВО ОБРАЗОВАНИЯ И НАУКИ
РЕСПУБЛИКИ КАЗАХСТАН
СЕМИПАЛАТИНСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ
имени ШАКАРИМА
Документ СМК 3 уровня
УМК
УМКД
Учебно-методические
материалы дисциплины
«Основы теории
вероятностей,
математической
статистики и случайных
процессов»
Редакция № 4
от 31.08.2011 г.
взамен редакции
№3 от 27.08.2010
УМКД 042-14.01.20.31/03-2011
УЧЕБНО-МЕТОДИЧЕСКИЙ КОМПЛЕКС
ДИСЦИПЛИНЫ
«Основы теории вероятностей, математической статистики
и случайных процессов»
для специальности 6M060100 – «Математика» (магистратура)
Учебно-методические материалы
Семей
2011
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 2 из 108
Содержание
1
2
3
4
5
Глоссарий
Лекции
Практические занятия
Самостоятельная работа магистрантов
Литература
3
5
75
107
108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 3 из 108
1. ГЛОССАРИЙ
№
1.
Новые понятия
Алгебра множеств
2.
3.
Случайные события
Вероятность
4.
5.
Вероятностное пространство
Случайная величина
6.
Дискретная
величина
случайная
7.
Непрерывная
величина
случайная
8.
Плотность
распределения
вероятностей
9.
10.
11.
Функция распределения
Независимые события
Математическое ожидание
12.
Условное
ожидание
13.
Условная вероятность
14.
Закон нуля или единицы
математическое
Содержание
Множество
F
называется
алгеброй
множеств, если выполнены следующие
требования: 1) Ω є F, Ø є F; 2) из того, что А
є F, следует, что так же Â є F; 3) из того, что
А U В є F и А ∩ В є F.
Элементы F.
Каждому
случайному
событию
А
поставлено в соответствие неотрицательное
число Р(А), называемое его вероятностью
Принято называть тройку символов (Ω, F, Р)
Называется величина, которая в результате
опыта может принять то или иное значение,
причем неизвестно заранее, какое именно
Случайные величины, принимающие только
отделенные друг от друга значения, которые
можно заранее перечислить
Случайные величины, возможные значения
которых непрерывно заполняют некоторый
промежуток
Неотрицательная
функция
р(х),
удовлетворяющая при любых х равенству
𝑥
F(x) = ∫−∞ 𝑝(𝑧)𝑑𝑧
Функция F(x) случайной величины х
Если Р(А|B) = P(A) и P(B|A) = P(B)
Если ряд ∑∞
𝑛=1 𝑥𝑛 𝑝𝑛 сходится абсолютно. То
его сумма называется математическим
ожиданием
Если F(x|B) есть условная функция
распределения для случайной величины ξ,
то интеграл M(ξ|B) = ∫xdF(x|B) называется
условным
математическим
ожиданием
случайной величины ξ относительно
события В
В ряде случаев приходится рассматривать
вероятности событий при дополнительном
условии, что произошло некоторое событие
В. Такие вероятности мы будем называть
условными
утверждение о том, что всякое событие,
наступление которого определяется лишь
сколь угодно удалёнными элементами
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
15.
Генеральная совокупность
16.
Выборочное среднее
стр. 4 из 108
последовательности
независимых
случайных
событий
или
случайных
величин, имеет вероятность нуль или
единица
Обширная совокупность, из которой
производится выборка
Величина
17.
Выборочная дисперсия
18.
Мода
19.
Медиана
называется
вариант,
наиболее
часто
встречающийся в данном вариационном
ряду
называется вариант
20.
21.
такой, что
и
Инфинизимальный оператор Характеристика, которая задает полугруппу
операторов, связанную с марковским
семейством, с точностью до бесконечно
малых выше первого порядка
Мартингал
Пусть (Ω, F, P) – вероятнотное
пространство; Ft, t є T є R1 – неубывающее
семейство σ-алгебр. Случайная функция ξt
называется
мартингалом
относительно
семейства σ-алгебр Ft, если а) случайная
функция ξt согласована с семейством σалгебр Ft; б) для любых s, t, s≤t, почти
наверное ξs = M(ξt|Fs)
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
2. ЛЕКЦИИ
Лекция 1. Аксиомы теории вероятностей. Общее вероятностное
пространство
стр. 5 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 6 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 7 из 108
Лекция 2. Теорема Каратеодори и ее роль. Общее определение случайной
величины. Закон распределения и функция распределения
случайной величины
Теорема Каратеодори. Пусть
— единичный круг в
комплексной плоскости С.
Множество всех функций h(z) с положительной в Δ вещественной частью
и нормировкой h(0) = 1, отображающих круг Δ в правую полуплоскость
называется классом Каратеодори и обозначается через C.
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 8 из 108
Каратеодори решил задачу точного описания множества значений
системы коэффициентов
где
на классе C.
Множество значений системы коэффициентов
на
классе C есть замкнутое выпуклое ограниченное множество Kn точек nмерного комплексного евклидова пространства
для которых определители
где
либо все положительны, либо положительны до какого-то номера, начиная с
которого равны нулю. Последний случай отвечает принадлежности точки
границе
тела коэффициентов Kn. Каждой граничной
точке этого тела отвечает только одна функция класса C, имеющая вид
выпуклой линейной комбинации
с коэффициентами αν, причем
и при
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 9 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 10 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 11 из 108
Лекция 3. Независимость случайных величин. Формула композиции
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 12 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 13 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 14 из 108
Лекция 4. Математическое ожидание (среднее значение) случайной
величины как интеграл Лебега по вероятностной мере. Формула
замены переменных в интеграле Лебега. Неравенства, связанные
с математическим ожиданием
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 15 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 16 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 17 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 18 из 108
Лекция 5. Теорема Радона-Никодима. Теорема Фубини. Условные
вероятности и условные математические ожидания относительно
разбиений и -алгебр. Свойства. Теоремы о переходах к пределу
под знаком условных математических ожиданий
Теорема Радона-Никодима. Пусть
— пространство с мерой и
мера μ σ-конечна. Тогда если мера
абсолютно непрерывна
относительно μ
такая что
, то существует измеримая функция
,
где интеграл понимается в смысле Лебега.
Свойства
Пусть
— σ-конечные меры, определённые на одном и том же
измеримом пространстве
Пусть
. Тогда
. Тогда если
и
, то
выполнено λ-почти всюду.
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
Пусть
и
относительно меры μ, то
Пусть
и
стр. 19 из 108
— измеримая функция, интегрируемая
. Тогда
Пусть ν — заряд. Тогда
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 20 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
Будем считать, что дано вероятностное пространство
стр. 21 из 108
. Пусть
— интегрируемая случайная величина, то есть
также
— σ-подалгебра σ-алгебры
. Пусть
.
Условное математическое ожидание относительно σ-алгебры
Случайная величина
называется условным математическим ожиданием
X относительно σ-алгебры , если
измерима относительно .
,
где
- индикатор события A. Условное математическое ожидание
обозначается
.
Пример. Пусть
Положим
. Тогда
- σ-алгебра, и
. Пусть
случайная величина X имеет вид
.
Тогда
Условное математическое ожидание относительно семейства событий
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
Пусть
стр. 22 из 108
- произвольное семейство событий. Тогда условным
математическим ожиданием X относительно
называется
,
где
- минимальная сигма-алгебра, содержащая .
Пример. Пусть
Пусть также C = {1,2,3}. Тогда
. Пусть
случайная величина X имеет вид
.
Тогда
Условное математическое ожидание относительно случайной величины
Пусть
другая случайная величина. Тогда условным
математическим ожиданием X относительно Y называется
,
где σ(Y) - σ-алгебра, порождённая случайной величиной Y.
Другое определение УМО X относительно Y:
Такое определение конструктивно описывает алгоритм нахождения УМО:
- найти математическое ожидание случайной величины X, принимая Y за
константу y;
- затем в полученном выражении y обратно заменить на случайную
величину Y.
Пример:
Лекция 6. Законы «нуля или единицы». Сходимость рядов. Усиленный
закон больших чисел. Закон повторного логарифма
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 23 из 108
Закон нуля или единицы — утверждение в теории вероятностей о том, что
всякое остаточное событие, то есть событие, наступление которого определяется
лишь сколь угодно удалёнными элементами последовательности независимых
случайных событий или случайных величин, имеет вероятность нуль или
единица. Закон открыт Андреем Николаевичем Колмогоровым, поэтому иногда
называется в его честь.
Пусть дано вероятностное пространство
и определённая на нём
последовательность независимых случайных величин
(не обязательно
одинаково распределённых). Пусть
— её остаточная σ-алгебра, то есть
где
есть σ-алгебра, порождённая случайной величиной Xn.
Тогда если
, то
или
.
Другими словами, A — остаточное событие, если оно измеримо
относительно σ-алгебры, порождённой случайными величинами
, но
независимо от любого конечного подмножества этих величин. Согласно
теореме, такое событие имеет вероятность ноль или единица.
Пример
Пусть
Тогда ряд
— последовательность независимых случайных величин.
сходится или расходится почти наверное, поскольку никакое конечное
подмножество членов ряда не может изменить его сходимость. Если же все
члены ряда считать положительными, то событие «ряд сходится к величине,
меньшей 1» не является остаточным, так как оно зависит от величины первого
члена ряда.
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 24 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 25 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 26 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 27 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 28 из 108
Лекция 7. Выборки и техника работы с ними. Выборочные
характеристики. Статистические оценки и общие требования к
ним
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 29 из 108
Пусть выборка задана вариационным рядом
...
, где
...
Выборочным средним называется величина
Выборочная дисперсия
а корень квадратный
из выборочной дисперсии называется выборочным средним квадратическим
отклонением
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 30 из 108
Выборочные начальные и центральные моменты порядка s определяются
соответственно формулами:
Модой называется вариант, наиболее часто встречающийся в данном
вариационном ряду.
Медианой называется вариант
такой, что
и
Медиана обладает тем свойством, что сумма абсолютных величин отклонений
вариантов от медианы меньше, чем от любой другой величины (в том числе и от
выборочной средней).
Важность эмпирических характеристик заключается в том, что они близки
(при достаточно большом ) к соответствующим теоретическим значениям.
Поскольку выборочные характеристики являются случайными величинами, а
теоретические - числа, то близость понимается в смысле сходимости по
вероятностям.
Статистическая оценка - некоторая функция от результатов наблюдений,
предназначенная для статистического оценивания неизвестных характеристик и
параметров распределения вероятностей. Выделяется случай, когда
распределение вероятностей принадлежит какому-либо известному семейству,
зависящему от конечного числа параметров. О методах непосредственной С. о.
функциональных характеристик распределения вероятностей, например,
неизвестной функции распределения или его плотности, см.
"Непараметрические методы математической статистики". Напр., если
результаты наблюдений X1, ..., Xn - независимые случайные величины,
имеющие одно и то же нормальное распределение с неизвестным
математическим ожиданием a, то выборочное среднее - среднее арифметическое
результатов наблюдений ,
и выборочная медиана
Meнабл = x(m), где m=(n+1)/2 при нечетном n,
Meнабл = (x(m)+x(m+1))/2, где m=n/2 при четном n,
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 31 из 108
где X(m) - элементы вариационного ряда, соответствующего результатам
наблюдений X1, ..., Xn, являются С. о. неизвестного параметра a. Такие С. о.,
приводящие в конкретном случае к числовому значению параметра, называются
точечными.
Лекция 8. Несмещенные оценки с минимальной дисперсией. Методы
нахождения оценок. Интервальное оценивание. Понятие
статистической гипотезы. Статистические критерии
Точечные оценки неизвестных параметров распределения. Свойства
точечных оценок.
Оценки параметров распределения бывают точечные и интервальные.
Пусть
– выборка объема “n” (1)
Функцию выборки (1)
называют статистикой.
Предположим, что нужно оценить неизвестный параметр
случайной величины
.
Статистику
параметру
изучаемой
, значения которой близки к оцениваемому
, называют точечной оценкой параметра
.
При
оценка
Оценка
– случайная величина, поэтому мы не можем потребовать, чтобы
оценка стремилась к
Оценка
должна приближаться к параметру
в обычном смысле.
называется состоятельной, если при
смысле стремится к
.
.
– обычная сходимость.
Методы нахождения оценок.
в вероятностном
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 32 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 33 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 34 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 35 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 36 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 37 из 108
Лекция 9. Критерии согласия Колмогорова и К. Пирсона.
Параметрические и непараметрические гипотезы. Сложные
гипотезы. Критерий отношения правдоподобия
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 38 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 39 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 40 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 41 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 42 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 43 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 44 из 108
Критерий Пирсона, или критерий χ² (Хи-квадрат) — наиболее часто
употребляемый критерий для проверки гипотезы о законе распределения. Во
многих практических задачах точный закон распределения неизвестен, то есть
является гипотезой, которая требует статистической проверки.
Обозначим через X исследуемую случайную величину. Пусть требуется
проверить гипотезу H0 о том, что эта случайная величина подчиняется закону
распределения F(x). Для проверки гипотезы произведём выборку, состоящую из
n независимых наблюдений над случайной величиной X. По выборке можно
построить эмпирическое распределение F * (x) исследуемой случайной
величины. Сравнение эмпирического F * (x) и теоретического распределений
производится с помощью специального правила — критерия согласия. Одним из
таких критериев и является критерий Пирсона.
Лекция 10. Основы теории случайных процессов. Основные понятия
общей и корреляционной теории случайных процессов
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 45 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 46 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 47 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 48 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 49 из 108
Лекция 11. Теорема Колмогорова о конечномерных распределениях.
Сходимости. Непрерывности. Производные. Интегралы
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 50 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 51 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 52 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 53 из 108
Лекция 12. Стохастические интегралы от неслучайных функции.
Стационарные (в широком и узком смыслах) процессы. Теорема
Бохнера-Хинчина. Спектральное разложение стационарного
процесса
Стационарный случайный процесс, важный специальный класс случайных
процессов, часто встречающийся в приложениях теории вероятностей к
различным разделам естествознания и техники. Случайный процесс X (t)
называется стационарным, если все его вероятностные характеристики не
меняются с течением времени t (так что, например, распределение вероятностей
величины X (t) при всех t является одним и тем же, а совместное распределение
вероятностей величин X (t1) и X (t2) зависит только от продолжительности
промежутка времени t2—t1, т. е. распределения пар величин {X (t1), X (t2)} и
{X (t1 + s), X (t2 + s)} одинаковы при любых t1, t2 и s и т.д.).
Стационарный случайный процесс с хорошим приближением описывает
многие реальные явления, сопровождающиеся неупорядоченными
флуктуациями. Так, например, пульсации силы тока или напряжения в
электрической цепи (электрический «шум») можно рассматривать как
Стационарный случайный процесс, если цепь эта находится в стационарном
режиме, т. е. если все её макроскопические характеристики и все условия,
вызывающие протекание через неё тока, не меняются во времени; пульсации
скорости в точке турбулентного течения представляют собой Стационарный
случайный процесс, если не меняются общие условия, порождающие
рассматриваемое течение (т. е. течение является установившимся), и т.д. Эти и
другие примеры Стационарный случайный процесс, встречающиеся в физике (в
частности, гео- и астрофизике), механике и технике, стимулировали развитие
исследований в области Стационарный случайный процесс; при этом
существенными оказались также и некоторые обобщения понятия
Стационарный случайный процесс (например, понятия случайного процесса со
стационарными приращениями заданного порядка, обобщённого Стационарный
случайный процесс и однородного случайного поля).
В математической теории Стационарный случайный процесс основную
роль играют моменты распределении вероятностей значений процесса X (t),
являющиеся простейшими числовыми характеристиками этих распределений.
Особенно важны моменты первых двух порядков: среднее значение
Стационарный случайный процесс EX (t) = m — математическое ожидание
случайной величины X (t) и корреляционная функция Стационарный случайный
процесс EX (t1) X (t2)= B (t2—t1) — математическое ожидание произведения X
(t1) X (t2) (просто выражающееся через дисперсию величин X (t) и коэффициент
корреляции между X (t1) и X (t2); см. Корреляция). Во многих математических
исследованиях, посвященных Стационарный случайный процесс, вообще
изучаются только те их свойства, которые полностью определяются одними
лишь характеристиками m и В (t) (т. н. корреляционная теория Стационарный
случайный процесс). В этой связи случайные процессы X (t), имеющие
постоянное среднее значение EX (t) = m и корреляционную функцию В (t2, t1) =
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 54 из 108
EX (t1) X (t2), зависящую только от t2 — t1, часто называют Стационарный
случайный процесс в широком смысле (а более частные случайные процессы,
все характеристики которых не меняются с течением времени, в таком случае
называются Стационарный случайный процесс в узком смысле).
Большое место в математической теории Стационарный случайный
процесс занимают исследования, опирающиеся на разложение случайного
процесса X (t) и его корреляционной функции B (t2 —t1) = В (t) в интеграл
Фурье, или Фурье — Стилтьеса (см. Фурье интеграл). Основную роль при этом
играет теорема Хинчина, согласно которой корреляционная функция
Стационарный случайный процесс X (t) всегда может быть представлена в виде
, (1)
где F (l) — монотонно неубывающая функция l (а интеграл справа — это
интеграл Стилтьеса); если же В (t) достаточно быстро убывает при |t|®¥ (как это
чаще всего и бывает в приложениях при условии, что под X (t) понимается на
самом деле разность X (t) — m), то интеграл в правой части (1) обращается в
обычный интеграл Фурье:
, (2)
где f (l) = F’(l) — неотрицательная функция. Функция F (l) называемая
спектральной функцией Стационарный случайный процесс X (t), а функция F (l)
[в случаях, когда имеет место равенство (2)] — его спектральной плотностью.
Из теоремы Хинчина вытекает также, что сам процесс X (t) допускает
спектральное разложение вида
, (3)
где Z (l) — случайная функция с некоррелированными приращениями, а
интеграл справа понимается как предел в среднем квадратичном
соответствующей последовательности интегральных сумм. Разложение (3) даёт
основание рассматривать любой Стационарный случайный процесс X (t) как
наложение некоррелированных друг с другом гармонических колебаний
различных частот со случайными амплитудами и фазами; при этом спектральная
функция F (l) и спектральная плотность f (l) определяют распределение средней
энергии входящих в состав X (t) гармонических колебаний по спектру частот l (в
связи с чем в прикладных исследованиях функция f (l) часто называется также
энергетическим спектром или спектром мощности Стационарный случайный
процесс X (t)).
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 55 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 56 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 57 из 108
Лекция 13. Линейные преобразования стационарных процессов.
Марковские процессы и марковские семейства
При решении многих практических задач радиотехники приходится
определять характеристики случайного процесса на выходе линейной системы.
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 58 из 108
Линейная система осуществляет линейные операции над входным случайным
процессом. Это значит, что если на вход системы поступает случайный процесс
X(t), то на выходе этот процесс преобразуется в случайный процесс
Y(t) = A [X(t)],
где А – оператор (преобразование), обладающий свойствами:
A [1X1(t) + 2X2(t)] = 1 A [X1(t)] + 2[X2(t)].
___
Здесь  i (i  1, 2 ) постоянные величины.
Примеры линейных операторов
1.
Оператор умножения на неслучайную функцию f(t):
Y(t) = A [X(t)] = f(t) X(t).
Определим математическое ожидание и автокорреляционную функцию
случайного процесса Y(t):
my(t) = M(Y(t)) = M(f(t) X(t)) = f(t) M(X(t)),


R y ( t 1 , t 2 )  M(Y( t 1 ) Y( t 2 ))  f ( t 1 ) f ( t 2 ) R x ( t 1 , t 2 ).
2.
Оператор дифференцирования:
Y( t )  A[X( t )] 
dX( t )
.
dt
Представив производную в виде предела
Y( t )  lim
t  0
X( t  t )  X( t )
t
и применив операцию математического ожидания к правой и левой части
равенства, получаем
m y ( t )  M(Y( t )) 


d X (t)
Y
dt , то
Так как
dm x ( t )
.
dt
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 59 из 108

 



 2 R x (t1 , t 2 )
2
 d X (t1 ) d X (t 2 ) 
R y ( t 1 , t 2 )  M


M
(
X
(
t
)
X
(
t
)

.
1
2
dt 2   t 1 t 2
 t 1 t 2
 dt1


3.
Оператор интегрирования:
t
Y( t )  A[X( t )]   X( t )dt .
0
Представим интеграл в виде интегральной суммы
t
 X( t i ) t i
Y( t )   X( t )dt  lim
i
0
max ti0
и применим к этому равенству операцию математического ожидания. Тогда
имеем
t
m y ( t )  M (Y( t ))   m x ( t )dt .
0
Автокорреляционная функция случайного процесса легко определяется:


t1 t 2
R y ( t 1 , t 2 )  M(Y( t 1 ) Y( t 2 ))  
0
Марковский случайный процесс.


t1 t 2
 M(X(t1 ) X(t 2 )dt1dt 2  
0
0
 R x (t1 , t 2 )dt1dt 2 .
0
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 60 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 61 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 62 из 108
Лекция 14. Различные формы марковского свойства. Операторы,
связанные с марковскими семействами. Однородные марковские семейства
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 63 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 64 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 65 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 66 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 67 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 68 из 108
Лекция 15. Инфинитезимальные операторы и марковские процессы.
Мартингалы. Субмартингалы. Супермартингалы. Связанные с
ними равенства и неравенства. Теоремы сходимости
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 69 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 70 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 71 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 72 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 73 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 74 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
3. ПРАКТИЧЕСКИЕ ЗАНЯТИЯ
Практическое занятие 1. Аксиомы теории вероятностей. Общее
вероятностное пространство
стр. 75 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 76 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 77 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 78 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 79 из 108
Практическое занятие 2. Теорема Каратеодори и ее роль. Общее
определение случайной величины. Закон
распределения и функция распределения
случайной величины
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 80 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 81 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 82 из 108
Практическое занятие 3. Независимость случайных величин. Формула
композиции
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 83 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 84 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 85 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 86 из 108
Практическое занятие 4. Математическое ожидание (среднее значение)
случайной величины как интеграл Лебега по
вероятностной мере. Формула замены переменных
в интеграле Лебега. Неравенства, связанные с
математическим ожиданием
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 87 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 88 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 89 из 108
Практическое занятие 5. Теорема Радона-Никодима. Теорема Фубини.
Условные вероятности и условные математические
ожидания относительно разбиений и -алгебр.
Свойства. Теоремы о переходах к пределу под
знаком условных математических ожиданий
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 90 из 108
Практическое занятие 6. Законы «нуля или единицы». Сходимость рядов.
Усиленный закон больших чисел. Закон
повторного логарифма
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 91 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 92 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 93 из 108
Практическое занятие 7. Выборки и техника работы с ними. Выборочные
характеристики. Статистические оценки и общие
требования к ним
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 94 из 108
Практическое занятие 8. Несмещенные оценки с минимальной дисперсией.
Методы нахождения оценок. Интервальное
оценивание. Понятие статистической
гипотезы. Статистические критерии
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 95 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 96 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 97 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 98 из 108
Практическое занятие 9. Критерии согласия Колмогорова и К. Пирсона.
Параметрические и непараметрические гипотезы.
Сложные гипотезы. Критерий отношения
правдоподобия
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 99 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 100 из 108
Практическое занятие 10. Основы теории случайных процессов. Основные
понятия общей и корреляционной теории
случайных процессов
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 101 из 108
Практическое занятие 11. Теорема Колмогорова о конечномерных
распределениях. Сходимости. Непрерывности.
Производные. Интегралы
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 102 из 108
Практическое занятие 12. Стохастические интегралы от неслучайных
функции. Стационарные (в широком и узком
смыслах) процессы. Теорема Бохнера-Хинчина.
Спектральное разложение стационарного
процесса
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 103 из 108
Практическое занятие 13. Линейные преобразования стационарных
процессов. Марковские процессы и марковские
семейства
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 104 из 108
Практическое занятие 14. Различные формы марковского свойства.
Операторы, связанные с марковскими
семействами. Однородные марковские семейства
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 105 из 108
Практическое занятие 15. Инфинитезимальные операторы и марковские
процессы. Мартингалы. Субмартингалы.
Супермартингалы. Связанные с ними равенства
и неравенства. Теоремы сходимости
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 106 из 108
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 107 из 108
4. САМОСТОЯТЕЛЬНАЯ РАБОТА МАГИСТРАНТОВ
Методические рекомендации
В ходе изучения дисциплины каждый магистрант получит индивидуальные
домашние задания, которые охватывают основные разделы курса и позволяют
выяснить, насколько хорошо усвоены теоретические положения и может ли
магистрант применять их для решения практических задач.
Каждое задание должно быть выполнено на листах формата А4 и
оформлено в соответствии с требованиями, предъявляемыми к оформлению
расчетных работ. Работа должна быть написана разборчивым почерком. На
обложке самостоятельной работы необходимо указать специальность, курс,
группу, фамилию и имя магистранта, номер варианта и дату сдачи работы.
Решение задач следует сопровождать краткими пояснениями, обязательно
приводить все формулы, используемые в задаче. После завершения домашней
работы необходимо сделать ссылку на использованную литературу.
Не откладывайте выполнение задания на последний день перед его сдачей.
К сожалению, некоторые магистранты так и поступают. В этом случае у вас
возникнут затруднения при решении более сложных задач. Если вы будете
придерживаться установленного графика выполнения работы, то во время
проведения СРМП, преподаватель сможет ответить на возникшие у вас вопросы
при решении задач.
Список тем для самостоятельной работы
1 Винеровский процесс.
2 Операторы сдвига.
3 Спектральные представления.
4 Свойства траекторий.
5 Обратное и прямое управления.
6 Уравнения, связанные с дискретными цепями Маркова.
УМКД 042-14.01.20.31/03-2011
Редакция № 4 от 31.08.2011 г. взамен редакции №3 от 27.08.2010 г.
стр. 108 из 108
5. ЛИТЕРАТУРА
Основная
1. Гнеденко Б.В. Курс теории вероятностей. М., 1967.
2. Вентцель Е.С. Теория вероятностей. М., 1964.
3. Гутер Р.С., Овчинский Б.В. Основы теории вероятностей.М.,1967.
4. Феллер В. Введение в теорию вероятностей и ее приложения. М., 1964.
5. Колмогоров А.Н. Основные понятия теории вероятностей. М., 1974.
6. Боровков А.А. Курс теории вероятностей. М., 1972.
7. Мостеллер Ф., Рурке Р., Дж.Томас. Вероятность. М., 1969.
8. Виленкин Н.Я. Комбинаторика. М., 1969.
9. Гмурман В.Е. Теория вероятностей и математическая статистика. М., 1972.
10. Гмурман В.Е. Руководство к решению задач по теории вероятностей и
математической статистике. М., 1975.
Дополнительная литература
1. Володин Б.Г., Ганин М.П. и др. Сборник задач по теории вероятностей и
математической статистике и теории случайных функций. М., 1970.
2. Свешникова А.А. и др.
Сборник задач по теории вероятностей и
математической статистике и теории случайных функций. М., 1970.
3. Агапов Г.И. Задачник по теории вероятностей. М., Наука,1986.
4. Солодовников А.С. Теория вероятностей. учеб. пособие для втузов по
спец.матем. 1999г. – 208. М: Вербум.