использование таблиц сопряженности 2×2 для анализа

6538
УДК 007(063)
ИСПОЛЬЗОВАНИЕ ТАБЛИЦ
СОПРЯЖЕННОСТИ 2×2 ДЛЯ АНАЛИЗА
КОЛИЧЕСТВЕННЫХ ДАННЫХ
ИММУНОЭКОЛОГИЧЕСКОГО
ИССЛЕДОВАНИЯ
Т.В. Феофанова
ФГБУ «ГНЦ Институт иммунологии» ФМБА России
Россия, 115478, Москва, Каширское шоссе, 24, корп. 2.
E-mail: [email protected]
А.И. Мартынов
ФГБУ «ГНЦ Институт иммунологии» ФМБА России
Россия, 115478, Москва, Каширское шоссе, 24, корп. 2.
E-mail: [email protected]
Т.Г. Федоскова
ФГБУ «ГНЦ Институт иммунологии» ФМБА России
Россия, 115478, Москва, Каширское шоссе, 24, корп. 2.
E-mail: [email protected]
Ключевые слова: иммунный статус, производственный фактор, негативный исход,
риск, таблица сопряженности 2×2
Аннотация: Представлена методика категоризации количественных данных иммуноэкологического исследования с целью последующего использования для их анализа таблиц сопряженности 2×2. Показано, что такой подход позволяет получить принципиально
новую информацию о системе, необходимую для планирования сроков и объемов медицинской помощи и профилактических мероприятий.
1. Введение
Таблицы сопряженности являются традиционным инструментом для анализа категоризованных данных, т.е. «данных, весьма специального вида. Такие данные представляют собой числа людей, населенных пунктов или вещей, обладающих различными сочетаниями свойств. Подобные данные появляются сами собой, когда обобщаются
результаты обследований…» [1]. Потребность в таком инструменте, обычно, возникает
тогда, когда исследователь пытается понять особенности поведения выборки некоторых объектов через приписываемые этим объектам свойства. Причем, желание «сопрягать» несколько свойств диктуется, как правило, тем, что поодиночке их уже испытали
и потерпели фиаско. Изначально таблицы сопряженности широко применялись для
анализа результатов социологических, демографических, экономических исследований.
Впоследствии, с возникновением новой дисциплины – клинической эпидемиологии –
четырехпольные таблицы 2×2 стали использовать при оценке эффективности лекарстXII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г.
6539
венных средств в клинических испытаниях, при сравнении исходов при разных воздействиях в исследованиях с параллельным дизайном. В настоящее время, с общим ухудшением экологической обстановки, особенно, с ростом роли техногенных факторов в
загрязнении окружающей среды, возникла необходимость в разработке новых подходов к оценке влияния потенциально вредного воздействия (в том числе и условий труда) на человеческий организм и, в частности, на его иммунную систему. В связи с этим
весьма привлекательной кажется идея использования для этих задач таблицы сопряженности 2×2 с факторами «вредное воздействие» и «неблагоприятный исход». Поскольку многие показатели в этих исследованиях являются количественными данными,
возникает промежуточная задача их предварительной категоризации. В предлагаемой
вашему вниманию работе представлена методика проведения такой категоризации
применительно к показателям иммунного статуса двух групп лиц, различающихся по
условиям труда. Приведены результаты использования таблицы сопряженности 2×2
«вредное воздействие – негативный исход» для анализа этих категоризованных данных.
Обсуждаются преимущества такого подхода.
2. Постановка задачи
2.1. Цель и задачи исследования
Цель исследования: разработка методики, позволяющей использовать таблицы сопряженности 2×2 для анализа количественных данных в задаче оценки влияния условий труда на показатели иммунитета.
Задачи исследования: 1) разработка процедуры категоризации исходных количественных иммунологических данных с целью последующей обработки их с помощью таблиц
сопряженности 2×2; 2) апробация методики на данных, полученных в иммуноэкологическом исследовании.
2.2. Методы и материалы
2.2.1. Таблица сопряженности 2×2. Таблица сопряженности 2×2, предназначена
для проверки гипотезы о независимости двух факторов (признаков), каждый из которых может принимать два значения: есть – нет. Такая таблица, построенная для факторов «вредное воздействие» и «неблагоприятный исход», имеет следующий вид (см.
таблицу 1).
Таблица 1. Таблица сопряженности 2×2 для факторов «вредное воздействие» и
«неблагоприятный исход».
Неблагоприятный исход
есть
нет
Вредное
воздействие
Σ




есть
нет
a
c
ac
b
d
bd
Σ
ab
cd
n
n – число объектов исследования, n  a  b  c  d ;
a – число объектов с неблагоприятным исходом, которые подвергались воздействию;
b – число объектов без неблагоприятного исхода, которые подвергались воздействию;
c – число объектов с неблагоприятным исходом без воздействия;
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г.
6540



d – число объектов без неблагоприятного исхода и без воздействия;
a  b – число объектов в группе с воздействием;
c  d – число объектов в группе без воздействия;
a
 p1 
– доля лиц с неблагоприятным исходом в группе с воздействием;
ab
c
 p2 
– доля лиц с неблагоприятным исходом в группе без воздействия.
cd
Если между вредным воздействием и неблагоприятным исходом нет никакой связи,
то величины p1 и p2 должны быть равны между собой. Равенству p1  p2 соответствует равенство ad  bc . Введем обозначение: V  ad  bc . Тогда условие V  0 является
условием отсутствия связи между двумя факторами. Неравенство V  0 , наоборот, является условием существования положительной связи (или просто связи) между вредным воздействием и неблагоприятным исходом [2]. Проверку статистической гипотезы
о независимости двух факторов проводят с помощью критериев Х2 с поправкой Йейтса,
точного критерия Фишера (ТКФ). Поскольку указанные критерии, обнаруживая значимость связи между признаками, не дают информации о степени этой связи, дополнительно рассчитывают соответствующие меры связи.
2.2.2 Меры связи. Меры связи – это показатели, используемые для оценки связи
двух факторов. В настоящее время при анализе медико-биологических данных принято
использовать понятие риска. Этот показатель называют также вероятностью развития
данного события в группе, относительной частотой события или абсолютным риском
(AR, Absolute Risk). В обозначениях таблицы сопряженности 2×2 выражения для расчета AR в группах с вредным воздействием (AR1) и без такового (AR2) имеют вид:
a
c
; AR 2 
.
AR1 
ab
cd
Другие показатели, характеризующие различные аспекты связи вредного воздействия и негативного исхода, являются комбинациями показателей AR1 и AR2.
Так, изменение абсолютного риска – в нашем случае его повышение (ARI, Absolute
Risk Increase) – связано с дополнительными случаями негативного исхода, обусловленными воздействием фактора риска.
a
c
.
ARI  AR1  AR 2 

ab cd
Показатель ARI называют также добавочным риском (attributable risk) или разностью
рисков (risk difference). При таком способе сравнения фактор риска рассматривается
как причина негативного исхода, а не просто его маркер [3].
Далее, относительный риск (RR, Relative Risk) показывает, во сколько раз относительная частота негативного исхода в группе, получавшей вредное воздействие, выше,
чем в группе, не подвергавшейся этому воздействию:
AR1 a(c  d )
RR 

.
AR 2 c(a  b)
Относительный риск показывает силу связи между воздействием и исходом. Величина
RR – это мера влияния фактора риска, которая важна при изучении анализируемого
признака. [3]. Относительный риск (RR) не несет информации о величине абсолютного
риска. Даже при высоких значениях RR абсолютный риск может быть совсем небольшим, если заболевание редкое. Относительный риск обладает явным недостатком – его
значение может быть одним и тем же для разных исходных абсолютных рисков.
Кроме того, существует относительное изменение абсолютного риска (RRI, Relative
Risk Increase):
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г.
6541
ARI AR1  AR 2

 RR  1 .
AR 2
AR 2
Еще одна относительная характеристика – это отношение шансов (OR, Odds Ratio).
Отдельный шанс равен отношению числа лиц с неблагоприятным исходом к числу лиц
без такового в данной группе. В нашем случае для группы с воздействием это величина
a
c
, для группы без воздействия – . Тогда отношение шансов равно простому отноb
d
шению отдельных шансов:
ad
OR 
.
bc
Величина OR показывает, во сколько раз шанс возникновения негативного исхода в
группе с воздействием выше, чем в группе без воздействия.
Очень важный показатель, отражающий скорость нарастания неблагоприятного
исхода – индекс потенциального вреда (NNH, Number Needed to Harm) – число объектов из контрольной группы, которых надо подвергнуть тестируемому вредному воздействию в течение определенного срока (Т), для того, чтобы получить одно наблюдение с
негативным исходом. В медицине при сравнении двух групп, которые получали разное
лечение, широко применяется показатель, который является его антиподом (NNT,
Number Needed to Treat).
1
.
NNH 
AR1  AR 2
Общим недостатком всех относительных показателей (RR, RRI, OR ,NNH) является
то, что они не могут быть вычислены, если знаменатель показателя равен нулю.
2.2.3. Доверительные интервалы. Расчет доверительных интервалов (ДИ) необходим по следующим причинам: Во-первых, оценки мер связи, приведенных выше, являются точечными и не имеют прогностической ценности. Поэтому интервал прогнозируемых значений должен быть вычислен как 95%-й доверительный интервал каждого
показателя. Во-вторых, для некоторых мер связи только с помощью доверительных интервалов можно получить информацию об их статистической значимости.
Формулы расчета ДИ для большинства показателей (абсолютный риск, изменение абсолютного риска, относительный риск, отношение шансов) представлены в [4]. Формулы расчета ДИ для относительного изменения абсолютного риска взяты из [5], ДИ для
NNH получены из [6].
2.2.4. Материал для апробации методики. Апробацию методики проводили по
данным обследования 78 мужчин, распределенных в две группы по принадлежности к
работе в условиях контакта с производственным фактором (ПФ). В группу 1 вошли 46
человек в возрасте от 24 до 58 лет (медиана возраста – 40 лет), работающих в контакте
с ПФ. В группу 2 вошли 32 человека в возрасте от 27 до 53 лет (медиана возраста – 42,5
года), не работающих на данном предприятии и не имеющих контакта с ПФ. Различие
по возрасту между группами 1 и 2 статистически не значимо (pM=0,4, критерий МаннУитни).
Для выявления возможных изменений в иммунной системе под действием ПФ были изучены 11 показателей иммунного статуса (ПИС) стандартной иммунограммы.
Традиционное сравнение двух групп по ПИС проводили по критерию Манн-Уитни с
pM<0,05.
RRI 
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г.
6542
3. Результаты
3.1. Категоризация данных
Таблицы сопряженности применяют для анализа данных, представленных в виде
частот наблюдений, попавших в некоторые категории или классы. Если исходные данные являются количественными непрерывными (например, результаты лабораторных, в
частности, иммунологических исследований), они должны быть предварительно разделены на категории. В нашем примере, очевидно, категориями фактора «вредное воздействие» являются наличие (отсутствие) контакта с ПФ. Адекватная категоризация
исходных количественных данных, по которым мы должны оценивать негативный исход – основная задача, предшествующая применению таблицы сопряженности 2×2 для
расчетов. Предлагаемый нами способ категоризации основан на том, что общим для
большинства лабораторных показателей, изучаемых в медико-биологических исследованиях, является наличие диапазона нормальных значений с двумя границами (нижней
НГ и верхней ВГ) и двух областей – с пониженными и повышенными значениями показателей. Отождествим сниженные или повышенные значения ПИС с неблагоприятным
исходом. Такой поход можно считать разумным, поскольку и диагностика и мониторинг состояния живого объекта в процессе лечения основаны на определении расположения значения показателя относительно нижней и верхней границы интервала нормы.
Такая категоризация приводит к появлению трех групп значений показателей: сниженные, нормальные и повышенные значения. Поскольку при использовании таблиц сопряженности 2×2 данные должны быть разделены по каждому фактору только на два
класса, то оценка связи между воздействием и исходом для категоризованных таким
способом данных проводится в два этапа.
На первом этапе таблица сопряженности включает частоты сниженных и нормальных значений анализируемого показателя для двух групп с наличием и отсутствием
контакта с ПФ. Негативным исходом считают сниженное значение показателя. Оценивают связь между наличием контакта с ПФ и наличием сниженных значений ПИС. На
втором этапе в таблицу сопряженности входят частоты повышенных и нормальных
значений анализируемого показателя для двух групп с наличием и отсутствием контакта с ПФ. Негативным исходом считают повышенное значение показателя. Оценивают
связь между наличием контакта с ПФ и наличием повышенных значений ПИС.
После формирования групп «сниженные значения + норма» и «повышенные значения + норма» необходимо провести повторное сравнение их по возрасту в соответствующих группах 1 и 2.
Особенности выбора диапазона нормы подробно рассмотрены в [4].
Таким образом, определена последовательность действий при оценке связи контакта с ПФ и сниженного (повышенного) значения ПИС. Сначала проводят категоризацию
данных и формируют таблицы сопряженности. Далее следует расчет показателей, характеризующих возможное вредное воздействие ПФ на иммунную систему. В заключение определяют статистическую значимость изучаемой связи путем использования
соответствующих статистических критериев или путем вычисления доверительных интервалов для показателей, характеризующих реакцию системы на воздействие.
3.2. Апробация методики
Сравнение групп, вошедших в таблицы сопряженности 2×2, по возрастам показало
отсутствие статистически значимых различий (0,26<pM<0,63).
Результаты расчетов мер связи и оценки их статистической значимости (pТКФ и ДИ)
приведены в таблице 2 вместе с результатами сравнения групп 1 и 2 по критерию
Манн-Уитни (pM).
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г.
6543
Таблица 2. Сводные результаты оценки влияния ПФ на попадание значения ПИС в
группу сниженных (повышенных) значений. Результаты получены при использовании
критерия Манн-Уитни и таблицы сопряженности 2×2.
№
1
гр 1
2
гр 2
3
pM
4
V
5
pТКФ
6
1
↓
N
<0,001
598
<0,001
2
N
N
<0,001
516
<0,001
3
N
N
<0,001
486
<0,001
4
N
N
<0,001
242
0,025
5
N
N
0,01
364
0,019
6
↑
N
<0,001
652
<0,001
7
N
N
<0,001
390
<0,001
8
↑
N
<0,001
813
<0,001
ARI
7
0,50 (↓)
0,36;0,64
0,35 (↓)
0,19;0,52
0,40 (↓)
0,21;0,59
0,21 (↓)
0,06;0,36
0,25 (↓)
0,07;0,43
0,44 (↑)
0,25;0,64
0,33 (↑)
0,19;0,46
0,69 (↑)
0,55;0,84
RR
8
RRI
9
OR
10
6,6
1,7;26,4
4,6
1,5;13,9
6,5
0,9;47,5
3,0
1,1;8,1
3,3
1,6;7,2
5,6
0,7;25,4
3,6
0,5;12,9
5,5
-0,1;46,5
2,0
0,1;7,1
2,3
0,6;6,2
10,6
2,2;49,6
8,4
2,2;31,8
8,3
1,01;68,9
4,3
1,3;14,2
7,4
2,5;21,6
19,1
2,8;131,4
18,1
1,8;130,4
68,8
8,4;564,3
NNH
11
2
2;3
3
2;5
3
2;5
5
3;16
4
2;14
2
2;4
3
2;5
1,4
1;2
T
12
3
3;4
3
3;4
3
3;4
3
2;6
3
3;4
3
3;4
3
3;4
3
3;4
В таблице 2 в первом столбце находятся номера ПИС, по которым при сравнении
групп по критерию Манн-Уитни были выявлены статистически значимые различия с
p<0,05. В столбцах 2 и 3 показано, в какой области значений (здесь и далее сниженные
значения обозначены ↓, повышенные – ↑, нормальные – N) находится медиана значения
данного показателя для каждой группы. В столбце 4 приведены значения величины p,
полученные при использовании критерия Манн-Уитни (pM). В столбце 5 находятся
значения показателя V, в столбце 6 – значения величины p, полученные при использовании ТКФ. В столбцах 7-11 приведены оценки соответствующих мер связи, в столбце
12 – время действия ПФ (Т, годы). Время Т является дополнительным параметром к
показателю NNH.
В таблице 2 результаты расчета мер связи, полученные для каждого ПИС, располагаются в двух строках таблицы. В верхней строке находится значение меры связи, полученное в данном исследовании (точечная оценка), в нижней – значения 95% доверительного интервала этой точечной оценки.
Условия, наложенные на значения ДИ для получения статистически значимых различий между группами 1 и 2: 1) ДИ для ARI не должен включать ноль; 2) ДИ для относительных мер связи RR, RRI, OR не должны включать единицу.
В столбце 7 в первой строке для каждого ПИС рядом с величиной показателя ARI в
скобках стрелкой указана область значений ПИС, в которой ARI статистически значимо отличается от нуля (т.е. AR1>AR2).
Приведем трактовку полученных результатов (на примере показателя № 2, сниженные значения).
При оценке связи между наличием производственного фактора и выявлением в
группе работающих на производстве лиц со сниженными значениями показателя № 2
выявлено увеличение абсолютного риска в группе 1 по сравнению с группой 2 (показатель ARI) на 0,35. С учетом ДИ показатель ARI может изменяться от 0,36 до 0,64. Отношение шансов (показатель OR) для групп 1 и 2 составляет 10,6, что означает следующее: переход обследованного из группы 2 в группу 1 в 10,6 раза повышает шанс
выявить у него впоследствии сниженное значение показателя № 2 по сравнению с исXII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г.
6544
ходным значением, соответствующим этому показателю в группе 2. С учетом ДИ значение показателя OR может принимать значения от 2,2 до 49,6. Аналогичным образом
трактуются показатели относительного риска (RR), относительного изменения абсолютного риска (RRI). Особое внимание следует уделить показателю NNH – индексу
потенциального вреда. Его величина для показателя № 2 равна трем. Это означает, что
из трех человек, перешедших из группы 2 в группу 1 (с учетом ДИ – от двух до пяти
человек) и проработавших на предприятии 3 года (с учетом ДИ – от трех до четырех
лет) у одного обследованного, по завершении этого срока, будет выявлено сниженное
значение показателя № 2.
В целом, при апробации методики по данным иммуноэкологического исследования, установлена связь между действием ПФ и изменениями иммунного статуса у работников производства. Эти изменения характеризуются снижением значений показателей №№ 1, 2, 3, 4, 5 и повышением значений показателей № 6, 7, 8. Все выявленные
изменения статистически значимы.
Показано, что действие ПФ сильное, поскольку при коротком времени экспозиции
(средний стаж работы на предприятии 3 года) оно характеризуется: а) высоким дополнительным риском (ARI, диапазон изменений от 0.21 для показателя № 4 до 0.69 для
показателя № 8); б) высоким относительным риском (RR, диапазон от 3.02 для показателя № 5 до 19.1 для показателя № 8) и высоким значением показателя отношения шансов (OR, диапазон изменений от 4.25 для показателя № 5 до 68.8 для показателя № 8)
при выявлении лиц с сниженными (повышенными) показателями иммунитета в группе
работающих по сравнению с неработающими. Значения индекса потенциального вреда,
наоборот, принимают небольшие значения (NNH: 1 – для показателя № 8, 2 – для №№
1 и 6, 3 – для №№ 2, 3, 7, 4 и 5 – для №№ 5 и 4), что соответствует большой скорости
возникновения негативных исходов.
4. Обсуждение
Начнем обсуждение со сравнения результатов использования критерия МаннУитни и таблиц сопряженности 2×2 для определения влияния ПФ на ПИС в группе 1.
Оба способа выявили одни и те же показатели числом восемь, различающиеся статистически значимо с p<0,05 в группах 1 и 2. Значения p представлены в таблице 2 в
столбцах 4 (для Манн-Уитни) и 6 (для ТКФ). C помощью критерия Манн-Уитни проверяли нулевую гипотезу о принадлежности двух выборок одной генеральной совокупности. Результаты представляли в виде медиан значений ПИС для групп 1 и 2. С помощью ТКФ проверяли гипотезу о равенстве абсолютных рисков AR1 и AR2 иметь пониженное (повышенное) значение ПИС в группах 1 и 2. При этом, при использовании
Манн-Уитни в группе 1 (с ПФ) медианы только трех показателей из восьми находятся
вне границ интервала нормальных значений. Медиана показателя № 1 лежит в области
сниженных значений, медианы показателей №№ 6 и 8 – в области повышенных значений показателей. Медианы пяти остальных показателей в группе 1 находятся внутри
диапазона нормальных значений. В группе 2 медианы всех восьми ПИС лежат внутри
диапазона нормы. При необходимости можно сделать вывод, что воздействие ПФ выявлено только для трех ПИС и заключается в снижении значения показателя № 1 и росте значений показателей № 6 и № 8. По остальным пяти показателям, даже при наличии
статистически значимого различия, можно утверждать, что негативное влияние ПФ
подтверждено не полностью, поскольку групповые характеристики (медианы) ПИС в
группе 1 не выходят за границы нормы.
Для ТКФ – наоборот. Во всех случаях, когда по Манн-Уитни было выявлено разлиXII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г.
6545
чие по фактору вредного воздействия, по ТКФ дополнительно был определен и характер изменений в иммунной системе – увеличение абсолютных рисков попадания значения показателя в область сниженных (повышенных) значений в присутствии ПФ
(AR1>AR2, ARI>0). То есть, во всех случаях связь действия ПФ и конкретного негативного исхода (попадания в область сниженных/повышенных значений ПИС) была
подтверждена статистически.
Дополнительные меры связи, располагающиеся в столбцах 7-11, являются относительными характеристиками и состоят из комбинаций абсолютных рисков AR1 и AR2.
Они позволяют получить принципиально новую информацию о системе, как то: оценить степень риска появления изменений со стороны иммунной системы при поступлении на работу на конкретный участок производства (через относительный риск или отношение шансов) и прогнозировать размеры групп риска с измененными показателями
иммунной системы после определенного периода работы (через показатель NNH). Эти
показатели необходимы при планировании объемов медицинской помощи и профилактических мероприятий. Получение такой информации стало возможно только благодаря
категоризации исходных количественных данных и применению для их анализа таблицы сопряженности 2×2.
Рассмотренная методика может быть использована в однотипной задаче по анализу
изменений в системе иммунитета под действием условий проживания. В этом случае
вредный фактор может иметь смысл загрязненной территории и будет принимать два
значения: есть загрязнение – нет загрязнения.
5. Заключение
Разработана методика, позволяющая использовать таблицы сопряженности 2×2 для
анализа количественных данных в задаче оценки влияния условий труда на показатели
иммунитета. Методика включает два этапа: 1) категоризацию количественных данных
и формирование таблиц сопряженности 2×2; 2) расчет рисков и мер связи с последующей оценкой различий между группами по этим показателям с помощью статистических критериев или доверительных интервалов.
Данный подход позволяет, во-первых, определить группу информативных параметров иммунной системы, изменения которых связаны с работой в определенных условиях производства, установить направленность этих изменений (увеличение или
снижение); во-вторых, оценить степень риска появления изменений со стороны иммунной системы при поступлении на работу на конкретный участок производства; втретьих, прогнозировать размеры групп риска с измененными показателями иммунной
системы после определенного периода работы на производстве.
Предложенная методика может быть рекомендована для анализа вредного воздействия на медико-биологические системы, количественные характеристики которых могут быть категоризованы рассмотренным выше способом.
Список литературы
1.
2.
3.
4.
5.
6.
Аптон Г. Анализ таблиц сопряженности. М.: Финансы и статистика, 1982. 143 с.
Кендалл М.Дж., Стьюарт А. Статистические выводы и связи. М.: Наука, 1973. 899 с.
Флетчер Р., Флетчер С., Вагнер Э. Клиническая эпидемиология. Основы доказательной медицины.
М.: Медиа Сфера, 2004. 352 с.
Реброва О.Ю. Cтатистический анализ медицинских данных. Применение пакета прикладных программ STATISTICA. М.: Медиа Сфера, 2006. 312 с.
http://www.statsdirect.co.uk/help/miscellaneous/nnt.htm.
http://www.rusmedserv.com/problreprod/2000/4/article_211.html.
XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ
ВСПУ-2014
Москва 16-19 июня 2014 г.