Обработка наблюдений

Глава 5
ОБРАБОТКА НАБЛЮДЕНИЙ
5.1. Прямые и косвенные наблюдения
Наблюдения называют прямыми в случае, когда результатом этих наблюдений или измерений является сама искомая величина. В случае, когда наблюдаемые величины являются исходными данными для вычисления других параметров, зависящих от этих величин, то к таким наблюдениям применяют термин косвенные (посредственные) наблюдения.
Однако, между прямыми и косвенными наблюдениями нет четкой границы. Приведем простой пример. Допустим, что нам нужно знать площадь прямоугольника. В нашем распоряжении есть линейка с нанесенной на ней линейной шкалой. Мы можем с помощью этой линейки измерить стороны и вычислить искомую площадь. Результатом измерений является численное значение площади. Будут ли измерения прямыми,
если для вычисления площади приходится перемножать данные измерения? Хочется сказать, что нет, так
как в данном случае непосредственно площадь не измеряется, а вычисляется. Если бы измерения были вычислены с помощью планиметра, то такие измерения были бы прямыми.
С другой стороны, длина отрезка прямой определяется как разность двух отсчетов по линейке. Можно ли такую математическую операцию как вычитание не принимать во внимание и считать измерения сторон прямыми, а перемножение дает результат косвенных наблюдений? Условность границы между понятиями прямые и косвенные наблюдения очевидны. Автор известного учебника по математической обработке
астрономических наблюдений Б.М.Щиголев замечает: “прямое измерение нужных величин заменяется измерением других величин... Поэтому говорят иногда, что производятся косвенные или посредственные измерения; эту терминологию, однако, нельзя считать удачной.” [Б.М.Щиголев “Математическая обработка
наблюдений”, М.,1969]
По-видимому, прямыми измерениями можно назвать такие измерения, которые можно неоднократно
повторить, и результаты которых могут быть использованы при уравнительных вычислениях (в методе
наименьших квадратов) других величин, функционально связанных с результати прямых измерений. Повторение измерений необходимо для того, чтобы образовать ряд наблюдений для применения статистических
методов обработки. Например, для вычисления элементов орбит планет или астероидов требуются наблюдения их положений в виде рядов  и  - координат на небесной сфере. По данным этих наблюдений, которых
должно быть заведомо больше определяемых элементов орбит, организуют уравнительные вычисления поправок к элементам, в результате получим посредственные наблюдения элементов. Однако, для определения
 и  необходимо измерить линейные расстояния между изображениями выбранного нами небесного тела и
опорных звезд. Только после выполнения уравнительных вычислений, снижающих влияние случайных
ошибок измерений, коррекции за неточность установки астронегатива в измерительном инструменте и влияние оптических искажений получают искомые координаты. следовательно, в задаче определения  и 
(наблюдения астероидов, комет и т.п.) прямые измерения дают лишь взаимые расстояния между изображениями небесного тела и опорных звезд, а косвенные измерения дают  и . В другой задаче - задаче определения орбит - прямыми наблюдениями можно считать координаты  и , а косвенными - элементы орбиты.
Некоторая условность в разделении этих двух типов наблюдений (измерений) никак не мешает применению статистических методов оценивания искомых величин, т.к. наблюдения, которые называют косвенными или посредственными, объединяют оба вида измерений, а прямые измерения можно считать частным случаем косвенных.
5.2. Статистические методы оценивания
Оцениванием называют процедуру определения оценки - приближенной величины - искомого параметра. Для оценивания, например, параметра  по ряду наблюдений x1 , x2 , x3 ,..., xn необходимо выполнить
вычисления, используя эти наблюдательные данные. Запишем эту процедуру следующим образом:
ˆ   x1 , x2 ,..., xn  .
Функцию  x1 , x2 ,..., xn  называют статистикой, крышка над -обозначением параметра будет обозначать
оценку.
Оценку называют несмещенной, если она не содержит систематической ошибки, т.е.
  ˆ , где
треугольные скобки, как и прежде, обозначают осреднение по “бесконечному ансамблю реализаций”.
Как правило, несмещенная оценка не единственная, их может быть бесконечное множество. Возникает задача выбора наилучшей из этих оценок. Кажется естественным отобрать ту из них, которая имеет минимальную дисперсию погрешности
2
 2   ˆ      min .
Вычисление этого условия с учетом условия несмещенности часто приводит к однозначности решения.
65
5.2.1. Линейная оценка параметра
Рассмотрим следующую задачу. Требуется определить наилучшую в средне-квадратическом смысле
оценку параметра Х, значения которого заданы рядом прямых наблюдений x1 , x2 , x3 ,..., xn . Линейной оценкой параметр Х будет равен линейной статистике
xˆ  w1 x1  w2 x 2  ...  wn x n .
xˆ  X ,
Эта оценка будет несмещенной, если
w1 x1  w2 x 2  ...  wn x n  X .
другими слова, если
Поскольку wk , k  1, n - точные константы, их можно вынести за скобки осреднения
w1 x1  w2 x 2  ...  wn x n  X .
Примем гипотезу о случайности погрешностей измерений. Если x1 , x 2 , x3 ,..., x n содержат лишь случайную
ошибку, то средние их значения равны точному, т.е.
x k  X , k  1, n .
Теперь условие несмещенности принимает вид
w1  w2  ...  wn   X  X ,
или при Х0 w1  w2 ...wn   1.
Это и есть условие несмещенности линейной оценки. Таким образом, имеем одно уравнение для определения n неизвестных. Число решений - бесконечно, вернее  n1 , где (n-1) - число степеней свободы выбора
коэффициентов wk , k  1, n . Действительно, если (n-1) коэффициентам w1 , w2 ,..., wn1 задать любые произвольные значения, то последний коэффициент определится однозначно
wn  1  ( w1 , w2 ,..., wn 1 ) .
Воспользуемся теперь вторым условием - минимума дисперсии погрешности оценки. Рассмотрим
два случая.
1) Наблюдения независимы и равноточны. В этом случае дисперсии ошибок всех наблюдений равны
 x12    x22   ...   xn2    2 .
Для независимых наблюдений дисперсия суммы равна сумме дисперсий. Поэтому
 x2ˆ  xˆ  X 2   w12 x1  X 2   w22 x 2  X 2   ...  wn2 xn  X 2  .
n
Вследствие равноточности имеем
 x2ˆ  w12 2  w22 2  ...  wn2 2   2  wk2 .
k 1
Теперь нам нужно найти минимум функции  x2ˆ (w1 , w2 ,..., wn ) при условии, что
n
w
k
 1 . Поступим следую-
k 1
щим образом. Определим wn через остальные коэффициенты и подставим в выражение для дисперсии  x̂2 :
wn  1 
n 1
w
j
,
j 1
 
2
xˆ
2
n 1
2

w 2j
j 1
 n1 
   1  w j  .


j 1


2

Теперь задачу можно решить как задачу поиска абсолютного минимума:
n 1
Отсюда
wk  1   w j  wn ,
 n1 
 x2ˆ
 2 2 wk  2 2 1   w j   0 .


wk
j 1


k  1, n  1 ,
j 1
Итак, все коэффициенты равны одному и тому же числу. Легко понять, что это число 1/n. Таким образом,
1
xˆ  x1  x2  ...  xn  .
n
Вывод: арифметическое среднее есть несмещенная и наилучшая в средне-квадратическом смысле оценка
величины, полученная по равноточным и независимым наблюдениям.
2) Наблюдения независимы и неравноточны. Теперь будем считать, что каждое наблюдение xk содержит погрешности, дисперсии которых не обязательно равны. Пусть  12 , 22 ,..., n2 соответственно дисперсии погрешностей x1 , x2 ,..., xn . Теперь дисперсия линейной оценки будет равна
 x2ˆ  w12 12  w22 22  ...  wn2 n2
66
n
w
Определим минимум  x̂2 при условии, что
j
 1 . Поступим по аналогии с предыдущими рас-
j 1
суждениями:
wn  1 
n 1
w
,
j
j 1
2
 n1 
 
    1  w j  ,


j 1
j 1


2
n

1


 xˆ
 2 k2 wk  2 n2 1  w j   0 .


wk
j 1


n 1
2
xˆ

w 2j
2
j

2
n

Поскольку wn  1 
n 1
w
j
, то получим уравнение wk  k2  wn n2 , k  1,..., n  1 . Полученное равенство гово-
j 1
рит о том, что все произведения вида wk  k2 равны между собой и не зависят от индекса к. Кроме того, сумма
wk должна равняться единице.
Пусть wk  k2  w” ”2 , где w о - некоторый нормировочный множитель, а  ”2 - константа, имеющая
размерность дисперсии. Отсюда
wk  w0
n

wk  w0
k 1
Обозначим
pk 

,

2
0
2
k
p
p
k
.
 02
,
 k2
 02
1.

2
k 1  k
n
Теперь определим w0 : w0  1 p .
Наилучшая линейная оценка в этом случае равна
xˆ 
1
p
n

k 1
pk xk ,
где
Итак,
p

wk  p k p .
p k , pk 
 02
.
 k2
Величины p k носят название веса наблюдения, ибо формула для определения x̂ аналогична той, которую
применяют для вычисления центра тяжести, если “вес” точки с координатой x k будет равен p k . Постоянная
 02 может быть произвольной, так как ее выбор не влияет на оценку x̂ . Ее можно также интерпретировать
как дисперсию наблюдения, вес которому мы приписываем равным единице (“дисперсия единицы веса”).
5.2.2. Дисперсия ошибок линейных оценок
Получим теперь формулы для дисперсии ошибок линейных оценок. Снова возьмем два варианта: будем считать, что все наблюдения независимы, но они либо равноточны (1), либо неравноточны (2).
1. Поскольку арифметическое среднее - оценка равноточных наблюдений - является несмещенной, то
погрешность арифметического среднего равна арифметическому среднему погрешности измерений.
1
 x  x1  x 2  ...  x n  ,
n
а дисперсия ошибки среднего арифметического равна
 2
1 
 x2ˆ  2  2
2
...

2  
.
n 
n
 n
Таким образом, с увеличением числа наблюдений искомого параметра точность оценки увеличивается, дисперсия ошибки арифметического среднего убывает обратно пропорционально n.
Стандартное отклонение ошибки арифметического среднего  x̂2 убывает как квадратный корень из n:

 x2ˆ 
.
n
Отсюда вывод: для того, чтобы увеличить точность оценки на один порядок (в 10 раз), нужно увеличить
объем данных на два порядка (в 100 раз) и т.д. Возникает естественно вопрос, можно ли таким способом
увеличивать точность беспредельно? Математика на этот вопрос дает утвердительный ответ. Да, можно измерять отрезки прямой с точностью до одного микрометра линейкой с миллиметровыми делениями. Для
этого нужно выполнить 1 000 000 измерений, при этом измерение должно содержать только строго случай67
ные погрешности. Последнее условие, конечно, не выполняется, так как полное отсутствие систематических
погрешностей на практике обеспечить нельзя.
2. Для оценки параметра Х при неравноточных измерениях мы имеем формулу
p1 x1  p 2 x 2  ...  p n x n
 02
,
где
pk  2 , k  1, n .
xˆ 
p1  p 2  ...  p n
k
Обозначая для краткости p  p1  p 2  ...  p n , получим ошибку
p
p
p
xˆ  1 x1  2 x2  ...  n x n .
p
p
p
Все ошибки xk , k  1, n по условию независимы, поэтому
2
2
2
p 
p 
p 
   1   12   2   22  ...   n   n2 .
 p
 p 
 p 
p
2
2
p
p
 x2ˆ  12  02  22  02  ...  n2  02  02  p1  p 2  ...  p n   0 .
Но
pk  k2   02 , k  1, n , отсюда
p
p
p
p
p
Итак, дисперсия ошибки среднего весового равна “дисперсии единицы веса”, поделенная на сумму весов
наблюдений.
2
xˆ
 x2ˆ 
 02
.
p
Учитывая, что дисперсия ошибки каждого наблюдения равна дисперсии единицы веса, деленной на вес этого
2
наблюдения (см. 5.2.1),  k2  0 , делаем вывод, что вес среднего весового равен сумме весов наблюдений.
pk
5.2.3. Оценка дисперсии единицы веса по данным наблюдений. Средняя квадратическая ошибка.
В разделе 5.2.1 мы показали, что произвольно взятая константа  02 есть не что иное, как дисперсия
ошибки наблюдения, которому мы приписываем вес единица. Произвольность этой константы определяется
тем, что мы произвольно приписываем вес единица какому-либо реальному или воображаемому наблюдению. В случае равноточных наблюдений обычно вес, равный единице, дают каждому наблюдению. В этом
случае  02 не может быть произвольной величиной. Эта величина не может быть произвольной величиной и
в том случае, когда вес наблюдения известен и выбран обратно пропорционально дисперсии ошибки.
Пусть x1 , x2 ,..., xn - исходные данные измерений, p1 , p 2 ,..., p n - их веса. Дисперсии ошибок отдельных наблюдений будем считать неизвестными. По определению весов имеем
 02  p1 12  p2 22  ...  pn n2 .
Очевидно, справедливо равенство
n 02  p1 12  p 2 22  ...  p n n2  
n
 p x
k
 X .
2
k
k 1
1 n
2
 02  
p k xk  X   .
Следовательно,
n k 1
Таким образом, дисперсия единицы веса равна среднему значению арифметического среднего произведений весов на квадраты погрешностей. Операция, обозначенная треугольными скобками, требует бесконечного повторения набора наблюдений x1 , x2 ,..., xn и является лишь теоретической процедурой. Поэтому в качестве оценки

дисперсии единицы веса можно принять величину ̂ 02 , полученную из единственного ряда наблюдений
ˆ 02 
1
n
n
 p x
k
 X .
2
k
k 1
Как следует из приведенного выше равенства для  02 , эта оценка несмещенная
ˆ 02    02 .
Для вычисления оценки дисперсии по полученной формуле требуется знать точное значение параметра Х.
На практике чаще всего это значение нам неизвестно. Поэтому заменим Х на его оценку
1 n
xˆ 
pk xk
p k 1

ˆ 02 
и проверим полученное равенство на несмещенность
68
1
n
 p x
k
 xˆ  
2
k
1
n
 p x
k
 xˆ  .
2
k
Здесь и далее суммирование ведется по к от 1 до n. Для краткости пределы суммирования мы будем опускать.
1
1
1
ˆ 02  
p k  (xk  xˆ ) 2  
p k  xk2  2xk xˆ  xˆ 2  
p k  k2  p k  x2ˆ  2 p k  xk xˆ .
n
n
n
n
1
1 k
 xk xˆ   xk
p j x j  
p j  x j xk  .
Остается определить ковариацию:
p j 1
p j 1






Вследствие независимости измерений ковариации ошибок с разными индексами равны нулю, а с одинаковыми - дисперсии:

1
pk  k2  0 .
p
p
2
 xk xˆ 
 02

p
1 
2
 p k  k2  k  02  p k  02  .
n 
p
p
p

Таким образом, замена точного значения параметра Х на приближенное x̂ при вычислении оценки дисперсии приводит к тому, что эта оценка оказалась смещенной. Умножая ее на n (n  1) , получим несмещенную
оценку дисперсии единицы веса
1
2
ˆ 02 
pk xk  xˆ  .
n 1
Учитывая, что  x2ˆ 
, получим ˆ 02  


Число в знаменателе (n-1) указывает на то, что наша статистика, принятая для вычисления оценки диспер2
сии,  x1 , x2 ,..., xn  
pk xk  xˆ  n  1 имеет (n-1) степеней свободы. Одна степень свободы из n потра-

чена на то, чтобы образовать оценку x̂ .
При равноточных наблюдениях все дисперсии ошибок, а следовательно, и веса наблюдений равны.
Пусть p k  1 , тогда p 
pk  n . Получим

xˆ  x 
1
n
x
k
,
1
xk  x2 .
n 1
Оценку стандартного отклонения для ошибок называют средней квадратической ошибкой (СКО). Для этой величины, полученной a posteriory, т.е. на основании опыта, мы будем применять обозначение . Таким образом,

ˆ 2 
0 
0 
 x
 x
2
k
для равноточных наблюдений,
n 1
 p x
k
 xˆ 
2
k
для неравноточных наблюдений.
n 1
В случае, когда величина Х известна, то в знаменателях приведенных формул (n-1) нужно заменить на n.
5.2.4. О выборе весов
Правильный выбор весов наблюдений гарантирует корректность алгоритма определения “наилучшего” значения параметра и его СКО. Однако, величины дисперсий погрешностей каждого отдельного наблюдения, как правило, неизвестны. Тем не менее, в отдельных случаях веса наблюдениям можно назначить
совершенно строго.
Например, пусть x1 получено как арифметическое среднее из n1 равноточных измерений, x2 - из n2
таких же измерений и т.д. Тогда, согласно изложенному ранее дисперсии ошибок x1 , x2 ,... будут соответственно в n1 , n2 ,... раз меньше, чем дисперсия одиночного измерения. Если функция ошибок одиночного
измерения равна  02 , то
 12 
 02
,  22 
 02
,... .
n1
n2
Легко видеть, что в качестве весов можно взять число рядовых измерений, из которых получили отдельное значение x k . поскольку веса можно брать с точностью до постоянного множителя, то
p1  n1,
p2  n2,
.....
Второй способ - менее надежный. Он основан на замене дисперсии ошибки n-го наблюдения  k2 на
квадрат его средней квадратической ошибки  k2 .
Недостаток этого метода заключается в том, что квадраты СКО могут значительно отличаться от
69
дисперсий, так как СКО вычисляют, как правило, на основании внутренней сходимости данных при их сравнительно небольшом количестве. Тем не менее, когда ничего другого не остается, полагают
p1  1-2,
p2  2-2,
.....
У астрономов существуют и субъективные методы назначения весов. Например, если какое-то
наблюдение всем не понравилось (этому должны быть объективные причины!), вы можете назначить вес 1/2,
когда как остальным наблюдениям - вес 1. Возможна также субъективная оценка качества наблюдений по
10-бальной шкале, что также можно использовать при назначении весов.
Приведем пример комплексного подхода при выборе весов. Задача состояла в том, чтобы определить
собственное движение звезд относительно внегалактических туманностей. Собственное движение определяется как изменение координат звезды за промежуток времени между двумя эпохами наблюдений. В одной из
работ, посвященных этой задаче, веса были выбраны следующим образом:
pi  T j2
m

k
,
k 1
где T j - разность эпох, m - число внегалактических туманностей,  k - качество изображения туманности,
оцененное наблюдателем по 10-бальной шкале. Здесь множитель T j2 указывает на то, что дисперсия ошибки
собственного движения обратно пропорциональна квадрату разности эпох. В случае одинакового качества
изображений,  k   0 , сумма
m

пропорциональна m - числу пар координат, из которых вычитается соб-
k
k 1
ственное движение как среднее арифметическое. Однако, при  k   0 больший вес придается таким парам
измерений, чье изображение туманности более звездообразное.
5.2.5. Обработка рядов равноточных и неравноточных наблюдений
Проиллюстрируем применение полученных формул на примерах обработки рядов наблюдений.
Пусть наша задача состоит в получении наиболее точного значения постоянной аберрации  по 10
наблюдениям.
х
p
vI
vII


3529

 20 ,
20’’.445
45
0.07
-37
-36
 0.011
9
.458
.008
58
0.14
-24
-23
20
x 
6,
.498
.012
98
0.06
+16
+17
10
.495
.013
95
0.05
+13
+14
0  3,
.483
.003
83
1.00
+01
+2
.512
.009
112
0.11
+30
+31
px  144 ,
.495
.013
95
0.05
+13
+14
xˆ  81 ,
.491
.009
91
0.11
+09
+12
439
.490
.011
90
0.07
+08
+9
0 
7,
.450
.009
50
0.11
-32
-31
9
-03
 817
7
 xˆ 
5.
x 82
1.77
00
1.77
В первой колонке приведены значения  в угловых секундах, во второй - их ошибки по оценке наблюдателей. Поскольку все значения отличаются только в двух последних знаках (кроме одной строки), именно эти
два знака и возьмем в качестве величины х, подлежащей обработке (третья колонка).
Обработаем двумя способами. Сначала пренебрежем сведениями об их точности и будем считать эти
данные равноточными. Тогда “наилучшей” в среднеквадратическом смысле оценкой будет арифметическое
среднее
1 n
x
x k  82 .
10 k 1
Под третьей колонкой приведено значение суммы и среднего с точностью до целого. Для вычисления СКО
вычислим разности  I k  x k  x (пятая колонка).


По формуле  
 x
 x
2
k
вычисляем  - ошибку измерения х, а по формуле  x 

– СКО
n 1
n
среднего арифметического. В данном случае   20,  x  6 .
Вспомним, что величина х - две последние цифры в тысячных долях секунды, получим окончательный ответ:
  20.482  0.006 .
Средняя квадратическая ошибка приписывается рядом с оценкой параметра в виде   , указывая на
70
интервал, внутри которого, по-видимому, находится истинное значение.
Заметим, что ошибка единичного измерения в предположении, что все наблюдения равноточны, у
нас оказалась равной  0.020 , что куда больше, чем все величины  во втором столбце таблицы, полученные по внутренней сходимости.
Теперь обработаем снова приведенный ряд наблюдений, принимая величины  как реальные стандартные отклонения погрешностей. Иначе говоря, каждому значению х мы припишем вес, равный
p k   02  k2 . В качестве стандартного отклонения  0 возьмем наименьшую из приведенных СКО, т.е. припишем вес единицу наиболее точному определению аберрации. Для весов достаточно оставлять одну-две
цифры (четвертая колонка). Сумма весов записана под колонкой р=1.77. Вычислим среднее весовое
p k x k 144
xˆ 

 81 .
p
1.77
Новые остаточные разности  II k  xk  xˆ приведены в шестой колонке. Вычисляем СКО единицы веса

p 
2
k
439
 7.
n 1
9

7
Наконец, вычисляем СКО весового среднего:  xˆ  0 
5.
p
1.77
Таким образом, ответ будет выглядеть следующим образом:   20.481  0.005 . Сравнивая полученный
результат с предыдущим, можно отметить, что они практически не различаются.
В качестве априорного стандартного отклонения мы приняли  0  0.00 3 (в угловых секундах), а по
экспериментальным данным мы получили оценку этой величины (  0 ) равной 0.007 . Столь большая разница
говорит лишь о том, что точность каждого определения аберрации сильно завышена. Любопытно заметить, что
наблюдение, оцененное средней квадратической ошибкой  0.003 мало отличается от среднего арифметического и среднего весового. Это говорит о том, что действительно это наблюдение наиболее точное.
Приведем еще один пример, иллюстрирующий, как алгоритм обработки неравноточных наблюдений
автоматически отбраковывает “плохие” определения.
Определение гравитационной постоянной.
Год
Автор
p
G10-11 10-11
Кавендиш
0.00
1798
6.75 0.05
Райх
0.00
1852
6.64 0.06
Пойнтинг
0.00
1891
6.70 0.04
Этвеш
0.00
1896
6.657 0.013
Хейл
0.03
1942
6.673 0.005
Фаси
0.69
1972
6.6714 0.0006
Сагитов
0.39
1978
6.6745 0.0008
Лютер
1.00
1982
6.6726 0.0005
p=2.11
В приведенной таблице в первой колонке - год определения гравитационной постоянной, во второй автор этого определения. Третья и четвертая колонки - результат определения постоянной G и ее средняя
квадратическая ошибка. В качестве стандартного отклонения ошибки единицы веса примем СКО наиболее
точного определения:  0  5  10 4 . Тогда веса остальных наблюдений определим по формуле
0 
k

pk  25 10 8  k2 . Соответствующие значения pk приведены в пятой колонке. Веса, также как и средние
квадратические ошибки, выписывают с одной-двумя значащими цифрами. Однако, поскольку наблюдения
однородны (все наблюдения содержат только G), то необходимо сохранить и число знаков после запятой. В
результате получим, что веса наблюдений прошлого века равны нулю, т.е. в обработку не включаются. Вычисление среднего весового дает G=6.672610-11. СКО среднего весового можно получить только по априорной оценке точности:

0.0005
 xˆ  0 
 0.0003 .
p
2.11
Таким образом,
G=(6.67260.0003)10-11.
Разность значений по отдельным определениям относительно среднего весового равны -0.0012 (Фаси),
+0.0019 (Сагитов), 0.0000 (Лютер). Эти разности превосходят по модулю их средние квадратические ошибки
(кроме последнего), что еще раз указывает на недостаточность оценки точности по внутренней сходимости.
71