Подтверждение пригодности метода

22.03.2016
Песецкая Светлана Михайловна,
кандидат сельскохозяйственных наук
Подтверждение пригодности метода
Важным элементом системы менеджмента испытательной
лаборатории, применяющей стандартизованные МВИ ,
является подтверждение возможности правильно
использовать эти МВИ в лаборатории
(требование СТБ ИСО МЭК 17025, п. 5.4.2)
Процедура подтверждения предусматривает (на стадии
внедрения МВИ в лаборатории - стадии, предшествующей
проведению рабочих измерений) демонстрацию
подтверждение соответствия реализуемой МВИ
требованиям нормативных правовых актов (НПА) и или
технических нормативных правовых актов (ТНПА) на эту
методику.
1
22.03.2016
Подтверждение пригодности метода
Процедуру подтверждения осуществляют путем:
 обеспечения и контроля необходимых условий для
проведения анализа в соответствии с НПА и/или ТНПА на
МВИ;
 проверки соответствия операций и приемов,
осуществляемых при реализации МВИ в лаборатории,
требованиям НПА и/или ТНПА ;
 проверки возможности получения в лаборатории
результатов анализа с точностью, отвечающей
требованиям МВИ (экспериментальная проверка
правильности использования МВИ в лаборатории).
Подтверждение пригодности метода
Показатели качества методик анализа, установленные на
основе межлабораторного оценочного эксперимента по
СТБ ИСО 5725-1, СТБ ИСО 5725-2, СТБ ИСО 5725-4, в
зависимости от принятых подходов к описанию точности
измерений могут быть представлены в ТНПА на МВИ в
виде
• показателей точности
 правильности (смещения, степени извлечения),
 прецизионности в условиях повторяемости
прецизионности в условиях воспроизводимости ,
 промежуточной прецизионности
(стандартного отклонения или предела повторяемости,
воспроизводимости)
• расширенной неопределенности,
 составляющих расширенной неопределенности
2
22.03.2016
Подтверждение пригодности метода
Процедуру подтверждения соответствия реализуемой в
лаборатории МВИ требованиям НПА и/или ТНПА
осуществляют под руководством менеджера по качеству
(либо другого должностного лица, исполняющего его
обязанности) либо лица, им уполномоченного, с
привлечением специалистов лаборатории, проводящих
анализ рабочих проб в лаборатории.
Процедура подтверждения, порядок регистрации
полученных результатов, требования к заключению о
соответствии реализованной МВИ требованиям НПА и/или
ТНПА должны быть установлены в Руководстве по
качеству лаборатории или в других документах системы
менеджмента, разработанных в развитие Руководства по
качеству.
Подтверждение пригодности метода
Положительные результаты подтверждения соответствия
являются основанием для использования МВИ в
повседневной деятельности лаборатории и проведения
последующего внутрилабораторного контроля качества
получаемых по ней результатов анализа.
При внесении изменений в МВИ правильность применения
МВИ в лаборатории подлежит повторному подтверждению.
3
22.03.2016
Подтверждение пригодности метода
Обеспечение и контроль необходимых условий для
проведения анализа в соответствии с МВИ должны
предусматривать:
 проверку использования актуализированной версии МВИ
и ее доступности для всех специалистов лаборатории,
принимающих участие в проведении анализа;
 проверку наличия (при необходимости - закупку)
технических средств (средств измерений, испытательного
оборудования, оборудования для отбора проб,
вспомогательного оборудования, в том числе для
подготовки проб, и т.п.), реактивов, материалов,
стандартных образцов (СО), методик приготовления
аттестованных смесей;
 организацию (контроль сроков) поверки (калибровки)
средств измерений, аттестации испытательного
оборудования, проверки технического состояния
вспомогательного оборудования;
Подтверждение пригодности метода
 проверку:
1)
2)
3)
4)
5)
6)
7)
8)
условий хранения и сроков годности СО;
условий и сроков хранения реактивов, материалов,
растворов, образцов проб;
соответствия экспериментальных данных, полученных
при построении градуировочной характеристики,
выбранному виду зависимости;
стабильности градуировочной характеристики;
качества реактивов с истекшим сроком действия;
условий и правил отбора проб и их доставки (при
необходимости);
условий проведения анализа (температура, влажность,
давление и т.п.);
качества дистиллированной воды и т.п.
4
22.03.2016
Подтверждение пригодности метода
 обучение персонала работе в соответствии с МВИ;
 распределение обязанностей между сотрудниками
лаборатории по реализации элементов процедуры
выполнения анализа согласно МВИ (приготовление
растворов реактивов, построение градуировочной
характеристики, проведение анализа, расчет результатов,
проведение внутрилабораторного контроля).
Подтверждение пригодности метода
Проверка соответствия операций и правил, осуществляемых
при реализации в лаборатории МВИ, предусматривает
проверку всех этапов процедуры анализа, выполняемых
расчетов и регистрации данных.
При необходимости конкретизации (уточнения) отдельных
этапов процедуры анализа разрабатывают
соответствующие лабораторные процедуры в дополнение
к установленным в МВИ.
Экспериментальную проверку правильности использования
МВИ в лаборатории проводят с использование процедуры
верификации стандартизованного метода с применением
подходов к оценке показателей точности, изложенных в
серии стандартов СТБ ИСО 5725.
5
22.03.2016
Оценка точности в соответствии с ISO 5725
ISO 5725 Точность (правильность и прецизионность) методов и
результатов измерений
 Часть 1. Общие принципы и определения (ISO 5725–1:1994)
 Часть 2. Основной метод определения повторяемости и




воспроизводимости стандартного метода измерений
(ISO 5725–2:1994)
Часть 3. Промежуточные меры точности стандартного метода
измерений (ISO 5725–3:1994)
Часть 4. Основной метод определения правильности
стандартного метода измерений (ISO 5725–4:1994)
Часть 5. Альтернативные методы определения точности
стандартного метода измерений (ISO 5725–5:1996)
Часть 6. Использование значений точности на практике
(ISO 5725–6:1996)
Оценка точности в соответствии с СТБ ИСО 5725
Внедрение международного стандарта ISO 5725 в РБ
ISO 5725 (в 6-ти частях) введен в действие на территории
Республики Беларусь в качестве национального стандарта
СТБ ИСО 5725 (в 6-ти частях) с 1 июля 2003 года.
 Целью и задачами разработки стандартов явилось прямое
применение международных правил:
 планирования и проведения экспериментов по оценке показателей
точности методов и результатов измерений (испытаний, анализа),
 обработке и использованию результатов этих экспериментов на
практике, в том числе при разработке, аттестации и стандартизации
методик выполнения измерений состава и свойств веществ и
материалов,
 а также контроля качества выполнения измерений, испытаний,
анализа в испытательных лабораториях при оценке компетентности
лабораторий в соответствии с требованиями СТБ ИСО/МЭК 17025.
 Введение в действие стандартов на территории Республики
Беларусь позволяет выполнять в полном объеме требования
СТБ ИСО/МЭК 17025 "Общие требования к компетентности
испытательных и калибровочных лабораторий".
6
22.03.2016
Оценка точности в соответствии с СТБ ИСО 5725
Внедрение международного стандарта ISO 5725 в РБ
СТБ ИСО 5725 излагает :
а) в общих чертах основные принципы с целью их понимания при оценке
точности (правильности и прецизионности) методов и результатов
измерений и в случаях практического применения, а также
определение способов практической оценки различных показателей
экспериментальным путем (СТБ ИСО 5725-1);
б) основной метод оценки двух экстремальных показателей
прецизионности методов измерений экспериментальным путём
(СТБ ИСО 5725-2);
в) методику получения промежуточных показателей прецизионности с
заданием тех обстоятельств, при которых они применяются, и методов
их оценки (СТБ ИСО 5725-3);
г) основной метод определения правильности метода измерений
(СТБ ИСО 5725-4);
д) некоторые альтернативные методы основным методам,
представленным в СТБ ИСО 5725-2 и СТБ ИСО 5725-4, для
определения прецизионности и правильности методов измерений с
целью их использования при определённых обстоятельствах
(СТБ ИСО 5725-5);
е) некоторые виды практического применения этих показателей
правильности и прецизионности (СТБ ИСО 5725-6).
Оценка точности в соответствии с СТБ ИСО 5725
Основные цели, задачи и область применения СТБ ИСО 5725
Решение той или иной представленной метрологической задачи
зависит от многих обстоятельств (свойства объекта испытаний,
точности желаемых оценок определяемых показателей точности,
использования этих показателей на практике и т.п.).
Поэтому, чтобы правильно воспользоваться стандартом
СТБ ИСО 5725 в зависимости от тех или иных обстоятельств
БелГИМ разработаны рекомендации по применению тех или
иных частей, разделов или пунктов стандарта.
Руководство по применению стандартов СТБ ИСО 5725:
Практическое пособие./ Н.Ю.Ефремова. – Мн.: БелГИМ, 2003.
– 42 с. – (Серия "Теоретическая метрология")
7
22.03.2016
Оценка точности в соответствии с СТБ ИСО 5725
Основные цели, задачи и область применения СТБ ИСО 5725
Стандарт СТБ ИСО 5725 распространяется на методы
измерений непрерывных (в смысле принимаемых
значений в измеряемом диапазоне) величин, дающих в
качестве результата испытаний единичное значение,
несмотря на то, что данное единичное значение может
быть результатом расчета, основанного на серии
наблюдений (т. е. имеются в виду как прямые, так и
косвенные измерения).
Стандарт СТБ ИСО 5725 устанавливает точные определения
значениям, которые характеризуют с количественной точки
зрения способность метода измерений дать верный
результат (правильность) или продублировать заданный
результат (прецизионность).
Оценка точности в соответствии с СТБ ИСО 5725
Основные цели, задачи и область применения СТБ ИСО 5725
Стандарт СТБ ИСО 5725 может применяться для оценивания
точности методов и результатов измерений состава и
свойств очень широкой номенклатуры материалов,
включая жидкости, порошкообразные и твердые
материалы – продукты материального производства или
существующие в природе.
Термин "измерение" в стандарте СТБ ИСО 5725 трактуется в
расширенном смысле – как получение численного
значения, в том числе и в процедурах испытаний, анализа,
контроля.
8
22.03.2016
Оценка точности в соответствии с СТБ ИСО 5725
Система показателей точности
Точность
Правильность
Прецизионность
Повторяемость
 Лабораторное
смещение
 Смещение
метода
измерения
 Лабораторная
составляющая
смещения
 Дисперсия
повторяемости
 Предел
повторяемости
Промежуточные показатели
прецизионности
 Дисперсия
прецизионности в
промежуточных
условиях
Воспроизводимость
 Дисперсия
воспроизводимости
 Предел
воспроизводимости
Оценка точности в соответствии с СТБ ИСО 5725
Система показателей точности
Точность – близость результата испытаний к принятому
эталонному значению величины.
Примечание: Понятие точности, когда его относят к результатам испытаний,
включает в себя комбинацию случайных компонентов и общего компонента
систематической ошибки или смещения.
Правильность – близость среднего значения, полученного в
длинном ряду результатов испытаний, к принятому
эталонному значению величины.
Смещение – разность между математическим ожиданием
результатов испытаний и принятым эталонным значением.
Примечание – Смещение – это общая систематическая ошибка в
противоположность случайной ошибке. Может быть один или несколько
компонентов, образующих систематическую ошибку. Большая
систематическая ошибка соответствует большему значению смещения.
9
22.03.2016
Оценка точности в соответствии с СТБ ИСО 5725
Система показателей точности
Лабораторное смещение – разность между математическим
ожиданием результатов испытаний, полученных в
отдельной лаборатории, и принятым эталонным
значением.
Смещение метода измерений – разность между
математическим ожиданием результатов испытаний,
полученных во всех лабораториях, использующих данный
метод, и принятым эталонным значением.
Примечание - Одним из практических примеров данного определения мог бы
стать случай, где метод, направленный на измерение содержания серы в
соединении, последовательно оказывается несостоятельным с точки зрения
полного выделения серы, обременяя метод измерений отрицательным
смещением. Смещение метода измерений оценивается отклонением
среднего значения результатов, полученных от большого числа различных
лабораторий, которые повсеместно пользуются одним и тем же методом, от
принятого эталонного значения. Смещения метода измерений могут быть
различными на разных уровнях.
Оценка точности в соответствии с СТБ ИСО 5725
Система показателей точности
Прецизионность – близость между независимыми
результатами испытаний, полученными при определенных
принятых условиях.
Примечания:
1) Прецизионность зависит только от распределения случайных ошибок и не
связана ни с истинным значением, ни с заданным значением.
2) Меру прецизионности обычно выражают, в терминах рассеяния и
вычисляют как стандартное отклонение результатов испытаний. Малой
прецизионности соответствует большее стандартное отклонение.
3) Независимые результаты испытаний означают результаты, полученные
таким образом, что отсутствует влияние предыдущих результатов на том же
самом или аналогичном объекте испытаний. Количественные меры
прецизионности решающим образом зависят от принятых условий. Условия
повторяемости и воспроизводимости являются совокупностями предельных
условий, представляющими собой частный случай.
10
22.03.2016
Оценка точности в соответствии с СТБ ИСО 5725
Система показателей точности
Повторяемость – прецизионность в условиях
повторяемости.
Условия повторяемости – условия, при которых
независимые результаты испытаний получены одним
методом на идентичных образцах испытаний в одной
лаборатории одним оператором с использованием одного
оборудования и за короткий интервал времени.
Воспроизводимость – прецизионность в условиях
воспроизводимости
Условия воспроизводимости – условия, при которых
результаты испытаний получены одним методом на
идентичных испытательных образцах в различных
лабораториях разными операторами с использованием
различного оборудования.
Оценка точности в соответствии с СТБ ИСО 5725
Способы оценивания показателей точности
Если при оценивании неопределенности используются оценки,
рассчитанные на основании априорной информации
(информации не статистического характера), то особенностью
данного подхода является оценка указанных показателей на
основании только статистических данных.
Все статистические данные получают исключительно при
проведении эксперимента, который в таком случае носит
название "эксперимента по оценке точности".
Эксперимент по оценке точности может также называться
"экспериментом по оценке прецизионности" или
"экспериментом по оценке правильности" в соответствии с
его ограниченной целью.
11
22.03.2016
Оценка точности в соответствии с СТБ ИСО 5725
Оценочный эксперимент
Эксперименты, объединенные в блоки, составляют
основное содержание стандарта СТБ ИСО 5725. Это
позволяет в одном блоке (в одном эксперименте) оценить
все необходимые показатели.
При этом уделяется внимание не только статистическим
процедурам обработки данных и расчетам нужных
показателей точности в соответствии со статистической
моделью, но и организационным, техническим и
методическим моментам.
Любой эксперимент состоит из четырех этапов:
подготовка, проведение, обработка данных, представление
результатов.
Оценка точности в соответствии с СТБ ИСО 5725
Оценочный эксперимент
На этапе подготовки формируется совет экспертов,
определяется необходимое количество измерений,
назначаются ответственный исполнитель, эксперт по
статистике и инспекторы, проводится выбор материалов и
уровней измерений, подготовка образцов или проб,
снижение до минимума их неоднородности, хранение и
транспортировка образцов и проб. Эти вопросы являются
общими для всех процедур и экспериментов.
Идентичность образцов или проб – один из основных
принципов стандартов СТБ ИСО 5725. Этот принцип
соблюдается во всех случаях (в том числе и в
экспериментах с неоднородными материалами), за
исключением формирования проб для эксперимента с
расщепленными уровнями.
12
22.03.2016
Оценка точности в соответствии с СТБ ИСО 5725
Планирование эксперимента
При планировании эксперимента должны рассматриваться
следующие вопросы:
 существует ли для метода измерений удовлетворяющий
требованиям эталон (сертифицированный стандартный образец)?
 каков диапазон измерений, с которыми придется столкнуться на
практике, и сколько уровней должно быть использовано в
эксперименте?
 какие материалы являются подходящими для представления
выбранных уровней и каким образом они должны быть
подготовлены?
 какое число повторных измерений должно выполняться?
 какие временные рамки должны быть установлены для
завершения всех измерений?
 является ли подходящей исходная статистическая модель?
 существует ли необходимость в особых мерах предосторожности,
предусматриваемых с целью обеспечения того, чтобы идентичные
материалы подвергались измерениям в одном и том же состоянии
во всех лабораториях?
Оценка точности в соответствии с СТБ ИСО 5725
Оценочный эксперимент
На этапе проведения измерений главенствующую роль играют
конкретные МВИ.
Основное требование стандартов СТБ ИСО 5725 – чтобы эти
методики были стандартизованы (см. п. 2.2).
Результаты эксперимента позволяют оценить методики не только с
точки зрения их правильности и прецизионности, но и с точки
зрения их полноты и отработанности.
Однако эксперимент сам по себе не влияет на процедуру
выполнения измерений. Он лишь налагает некоторые требования
на независимость результатов измерений и на соблюдения
заданных условий их выполнения. А на отличительные признаки
экспериментов оказывает влияние порядок комбинирования
измерений и их результатов.
Процедуры выполнения измерений вообще не затрагиваются в
стандартах СТБ ИСО 5725.
Формы представления окончательных результатов для всех типов
экспериментов также являются общими и изложены в
СТБ ИСО 5725-1-2003 (раздел 7).
13
22.03.2016
Оценка точности в соответствии с СТБ ИСО 5725
Оценочный эксперимент
Требования для организации совместного оценочного
эксперимента по СТБ ИСО 5725
 стандартизация метода измерений/испытаний (наличие
документа с подробным описанием порядка проведения
измерений/испытаний и подготовки образца);
 идентичность (однородность) контрольных образцов в
течение всего времени от их подготовки до фактического
проведения измерений;
 независимость результатов измерений/испытаний;
 насколько возможно короткие интервалы времени измерений/
испытаний для реализации условий повторяемости в
соответствии с определением (свести к минимуму изменение
влияющих факторов);
 выбор специалистов для участия в оценочном эксперименте.
Оценка точности в соответствии с СТБ ИСО 5725
Способы оценивания показателей точности
При планировании экспериментов для оценки показателей
точности измерений используются статистические модели,
применяемые при факторных экспериментах и
дисперсионном анализе.
В зависимости от тех или иных обстоятельств (свойств
объекта испытаний, метода измерений, условий
проведения испытаний и т. д.) и необходимости получения
тех или иных количественных показателей эксперименты
проводятся по различным планам.
Эти планы специально выбираются в соответствии с
существующими правилами теории планирования
эксперимента в зависимости от определяемого показателя
точности и метрологической специфики самой методики
измерений или измеряемого объекта.
14
22.03.2016
Оценка точности в соответствии с СТБ ИСО 5725
Способы оценивания показателей точности
Показатели точности, количественно представленные в виде
дисперсий или стандартных отклонений, рассчитываются
на основании принятых моделей по правилам
дисперсионного анализа.
Показатели точности, количественно представленные в виде
смещений, рассчитываются как соответствующие разницы
между средними значениями и эталонным значением, а
неопределенность оценивания этих значений задается
доверительными интервалами.
Оценка точности в соответствии с СТБ ИСО 5725
Исходная статистическая модель
Для оценки показателей точности измерений используются
статистические модели, применяемые при факторных
экспериментах и дисперсионном анализе.
Основная статистическая модель представляет собой выражение, в
котором каждый результат испытаний у является суммой трех
составляющих:
ymBe
где, для конкретного испытываемого материала:
m – общее среднее значение (математическое ожидание),
рассчитанное на основании всех результатов испытаний;
В – лабораторная составляющая смещения согласно условиям
повторяемости;
е – случайная ошибка, имеющая место при каждом измерении
согласно условиям повторяемости.
В зависимости от того, какие именно показатели точности определяются
(воспроизводимость, повторяемость, промежуточная
прецизионность, смещение), основная модель может быть
представлена в несколько иных формах.
15
22.03.2016
Оценка точности в соответствии с СТБ ИСО 5725
Исходная статистическая модель
Допущения для статистических процедур СТБ ИСО 5725
 Распределение лабораторных составляющих смещений является
приблизительно нормальным
 Распределение случайных ошибок каждого результата
измерения/испытания является приблизительно нормальным
 Приблизительно одинаковая повторяемость для всех лабораторий,
применяющих стандартизированный метод измерений/испытаний
 Неопределенность сертифицированного значения свойства
эталонного материала не учитывается в процедурах, приведенных
для оценивания правильности
Точность регистрации (записи) результатов измерений/испытаний по
меньшей мере на одну цифру больше по сравнению с
точностью, установленной для стандартного метода или
округление результатов не должно быть грубее половины оценки
стандартного отклонения повторяемости.
При расчетах оценок показателей прецизионности необходимо
сохранять достаточное количество значащих цифр, по крайней
мере вдвое большим, чем их количество в исходных данных.
Оценка точности в соответствии с СТБ ИСО 5725
Показатели прецизионности
Основными факторами, влияющими на изменчивость результата
испытаний, являются следующие: время, калибровка
оборудования, оператор и оборудование. В зависимости от
сочетания и состояния этих факторов и рассматриваются те или
иные показатели точности.
В условиях повторяемости все факторы считаются постоянными и
не влияют на изменчивость, в то время как в условиях
воспроизводимости они изменяются и вносят вклад в
изменчивость результатов испытаний.
Таким образом, условия повторяемости и воспроизводимости
являются двумя предельными (экстремальными) показателями
прецизионности; первый описывает минимальную, второй –
максимальную изменчивость результатов.
16
22.03.2016
Оценка точности в соответствии с СТБ ИСО 5725
Показатели прецизионности
Промежуточные условия между этими двумя предельными
условиями прецизионности также становятся понятными, когда
одному или большему числу факторов позволяют изменяться в
определенных специальных обстоятельствах.
Промежуточные показатели прецизионности полезны при
разработке, стандартизации и контроле метода
измерений внутри лаборатории.
Стандартное отклонение повторяемости не превышает
стандартное отклонение, полученное в условиях промежуточной
прецизионности, а стандартное отклонение, полученное в
условиях промежуточной прецизионности, не превышает
стандартного отклонения воспроизводимости.
Оценка показателей прецизионности
Проведение исследований
Порядок проведения исследований:
Образцы из q групп материалов, представляющих q различных
уровней испытаний, рассылаются p исполнителям, выбранным и
вовлеченным в оценочный эксперимент. Каждый исполнителья
получает и представляет n повторных результатов измерений в
условиях повторяемости на каждом из q уровней.
1) Предварительная обработка полученных экспериментальных
данных: расчет среднего арифметического ( y ji) и выборочного
стандартного отклонения ( s ji ) результатов измерений,
полученных в условиях повторяемости.
2) Анализ результатов на совместимость и наличие выбросов.
3) Расчет общего среднего арифметического (значение уровня) и
дисперсий повторяемости и воспроизводимости.
4) Анализ возможной зависимости показателей прецизионности
от уровня и установление (при необходимости) вида зависимости
17
22.03.2016
Алгоритм статистической обработки при оценивании
показателей прецизионности в соответствии с СТБ ИСО 5725
Результаты измерений
СТАТИСТИЧЕСКИЙ АНАЛИЗ И ОБРАБОТКА
Критерии:
Граббса (G)
Кохрена (C)
Манделя (k, h)
да
Имеются ли
выбросовые
значения?
Удаление или
замена
выбросовых
значений
Техническое
объяснение
нет
общее среднее значение m
стандартное отклонение воспроизводимости σR
стандартное отклонение повторяемости σr
Выводы, корректирующие мероприятия
Оценка на совместимость и выбросы
Критерий Кохрена используется для проверки однородности
дисперсий данных, полученных в каждой лаборатории, перед
тем, как рассчитывать внутрилабораторную дисперсию
Cj 
s 2j max

s 2j max  max s 2j1 ,..., s 2jp
p
s
i 1

2
ji
Критерий Граббса используют для проверки однородности
средних значений, представленных лабораториями
p
yj 
y
i 1
sj 
ij
p
Gj 
1 p
y ji  y j 2

p 1 1
max y ji  y j
i
sj
18
22.03.2016
Оценка показателей прецизионности в соответствии с
СТБ ИСО 5725
После проведения проверки на выбросы вычисляют общее
среднее значение для каждого уровня j, стандартное
отклонение повторяемости и стандартное отклонение
воспроизводимости
mj  yj 
 nij yij
i 1
p
n
i 1
ij
 n
 1sij2
p
p
srj2 
i 1
p
ij
 n
p


n 2 ij 

p

1
 nij  i p1

n j
p  1  i 1

nij 


i 1


i 1
ij
 1
s 
2
Lj
sdj2  srj2
nj
!!! Если из-за случайных
эффектов для sLj2 получается
отрицательное значение, то
допускается, что оно равно
нулю
1 p
2
s 
nij  yij  y j 

p  1 i 1
2
dj
sRj2  srj2  sLj2
Внутрилабораторные исследования
В пределах одной лаборатории, наиболее влияющими на
изменчивость измерений считаются четыре фактора: время,
калибровка, оператор и оборудование.
Для оценки промежуточных показателей прецизионности,
лаборатория должна определить какие факторы будут изменяться в
рамках лаборатории и формировать промежуточные условия
прецизионности.
Для метода измерений\испытаний нет необходимости устанавливать
все необходимые показатели прецизионности.
Всегда следует определять стандартное отклонение
повторяемости и достаточно будет определить один подходящий
промежуточный показатель прецизионности вместе с
детальным описанием условий измерений, связанных с ним.
Выбор количества факторов и объем проводимых исследований
будет регулироваться рассмотрением двух вопросов: желаемая
прецизионность окончательных результатов и стоимость
измерений.
Документ СТБ ИСО 5725-3 устанавливает один из возможных
подходов по оценке промежуточных показателей прецизионности в
пределах определенной лаборатории (см.п.1.5).
19
22.03.2016
Простейший метод оценки стандартного отклонения в
условиях промежуточной прецизионности
Порядок проведения исследований:
один образец (набор схожих образцов), на котором проводят n
измерений с изменениями фактора(ов) между каждым
измерением и получают результаты измерений yk. Рекомендуется
n ≥ 15.
1.
2.
3.
Рекомендуется проводить проверку на выбросы в совокупности
значений yk (например, с применением критерия Граббса).
Рассчитывается среднее арифметическое y .
Рассчитывается оценка промежуточного стандартного
отклонения прецизионности с изменяющимися M-факторами.
sI   
1 n
 yk  y 2

n  1 k 1
Альтернативный метод оценки стандартного отклонения в
промежуточных условиях прецизионности
Порядок проведения исследований:
измеряется набор t материалов (не обязательно идентичных, но
принадлежащих интервалу уровней испытаний, внутри которого
можно применить одно значение промежуточного стандартного
отклонения прецизионности), изменяются факторы и проводится
снова измерение набора из t материалов и т.д. до получения n
результатов измерений по каждому материалу. Получают
результаты измерений yjk. Рекомендуется, чтобы t(n – 1) ≥ 15.
1. Рекомендуется проводить проверку на выбросы для каждой
2.
3.
из t групп результатов измерений и для всех объединенных tn
результатов (например, с применением критерия Граббса).
Рассчитывается среднее арифметическое для каждой из t
групп результатов измерений ( y j ).
Рассчитывается оценка промежуточного стандартного
отклонения прецизионности с изменяющимися M-факторами.
sI   
t
n
1
y jk  y j 2

t n  1 j 1 k 1
20
22.03.2016
Метод совместной оценки стандартного отклонения
повторяемости и стандартного отклонения в промежуточных
условиях прецизионности
Порядок проведения исследований (план двухфакторного
эксперимента с полной группировкой):
рассматриваются материалы на q уровнях; материалы делятся на t
групп; в каждой группе проводится nj измерений в условиях
повторяемости; измерения между группами проводят с изменением
факторов. Получают результаты измерений yjk. Рекомендуется, чтобы
t(n – 1) ≥ 15.
1. Расчет стандартных отклонений sj и средних арифметических в
каждой группе y j
2. Рекомендуется проводить проверку на выбросы для
совокупности sj и y j (например, с применением критериев
Кохрена и Граббса)
3. Рассчитывается общее среднее арифметическое y
4. Рассчитываются оценки стандартного отклонения повторяемости
и промежуточного стандартного отклонения прецизионности с
изменяющимися M-факторами
2
2
t
sr 
s
j 1
t
2
j
sd2 
1
2
n j y j  y 

t  1 j 1
t
s2  
sd  sr
sI   
nj
s2   sr2
Оценка точности в соответствии с СТБ ИСО 5725
Оценка показателя правильности
Показатель правильности можно оценить только когда имеется
возможность постичь истинное значение для измеряемой величины.
Надежная оценка истинного значения для измеряемой величины
(эталонное значение) может быть получена, если имеются в
распоряжении:
1) сертифицированные стандартные образцы;
2) эталонный метод измерений;
3) приготовленные по определенной процедуре материалы с
известным значением свойств.
Эталонные материалы должны иметь матрицу (состав) как можно
более близкую к матрице материала, подвергаемого измерению с
помощью метода измерений.
Количество эталонного материала должно быть достаточным для
проведения полной программы эксперимента и, при необходимости,
проведения повторных измерений (резерв).
По возможности следует поддерживать стабильность свойств
эталонного материала на протяжении всего эксперимента
21
22.03.2016
Оценка точности в соответствии с СТБ ИСО 5725
Оценка показателя правильности
Цель проведения эксперимента заключается в определении
величины смещения метода или лабораторного смещения и
установления его статистической значимости.
Схема эксперимента по оценке смещения метода, такая же как и
при оценивании прецизионности с двумя отличиями:
использование принятого эталонного значения и своя процедура
по выбору количества участвующих лабораторий и количества
результатов испытаний.
Модель принимает следующий вид
y  m  B  e     B  e      e
m – общее среднее значение (математическое ожидание), рассчитанное
на основании всех результатов измерений/испытаний
B – лабораторная составляющая смещения
e – случайная погрешность
μ – принятое эталонное значение измеряемого свойства
δ – смещение метода измерений
Δ – лабораторное смещение
Оценка точности в соответствии с СТБ ИСО 5725
Оценка смещения
Количество участвующих лабораторий и количество результатов,
необходимых на каждом уровне, рассчитывается исходя из
установленных для метода показателей прецизионности и
предварительно заданной величины смещения метода, δm, или
лабораторного смещения, ∆m, соответственно:
A R 
где
A  1,96

m
1,84

n  2 1 1
 2 pn
AW  r 

R
r
m
1,84
AW 
1,96
n
На основании результатов измерений, полученных в эксперимента
по оценке показателей правильности метода, рассчитываются
показатели прецизионности (в соответствии с СТБ ИСО 5725-2) и
сравниваются с применением статистических критериев с
показателями прецизионности, если они были предварительно
установлены для метода измерений/испытаний
22
22.03.2016
Оценка точности в соответствии с СТБ ИСО 5725
Оценка смещения метода
Оценка смещения метода измерений:

  y 
Стандартное отклонение, характеризующее вариацию оценки
смещения метода измерений:

2
ˆ
  1  1 n 

2
R
2
r
p
или
s̂2 
s  1 1 ns 
2
R
2
r
p
Приблизительный 95 %-ый доверительный интервал для
смещения метода измерений:


  A  R      A  R
или


  A  sR      A  sR
Если в такой доверительный интервал попадает нулевое значение,
то смещение метода измерений рассматривается как незначимое
при уровне значимости 5%; в противном случае оно значимо
Оценка точности в соответствии с СТБ ИСО 5725
Оценка лабораторного смещения
Оценка лабораторного смещения проводится на основании
результатов измерений, полученных в условиях повторяемости:
ˆ  yW  
где yW – среднее арифметическое из n результатов измерений,
полученных лабораторией в условиях повторяемости
Стандартное отклонение, характеризующее вариацию оценки
лабораторного смещения:
̂  r
или s  sr
n
̂
Приблизительный 95 %-ый доверительный интервал для
смещения метода измерений:
n
ˆ  A     
ˆ  A   или 
ˆ  A s    
ˆ  A s

W
r
W
r
W
r
W
r
Если в такой доверительный интервал попадает нулевое значение,
то лабораторное смещение рассматривается как незначимое при
уровне значимости 5%; в противном случае оно значимо
23
22.03.2016
Оценка точности в соответствии с СТБ ИСО 5725
Альтернативные подходы по оценке прецизионности
1) План с расщепленными уровнями
Такой план позволяет исследовать и исключить влияние
оператора на результаты измерений двух образцов одного и того
же материала
В плане с расщепленными уровнями все участвующие в
эксперименте лаборатории снабжаются образцами из двух
подобных материалов на каждом уровне эксперимента причем
необходимо, чтобы в пределах различий между образцами
стандартные отклонения прецизионности были одинаковы.
2) План для неоднородного материала
Такой план позволяет исследовать изменчивость между
образцами, обусловленную неоднородностью образцов, и
исключить ее из показателей прецизионности метода.
Предложенный план требует большего числа образцов для
испытаний, однако такая дополнительная информация может
оказаться ценной, например, для улучшения метода измерений,
для составления правил принятия решения о соответствии
установленным требованиям и т.д.
Оценка точности в соответствии с СТБ ИСО 5725
Представление результатов
1.
2.
3.
4.
Значение оценки смещения метода измерений или информация о
незначимости смещения метода измерений с указанием
информации об эталоне, по отношению к которому определялось
данное смещение. При наличии зависимости смещения метода
измерений/испытаний от уровня приводится установленная
зависимость, например, в форме таблицы, уравнения и т.п.
Стандартные отклонения повторяемости, промежуточной
прецизионности (если оценивалась) и воспроизводимости (если
оценивалась) с указанием соответствующих условий и
изменяемых факторов. При наличии зависимости показателей
прецизионности метода измерений/испытаний от уровня
приводится установленная зависимость, например, в форме
таблицы, уравнения и т.п.
Могут указываться пределы повторяемости и воспроизводимости.
Информация об эксперименте по оценке точности: количество
лабораторий, количество уровней, описание материалов,
информация о выбросах.
24
22.03.2016
Оценка точности в соответствии с СТБ ИСО 5725
Использование показателей точности на практике
Внедрение стандарта СТБ ИСО 5725 – это прежде всего
организация и проведение оценочных экспериментов для
различных МВИ измерений, оценка и установление
численных значений различных показателей точности.
Оценка показателей точности, тем не менее, не будет иметь
смысла в случае отсутствия практического применения.
Для СТБ ИСО 5725–6 численные значения показателей
точности являются исходными. В нем стандартизованы
некоторые процедуры их использования.
Верификация метода
Верификация (verification) - подтверждение посредством
предоставления объективных свидетельств того, что
установленные требования были выполнены.
Термин «верифицировано» используется для обозначения
соответствующего статуса.
Деятельность по подтверждению может включать такую
деятельность, как:
 осуществление альтернативных расчетов;
 сравнение технических требований по новому проекту с
аналогичной документацией по апробированному проекту;
 проведение испытаний и демонстраций;
 анализ документов до их выпуска.
25
22.03.2016
Оценка точности в соответствии с СТБ ИСО 5725
Использование показателей точности на практике
Цель стандарта СТБ ИСО 5725–6 – дать некоторые указания
к тому, как данные о точности могут быть использованы
при решении различных практических задач:
 Проверка приемлемости результатов измерений,
полученных с использованием стандартного метода
измерений одной или несколькими лабораториями.
 Внутрилабораторный контроль точности результатов
испытаний в лабораториях.
 Оценка технической компетентности испытательных
лабораторий.
 Сравнение методов измерений.
 Использование показателей точности при оценивании
неопределенности.
Оценка точности в соответствии с СТБ ИСО 5725
Контроль показателей точности
Контроль показателей качества результатов измерений в
лаборатории предусматривает проведение контроля
стабильности результатов измерений с учетом требований
СТБ ИСО 5725-6.
В процессе контроля определяют соответствие результатов
анализа пределам повторяемости и промежуточной
прецизионности, значимости смещения.
В СТБ ИСО 5725-2 довольно подробно рассмотрен вопрос
оценки стандартных отклонений в условиях повторяемости и
воспроизводимости. Тем не менее, в обычной лабораторной
практике требуется исследование разности (ей),
наблюдаемой(ых) между двумя или более результатами
испытаний. Для этой цели необходимо наличие некоторой
меры, схожей скорее с критической разностью, чем со
стандартным отклонением.
26
22.03.2016
Оценка точности в соответствии с СТБ ИСО 5725
Определение пределов прецизионности
Предел повторяемости – такое значение, что абсолютная
разность между двумя результатами испытаний,
полученными в условиях повторяемости, будет ожидаться
меньше его или равной ему с вероятностью 95 %
Примечание – Используемое условное обозначение – r.
Предел воспроизводимости – такое значение, что абсолютная
разность между двумя результатами испытаний,
полученными в условиях воспроизводимости, будет
ожидаться меньше его или равной ему с вероятностью 95 %
Примечание – Используется символ R.
Оценка точности в соответствии с СТБ ИСО 5725
Контроль показателей точности
Контроль повторяемости результатов анализа проводят путем
сравнения результатов двух измерений в условиях повторяемости
с пределом повторяемости r, полученным в ходе верификации или
указанным в МВИ.
Повторяемость результатов параллельных измерений признают
удовлетворительной, если
где С1 - первый результат из двух измерений;
С2 - второй результат из двух измерений;
С - средний результат из двух измерений;
r - предел повторяемости, %.
Если условие не выполняется, то эксперимент повторяют. При повторном
превышении предела повторяемости выясняют причины
неудовлетворительных результатов и принимают меры по их устранению.
27
22.03.2016
Оценка точности в соответствии с СТБ ИСО 5725
Контроль показателей точности
Контроль промежуточной прецизионности результатов анализа проводят
путем сравнения результатов двух серий измерений в условиях
воспроизводимости с пределом промежуточной презионности RL,
полученным в ходе верификации или указанным в МВИ.
Промежуточную прецизионность результатов измерений признают
удовлетворительной, если
где
 среднее значение измерений первой серии;
 среднее значение измерений второй серии;
 общее среднее из двух серий измерений;
RL  предел промежуточной прецизионности, %.
Если условие не выполняется, то эксперимент повторяют. При повторном
превышении предела промежуточной прецизионности выясняют причины
неудовлетворительных результатов и принимаются меры по их устранению.
Оценка точности в соответствии с СТБ ИСО 5725
Контроль показателей точности
Контроль смещения метода проводят путем сравнения результатов в
лабораторном контрольном образце (Сизм) и известным значением
концентрации (). За лабораторный контрольный образец принимают
образец, прошедший межлабораторные сличения или образец, в
который предварительно вносят известное количество определяемого
ингредиента.
При числе измерений, равном 2, смещение признают незначимым при
уровне значимости α = 5 %, если
где L - стандартное отклонение промежуточной прецизионности,
r - стандартное отклонение повторяемости.
28
22.03.2016
Оценка точности в соответствии с СТБ ИСО 5725
Контроль стабильности результатов
При рассмотрении того или иного метода измерений вполне естественно
полагать, что правильность и прецизионность этого метода являются
удовлетворительными.
Однако, нет гарантии того, что при удовлетворительной правильности
метода его прецизионность также будет удовлетворительной.
Таким образом, при проверке стабильности результатов, получаемых в
лаборатории, необходимо проверять как прецизионность, так и
правильность результатов испытаний и поддерживать эти меры на
требуемом уровне в течение длительного периода времени.
Для проверки стабильности результатов, получаемых в лаборатории,
предлагается использовать контрольные кapты Шухарта (ISO 8258) и
контрольные карты кумулятивных сумм (ISO/TR 7871).
Оценка точности в соответствии с СТБ ИСО 5725
Контроль стабильности результатов
В тех случаях, когда прецизионность и правильность имеют тренд или
сдвиг, использование контрольной карты кумулятивных сумм более
эффективно, чем карты Шухарта, в то время как при наличии
внезапных изменений (скачков) в использование карты кумулятивных
сумм вместо контрольной карты Шухарта не дает никаких
преимуществ.
Поскольку возникновение тренда или сдвига наиболее вероятно в
отношении правильности, а внезапные изменения (скачки) в отношении
прецизионности, карта кумулятивных сумм рекомендуется для
проверки правильности, а карта Шухарта - для проверки
прецизионности.
Однако может стать целесообразным использование двух контрольных
карт для параллельной проверки правильности и прецизионности.
29
22.03.2016
Спасибо за внимание!
Вопросы?
30