Опыт работы ВНИИМ по аттестации программного обеспечения

Анализ типовых проблем, возникающих при
проверке программного обеспечения
Н.Д.Звягин
ВНИИМ, Санкт-Петербург, Россия
Email:[email protected]
Saint-Petersburg
2012
Веведение
Средства измерения (СИ), оснащенные программным обеспечением
(ПО) в том или ином виде, используются достаточно давно,
однако вопрос о проверке ПО, как отдельной составляющей СИ в
широких масштабах в России был поставлен относительно
недавно. Некоторое время активно использовалась процедура
добровольной аттестации ПО.
Она, в основном, опиралась на требования международных
документов, а также отечественных документов , которые также
разрабатывались на основе международного опыта аттестации.
Рекомендации по ПО СИ
Международные
• WELMEC 7.2. Software
Guide. May 2010.
WELMEC 7.2. Руководство по
программному обеспечению,
май 2010.
• International document
OIML D 31: 2008. General
requirements for softwarecontrolled measuring
instruments.
Рекомендация МОЗМ D 31:
2008. Общие требования к
программно контролируемым средствам
измерений.
Отечественные
• ГОСТ Р 8.654 – 2009 ГСИ. Требования к
программному обеспечению средств
измерений. Основные положения.
• МИ 2955-2010 ГСИ. Типовая методика
аттестации программного обеспечения
средств измерений.
• СК 02-30-10 Программное обеспечение
обработки данных при измерениях. Общие
положения и порядок проведения
метрологической аттестации.
Ситуация поменялась в связи с введением методики по
утверждению типа, которая изложена в документе « МИ 3290-2010
Рекомендация по подготовке, о формлению и рассмотрению
материалов испытаний средств измерений в целях утверждения
типа», и сопутствующей ей методики испытаний ПО « МИ 32862010 Проверка защиты программного обеспечения и определение
ее уровня при испытаниях средств измерений в целях
утверждения типа», а также документа «Р 50.2.077—2011.
Испытания средств измерений в целях утверждения типа
Проверка обеспечения защиты программного обеспечения»
Эти документы обязали всех производителей СИ проходить
испытания ПО на этапе утверждения типа СИ. Масштаб
разработчиков, вовлеченных в испытания ПО, резко увеличился,
и, соответственно, возросло количество возникающих на стадии
испытаний вопросов.
Проблемы идентификации ПО
В международном документе WELMEC 7.2 в качестве примеров допустимых решений для
однозначной идентификации ПО часто приводятся номер версии ПО и контрольные
суммы по различным алгоритмам. Строгих указаний на то, что в качестве
идентификационных данных должны указываться именно номер версии и контрольная
сумма нет. Однако, в отечественных документах , эти два параметра становятся
обязательными, более того, подчеркивается необходимость указания этих двух
параметров одновременно.
Таблица 1 (из МИ 3286)
Проблемы идентификации ПО
Эти ограничения вызвали много вопросов у разработчиков и пользователей ПО СИ,
т.к. требовали, как переработки уже существующего ПО, так и создания иного
подхода к разработке нового ПО, который не всегда согласовался с возможностями
и желаниями разработчиков. Особенно много вопросов возникло по обязательной
необходимости использования контрольных сумм.
Во время работы по аттестации ПО нами было сделано несколько предложений по
решению возникающих вопросов:
 использовать в качестве идентификатора только один параметр (напр. только
номер версии, только контрольную сумму);
 расширить круг параметров, которые могли бы служить в качестве
идентификатора(напр. серийный номер СИ для встроенного ПО);
 не требовать обязательного вывода всех идентификационных данных на дисплей
прибора (напр. ограничится выводом данных в отчет, или указанием данных в
документации на СИ).
Проблемы обновления ПО
В WELMEC 7.2 существует раздел, посвященный загрузке
метрологически значимого ПО (обновления ПО). Там, в
частности, указываются требования к автоматической загрузке
исправлений ПО и незначительных модификаций, которые не
влияют на метрологические характеристики средства измерения.
В отечественных документах, к сожалению, такого раздела нет.
Согласно отечественным документам, разработчик не имеет права
вносить в утвержденное метрологически значимое ПО никаких
изменений вообще. Неизбежным последствием таких изменений
является повторное прохождение процедуры утверждения типа.
Такое положение вещей также вызывает у разработчиков
некоторое недоумение. На наш взгляд, это один из вопросов,
который необходимо решить в ближайшее время.
Основные проблемы аттестации ПО
Помимо уже перечисленных вопросов при проверке и аттестации ПО в
России возникает также множество других проблем. Многие из них
связаны с использованием ПО зарубежных производителей. В этом
случае, в первую очередь, возникают трудности с получением
необходимой информации о ПО от иностранных разработчиков.
Решать эти вопросы приходится отдельно в каждом конкретном случае,
однако, на наш взгляд, устранение некоторых расхождений между
отечественными и международными документами, о которых уже было
сказано, может помочь в решении этого вопроса.
Также не ясно, как поступать с ПО, которое уже проходило аттестацию за
рубежом и имеет соответствующие свидетельства. Тут возможно три
варианта решения:
 признать зарубежный сертификат и не производить проверку вообще;
 производить проверку, основываясь на сведениях, предоставленных
зарубежнымсертификатом;
 производить полную проверку , игнорируя зарубежный сертификат.
Основные проблемы аттестации ПО
В России также широко используются средства измерения с ПО, которое
было разработано до появления отдельных требований к ПО.
Применять к такому ПО те же требования, что и к новому ПО, не всегда
корректно.
В ходе аттестации ПО СИ часто приходится сталкиваться с ПО, которое
занимается только сбором, передачей и представлением данных, но
никак не влияет на метрологические характеристики средства
измерений. Возникает вопрос, подлежит ли подобное ПО
метрологической аттестации. Если рассматривать современные
отечественные документы по ПО, то подлежит. Однако, по нашему
мнению, метрологическая аттестация подобного ПО не требуется. Тем
не менее, к рассмотрению этого вопроса нужно подходить очень
аккуратно.
Вывод
При аттестации ПО возникает множество вопросов
различного характера. Современный подход к
аттестации требует серьёзной доработки.
Спасибо!