Комплексное тестирование

Тема 12
Комплексное тестирование — процесс поисков
несоответствия системы ее исходным целям.
Элементы, участвующие в комплексном тестировании:
 сама система
 описание целей продукта
 вся документация, которая будет поставляться вместе с
системой.
ПРИМЕЧАНИЕ!!!:
 -Внешние
спецификации, которые были
ключевым элементом тестирования внешних
функций, играют лишь незначительную роль
в комплексном тестировании.
 -Ко внешним спецификациям обращаться
следует только для того, чтобы разбираться в
противоречиях
между
системой
и
публикациями о ней.
Если
не сформулировали цели вашего
продукта или если эти цели неизмеримы,
то
нельзя
выполнить
комплексное
тестирование!!!
Комплексное тестирование
Процесс контроля
Процесс испытаний
(выполняется в
имитируемой или
тестовой среде
(выполняется в реальной
среде пользователя или в
обстановке, которая специально
создана так, чтобы напоминать
среду пользователя)
Тестирование Тестирование
стрессов
объема
Тестирование
требований к памяти
Тестирование
защиты
Тестирование
средств
восстановления
Тестирование
надежности/готовности
Тестирование
конфигурации
Тестирование
производительности
Тестирование
совместимости
Тестирование
настройки
Тестирование
удобства
обслуживания
Тестирование
удобства
установки
Тестирование
удобства эксплуатации
Тестирование
психологических
факторов
Тестирование
публикаций
Схема проектирования комплексного теста
Проектирование комплексного теста
1. Проектирование стрессов
Тестирование стрессов – это
попытки подвергнуть систему
крайнему «давлению».
Проектирование комплексного теста
2. Тестирование объема
Тестирование объема - попытка
предъявить системе большие объемы
данных в течение более длительного
времени.
Цель тестирования объема – показать, что система
или программа не может обрабатывать данные в
количествах, указанных в спецификациях.
Проектирование комплексного теста
3. Тестирование конфигурации
Тестирование конфигурации – проверка
аппаратных устройств, которые
обслуживает система, или программы, с
которыми система взаимодействует.
Если сама программная система допускает
несколько конфигураций, то должна быть
тестирована каждая из них.
Проектирование комплексного теста
4. Тестирование совместимости
Тестирование совместимости –
это проверка возможности
взаимодействия пользователя с
прежней версией, работая в новой
системе.
Цель – показать наличия несовместимости
Проектирование комплексного теста
5. Тестирование защиты
Тестирование защиты – это
проверка обеспечения защиты
системы от несанкционированного
доступа
Цель тестирования защиты — нарушить
секретность в системе.
Проектирование комплексного теста
6. Тестирование требований к памяти
Тестирование требований к памяти –
это проверка
объема основной и вторичной
памяти, которую системе разрешено
использовать в различных условиях.
Цель - попытаться показать, что система
этих целей не достигает.
Проектирование комплексного теста
7. Тестирование производительности
Тестирование требований к памяти –
это проверка характеристик
производительности или
эффективности
Определяются характеристики:
время отклика
уровень пропускной способности при
определенной нагрузке и
конфигурации оборудования.
.
Проектирование комплексного теста
8. Тестирование настройки
Тестирование процесса настройки
системы – возможности
настроить систему, согласно ее
характеристикам.
Проектирование комплексного теста
9. Тестирование надежности/готовности
Тестирование надежности - это
определение исходных показателей
надежности (среднее время между
отказами, количество ошибок,
способность к обнаружению,
исправлению ошибок и/или
устойчивость к ошибкам и т. д.).
Проектирование комплексного теста
10. Тестирование средств восстановления
Тестирование средств
восстановления – проверка
способности к
восстановлению системы после
сбоя
Проектирование комплексного теста
11. Тестирование удобства обслуживания
Тестирование удобства
обслуживания – проверка
сервисных средств системы
Проектирование комплексного теста
12. Тестирование публикаций
Тестирование публикаций –
проверка точности всей
документации.
* Все
комплексные тесты следует
строить только на основе
документации для пользователя.
Проектирование комплексного теста
13. Тестирование психологических факторов
Во время тестирования системы
следует проверить и психологические
факторы.
Мелкие недостатки могут
быть обнаружены и устранены
при тестировании системы.
Проектирование комплексного теста
14. Тестирование удобства установки
Тестирование удобства установки
– проверка процедуры настройки.
Проектирование комплексного теста
15. Тестирование удобства эксплуатации
Тестирование удобства
эксплуатации – это попытка
выявления психологических
(пользовательских) проблем..
Проектирование комплексного теста
Независимая группа
тестирования включает:
-Профессиональных специалистов
-Пользователей (для которых система
разрабатывалась)
-Основных аналитиков
-Проектировщиков системы
-Несколько психологов
Проектирование комплексного теста
Компоненты теста
* сценарий (точно указываются действия,
которые должны быть совершены во время
выполнения теста )
* входные данные
* ожидаемые выходные данные.
Выполнение комплексного теста
Опытная эксплуатация – один из методов,
позволяющих вовлечь в тестирование
пользователей.
Использование системы
в организации-изготовителе для внутренних
нужд - второй полезный метод,
используемый для выполнения
комплексного теста
(Воспользуйтесь собственным продуктом,
прежде чем передавать его другим)
Выполнение комплексного теста
Примечание:
1).Комплексное тестирование приходится на
самый конец цикла разработки, так что на
отладку и исправление найденных ошибок
остается мало времени.
2).Поскольку сложные тесты часто
обнаруживают более сложные для
исправления ошибки, измените
последовательность: начните с самых
трудных тестов, а затем переходите к
более простым
Требования ГОСТ Р ИСО/ МЭК 12119-2000
к тестированию пакетов программ.
ГОСТ Р ИСО/МЭК 12119-2000-указания определяют:
1). Порядок тестирования продукта на
соответствие его требованиям к качеству и
охватывают как тестирование для характеристик,
продуктам, так и тестирование для характеристик,
указанных в описании.
2). Описывает только функциональное
тестирование (по принципу «черного ящика»)
Требования ГОСТ Р ИСО/ МЭК 12119-2000
к тестированию пакетов программ.
Обязательно:
Описание продукта, документация пользователя,
программы и любые данные, поставляемые как
части пакета программ, должны быть
протестированы на выполнение ими формулировок
и требований.
Программы должны быть протестированы во
всех вычислительных системах, указанных в
описании продукта.
При наличии нескольких вариантов программы
должен быть протестирован каждый из них.
Требования ГОСТ Р ИСО/ МЭК 12119-2000
к тестированию пакетов программ.
Программы и данные должны быть
протестированы с использованием контрольных
примеров, разработанных на основе описания
продукта и документации пользователя.
Другие материалы (например, исходные
программы) не проверяют, за исключением случаев,
когда это необходимо при тестировании
формулировок из описания продукта или
документации пользователя.
Требования ГОСТ Р ИСО/ МЭК 12119-2000
к тестированию пакетов программ.
 Контрольные примеры должны быть методологически
и систематически проработаны.
 Если в документации пользователя приведены примеры,
то они должны быть использованы в качестве
контрольных, но проводимое тестирование не должно быть
ограничено только этими примерами.
Могут быть использованы контрольные примеры,
предоставляемые поставщиком
программного пакета, но проводимое тестирование не
должно быть ограничено только этими примерами.
Требования ГОСТ Р ИСО/ МЭК 12119-2000
к тестированию пакетов программ.
Установка (инсталляция).
Должна быть проверена возможность
инсталляции программ и протестирована
возможность успешной установки пакета
согласно описанию, приведенному в руководстве
по установке.
Должно быть обеспечено, чтобы техническаяи
программная среда, в которой установлены
программы, соответствовала формулировкам из
описания продукта в части рассматриваемой
вычислительной системы.
Требования ГОСТ Р ИСО/ МЭК 12119-2000
к тестированию пакетов программ.
Протоколы тестирования должны
содержать
• план тестирования или технические требования
(спецификацию) к тестированию, содержащую
контрольные примеры (для каждого контрольного
примера указаны его цели);
•все результаты, связанные с контрольными
примерами, включая все ошибки, выявленные при
выполнении теста;
• штат персонала, вовлеченного в тестирование.
Требования ГОСТ Р ИСО/ МЭК 12119-2000
к тестированию пакетов программ.
Выполнение программы.
Программы должны быть протестированы по всем
граничным
значениям (в соответствии с описанием
продукта и документацией пользователя) в
необходимой системе, для которой заданы эти
значения.
!!!При тестировании должны быть использованы
исходные данные и последовательности команд,
которые в документации пользователя явно не
рекомендуются или объявляются запрещенными.
Требования ГОСТ Р ИСО/ МЭК 12119-2000
к тестированию пакетов программ.
Отчет о тестировании должен иметь следующую структуру:
1.Обозначение продукта.
2.Вычислительные системы, использованные при тестировании
(технические средства, программные средства и их конфигурация).
3.Использованные документы (включая их обозначения).
4.Результаты тестирования описания продукта, документации
пользователя, программ и данных.
5.Перечень несоответствий требованиям.
6.Перечень несоответствий рекомендациям либо перечень не
учтенных в продукте рекомендаций, либо формулировка того, что
продукт не был протестирован на соответствие рекомендациям.
7.Дата окончания тестирования.
Требования ГОСТ Р ИСО/ МЭК 12119-2000
к тестированию пакетов программ.
Дополнительное тестирование
Должны выполняются следующие требования:
все измененные части документов, функций и данных должны
быть протестированы как новый продукт;
 все неизмененные части, на которые могут влиять измененные
части или изменения в необходимой системе (в соответствии с
опытной оценкой тестировщика), должны быть протестированы
как новый продукт;
все другие части должны быть, по крайней мере, выборочно
протестированы.
Основные этапы тестирования и испытаний
комплекса программ и его компонентов
Выполнение комплексного теста
При тестировании, отладке и испытаниях
корректности компонентов комплексов программ
выделены следующие этапы:
• комплексирование модулей
• отладка автономных групп программ в статистике без
взаимодействия с другими компонентами
• тестирование и отладка групп программ в статистике
с учетом взаимодействия с некоторыми другими
важнейшими компонентами и с базой данных
• тестирование и отладка отдельных программных
компонентов в реальном времени во взаимодействии с
другими функциональными компонентами операционной
системы и базой данных.
Выполнение комплексного теста
После комплексирования основных функциональных компонентов
начинаются тестирование и испытания ПС в целом.
Стадии комплексного тестирования и испытаний ПС в
реальном времени:
* по данным моделирующего стенда или генераторов
тестов, имитирующих отдельные объекты внешней
среды;
* с имитаторами отдельных объектов внешней среды и
с реальными воздействиями от операторов
пользователей;
* в полностью адекватной реальной или
имитированной внешней среде и с реальными
воздействиями от операторов пользователей.
Выполнение комплексного теста
На всех стадиях отладки, кроме операций
непосредственной проверки функционирования программ,
можно выделить еще две важные группы работ:
Первая группа — это работы по методическому
обеспечению тестирования и по созданию средств
автоматизированной генерации тестов.
Вторая группа - работ должна обеспечивать
возможность обработки результатов
тестирования и оценки достигнутых
показателей качества функционирования
программ.
Организация завершающих испытаний
комплексов программ.
Испытания главного конструктора, которые
зачастую совмещаются с завершением комплексной отладки,
должны оформляться документально и являются
основанием для предъявления ПС заказчику на
завершающиеся совместные испытания.
Для повышения достоверности определения и улучшения
характеристик ПС после испытаний главного конструктора
программы целесообразно передавать некоторым
пользователям на опытную эксплуатацию в типовых
условиях.
.
Организация завершающих испытаний
комплексов программ.
Совместные приемосдаточные испытания
проводятся комиссией заказчика, в которой
участвуют главный конструктор разработки и
некоторые ведущие разработчики, аттестованные
сертификационной лабораторией.
Организация завершающих испытаний
комплексов программ.
Комиссия при испытании руководствуется
следующими документами:
* утвержденным заказчиком и согласованным с
разработчиком техническим заданием и
спецификациями на ПС;
* действующими государственными и
ведомственными стандартами на проектирование и
испытания программ и на техническую
документацию, а также согласованными с
заказчиком стандартами «де-факто»;
Организация завершающих испытаний
комплексов программ.
Комиссия при испытании руководствуется
следующими документами:
* программой испытаний по всем требованиям
технического задания;
* методиками испытаний по каждому разделу
требований технического задания; комплектом
эксплуатационной документации на комплекс
программ.
Организация завершающих испытаний
комплексов программ.
Программа испытаний должна содержать
следующие четко сформулированные разделы:
*объект испытаний, его назначение и перечень
основных документов, определивших его
разработку;
*цель испытаний с указанием всех требований
технического задания, подлежащих проверке, и
ограничений на проведение испытаний;
Организация завершающих испытаний
комплексов программ.
Программа испытаний должна содержать
следующие четко сформулированные разделы:
*собственно программу испытаний, содержащую
проверку комплектности
спроектированного ПС в соответствии с
техническим заданием, и план тестирования для
проверки по всем разделам технического
задания и дополнительным требованиям,
формализованным отдельными решениями
разработчиков и заказчика;
Организация завершающих испытаний
комплексов программ.
Программа испытаний должна содержать
следующие четко сформулированные разделы:
*методики испытаний, однозначно определяющие
все понятия проверяемых характеристик, условия
и сценарии тестирования, средства, используемые
для испытаний;
*методики обработки и оценки результатов
тестирования по каждому разделу
программы испытаний.
Организация завершающих испытаний
комплексов программ.
Результаты испытаний фиксируются в
протоколах, которые обычно содержат следующие
разделы:
*назначение тестирования
*раздел требований технического задания,
по которому проводились испытания
*указания методик, в соответствии с которыми
проводились испытания
*обработка и оценка результатов
*условия и сценарии проведения тестирования и
характеристики исходных данных
Организация завершающих испытаний
комплексов программ.
Результаты испытаний фиксируются в
протоколах, которые обычно содержат следующие
разделы:
*обобщенные результаты испытаний с оценкой их
на соответствие требованиям технического
задания и другим руководящим документам, а также
технической документации
*выводы о результатах испытаний и соответствии
созданного ПС определенному разделу требований
технического задания
Организация завершающих испытаний
комплексов программ.
Протоколы по всей программе испытаний
обобщаются в акте заключение о
соответствии системы требованиям заказчика
и завершении работы с положительным или
отрицательным итогом.
При испытаниях очередных модернизированных
версий ПС возможны значительные сокращения
объемов тестирования повторно используемых
компонентов.
Организация завершающих испытаний
комплексов программ.
!!!При завершающих испытаниях основное
внимание, кроме проверок функциональной
пригодности, должно сосредоточиваться на
подготовке стрессовых тестов, тестировании в
режимах предельного использования ресурсов,
надежности функционирования ПС.
Организация завершающих испытаний
комплексов программ.
При испытаниях важную роль играют оценка и
обеспечение близких значений методической
и статистической достоверности результатов
испытаний.
Методическая достоверность приемосдаточных
испытаний ПС определяется следующими факторами:
* полнотой программы испытаний и
корректностью методик тестирования по
охвату возможных условий и сценариев
* функционирования программ и областей
изменения исходных данных;
Организация завершающих испытаний
комплексов программ.
Методическая достоверность
приемосдаточных испытаний ПС определяется
следующими факторами:
* достоверностью и точностью эталонных
значений, с которыми сравниваются
результаты тестирования испытываемой
программы или которые служат опорными при
расчете параметров, зафиксированных в
техническом задании;
Организация завершающих испытаний
комплексов программ.
Методическая достоверность
приемосдаточных испытаний ПС определяется
следующими факторами:
* адекватностью и точностью моделей,
используемых для имитации тестов от внешней
среды;
* точностью и корректностью регистрации и
обработки результатов тестирования, а также
сравнения полученных данных с требованиями
технического задания.
Организация завершающих испытаний
комплексов программ.
Для коммерческих прикладных программ
принято проводить испытания в два
последовательных этапа — Альфа- и
Бета-тестирование.
Альфа-тестирование:
привлекаются
конечные
пользователи, работающие в той
же
компании,
но
не
участвовавшие непосредственно в
разработке комплекса программ.
Бета-тестирование:
привлекаются
добровольные пользователи (потенциальные
покупатели), которым бесплатно передается
версия ПС для опытной эксплуатации. При этом
особое значение имеет выделение компетентных,
тщательных и доброжелательных пользователей,
способных своими рекомендациями улучшить
качество
испытываемых
программ.
Их
деятельность стимулируется бесплатным и
ранним получением и
освоением нового
программного продукта и собственной оценкой
его качества.
Для коммерческих прикладных программ принято
проводить испытания в два последовательных этапа —
Альфа- и Бета-тестирование.
При Альфа- и Бета- испытаниях принято разделять
прогрессивное и регрессивное тестирование.
Под прогрессивным понимается тестирование новых
программных компонентов, для выявления дефектов
и ошибок в исходных текстах программ и
спецификациях.
Регрессивное тестирование предназначено для
контроля качества и корректности изменений в
программах и данных после проведения
корректировок.
Для коммерческих прикладных программ принято
проводить испытания в два последовательных этапа —
Альфа- и Бета-тестирование.
Объем тестов и длительность обоих этапов
тестирования определяются руководителями
проекта в зависимости от сложности
комплекса программ и интенсивности потока
изменений.!!!!!