Тестирование и отчеты об ошибках

Федеральное агентство по образованию РФ
ГОУ ВПО Нижегородский государственный университет им. Н.И. Лобачевского
Факультет Вычислительной математики и кибернетики
Кафедра Математического обеспечения ЭВМ
УЧЕБНЫЙ КУРС
«Технологии программирования.
Курс на базе Microsoft Solutions Framework (MSF)»
для подготовки по направлению «Информационные технологии»
ТЕСТИРОВАНИЕ И ОТЧЕТЫ ОБ ОШИБКАХ
Нижний Новгород
2006
Содержание
1. Введение ........................................................................................................ 3
2. Методы и инструменты тестирования........................................................ 4
2.1.
Обзор методов тестирования ................................................................................... 4
2.2.
Обзор средств тестирования .................................................................................... 4
3. Отчет о тестах ............................................................................................... 4
3.1.
Результаты тестов – разница от прошлого отчета ................................................. 4
3.2.
Отклонения в выполнении плана тестирования .................................................... 5
3.3.
Оставшиеся тесты и исправления в плане тестирования ..................................... 5
4. Зоны тестирования........................................................................................ 5
4.1.
Зона 1 ......................................................................................................................... 5
4.1.1.
Цели тестирования ........................................................................................... 5
4.1.2.
Критерии оценивания....................................................................................... 6
4.1.3.
Результаты ......................................................................................................... 6
4.1.4.
Рекомендации.................................................................................................... 6
4.2.
Зона 2 ......................................................................................................................... 7
4.2.1.
Цели тестирования ........................................................................................... 7
4.2.2.
Критерии оценивания....................................................................................... 7
4.2.3.
Результаты ......................................................................................................... 7
4.2.4.
Рекомендации.................................................................................................... 7
5. Отчет об ошибках ....................................................................................... 11
5.1.
Статус билда ........................................................................................................... 11
5.2.
Известные ошибки.................................................................................................. 11
5.3.
Анализ сходимости ошибок .................................................................................. 11
6. Обновленный план тестирования ............................................................. 13
1. Введение
Данный документ представляет собой обзор тестов из всех стадий тестирования.
Данный документ используется многократно в ходе фаз Разработки, Тестирования и
Стабилизации. Важность документа и частота обращений к нему вызвана тем, что от
тестирования во многом зависит качество разработанного решения. Другая причина
состоит в том, что результаты тестирования могут существенно влиять на планы и
график.
В секции «Введение» приводится обзор содержания документа.
Приведите здесь краткую аннотацию документа с указанием перечня и краткого
содержания его основных разделов.
2. Методы и инструменты тестирования
Раздел содержит информацию о том, что было седлано в сравнении с планом
тестирования. Приводятся сведения о том, что было выполнено, что нет с указанием
причины. Также уточняются дополнительные мероприятия.
2.1. Обзор методов тестирования
Приведите перечень примененных методов тестирования с их кратким описанием.

Метод “черного ящика”

Тестовая программа
2.2. Обзор средств тестирования
Приведите перечень примененных средств тестирования (в соответствии с методами
тестирования) с их кратким описанием.

Визуальная оболочка программы

До существования визуальной оболочки консольное приложение
3. Отчет о тестах
Данный раздел содержит следующую информацию:

какие тесты были выполнены со времени последнего отчета;

какие отклонения от плана тестирования были сделаны и почему;

какие тесты осталось выполнить;

какие изменения необходимо внести в план тестирования.
3.1. Результаты тестов – разница от прошлого отчета
Приведите здесь результаты тестов, выполненных со времени предыдущего отчета.
Найдено 13 ошибок:

Модуль управления аэропортом
o addFlight при адекватных параметрах иногда выдает -1
o при вызове метода isFlightsExist модуль аварийно завершал работу
o getFlights возвращает NULL вместо указателя а объект

Модуль доступа к данным
o При вызове isAirportExist модуль аварийно завершается
o getFlights возвращает NULL вместо указателя на объект
o armoringTicket аварийно завершается
o addAirport добавляет аэропорт но возвращает код ошибки -2 вместо 0

Модуль поиска путей
o При вызове isAirportExist программа аварийно завершается
o getRouteFlight

выдает -1 при найденом пути

не заполняет путь даже если его находит

иногда аварийно завершается при поиске пути

возвращает -2 хотя существует путь между аэропортами
3.2. Отклонения в выполнении плана тестирования
Приведите здесь отклонения от плана тестирования. Охарактеризуйте причины
отклонений.
Отклонений нет.
3.3. Оставшиеся тесты и исправления в плане
тестирования
Сформулируйте оставшиеся тесты и те изменения, которые необходимо сделать в
плане тестирования.
4. Зоны тестирования
Реализация решения рассматривается как набор самостоятельных участков кода – зон
тестирования. В данном разделе необходимо указать результаты тестирования по
выделенным ранее зонам.
4.1. Зона управления аэропортом
4.1.1. Цели тестирования
Сформулируйте цель тестирования в Зоне 1.
Целью тестирования является выявление ошибок в написанной части кода. Среди
ошибок выявляются следующие типы:

Невозможность сборки модуля

Критические ошибки
o Вылеты из программы
o Исключения

Несоответствие выходных кодов ошибок смоделированным ситуациям
4.1.2. Критерии оценивания
Сформулируйте критерии оценивания результатов тестирования в Зоне 1.
Критерием является количество выявленных ошибок любого типа. При этом
существует следующие оценки качества зоны:

Новых ошибок не найдено – зона готова к добавлению новой функциональности
или к релизу и качество идеальное

<7 ошибок – зона готова к добавлению новой функциональности или к релизу и
качество удовлетворительное

>7 зона имеет неприемлемое качество
4.1.3. Результаты
Сформулируйте результаты тестирования в
функциональности, наличие требуемых свойств...)
Зоне
1
(разработка
Функциональность реализована на 30%.
Обнаружено 3-и ошибки:

addFlight при адекватных параметрах иногда выдает -1

при вызове метода isFlightsExist модуль аварийно завершал работу

getFlights возвращает NULL вместо указателя а объект
4.1.4. Рекомендации
Рекомендации по изменениям в реализации данной зоны.
Зона требуется в серьезном исправлении ошибок, так как ошибки критические.
нужной
4.2. Зона доступа к данным
4.2.1. Цели тестирования
Целью тестирования является выявление ошибок в написанной части кода. Среди
ошибок выявляются следующие типы:

Невозможность сборки модуля

Критические ошибки
o Вылеты из программы
o Исключения

Несоответствие выходных кодов ошибок смоделированным ситуациям
4.2.2. Критерии оценивания
Критерием является количество выявленных ошибок любого типа. При этом
существует следующие оценки качества зоны:

Новых ошибок не найдено – зона готова к добавлению новой функциональности
или к релизу и качество идеальное

<5 ошибок – зона готова к добавлению новой функциональности или к релизу и
качество удовлетворительное

>5 зона имеет неприемлемое качество
4.2.3. Результаты
Функциональность реализована на 90%
Обнаружено 4-е ошибки:

При вызове isAirportExist модуль аварийно завершается

getFlights возвращает NULL вместо указателя на объект

armoringTicket аварийно завершается

addAirport добавляет аэропорт но возвращает код ошибки -2 вместо 0
4.2.4. Рекомендации
Исправить критические ошибки. Проверить создаются ли объекты.
4.3. Зона управления всеми аэропортами
4.3.1. Цели тестирования
Целью тестирования является выявление ошибок в написанной части кода. Среди
ошибок выявляются следующие типы:

Невозможность сборки модуля

Критические ошибки
o Вылеты из программы
o Исключения

Несоответствие выходных кодов ошибок смоделированным ситуациям
4.3.2. Критерии оценивания
Критерием является количество выявленных ошибок любого типа. При этом
существует следующие оценки качества зоны:

Новых ошибок не найдено – зона готова к добавлению новой функциональности
или к релизу и качество идеальное

<5 ошибок – зона готова к добавлению новой функциональности или к релизу и
качество удовлетворительное

>5 зона имеет неприемлемое качество
4.3.3. Результаты
Реализована вся функциональность.
Ошибок нет.
4.3.4. Рекомендации
Рекомендаций нет
4.4. Зона поиска путей
4.4.1. Цели тестирования
Целью тестирования является выявление ошибок в написанной части кода. Среди
ошибок выявляются следующие типы:

Невозможность сборки модуля

Критические ошибки
o Вылеты из программы
o Исключения

Несоответствие выходных кодов ошибок смоделированным ситуациям
4.4.2. Критерии оценивания
Критерием является количество выявленных ошибок любого типа. При этом
существует следующие оценки качества зоны:

Новых ошибок не найдено – зона готова к добавлению новой функциональности
или к релизу и качество идеальное

<5 ошибок – зона готова к добавлению новой функциональности или к релизу и
качество удовлетворительное

>5 зона имеет неприемлемое качество
4.4.3. Результаты
Функциональность полностью реализована.
Обнаружено 5-ть ошибок:

При вызове isAirportExist программа аварийно завершается

getRouteFlight
o выдает -1 при найденом пути
o не заполняет путь даже если его находит
o иногда аварийно завершается при поиске пути
o возвращает -2 хотя существует путь между аэропортами
4.4.4. Рекомендации
В модуле слишком много критических ошибок, возможно стоит его переписать заново.
4.5. Зона бронирования билетов
4.5.1. Цели тестирования
Целью тестирования является выявление ошибок в написанной части кода. Среди
ошибок выявляются следующие типы:

Невозможность сборки модуля

Критические ошибки
o Вылеты из программы
o Исключения

Несоответствие выходных кодов ошибок смоделированным ситуациям
4.5.2. Критерии оценивания
Критерием является количество выявленных ошибок любого типа. При этом
существует следующие оценки качества зоны:

Новых ошибок не найдено – зона готова к добавлению новой функциональности
или к релизу и качество идеальное

<2 ошибок – зона готова к добавлению новой функциональности или к релизу и
качество удовлетворительное

>2 зона имеет неприемлемое качество
4.5.3. Результаты
Реализована вся функциональность.
Ошибок нет.
4.5.4. Рекомендации
Рекомендаций нет.
5. Отчет об ошибках
Отчет об ошибках содержит информацию о том, какие ошибки были найдены в ходе
тестирования. Наличие такой информации позволяет понять качество текущего билда и
объем ресурсов, которые нужно потратить для его доводки.
5.1. Статус билда
Укажите здесь выявленный статус билда (охарактеризуйте его стабильность), укажите
на какой из вех процесса находится команда по данным тестеров.
Билд крайне нестабилен и нуждается в серьезной доработки. Проект еще находится на
стадии: Билд 1 завершен (шаблоны функциональных выделенных классов).
5.2. Известные ошибки
Укажите выявленные ошибки.

Для структур данных связанных с аэропортами не всегда заводятся объекты

Существуют большие проблемы в модуле поиск пути, он работает нестабильно
и не корректно
o Необходимо его срочно исправлять
5.3. Анализ сходимости ошибок
В данном разделе выполняется анализ текущего количества ошибок, количества вновь
выявленных ошибок, количества устраненных ошибок.
В точке конвергенции (bug convergence) становится заметен существенный прогресс в
устранении ошибок, то есть скорость устранения ошибок начинает превосходить
скорость их обнаружения.
Точка конвергенции.
Источник: Модель процессов MSF. Белая книга, 2003, перевод eLine Software
Поскольку количество найденных, но не устраненных ошибок может колебаться даже
после того, как оно начало убывать, конвергенция может рассматриваться скорее как
тенденция, нежели как фиксированный момент во времени. Вслед за этой вехой
количество активных ошибок должно продолжать убывать, вплоть до точки
достижения нуля. Точка конвергенции дает проектной группе возможность понять, что
процесс тестирования близится к концу.
Точка достижения нуля (zero-bug bounce) это момент, когда впервые все выявленные
ошибки оказываются устраненными. Вслед за ней пики количества активных ошибок
должны становиться все меньше, вплоть до полного угасания в момент, когда решение
уже достаточно стабильно для выпуска первой версии кандидата.
Точка достижения нуля.
Источник: Модель процессов MSF. Белая книга, 2003, перевод eLine Software
Приведите здесь анализ перечисленных показателей.
30
25
20
новых ошибок
15
исправленых ошибок
10
5
0
1
2
3
4
5
6. Обновленный план тестирования
Обобщите здесь обновления, которые необходимо внести в план тестирования.
Проводить тестирование без изменений.