Тестирование программных средств

Тестирование
программных средств
Сафронов Сергей,
2008 год
Оглавление


История развития Bug Tracking
Systems (BTS)
Примеры современных BTS
• Bugzilla
• PVCS Tracker


Жизненный цикл ошибки
Правила оформления ошибок
• Обязательные атрибуты
• Описание проблемы (структура)
История BTS
1.
Заметки на бумаге
2.
Текстовые файлы
3.
Таблицы
Проблемы:

Сложно размножать/редактировать

Сложно отслеживать статус
Проблемы:

Поиск нужного по тестеру, разработчику, проекту

Проверка статуса и оценка «запущенности» проекта

Система безопасности
Проблемы:

Поиск по нескольким проектам

Большой размер файла для крупных проектов (ресурсы)

Система оповещения
Современные BTS

Критерии классификации
• Платные/бесплатные
• Интегрированные/отдельные
• Веб-интерфейс/клиентское приложение

Примеры:
• Bugzilla
• Jira
• PVCS Tracker
Bugzilla
Название: Bugzilla
Версия: 2.16.6
Разработчик: The Mozilla
Organization
Сайт: http://www.bugzilla.org
Распространение: freeware
Bugzilla: оформление новой
ошибки
Bugzilla: функциональность

Меню быстрого доступа

История изменений
Bugzilla: меню поиска
Сложные запросы
 Правка нескольких
ошибок за раз

Bugzilla: преимщества





Есть возможность модифицировать (конструировать)
шаблон письма (notification), которое отправляется при
редактировании бага.
Есть возможность настроить значение поиска по
умолчанию (когда вы делаете новый поиск).
Есть возможность настроить значение полей нового бага
(определённые поля уже будут иметь некоторые
значения).
Есть возможность включить/выключить показ некоторых
полей (milestone, QA contact, votes, OS, и т.д.) при
создании нового бага.
Есть опции, которые заставляют комментировать (писать
комментарии) при редактировании (смене статуса) бага.
PVCS Tracker
Название: PVCS Tracker
Версия: PVCS Tracker I-Net 7.5.2.0
(Build 696.3)
Разработчик: Intersolv (США)
Сайт: http://www.merant.com/
Распространение: Commercial
PVCS Tracker:
предопределенные группы





пользователи (Submitters)
разработчики (Development
Engineers)
тестировщики (Quality Engineers)
сопровождение (Support Engineers)
руководители (Managers)
PVCS Tracker: web-интерфейс
PVCS Tracker:

Оформление новой
ошибки
PVCS Tracker: отчеты
3 вида отчетов:



Диаграммы
распределения
Частотные
Тренды
Плюсы автоматизированной BTS









единое хранилище запросов;
возможность совместного доступа и совместной работы с
запросами;
возможность гибкой настройки жизненных циклов
запросов;
возможность гибкой настройки необходимых атрибутов
запросов;
настройка политики безопасности;
настройка системы оповещения;
возможность отслеживания текущего состояния
запросов;
построение различных выборок по интересующим
запросам;
возможность импорта/экспорта в другие форматы.
Жизненный цикл ошибки
Правила составления ошибок
Основной результат деятельности
тестировщика – ошибка
Основная цель – исправление
Основное требование - понятность
Обязательные атрибуты



Описание системы
Версия тестируемой программы
Тип ошибки
•
•
•
•
•
•

Ошибка кодирования
Ошибка проектирования
Расхождение с документацией
Предложение
Задача
Новая функциональность
Описание проблемы
Обязательные атрибуты
(продожение)

Важность ошибки
•
•
•
•
•






Фатальная
Критичная
Важная
Незначительная
Дизайн
Приложения
Воспроизводимость (да/нет/иногда)
Алгоритм воспроизведения
Предлагаемое исправление
Автор
Дата
Структура описания проблемы

Последовательность действий
• Как точно воспроизвести
• Есть ли альтернативные пути (с описаниями)



Наблюдаемое поведение
Ожидаемое поведение
Ссылка на требования
• Цитаты из требований или ТЗ
• ссылки на требования или документ,
содержащий требования
• Объяснения в произвольной форме с
указанием источника