Опыт компании Моторола в развертывании процесса

Опыт компании Моторола в
развертывании процесса разработки
ПО по стандартам SEI CMM
Владимир Полутин
Place your image on
top of this gray box.
If no graphic is
applicable, delete gray
box and notch-out
behind gray box, from
the Title Master
Motorola General Business Information
Директор
Всеволод Котляров
prof., Senior staff engineer
[email protected]
Тел: +007-812-329-1901
Факс: +007-812-329-1912
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
Роль качества
•
В условиях конкурентной борьбы на рынке программных продуктов
поставка качественного продукта в срок является ключевым
фактором успеха компании
• Motorola уделяет особое внимание развитию и постоянному
улучшению качества поставляемых продуктов на основе
зрелого технологического процесса разработки ПО
Motorola General Business Information
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
Процесс в разработке ПО
Проектное планирование, обзоры руководства, количественное управление проектами и процессами
Управление конфигурацией
Разработка продукта
Анализ
требований
Начало
проекта
Дизайн
Кодирование
и мод. тест
Сбор
требований и
планирование
Интеграционное Системное
тестирование тестирование
Планирование
тестирования
Дизайн
тестов
Интеграция
подсистем
Исполнение тестов
Тесты
Разработка тестов
Цикл постоянного улучшения
•Оценки
•Планирование
•Фазовые Kick-Off
•Обзоры
•
Организационный репозиторий метрик
Организационная база знаний
Организационный набор процессных элементов
Организационный репозиторий управления конфигурацией
•Postmortem
•Аудиты
•Анализ метрик
•Причинный анализ
Технологический процесс – организующее звено промышленной
разработки программного
обеспечения
Motorola General Business Information
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
Использование
/поддержка
Направления работ группы SQE
• Обеспечение и контроль качества продуктов и
процессов разработки в проектах компании
• Постоянное совершенствование процесса
разработки
• Развитие перспективных технологий разработки
ПО и процесса разработки
• Инструментальная поддержка технологического
процесса разработки ПО
• Процесс обучения и развития навыков
сотрудников
Motorola General Business Information
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
Наши достижения
SEI CMM v1.1SW Level 5
в Сентябре 2001 – мы первые в
России и первые среди центров
Motorola, специализирующихся
на промышленном производстве
ПО в Европе
Самый высший уровень - только 5.5% организаций
в мире имеют CMM L5 (!)
Motorola General Business Information
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
Ключевые процессные области ПО CMM 1.1
Уровень
5 Оптимизирующийся
4 Управляемый
Фокус
Постоянное
улучшение
процесса
Предотвращение ошибок
Управление изменениями технологий
Управление изменениями процессов
Качество
процессов и
продуктов
Количественное управление процессами
Управление качеством ПО
3 Определенный
Инженерные
процессы и
организационная
поддержка
2 Повторяемый
Процессы
управления
проектами
1 Начальный
Ключевые процессные области
Качество,
Производи
тельность
Фокус организации на процессе
Определение процесса на уровне организации
Программа обучения
Управление интегрированной разработкой ПО
Разработка программного продукта
Межгрупповая координация
Обзоры с коллегами
Управление требованиями
Проектное планирование ПО
Отслеживание разработки ПО
Управление субподрядчиками
Обеспечение качества ПО
Управление конфигурацией ПО
Специалисты (and heroics)
Motorola General Business Information
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
Риск,
Потери
Время, требующееся для перехода
на следующий уровень
Количество месяцев
для перехода на
следующий уровень
Максимальное значение
Рекомендуемый
промежуток времени
между оцениваниями
Период времени с первого
оценивания
75 процентов
Среднее
25 процентов
Минимальное значение
До
1992
С 1992 до настоящего
времени
Все (1987 до
настоящего времени)
1 на 2 2 на 3 1 на 2 2 на 3 3 на 4 4 на 5 1 на 2 2 на 3 3 на 4 4 на 5
Уровень
24
12
125
124
18
19
125
124
18
19
Организации
* По данным Software Engineering Institute, Март 2002
Motorola General Business Information
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
Тенденции развития зрелости
организаций
Для организаций, которые начали улучшение
процесса с использованием модели CMM с 1992 года
или позднее, среднее время перехода:
• с 1 уровня на 2 – 24 месяца
• с 2 уровня на 3 – 22 месяца
• с 3 уровня на 4 – 32 месяца
• с 4 уровня на 5 – 16 месяцев
* По данным Software Engineering Institute, Март 2002
Motorola General Business Information
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
Изменения рабочего окружения
(предпосылки внедрения 4 и 5 уровня)
Большие проекты
Общие архитектуры
Большие
Команды
Географическая разнесенность разработок
Motorola General Business Information
Version # : 1
Переиспользование кода
между подразделениями
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
Разрушение Процесса
(предпосылки внедрения 4 и 5 уровней)
Реорганизация
Внешние изменения процессов
Неверная
приоритизация
Отсутствие наград и признания при создании и улучшении процесса
Энтропия
Давление рынка
Процесс
Отсутствие программы лидерства
Культурная интеграция
Значение и вера
Слияния
Большой рост без адекватного обучения
Уровень Зрелости не отражает степень негативных влияний на
организацию в случае присутствия «РАЗРУШИТЕЛЕЙ» процесса.
Motorola General Business Information
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
Ключевые моменты на 4 уровне
Может ли организация показать реальную
пользу для бизнеса (тенденции улучшения)?
Какие «критические процессы» управляются (или не
управляются) количественно?
Измеряются ли и контролируются эти процессы на уровне
процесса?
Принимается ли каждодневное решение на основе
количественного анализа (где возможно)?
Как приоритезируются цели по качеству и разрешаются
конфликты?
Motorola General Business Information
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
Ключевые моменты на 5 уровне
Как внедряются дополнительные и
инновационные изменения?
– Для процесса и продукта?
Существуют ли документальные критерии
выбора процессов и технологий для
внедрения?
Существует ли обоснованное сравнение
новых получаемых данных с известными
возможностями процесса?
Есть ли влияние на используемость и
эффективность новых процессов и
технологий?
Motorola General Business Information
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
Данные по отрасли
% Организаций
Распределение организаций по уровням сертификации
SEI CMM
Март 2002
1 уровень –
Начальный
100%
90%
2 уровень –
Повторяемый
80%
70%
60%
50%
40%
30%
3 уровень –
Определенный
39.9%
24.8%
%
4 уровень –
Управляемый
23.8%
20%
10%
6.0%
5.5%
4 уровень
5 уровень
0%
1 уровень
2 уровень
3 уровень
5 уровень Оптимизирующийся
* По данным Software Engineering Institute, основанным на результатах
оценивания 1158 организаций за период с 1997 по март 2002
Motorola General Business Information
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
Результаты улучшения процесса по GSG
1993
1995
2001
В среднем по
отрасли в мире
Уровень качества
поставленного продукта
(s) / количество ошибок в
5.1s /
~230
5.7s /
~13
5.9s /
~3
4.3s /
~2500
Затраты на исправление
ошибок
35%
17%
3-6%
40%
Увеличение
продуктивности
в 1.5
раза
В 2.2 раза
В 2.6-6 раз
1
в 2.75
раз
в 4.4 раза
В более
чем 5 раз
_
Наименование
поставленном продукте на 1
миллион строк кода
(% от стоимости проекта)
Сокращение жизненного
цикла
Motorola General Business Information
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
Необходимые факторы создания зрелого
процесса
• Специалисты по процессу
• Соответствующий целям
менеджмент
• Постоянная команда разработчиков
• Реально работающий процесс
• Программные средства
• Обучение
• Стабильные проекты
• Инвестиции
• Соответствующие бизнес цели
Motorola General Business Information
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
Люди
Процесс
Технология
Бизнес
Процесс определяет не все:
Необходимо равновесие во всех сферах
Люди
Бизнес
Заказчики
Поставщики
Процесс
Motorola General Business Information
Технология
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
Вопросы (1/2)
• Повлиял ли переход на 4 и 5 уровень SEI на качество
производимого организацией программного продукта?
– Зрелой организации присуща дисциплина и общеорганизационный
фокус на постоянное улучшение технологического процесса
разработки ПО. Дисциплина и инновации воплощаются в
абсолютном исполнении процесса и использовании технологий.
Следствие – повышение качества.
Maturity Level vs. Customer Complains
Примечание: Лучшие данные по США: 0.041;
Лучшие данные Санкт-Петербурга: 0.0011
Defects per Thousand Lines of
Code
График демонстрирует корреляцию между
уровнем зрелости и количеством дефектов
на тысячу строк кода.
5
0.0100
5
0.0085
0.0080
4
4
3
0.0060
3
0.0043
0.0040
0.0020
1
0.0011
0.0000
0
1999
2000
Years
Motorola General Business Information
2
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
2001
CMM Level
Defect Rate
Вопросы (2/2)
•Могут ли только что открывшиеся фирмы претендовать
на достижение 4 или 5 уровня?
–Это зависит от многих факторов – условий бизнеса,
культуры, отношений с заказчиками, особенности проектов
…
–Новые фирмы могут быстро достичь зрелости 4 или 5
уровня только в том случае, если с самого открытия
осуществляется фокус на процесс, выделяются
соответствующие инвестиции.
•Какие необходимы инвестиции для перехода на эти
уровни?
–Обычно подразделения GSG вкладывают на постоянной
основе 8-10% своих ресурсов в развитие процесса
разработки программного обеспечения.
Motorola General Business Information
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
Сравнение данных
Вся отрасль/Центр в
Санкт-Петербурге
Данные по США
Данные по Центру
В среднем
Лучшие
компании
В среднем
Лучшие по
Центру
3.23
7.14
6.00
45
$4,334
$1,962
$612
$184
15.6
8.1
0.11
0.0011
95%
99.5%
98%
100%
0.78
0.041
0.007
0
Производительность
(Тысячи строк приведенного кода на чел/месяц)
Стоимость
(Стоимость разработки на 1 тысячу строк
приведенного кода)
Количество ошибок
(на 1 тысячу строк приведенного кода)
Эффективность исправления
ошибок
Остаточные дефекты в конечном
продукте
(на 1 тысячу строк приведенного кода)
Источник данных по США : Capers Jones (2000) Software Assessments, Benchmarks, and Best Practice,
Addison-Wesley, p 339, System Software Baseline.
Источник данных по Центру: 1Q’02 Metrics Report for GSG-Russia.
Motorola General Business Information
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
Наши планы
• SEI CMMI (Capability Maturity Model Integration)
• Развитие и внедрение инструментальной поддержки
автоматического тестирования и генерации кода,
верификации на разных уровнях
• Внедрение перспективных средств обеспечения
процесса разработки
на всех этапах
• Унификация технологических
процессов разработки среди центров Motorola
Motorola General Business Information
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
Back-Up Slides
Motorola General Business Information
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
“So Many Models, So Little Time”
• Different structures,
formats, terms, ways of
measuring maturity
• Causes confusion,
especially when using more
than one model
• Hard to integrate them in a
combined improvement
program
• Hard to use multiple models
in supplier selection
Software
CMM
EIA 731
SE
CMM
People
CMM
IPD
CMM
FAA
iCMM
SA
CMM
Systems
Security
CMM
Motorola General Business Information
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
Motorola General Business Information
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
The CMMI Solution
• Integrate the systems and software disciplines (and
others) into one process improvement framework
• Develop the framework which allows for the introduction of
new disciplines as needs arise
– Integrated Process and Product Development was added
– The Supplier Sourcing discipline is currently being added
• Leverage off of the success and history behind existing
models (… e.g., the SW-CMM)
Motorola General Business Information
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.
SW-CMM v1.1 vs. CMMI
Process Areas
LEVEL 5
OPTIMIZING
LEVEL 4
MANAGED
Defect Prevention
Technology Change Mgmt
Process Change Management
Causal Analysis and Resolution
Organizational Innovation & Deployment
Quantitative Process Mgmt
Software Quality Mgmt
Organizational Process Performance
Quantitative Project Management
Organization Process Focus
Organization Process Definition
Training Program
Integrated Software Mgmt
Organization Process Focus
Organization Process Definition
Organizational Training
Integrated Project Management
Risk Management
Requirements Development
Technical Solution
Product Integration
Verification
Validation
Decision Analysis and Resolution
Software Product Engr
LEVEL 3
DEFINED
LEVEL 2
REPEATABLE
Intergroup Coordination
Peer Reviews
Requirements Management
Requirements Management
Software Project Planning
Project Planning
Software Project Tracking & Oversight Project Monitoring and Control
Software Subcontract Mgmt
Supplier Agreement Management
Software Quality Assurance
Product & Process Quality Assurance
Software Configuration Mgmt
Configuration Management
Measurement and Analysis
Benefits of using the CMMI
• Development Costs Reduced 73%
• Rework Costs
Reduced 96%
• Cycle Time
Reduced 37%
• Post-Release Defects
Reduced 80%
• Risk Likelihood
Reduced 92%
• Return on Investment
21:1
Motorola General Business Information
Version # : 1
Date: 07 June 2002
MOTOROLA and the Stylized M Logo are registered in the US Patent & Trademark Office. All other
product or service names are the property of their respective owners. © Motorola, Inc. 2002.