billing.ru - SPb CIO Club

Коммерческий ЦОД как результат
зрелости ИТ в компании
Подготовлено: Дмитрий Гачко
© 2008,
2007, PETER-SERVICE
План презентации
•
•
•
•
•
•
Чуть о компании и ИТ в ней.
Ситуация на рынке ЦОД.
Собственный ЦОД: Инфраструктура.
Собственный ЦОД: Серверное оборудование.
Услуги на базе ЦОД.
Экономика…
billing.ru
О компании
•
•
•
•
•
ПЕТЕР-СЕРВИС – разработчик ПО для крупных
телекоммуникационных операторов, на рынке с
1992 года, первый клиент – первый сотовый
оператор в России – Дельта Телеком.
Головной офис в Санкт-Петербурге, филиалы в
крупных российских городах.
750 – сотрудников - разработчики, тестировщики и
сотрудники технической поддержки.
Разработка собственных программных продуктов.
Клиенты – Мегафон, Ростелеком, СЗТ, Киевстар.
billing.ru
ИТ в ПЕТЕР-СЕРВИС
•
•
•
Основная деятельность – поддержка и развитие
средств производства (разработка ПО).
Сервис ориентированный подход, на данный момент
порядка 60% деятельности ИТ отдела оказываются
в парадигме услуг и SLA к ним.
Компетенции:
–
–
–
–
–
Опыт работы с высокопроизводительными системами и
технологиями,
UNIX системы (HP-UX, Solaris, AIX),
СУБД Oracle (партнерские отношения, более 20
сертифицированных специалистов, более 100 БД),
Технологии Microsoft (Exchange, OCS),
Виртуальная инфраструктура (VMWare).
billing.ru
Рынок ЦОД в России: Уровни услуг
Ресурсы
1.
2.
3.
4.
Функциональность
billing.ru
Инфраструктура (collocation).
Аренда серверов.
Хостинг приложений.
Функциональный аутсорсинг.
Рынок ЦОД в России: Поколения ЦОД
•
Первое поколение:
–
–
•
Побочный бизнес ISP (бюджетно, целевой клиент не бизнес).
Серверные средних и крупный предприятий.
Текущая ситуация – переход ко второму поколению.
–
–
–
Рост числа бизнес заказчиков готовых платить.
Активные целенаправленные инвестиции в создание
современных ЦОД.
Консолидация выросших серверных предприятий, путем
создания ЦОД.
billing.ru
Собственный ЦОД: Создание
Цели:
• Решение задач поддержки роста производства.
• Хостинг собственных приложений (SaaS).
• Использование компетенций собственного ИТ.
Решение:
1. Создание собственного высокотехнологичного ЦОД.
2. Заполнение его высокопроизводительным серверным
оборудованием.
3. Создание и реализация каталога услуг.
billing.ru
Собственный ЦОД: Планирование
На основании плановых оптимистичных потребностей с
горизонтом планирования 3-5 лет.
Планы
появления
Потребление Тепловыделение
Физические размеры
оборудования Номер Назначение
Тип
(kVA)
(BTU/h)
Вес max(кг)
(Ш x Г x В мм)
2008 1 Superdome 1a HP
10
32 382
598 762 x 1220 x 1960
2008 2 Superdome 1b HP
10
32 382
598 762 x 1220 x 1960
2008 3 Superdome 2a HP
10
32 382
598 762 x 1220 x 1960
2010 4 Superdome 2b HP
10
32 382
598 762 x 1220 x 1960
2008 5 XP24K DKC 1
HP
6,7
22 000
791
782 x 925 x 1920
2008 6 XP24K DKU1 1 HP
6,56
21 400
716
650 x 925 x 1920
2008 7 XP24K DKU2 1 HP
6,56
21 400
716
650 x 925 x 1920
2009 8 XP24K DKU3 1 HP
6,56
21 400
716
650 x 925 x 1920
2009 9 XP24K DKU4 1 HP
6,56
21 400
716
650 x 925 x 1920
2008 10 ESL322e
HP
4
11 000
483 760 x 1270 x 1910
2008 11 BLc7000 x 4
APC
28,5
95 212
600 x 1022 x 2000
------------------------Итого: 27
268,88
874 576
billing.ru
Собственный ЦОД: Поиск площадки
•
•
•
•
•
•
•
Расчет площади машинного зала - 3 м2 на один
шкаф.
Место под чиллерную, ДГУ и конденсаторы.
Оптимальная высота потолков 4 метра.
Нагрузка на перекрытия (минимум 1т., местами 2т.).
Электричество, категория (на охлаждение 30%).
Безопасность (круглосуточная охрана, территория и
здание).
Проемы и подходы для транспортировки
крупногабаритных объектов.
billing.ru
Собственный ЦОД: Проектирование
•
•
Расстановка оборудования, исходя из нагрузки на
перекрытия, решения по охлаждению.
Дополнительные помещения: операторская,
мастерская, склад, чиллерная и т.п.
billing.ru
Собственный ЦОД: Электропитание.
Система автономного электропитания ДГУ мощностью 400Квт.
•
•
•
billing.ru
Система бесперебойного электропитания на
базе 2 APC Symmetra PX160 с резервированием
по схеме N+1.
Для сопутствующих помещений Symmetra PX40.
Шкафы, мониторинг инфраструктуры – APC.
Собственный ЦОД: Система водяного охлаждения
APC In-Row – отводят до 18кВт тепла.
APC CDU –
распределение
воды (гликоль) до
In-Row
billing.ru
Собственный ЦОД: Система водяного охлаждения
Аккумулирующие баки с водой
Внешние теплообменные блоки
Чиллера (STULZ) 3+1 x 83кВт
billing.ru
Собственный ЦОД: Коммуникации
• Внешние каналы
•
•
Два независимых оператора связи.
CISCO 7201, Juniper SSG+IDP (N+N).
• Внутренние коммуникации
•
•
billing.ru
Межсерверные коммуникации - Ethernet
1Gbit/10Gbit CISCO Catalyst 6509 (N+N).
Сеть хранения данных – FC 4Gbit/s – Brocade.
Центр обработки данных: Оборудование
Вычислительные мощности

•
•
•
Лезвия x86/x64/ia64
HP Blade 460c 2 CPU Xeon Quad Core 3 GHz, RAM 16Gb
HP Blade 630c 4 CPU Xeon Quad Core 3 GHz, RAM 16Gb
HP Blade 860c 2 CPU Intel Itanium2 Dual Core 1.4GHz, RAM 16Gb
 HP SuperDome
32 CPU Itanium2 Dual Сore, RAM 256Gb
36 CPU Itanium2 Dual Сore, RAM 288Gb
Все сервера имеют доступ к сети хранения данных (FC 4Gbit/s).
billing.ru
Copyright 2008 © PETER–SERVICE. All rights reserved.
Центр обработки данных: Оборудование
Система хранения данных
 Дисковые ресурсы построены на базе
высокопроизводительного дискового массива HP
XP24000.
Текущая емкость – 80 Тб, скорость вращения
шпинделей дисков – 15 000 RPM.
Система резервирования данных

billing.ru
Ленточная библиотека HP ESL 322e позволяет
обеспечить долговременное хранение данных, в
том числе вне ЦОД.
Copyright 2008 © PETER–SERVICE. All rights reserved.
Центр обработки данных: Эксплуатация
Организация эксплуатации:
 Служба работы с клиентами - ServiceDesk + Служба
эксплуатации.
 Регламенты (управление CI, дежурство, контроль работы
компонент).
 Сервисные работы (обслуживающие организации,
собственная деятельность).
 Планирование потребления электричества.
 Поддержание склада ЗИП.
 Отчетность по доступности и
параметрам компонент
инфраструктуры.
billing.ru
Copyright 2008 © PETER–SERVICE. All rights reserved.
Услуги на базе ЦОД – Уровень 1
Размещение оборудования Заказчика в ЦОД (Co-location), от стойки, 3-20KVA
на стойку.
 Энергозависимая составляющая:
 Электричество на потребление и
 Базовая составляющая:
охлаждение.
 Шкаф 42U (2PDU + EMM).
 Система автономного
 Контроль доступа и видеонаблюдение.
электропитания (генератор).
 Газовая система пожаротушения.
 Бесперебойное электропитание
 Мониторинг среды и оборудования.
(ИБП).
 Два независимых канала в Интернет.  Водяное охлаждение.
1 шкаф, 7 KVA
«К*В»
«А»
энергозависимая
составляющая
1 шкаф, 20 KVA
«К*В»
базовая
составляющая
«А»
billing.ru
энергозависимая
составляющая
базовая
составляющая
Copyright 2008 © PETER–SERVICE. All rights reserved.
Услуги на базе ЦОД: Уровень 2
Сдача в аренду серверных мощностей




Лезвия (x86/x64/ia64) – количество серверов, с
дискретностью от шасси.
SuperDome – с дискретностью в CELL
(4CPUx32Gb).
XP 24000 - дисковое пространство с SAN – в Tb
(RAW).
Дополнительные услуги:
 Первоначальная настройка.
 Резервирование данных.
 Функциональный мониторинг.
 Сетевая конфигурация (терминирование
VPN, сетевая безопасность и т.п.).
billing.ru
В стоимость аренды оборудования включен 1 Уровень ЦОД.
Услуги на базе ЦОД: Уровень 2+
Виртуальные выделенные сервера
Виртуальная инфраструктура на базе VMWare Infrastructure
Мы гарантируем пул виртуальных ресурсов,
фиксируя следующие параметры:
 количество оперативной памяти Gb,
 количество GHz,
 объем дискового пространства.
В стоимость включается:
 услуги первого и второго уровней;
 лицензии VMWare;
 администрирование системы виртуализации и
техническая поддержка;
Дополнительно осуществляется резервирование состояний всех виртуальных
машин.
billing.ru
Copyright 2008 © PETER–SERVICE. All rights reserved.
Услуги на базе ЦОД: Функциональный аутсорсинг.
Хостинг и менеджмент приложений
 Хостинг приложений (т.н. операционная среда), включает:
 Первый и второй уровень услуг ЦОД.
 Администрирование ОС: Windows, Linux RedHat, HP-UX, Solaris, AIX.
 Мониторинг работы приложения, с предопределенной реакцией
специалистами при отклонении от заданных параметров.
 Менеджмент приложений (в SLA фиксируются параметры – время
исполнения транзакции приложения и т.п.):
 Microsoft Exchange.
 Microsoft Office Communication Server.
 Microsoft Office SharePoint Portal Server.
 СУБД Oracle, Microsoft SQL Server.
 Вся линейка собственных продуктов компании.
billing.ru
Copyright 2008 © PETER–SERVICE. All rights reserved.
Экономика
1. Деньги:
–
–
–
инфраструктура 50 7kVA стоек ($55К*50),
серверное оборудование более $15М.
структура операционных затрат:
•
•
•
Электричество ~50%
Сотрудники ~30%
Аренда ~10%
2. Сроки:
–
от
–
–
поиск подходящего здания
2 месяцев,
2 месяца проект,
6 месяцев стройка.
billing.ru
Коммерческий ЦОД: Кому это нужно?
1.
Оптимизация затрат:
–
–
–
2.
Повышение надежности и стабильности бизнеса:
–
–
3.
4.
5.
Перевод капитальных затрат в операционные.
Динамика наращивания и сокращения потребляемых ресурсов (стойки,
сервера, люди).
Серверная как якорь для офиса – вынесение в отдельное место,
развязывает руки при переездах компании.
Размещение резервной площадки (после оценки рисков).
Несравнимо лучшее соотношение цена/качество.
Бизнес клиенты сегодняшних ЦОД первого поколения (интернет
брокеры, платежные системы) – разница в качестве.
Нагрузочное тестирование, определение оптимальной
конфигурации (программно-аппаратного решения).
Вынесение интернет зависимой части бизнеса (интернет брокеры,
платежные системы).
billing.ru
Спасибо!
Директор ИТ отдела
Дмитрий Гачко
© 2008,
2007, PETER-SERVICE