Центр обработки данных для обеспечения надежной работы

ИСТОРИЯ УСПЕХА
Построение и ввод в эксплуатацию центра обработки
данных ОАО «Новый Импульс-Центр»
Knowhow компании «Новый
Импульс» стала идея принципиально
нового использования формата «стол
заказов» в системе розничной
торговли – так появилась сеть
магазинов «Утконос».
ЗАДАЧИ
С ростом бизнеса и увеличением количества точек продаж перед
руководством компании «Новый Импульс» встала задача: обеспе
чить непрерывную, бесперебойную работу торговой сети «Утконос»
и сохранность информации в случае отказов оборудования, програм
мных сбоев и ошибок персонала.
Система предварительных заказов предъявляет высокие требова
ния к информационной системе (ИС) компании, так как необходимо
обеспечить поддержку большого количества операций между мага
зинами и складомхранилищем: передача заказа из магазина на
склад в реальном времени, контроль наличия товара на складе,
контроль прохождения заказа клиента и т.д. Поскольку вся инфор
мация о клиентах, товарах и заказах консолидируется в централи
зованной базе данных, то сбой в работе ИС может привести к пол
ной остановке бизнеса, то есть к большим убыткам. В качестве си
стемы обработки и хранения данных о клиентах и заказах компании
«Новый Импульс» использовалась система SAP R3.
Первые магазины сети «Утконос»
были открыты в Зеленограде и
Солнечногорске в 2000 году. По
достоинству оценив инициативу
компании, проект поддержало
Правительство г. Москвы: было
принято решение о развитии системы
торговли по предварительным заказам
населения в cлолице. Проекту был
присвоен муниципальный статус.
В 2005 году компания «Новый
Импульс» приступила к реализации
этого проекта, и к концу 2007 года в
городе насчитывалось более 160
торговых точек компании, в каталоге
еженедельно было представлено
более 65 тыс. позиций товаров.
Рост числа магазинов и увеличение потока клиентов в переводе на
язык ИТ означает увеличение объемов обрабатываемых данных.
Прогнозировалось, что количество заказов будет составлять в
среднем не менее 10 тыс. в день. Кроме того, планировалось внед
рить ресурсоемкое ПО для анализа, прогнозирования и планирова
ния работы большой торговой сети, а существующий вычислитель
ный комплекс не имел резервов для увеличения производительнос
ти. Решение этих задач требовало его модернизации.
Для того чтобы обеспечить поддержку бизнеспроцессов, руковод
ство компании «Новый Импульс» приняло решение о строительстве
комплекса зданий в районе Южное Бутово. Здесь должны были раз
меститься складхранилище, офисные помещения и центр обработ
ки данных (ЦОД), поддерживающий работу торговой сети в Москве,
Зеленограде и Солнечногорске.
Партнером по построению ЦОД стала компания «Инфосистемы
Джет», перед специалистами которой были поставлены задачи:
спроектировать и построить инженерную инфраструктуру и вычис
лительный комплекс для работы ERP и других информационных
систем предприятия.
РЕШЕНИЕ
Специалисты компании «Инфосистемы Джет» взяли на себя управ
ление строительством ЦОД, осуществляя контроль всех этапов
строительномонтажных работ, выполняемых подрядными органи
зациями, и подготовку комплекса к сдаче в эксплуатацию. ЦОД
планировалось разместить в двух зданиях. На момент начала
сотрудничества одно из них было уже построено, а для второго бы
ла подготовлена площадка под фундамент. В результате эксперт
ной оценки уже построенных помещений и строительнопроектой
Принцип работы торговой
сети «Утконос»
В основу работы торговой сети
«Утконос» положена схема
доставки товаров со склада
до покупателя, построенная
по принципу «заказ – доставка –
оплата». Товары хранятся на
едином складе. Каждому клиенту
выдается карта постоянного
покупателя с уникальным
идентификационным номером.
Покупатель делает заказ продуктов
и товаров для дома в магазине,
например по дороге на работу, или
дома – через Интернет. Все заказы
поступают в централизованную
базу заказов. Каждому заказу
присваивается штрихкод,
в соответствии с которым он будет
доставлен в тот или иной магазин.
Покупатель получает заказ на
следующий день в ближайшем
магазине или дома.
документации, были выявлены некоторые особенности проекта, на
которые следовало обратить особое внимание.
1.Площадка под строительство комплекса зданий находилась в лесо
парковой зоне и оказалась на пять метров ниже уровня земли в
районе застройки, это могло затруднить работу электронного обору
дования ЦОД. Необходимо было обеспечить дополнительную защи
ту серверных комнат от талых и дождевых вод, а также учесть осо
бенности расположения комнат при проектировании систем охлаж
дения и кондиционирования.
2.Инфраструктура электросетей, существующая в выбранном райо
не, не имела достаточного запаса мощности для подключения обо
рудования, запланированного в ЦОД. Поскольку ЦОД является
довольно энергоемкой системой, проектировщики компании реко
мендовали «Новому Импульсу» построить независимый источник
электропитания – газовую электростанцию. Это позволило не толь
ко решить проблему бесперебойного энергоснабжения всего предп
риятия, но и снизить расходы компании на электроэнергию.
Затем были сформулированы требования к строительноподряд
ным организациям по построению, размещению и отделке сервер
ных комнат внутри зданий с учетом особенностей конфигурации по
мещений, предназначенных для ЦОД, требований к размерам и ге
ометрии входных дверей, конструктивным особенностям пола, ма
териалам, используемым для отделки.
После завершения строительных работ специалисты компании «Ин
фосистемы Джет» приступили к монтажу инженерной инфраструк
туры ЦОД и проектированию вычислительного комплекса.
Инженерная инфраструктура ЦОД
С.Ф. Шишков,
генеральный директор компании
«Новый Импульс»:
«Мы провели закрытый конкурс,
выбирая компанию, которая должна
была стать генеральным
подрядчиком нашего проекта.
В результате анализа конкурсных
заявок мы пришли к выводу, что
лучше всех с этой работой
справятся специалисты компании
«Инфосистемы Джет», так как она
имеет необходимый опыт создания
аналогичных систем,
высококвалифицированный
персонал, грамотный проектный
менеджмент».
При создании инженерной инфраструктуры ЦОД были выполнены
работы по проектированию, установке и запуску в эксплуатацию
следующих подсистем:
z
кондиционирования,
z
газового пожаротушения,
z
закладных и кабельных каналов,
z
бесперебойного электроснабжения, включая распределительную
сеть электропитания серверных комнат,
z
структурированной кабельной подсистемы,
а также ряд дополнительных подсистем, в частности общего электро
питания и аварийного освещения.
Табл.1 Технические детали проекта
Подсистема
закладных и
кабельных каналов
Niedax и
Vergokan
Подсистема общей
протяженностью 216 м
Кабельная
подсистема
The Siemon
Company
Емкость подсистемы:
- 816 медных портов;
- 544 оптических портов.
Подсистема
бесперебойного
электроснабжения
Merlin Gerin,
Chloride
Group PLC
Два комплекса ИБП, построенные
с резервированием по схеме N+1,
общей мощностью 380 кВт
Подсистема
кондиционирования
EMICON
Четыре комплекса, построенные
с резервированием по схеме N+1,
общей мощностью по холоду
370 кВт
Фальшпол
UNIFLAIR
Общая площадь – 240 кв.м.
Поскольку в базе данных SAP R3
хранится критичная для бизнеса
компании информация,
специалисты «Нового Импульса»
сформулировали требования
к новому вычислительному
комплексу следующим образом:
он должен обеспечивать,
вопервых, непрерывную
и бесперебойную работу торговой
сети, вовторых, сохранность
информации о клиентах и заказах
в случае отказа оборудования,
а также в ситуации программных
или человеческих ошибок.
Конфигурация оборудования
должна была иметь резервы для
увеличения производительности
и повышения надежности
в будущем.
Вычислительный комплекс системы SAP R3
При составлении коммерческого предложения по построению вы
числительного комплекса специалисты нашей компании проанали
зировали:
z
параметры функционирования существовавшего комплекса обра
ботки данных;
z
маркетинговые планы компании «Новый Импульс» за предыду
щие годы;
z
влияние развития бизнеса (увеличения числа торговых точек се
ти, возможности расширения ассортимента продукции и т.п.) на
информационную инфраструктуру компании;
z
имеющиеся мощности ЦОД с учетом перспектив развития компа
нии.
Кроме того, были рассмотрены возможные варианты размещения
оборудования в новых зданиях и перспективы модернизации ЦОД в
будущем.
Результатом работы стало предложение спроектировать террито
риально распределенный отказоустойчивый кластер SAP R3. Имен
но такое решение должно было наиболее полно удовлетворить тре
бования компании «Новый Импульс» в части производительности,
доступности и масштабирования системы.
сервер
SF 6800
сервер
SF 6800
LAN
коммутаторы
LAN
коммутаторы
ОПТИЧЕСКИЕ
КАНАЛЫ СВЯЗИ
FС
коммутаторы
Дисковый
массив
Sun StorEdge
9980
FС
коммутаторы
Дисковый
массив
Sun StorEdge
9980
Рис. 1
Схема кластера SAP R3 компании «Новый Импульс-Центр»
Система SAP R3 включает сервер СУБД Oracle и серверы приложе
ний. Сервер СУБД работает с данными, размещенными на двух
внешних дисковых массивах (см. Рис.1).
Для обеспечения непрерывности работы информационной системы
в случае отказа оборудования было предложено продублировать
ключевые компоненты ИТинфраструктуры.
Для эффективного доступа серверов к дисковым ресурсам была
спроектирована и построена оптоволоконная сеть хранения данных –
SAN – по принципу dualfabric на четырех коммутаторах Fibre
Channel Brocade SilkWorm 3800.
Расположенные на разных площадках компоненты комплекса связаны между собой оптичес
кими каналами:
z
две линии связи предназначены для локальной сети и сети межкластерного взаимодей
ствия;
z
четыре линии связи – для SAN.
Для надежности конструкции все линии связи были разделены в два физически разных кана
ла, проложенные независимыми путями.
Принцип работы комплекса в штатном
и нештатном режиме
В режиме нормальной работы комплекса все клиенты подключаются к серверам приложений.
Специальный процессдиспетчер SAP R3, исполняющийся на одном из серверов, равномерно
распределяет нагрузку, подключая новых пользователей к наименее загруженному в данный мо
мент серверу. Сервер СУБД Oracle предоставляет по запросам серверов приложений данные,
необходимые для работы, и получает результаты выполнения операций. Связь между сервера
ми обеспечивается при помощи технологии Ethernet. Все данные информационной системы хра
нятся в файлах базы данных на дисковых массивах Sun SE9980. На массивах размещаются дан
ные и других серверов.
Все оборудование, входящее в состав вычислительного комплекса, обладает избыточ
ностью и встроенными средствами диагностики. Поэтому отказ отдельных элементов может
привести лишь к деградации технических характеристик комплекса в заданных пределах, но
не к простою в целом.
В случае отказа какоголибо из серверов, дискового массива, ленточной библиотеки или
оборудования SAN возможны следующие варианты работы:
1.Использование отказоустойчивой кластерной конфигурации позволяет в случае отказа основно
го сервера СУБД автоматически, без вмешательства администратора, осуществить переход на
резервный сервер.
2.При полном отказе одного из серверов приложений всю нагрузку примут на себя оставшиеся,
при этом будут потеряны только текущие сессии клиентов.
3.В случае полного выхода из строя основного дискового массива Sun SE9980 предусмотрен ре
зервный. На нем с помощью программного обеспечения Veritas Volume Manager создается зер
кальная копия данных с первого массива, что позволяет, с одной стороны,повысить скорость
чтения данных и производительность работы приложений, а с другой стороны, избежать оста
новки системы при отказе одного из массивов. При недоступности одной из зеркальных копий
данных работа будет идти со второй без какихлибо перерывов или остановок. После восста
новления работоспособности отказавшего массива данные на нем будут синхронизированы
с рабочей копией и система продолжит работу в полной конфигурации.
4.Существующая конфигурация SAN использует дублирование пути доступа от серверов к си
стемам хранения данных. Благодаря Veritas Volume Manager в случае отказа одного из путей
(выхода из строя FCкоммутатора, обрыва оптического кабеля, отказ FCинтерфейса на серве
ре или дисковом массиве) весь поток данных будет направлен по резервному пути.
Организация резервного копирования
и восстановления данных
Специалисты компании «Инфосистемы Джет» организовали проведение процедуры резервного
копирования online, используя технологию создания «моментальных снимков» (snapshots). Дан
ная схема позволяет делать резервное копирование без остановки работы приложений, сокра
щает время его проведения и не приводит к уменьшению производительности системы.
Для создания «моментальных снимков» используется программное обеспечение Veritas
Volume Manager.
Сервисное обслуживание
Все оборудование вычислительного комплекса находится на сервисной поддержке компании
«Инфосистемы Джет». Работает горячая линия, осуществляются визиты специалиста Сер
висного центра для проведения диагностики и ремонтновосстановительных работ, проводит
ся плановая модификация (переконфигурация) обслуживаемого оборудования и ПО.
Основные элементы комплекса находятся на круглосуточной поддержке по программе «Опера
ционная поддержка 24х7», которая предназначена для предупреждения нештатных ситуаций,
минимизации случаев аварийных сбоев и быстрого восстановления функциональности высоко
скоростного оборудования и ПО, находящегося в промышленной эксплуатации. Программа
обеспечивает гарантированный срок полного восстановления функциональности системы, а
также поддержку всей системы целиком, а не отдельных элементов оборудования и ПО.
РЕЗУЛЬТАТ
В настоящий момент управление магазинами сети «Утконос» осуществляется из единого
центра обработки данных. Комплекс предложенных технических решений и организационных
мер, таких как:
z
территориально распределенный кластер,
z
дублирование ключевых компонентов ИТинфраструктуры,
z
построение SAN,
z
организация проведения резервного копирования online,
z
поддержка вычислительного комплекса по программе «Операционная поддержка 24х7»,
обеспечивает сохранность информации, непрерывную и бесперебойную работу торговой сети.
127015 Россия, г. Москва,
ул. Б. Новодмитровская, д. 14, стр.1
Телефон: +7 (495) 4117601
Факс: +7 (495) 4117602
Email: info@jet.msk.su
www.jet.msk.su