Развитие архитектуры ЦОД и ориентированная на приложения

Развитие архитектуры ЦОД и
ориентированная на приложения
инфраструктура Cisco ACI
Скороходов Александр
Системный инженер-консультант
[email protected]
Развитие на всех направлениях
Путеводитель по нашей презентации
Управление
Протоколы и
архитектура
Скорости и
подключения
Вручную
/CLI
STP/
VPC
Программируемость
+ DevOps
L2 фабрики:
FabricPath
Автоматизация +
управление
по политикам
L2/L3 фабрика:
VXLAN
Доступ: 1G->10G-> 25G
Магистраль: 10G->40G->100G
Аналитика
Фабрика c
интеграцией
политик: ACI
Скорости и подключения
Скорости передачи
Подключение серверов
Gigabit Ethernet
• 
• 
• 
• 
• 
10 Gigabit Ethernet
Есть на любом сервере
•  Доступен как LOM или
опция
Отработанная технология
•  Поддержка FCoE и
Узкое место
виртуализации
Задержка сериализации
Последний продукт Cisco •  Варианты: оптика,
кабельные сборки (DAC/
для ЦОД с портами 1G:
AOC), витая пара
Nexus 2248TP-E, 2011 г
•  Поддержка во всех
семействах коммутаторов
Cisco для ЦОД: Nexus 2K/
3K/5K/7K/9K
Встречайте: 25 Gigabit Ethernet
•  Высокая производительность
(x2.5)
•  Тот же тип передачи, что и
10G (single lane),
совместимость гнезд для
трансиверов (1/10/25G SFP)
•  Существенно проще/
дешевле, чем 40G
•  Увязка с новым поколением
100G подключений (QSFP28)
•  Поддержка на новых
коммутаторах Nexus 3K/9K по
цене, близкой к 10G
Скорости передачи
Магистральные подключения
10 Gigabit Ethernet
40 Gigabit Ethernet
100 Gigabit Ethernet
•  Отработанная технология •  Хорошая доступность на
•  Высокая
современном оборудовании
производительность
•  Разнообразие вариантов
•  Cisco BiDi для работы по
•  Трансиверы QSFP28 –
трансиверов (SR, LRM,
одной многомодовой паре,
LR, ER, ZR, DWDM)
компактный коннектор,
LRL4 для недорогих
обратная совместимость с
•  Выше цена за единицу
одномодовых соединений
40G QSFP трансиверами,
полосы, чем для 40/100G
снижение цены за порт
•  Во всех коммутаторах Cisco
•  Ограничение общей
•  Поддержка на новых
для ЦОД, выпущенных за
производительности
последнее время: Nexus
коммутаторах Nexus 3K/9K
коммутатора – размер
2300, 3100, 5600, 7000/7700,
по цене, близкой к 40G
трансивера
9300, 9500…
QSFP28
Новое поколение трансиверов 100G Ethernet
•  Новый форм-фактор 100G трансивера:
QSFP на большей скорости на линию: 4*28G
•  Высокая плотность (сравнительно с CFP/
CFP2/CPAK…)
•  Низкое энергопотребление
•  Обратная совместимость с 40G QSFP
трансиверами
•  Возможность «разбить» на 4*10G/4*25G
•  Нет поддержки 100GBASE-SR10
•  Пример использования: Nexus 3232C
• 
• 
• 
32 порта 100G в том же формате, что и
32*40G (Nexus 3132Q), цена (с L3)
отличается только в ~1.4 раза
Поддержка 10/25/40/50/100G
Уже отгружается!
Nexus 3132Q-X
Nexus 3232C
6
Экономика трансиверов 10G, 40G, 100G
На конец 2015 года
Сравнение стоимости за единицу
пропускной способности (для
бюджетных типов трансиверов):
•  40GBASE-SR4 - дешевле за 10G линию,
чем отдельные 10G трансиверы
•  Трансивер 40GBASE-BD менее чем в два
раза дороже 10G - и работает по такой же
оптической линии!
•  Трансивер 100G CPAK (SR10) чуть
дороже за 10G линию, чем 10G/40G
альтернативы, QSFP28 (SR4) почти
сравнялся с 40GBASE-BD, и требует (по
сравнению с SR10) 4 пары вместо 10
7
1,4
10GBASE-SR
1,2
40GBASE-SR4
1
0,8
40GBASE-CSR4
0,6
40GBASE-BD
0,4
100GBASE-SR10
(CPAK)
0,2
0
$/Gbps, в сравнении с
10GBASE-SR
100GBASE-SR4
(QSFP28)
Протоколы и архитектура
Протоколы и архитектура сети ЦОД
VPC
FabricPath
VXLAN
•  Отработанная
технология
•  Уход от STP без
изменений топологии
•  Совместим с FCoE
•  Сохраняет логику STP
•  Нет горизонтальноого
масштабирования –
усложнение
архитектуры при росте
•  Поддерживается на
всех моделях Nexus
•  Хорошая доступность на
современном оборудовании
•  Богатый набор
дополнительных функций
•  Поддерживает FCoE
•  Требует сквозного
использования Nexus
•  Не поддерживается на хостах
•  Поддержка на «старых»
семействах Cisco Nexus:
5500/5600/6000, 7000/7700…
•  IETF стандарт
•  Работа через IP сеть
•  Поддержка на хостах и
коммутаторах
•  Стандартизован уровень
управления – MP-BGP
(VXLAN/EVPN)
•  L2+L3 транспорт (с EVPN)
•  Мультивендорная поддержка
•  Основа для Cisco ACI
•  Во всех современных
моделях Nexus: 5600,
9300/9500, 7000/7700 (F3)
VXLAN транспорт
И его развитие
Выучивание на уровне коммутации
•  Flood & Learn в мультикастовой группе,
в которой участвуют все устройства
•  Уровень управления отсутствует
Уровень управления
Инкапсуляция
Выучивание на уровне протокола:
EVPN
• Анонс ассоциации L2 и L3 адресов с VTEP
с использованием MP-BGP
• Предотвращение фладинга
• Интеграция коммутации 2 и 3 уровня
• Оптимальное распространение ARP
Варианты распространения BUM
трафика
• Multicast или репликация на источнике
через unicast
Использование для связи ЦОД?
• Требуется развитие
VXLAN
t
Развитие SDN решений Cisco для ЦОД
выбор подходов к автоматизации и программируемости
Application Centric
Infrastructure
Программируемая
фабрика
Программируемая сеть
VTS
DB
DB
Web
Web
App
Web
App
Готовое интегрированное решение:
единое управление, безопасность,
масштабируемость, автоматизация
Ориентированная на приложения
модель политик со встроенной
безопасностью
Широкая экосистема
Широкий круг заказчиков
11
(коммерческие, корпоративные, госсектор)
Опора на стандарты:
VxLAN-BGP EVPN
Контроллер VTS для развёртывания
и управления оверлейными сетями
для N2K-N9K
Возможность использования
сторонних контроллеров
Сервис провайдеры
Современная NX-OS с
расширенным NX-API
Экосистема автоматизации
(Puppet, Chef, Ansible и т.д.)
Единый NX-API
для N2K-N9K
ЦОД мега масштаба
Cisco ACI: новое поколение сети ЦОД
Cisco ACI
Самое полное решение для сети ЦОД
Автоматизация на основе политик
Физические серверы, виртуальные
машины и контейнеры
Application Centric
Infrastructure
Открытость, опора на стандарты,
встроенная безопасность
Развитие подходов к построению сети ЦОД
Традиционная
модель сети
Альтернативная
SDN модель
Новая
модель сети
Сумма
устройств
Программная
виртуализация сети
Application Centric
Infrastructure
Существующая модель
эксплуатации
Проверенное решение
Много точек управления
Негибкость
Самая медленная часть
инфраструктуры ЦОД
«Хрупкость»
14
Остаётся сложность
Отдельные оверлей и
транспортная сеть
Зависимость от
гипервизора
Несколько точек
управления и
диагностики
Управление по политикам
Устраняет сложность
Аппаратные оверлеи
Независимость от
гипервизора
Автоматизация и
программируемость
Защита инвестиций
Cеть и приложения
Два разных языка
Язык администраторов сети
Язык владельцев приложений
•  Структура уровней приложения,
связи и зависимости между ними
•  Требования безопасности
•  Service Level Agreement
•  Производительность
•  Соответствие норм. треб.
•  Зависимость от расположения
•  ...
15
?
• 
• 
• 
• 
• 
• 
VLAN
IP адреса
Подсети
МСЭ
Quality of Service
Балансировщики
нагрузки
•  Access Lists
•  ...
Политика
Связь требований приложений с
инфраструктурой
Язык
приложений
• 
• 
• 
• 
• 
• 
Уровни приложений
Производительность
SLA
Доступность
Безопасность
Нормативные
требования
Общая
политика
App
Network
Profile
Язык сети
UCS
Service
Profile
Язык вычислений
Язык безопасности
Cisco ACI: модель ресурсов и политик
Перенос опыта Cisco UCS в сетевую инфраструктуру
Network
SME
Security
SME
Application
SME
Physical
Networking
APIC
Hypervisors
and Virtual
Networking
Compute
L4–L7
Services
1
Multi DC
WAN and Cloud
Nexus 7K
Integrated
WAN Edge
Nexus 2K
Эксперт определяет
политику
Storage
2
Политика
используется для
создания модели
приложения
3
Автоматическая
конфигурация
политики во всей
инфраструктуре
4
Управление
жизненным циклом
политики в
день 1, день 2
СИСТЕМНЫЙ ПОДХОД:
Быстрое разворачивание приложений. Масшабируемость, безопасность и полный контроль
17
Cisco ACI
новое поколение инфраструктуры ЦОД
App
Web
Внешняя сеть
передачи данных
DB
QoS
QoS
QoS
МСЭ, LB
LB
ACL
APIC
ACI фабрика
Программируемость, масштабируемость, открытость
Application Policy
Infrastructure
Controller
Модель политик ACI
профиль приложения
Сетевой профиль приложения (ANP) представляет собой набор групп EPG и
политик, которые определяют правила взаимоотношений между группами
Сетевой Профиль Приложения
EPG A
EPG B
EPG C
Service A
Service A
Service C
Service C
Service D
Service D
Service A
Service A
Service C
Service C
Service E
Service E
Service B
Service B
Service C
Service C
Service B
Service B
Контракты
Контракты
Модель политик ACI
End-Point Group (EPG)
EPG - Web
HTTPS Service
HTTPS Service
HTTPS Service
HTTPS Service
HTTP Service
HTTP Service
HTTP Service
HTTP Service
EPG – логическая группа конечных хостов представляющих
приложение целиком или компоненты приложения,
(в общем случае) не зависящая от сетевых атрибутов
Модель политик ACI
различные методы определения элементов EPG
Ø  Интерфейс, при помощи которого конечное устройство
подключается к сети
Ø  Имеет адрес (identity), местоположения, атрибуты
(version, patch level)
Ø  Может быть физическим или виртуальным
Сервер
Виртуальные машины
или контейнеры
СХД
Клиенты
Примеры критериев отнесения к EPG
§ 
§ 
§ 
§ 
§ 
§ 
§ 
Физический порт (leaf или FEX)
Логический порт (VM port group)
VLAN ID
VXLAN (VNID)
Атрибуты виртуальных машин
IP адрес (применительно ко внешним подключениям)
IP Prefix/Subnet (применительно ко внешним
подключениям)
Application Policy Infrastructure Controller
Централизованная автоматизация и управление фабрикой
•  Единая точка управления политиками в
сети ЦОД:
Сервисы 4..7
Управление
системами
Управление
СХД
Оркестрация
•  Профили приложений
•  Интеграция с сервисами L4-L7
•  Открытая модель данных для управления при
помощи внешних средств оркестрации
•  Мониторинг приложений, поиск и устранение
неисправностей фабрики
Открытый
RESTful API
APIC
•  Накопление статистики/телеметрии
•  Управление образами ПО коммутаторов
•  Не принимает непосредственное
участие в передаче данных
•  Не занимается детальной настройкой
•  Кластеризация для масштабирования и
доступности (от 3 до 5 и более узлов)
Управление при помощи
политик
Storage SME
Server SME
Network SME
Security SME
App. SME
OS SME
Сетевая фабрика ACI
•  Наиболее эффективная фабрика в индустрии:
Spine: модульные (Nexus 9500) или фиксированные (9336)
•  1/10 Gb на границе сети, высокая плотность 40GE
Аппаратная база отображения адресов
До 576 x 40 Gb портов на устройство
на Spine и возможность перехода на 100GE
Высокая плотность за умеренную стоимость
•  До 1 миллиона IPv4 и IPv6 хостов
•  Тысячи логических организаций (tenants)
•  Десятки тысяч 1/10 Gb серверов
•  Маршрутизируемая фабрика – оптимальная
передача IP трафика
•  Масштабируемая распределённая коммутация (L2)
и маршрутизация (L3) для VXLAN, NVGRE*, VLAN
•  Не требуются программные шлюзы – физические
или виртуальные
•  Гибкость развертывания приложения – нет
ограничений при выборе точки их размещения в
фабрике
•  Полная прозрачность – физическая или виртуальная
нагрузка
Оптимизация фабрики
Leaf (доступ): Nexus 9300
•  Передача метаданных вместе с трафиком
Использование IEEE 1588 для измерения
Применение политик
•  Детальное управление по политикам без
задержки
Интеллектуальное кеширование
Оптимальная балансировка ECMP
Поддержка терминации оверлеев
необходимости программировать потоки
Улучшенная аналитика
23
APIC
Фабрика с поддержкой нескольких гипервизоров
Интеграция с физическим
и виртуальным миром
Сетевой
администратор
APIC
APIC
ACI фабрика
•  Заказчик не ограничен в выборе
платформы виртуализации:
VMWare, Microsoft, OpenStack или
использовании
невиртуализированных серверов
•  Возможность использования
нескольких VMM в одной группе
EPG
•  Интегрированный шлюз для
VLAN, VxLAN, NVGRE* сетей
24
VLAN
VXLAN
Администратор
приложения
ESX
VLAN
NVGRE*
Hyper-V
VLAN
VXLAN
VLAN
KVM
ФИЗИЧЕСКИЙ
СЕРВЕР
Управление
гипервизором
ACI: интеграция с сервисами 4 - 7 уровня
Централизация, автоматизация и поддержка существующей модели
•  Эластичность вставки сервиса
физического или виртуального
Администратор
приложения
Политика
перенаправления
Web
Web
Server
сервер
Stage 1
…..
inst
inst
……..
…
…
Администратор
сервиса
Stage N
inst
inst
МСЭ
Балансировка
end
Сервисный
профиль
begin
Серв.
граф
Определение “Security 5”
•  Поддержка текущей операционной модели
эксплуатации
•  Применение сервиса вне зависимости от
места нахождения приложения
Web
App
Server
сервер
Сервисная
послед-ть
“Security 5”
•  APIC – центральная точка контроля сети и
согласовании политик
•  Автоматизация процесса развертывания/
свертывания сервиса посредством
программируемого интерфейса
App Tier
B
Providers
•  Помощь в административном разделении
между уровнями приложения и сервиса
App Tier
A
ACI фабрика:
управление трафиком
•  ACI фабрика отслеживает перегрузки на
всем пути передачи входящим и исходящим
leaf (измерения в реальном времени)
‒ Перегрузка на внешних портах
коммутаторов (external wires)
‒ Перегрузка на соединениях ASIC-to-ASIC
(internal wires)
•  Фабрика балансирует потоки трафика по
принципу ‘flowlet switching’
‒ Динамическое перенаправление активных
потоков с загруженного пути на менее
загруженный путь передачи трафика
•  Фабрика приоритезирует небольшие потоки
‒ Увеличение скорости реакции для
интерактивных соединений
APIC
Фокус на времени отклика приложения
Мониторинг приложения
Видимость на уровне приложения и его компонент
ACI фабрика предоставляет
аналитические возможности
следующего поколения
PetStore
Событие
Триггерное
событие
Действия:
Не добавлять хосты или VM
Отключить хост гипервизора
Перебалансировать кластер
Приложение, потребитель (tenant) и
инфраструктура:
•  Показатели здоровья (health scores)
•  Задержка
•  Atomic counters
•  Потребление ресурсов
PetStore Dev
PetStore Prod
PetStore QA
•  Leaf 1 и 2
•  Spine 1 – 3
•  Atomic counters
•  Leaf 2 и 3
•  Spine 1 – 2
•  Atomic counters
•  Leaf 3 и 4
•  Spine 2 – 3
•  Atomic counters
APIC
Интеграция с управлением нагрузкой –
первичное размещение и миграция
VXLAN
статистика для
каждого узла
Физическая и
виртуальная
нагрузка
Открытая экосистема ACI
Все возможности доступны благодаря открытому API и модели данных
Northbound API
•  Быстрая интеграция с
существующими средствами
управления
•  Поддержка приложений и орг.
cтруктуры (tenant)
•  Поддержка OpenStack
Объектно-ориентированная
Автоматизация
RESTful XML / JSON
Системное
управление
Управление
гипервизорами
Открытая
экосистема
Средства
автоматизации
Средства
оркестрации
Программируемость
Полный доступ к системе
посредством API
Southbound API
•  Опубликованная модель
данных
•  Опубликованная инкапсуляция
•  Протокол OpFlex для открытой
интеграции элементов в ACI
•  Встраивание L4-L7 сервисов
*Есть ограничения, обращайтесь за уточнениями
Преимущества архитектуры ACI
Application Centric Infrastructure
…для администраторов приложений
•  Описание логики приложения в терминах приложения, а не сети
•  Нет потребности в «переводе на сетевой язык»: VLAN,
адресов и т.д.
•  Переносимость политик между ЦОД
•  Возможность расширения среды, миграции P2V и т.д.
•  Поддержка полностью или частично виртуализированных
приложений или физических серверов
•  Корпоративные приложения
•  Web-сервисы
•  Big Data
•  Управление инфраструктурой, а не коммутаторами
•  Декларативная модель: описание желаемых политик для
приложений, а не конкретных настроек сетевых устройств
•  Мониторинг
•  Сетевое «здоровье» конкретного приложения
•  Точный учёт трафика каждого из компонентов
APIC
Application Centric Infrastructure
…для администраторов безопасности
•  Управление правилами доступа
•  Единая точка контроля политик взаимодействия
•  Структура правил/контрактов увязана с сервисами, а
не с адресами
•  Нет «накопления» неиспользуемых правил МСЭ
•  Модель «белого списка»
•  Всё, что не разрешено, по умолчанию запрещено
•  «Распределённый МСЭ»
•  Микросегментация и контроль сессий
•  Встраивание средств безопасности
•  Физические или виртуальные
•  Cisco или другие разработчики
•  Полная изоляция организаций (tenants)
•  Интегрированные возможности аудита
•  Протоколирований действий администраторов
•  API для внешнего анализа соответствия политикам
•  Безопасность управления ACI
•  Контроль доступа и ролевое управление
Web
Tier
Внешний мир
DMZ
App
Tier
DB
Tier
Trusted
Zone
DB
Tier
ПРИЛОЖЕНИЯ
БЕЗОПАСНОСТЬ
ИНФРАСТРУКТУРА
APIC
Application Centric Infrastructure
…для облачных архитекторов
•  Открытый REST интерфейс для управления/
оркестрации
•  Поддержка разных сред виртуализации и физических
нагрузок
•  Интеграция с несколькими гипервизорами в одном
приложении
•  Возможность развёртывания невиртуализированных
ландшафтов (Big Data и т.д.)
•  Возможность развёртывания приложений с
виртуальными и физическими компонентами
•  Поддержка изоляции организаций
•  Тысячи заказчиков (tenants)
•  Управление инфраструктурой, а не коммутаторами
•  Декларативная модель: «сеть как сервис»
•  Автоматизация сервисных цепочек
•  Поддержка OpenStack
•  Интеграция c OpenStack Neutron
•  Интеграция модели политик (Group Based Policy)
ACI фабрика
APIC
VLAN
VXLAN
ESX
VLAN
NVGRE
Hyper-V
VLAN
VXLAN
VLAN
KVM
ФИЗИЧЕСКИЙ СЕРВЕР
Application Centric Infrastructure
…для сетевых администраторов
•  Эксплуатация сети как единого комплекса, а не
набора устройств
•  Сокращение рутинных операций
•  Снижение числа ошибок
•  Высокая производительность и масштабируемость
•  Доступ 1/10G, 40G
•  Внутренний транспорт 40G (с развитием к 100G) с
эффективной балансировкой нагрузки и
приоритезацией транзакций
•  До миллиона IPv4/IPv6 узлов
•  Десятки и сотни тысяч портов
•  Оптимизированный транспорт L2+L3
•  Распределённая маршрутизация
•  Единая среда коммутации для физических и
виртуальных серверов
•  Сквозной транспорт P+V
•  Поддержка многих гипервизоров
•  Детальная телеметрия и диагностика
•  Измерение задержки и счётчики
Spine: модульные (Nexus 9500) или фиксированные (9336)
Аппаратная база отображения адресов
До 576 x 40 Gb портов на устройство
Высокая плотность за умеренную стоимость
APIC
Оптимизация фабрики
Leaf (доступ): Nexus 9300
Использование IEEE 1588 для
измерения задержки
Оптимальная балансировка ECMP
Применение политик
Интеллектуальное кеширование
Поддержка терминации оверлеев
Улучшенная аналитика
Основные сценарии внедрения ACI
На основе опыта существующих внедрений
Сетевая автоматизация «Облако для разработчиков» Изоляция «организаций»
•  Сохранение сетевой
•  Быстрое развёртывание и
номенклатуры: VLAN,
тиражирование защищённых
VRF и т.д.
ландшафтов разработки и
тестирования
•  Использование APIC как
единой точки
•  Возможность переноса
управления и
политик в продуктивную
программирования
среду
•  Возможность
•  Альтернатива использованию
дальнейшего развития
внешних облаков: защита
модели применения
данных и сокращение CapEx
политик
•  Изоляция трафика и
управления
•  Консолидация в единой
инфраструктуре
•  Различные системы
(АСУП/АСУТП)
•  Различные подразделения
(продажи/разработка)
•  Резервирование многих
ЦОДов
•  Слияние/приобретение/
разделение организаций
В заключение
•  Материалы на сайте Cisco:
• 
• 
• 
«Cisco Application Centric Infrastructure
Fundamentals»
«Operating Cisco Application Centric Infrastructure»
«Troubleshooting Cisco Application Centric
Infrastructure»
•  Книга на русском языке – только что
выпущена. Автор и тираж на конференции!
•  Заинтересовались? Вопросы? Хотите демо?
Обращайтесь на [email protected]
Ждем ваших сообщений с хештегом
#CiscoConnectRu
Спасибо
Пожалуйста, заполните анкеты.
Ваше мнение очень важно для нас.
Contacts:
Name
Phone
E-mail
Александр Скороходов
+7(495)789-8615
[email protected]
CiscoRu
Cisco
CiscoRussia
CiscoRu