Построение катастрофоустойчивых и распределённых ЦОД (часть 3). Оптимизация пути входящего трафика Хаванкин Максим cистемный архитектор [email protected] 11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved. Содержание § § § § § § Введение Управление входящим трафиком при помощи DNS GSLB Location/ID Separation Protocol – LISP Интеграция распределенных сервисов Route Health Injection – RHI Заключение 11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved. Оптимизация передачи трафика Проблема оптимальной маршрутизации § Перемещение нагрузки между ЦОД создает проблемы с оптимальной маршрутизацией WAN Ingress: North-South / Client-Server Ingress: North-South / Client-Server HSRP Filter HSRP Active HSRP Active HSRP Standby HSRP Standby East-West / Server-Server Egress: South-North / Server-Client Egress: South-North / Server-Client 3 Оптимизация передачи трафика Какой способ выбрать? § Логический или физический ЦОД? § Высокая доступность или защита от сбоев? Ingress: North-South / Client-Server WAN Ingress: North-South / Client-Server Это ОДИН логический ЦОД ? (Высокая доступность - High Availability) East-West / Egress: South-North / Server-Client Server-Server … разделенных Или ДВА физически и логически … ЦОД? 4 Egress: South-North / Server-Client Содержание § § § § § § Введение Управление входящим трафиком при помощи DNS GSLB Location/ID Separation Protocol – LISP Интеграция распределенных сервисов Route Health Injection – RHI Заключение 11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved. DNS Global Server Load Balancing (GSLB) Нагрузка распределена между ЦОД § DNS запрос 1 § Поток 1 через левый ЦОД § Синхронизация GSLB посредством MEC § DNS запрос 2 § Поток 2 через правый ЦОД DNS обмен Передача данных Citrix Metric Exchange Protocol WAN Это ОДИН логический ЦОД! Нагрузка распределена между площадками. Citrix Netscaler 1000V GSLB Менее загруженный сервер здесь Citrix Netscaler 1000V GSLB 6 DNS Global Server Load Balancing (GSLB) Особенности решения § Нагрузка распределяется в режиме Active-Active между ЦОД § Синхронизация кластера § Распределенная БД/Синхронизация БД § Растягивание/Локализация/Синхронизация СХД § SLB устройства отслеживают состояние приложения § Контроль за DNS-кэш § Браузер § Операционная система Citrix Netscaler 1000V GSLB 11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved. 7 Содержание § Введение § Управление входящим трафиком при помощи DNS GSLB § Location/ID Separation Protocol – LISP § Управление трафиком входящим в ЦОД-ы, не связанные по L2 § Управление трафиком входящим в ЦОД-ы, связанные по L2 § Интеграция распределенных сервисов § Route Health Injection – RHI § Заключение 11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved. Location Identity Separation Protocol Что понимается под “Location” и “Identity” Традиционная IP сеть IP core 10.1.0.1 IPv4 или IPv6 адрес устройства or IPv6 определяет и его идентификатор (identity) и местоположение (location) 20.2.0.9 Когда устройство перемещается, оно получает новый IPv4 или IPv6 адрес, который определяет и его идентификатор (identity) и местоположение (location) Сеть с поддержкой LISP 10.1.0.1 IPv4 или IPv6 адреса устройств определяют только их идентификацию. Loc/ID “Разделение” IP core 1.1.1.1 Это его местоположение 2.2.2.2 Только местоположение изменяется при переезде 10.1.0.1 Когда устройство перемещается, его IPv4 или IPv6 адрес, определяющий его идентификатор не изменяется. 9 Передача пакетов в LISP Как работает LISP? 3 Mapping Locator-­‐set: Сайт без Entry 1 DNS Entry: D.abc.com A 10.2.0.1 Эта политика контролируется владельцем ЦОД, который устанавливает веса EID-­‐prefix: 10.2.0.0/24 Сайт без LISP LISPpriority: 1, weight: 50 (D1) 2.1.1.1, 2.1.2.1, priority: 1, weight: 50 (D2) 10.1.0.0/24 LISP сайт S PITR ITR 1.1.1.1 2 5.4.4.4 IP сеть 10.1.0.1 -­‐> 10.2.0.1 4 5.1.1.1 1.1.1.1 -­‐> 2.1.1.1 10.1.0.1 -­‐> 10.2.0.1 2.1.1.1 2.1.2.1 3.1.1.1 5.3.3.3 EID-­‐to-­‐RLOC mapping 5.2.2.2 3.1.2.1 ETR 5 10.1.0.1 -­‐> 10.2.0.1 West-DC D East-DC 10.2.0.0/24 10.3.0.0/24 10 Передача пакетов в LISP Что делать с не-LISP сайтами? 3 1 EID-­‐Prefix: 10.2.0.0/24 Mapping DNS Entry: D.abc.com A 10.2.0.1 Сайт без LISP Сайт без LISP Locator-­‐Set: Entry 2.1.1.1, priority: 1, weight: 50 (D1) 2.1.2.1, priority: 1, weight: 50 (D2) S 2 PITR 192.3.0.1 -­‐> 10.2.0.1 4.4.4.4 4 4.4.4.4-­‐ > 2.1.2.1 192.3.0.1 -­‐> 10.2.0.1 2.1.1.1 2.1.2.1 5.3.3.3 EID-­‐to-­‐RLOC mapping 5.2.2.2 5.1.1.1 IP сеть 3.1.1.1 3.1.2.1 ETR 5 West-DC D East-DC 192.3.0.1 -­‐> 10.2.0.1 10.2.0.0/24 10.3.0.0/24 11 Роли и адресные пространства в LISP Какие компоненты вовлечены в передачу данных? MappingEID DB a.a.a.0/24 b.b.b.0/24 c.c.c.0/24 d.d.0.0/16 Роли LISP EID Space • Tunnel Routers – xTRs • Пограничные устройства encap/decap • Ingress/Egress Tunnel Router (ITR/ETR) • Proxy Tunnel Routers - PxTR • Граница между LISP и неLISP сайтами • Ingress/Egress: PITR, PETR • EID - RLOC Mapping DB • Отображение RLOC в EID • Распредленная база по Map Server (MS) Non-LISP ITR w.x.y.1 x.y.w.2 z.q.r.5 z.q.r.5 EID RLOC a.a.a.0/24 b.b.b.0/24 c.c.c.0/24 d.d.0.0/16 w.x.y.1 x.y.w.2 z.q.r.5 z.q.r.5 EID RLOC a.a.a.0/24 b.b.b.0/24 c.c.c.0/24 d.d.0.0/16 w.x.y.1 x.y.w.2 z.q.r.5 z.q.r.5 ALT Prefix Next-hop w.x.y.1 x.y.w.2 z.q.r.5 z.q.r.5 RLOC e.f.g.h e.f.g.h e.f.g.h e.f.g.h PxTR ETR RLOC Space EID Space Адресные пространства • EID = End-point Identifier • идентификатор конечного хоста • RLOC = Routing Locator • IP адрес маршрутизатора сети агрегации или ядра 12 LISP Mapping Database Основы – регистрация и ответы на запросы LISP сайт Mapping Cache Entry (на ITR): 10.2.0.0/16-> (2.1.1.1, 2.1.2.1) Map -R 10.2 equest .0.1 ITR Map Server / Resolver: 5.1.1.1 Map-Reply 10.2.0.0/16 -> (2.1.1.1, 2.1.2.1) 2.1.1.1 2.1.2.1 ETR Database Mapping Entry (на ETR): 3.1.1.1 ETR ETR 3.1.2.1 ETR Database Mapping Entry (на ETR): 10.3.0.0/16 -> (3.1.1.1, 3.1.2.1) 10.2.0.0/16 -> (2.1.1.1, 2.1.2.1) East-DC 10.3.0.0/16 West-DC 10.2.0.0 /16 Y X Y 10.2.0.2 Z 13 LISP Mapping Database Отказоустойчивость БД LISP Site Нет специального протокола для синхронизации состояния Map-серверов; ETR должны зарегистрироваться на всех Map серверах самостоятельно; ITR посылает запрос на Anycast адрес Map Resolver-а ITR Map 10.2Request .0.1 Mapping Cache Entry (на ITR): 10.2.0.0/16-> (2.1.1.1, 2.1.2.1) Map Resolver:9.9.9.9 (Anycast) Mapping DB Node Cluster Map Server: 5.1.1.1 Map Server: 5.2.2.2 Map-Reply 10.2.0.0/16 -> (2.1.1.1, 2.1.2.1) 2.1.1.1 Database Mapping Entry (на ETR): 2.1.2.1 ETR ETR 3.1.1.1 ETR ETR 3.1.2.1 Database Mapping Entry (на ETR): 10.3.0.0/16 -> (3.1.1.1, 3.1.2.1) 10.2.0.0/16 -> (2.1.1.1, 2.1.2.1) East-DC 10.3.0.0/16 West-DC 10.2.0.0 /16 Y X Y 10.2.0.2 Z 14 Базовая настройка LISP Пограничный маршрутизатор ip lisp proxy-itr ip lisp ITR map-resolver 5.3.3.3 Серверы БД ip lisp map-resolver ip lisp map-server lisp site west-DC authentication-key 0 s3cr3t eid-prefix 10.2.0.0/24 Маршрутизатор в филиале ip lisp itr-etr ip lisp ITR map-resolver 5.3.3.3 не-LISP сайты PITR 5.3.3.3 LISP сайт ITR Mapping DB 1.1.1.1 ip ip ip ip ip lisp lisp lisp lisp lisp Устройства агрегации в ЦОД itr-etr database-mapping 10.2.0.0/24 2.1.1.1 p1 w50 database-mapping 10.2.0.0/24 2.1.2.1 p1 w50 ETR map-server 5.1.1.1 key s3cr3t ETR map-server 5.2.2.2 key s3cr3t Как правило устройство выполняет обе роли ITR/ETR чтобы обсуживать трафик в обоих напралениях 5.1.1.1 IP сеть 2.1.1.1 5.2.2.2 2.1.2.1 ETR East-DC West-DC 10.2.0.0/24 15 RLOC EID LISP Encap/Decap Сценарии использования LISP Отказоустойчивые подключения Миграция на IPv6 v6 Internet LISP сайт LISP Routers v6 Services LISP Router v6 § Переносимость IP § Управление входящим трафиком без BGP IPv6 Internet § v6-over-v4, v6-over-v6 § v4-over-v6, v4-over-v4 Мобильность хостов Multi-Tenancy и VPN LISP сайт LISP сайт IP сеть West-DC IPv4 Internet v4 v6 LISP Router IP сеть East-DC § Снижение CapEx/OpEx § Сегментация в больших масштабах West-DC § Перемещение вит. машин 16 § Сегментация East-DC Сценарии применения LISP Перемещение без растягивания L2 сегментов между ЦОД LISP сайт не-LISP сайт XTR DR Location или Cloud Provider DC Mapping DB Internet или WAN LISP сайт XTR Mapping DB IP сеть LAN Extension LISP-­‐VM (XTR) West-DC Перемещение с растягиванием L2 сегментов между ЦОД LISP-­‐VM (XTR) East-DC West-DC East-DC IP мобильность Disaster Recovery Cloud Bursting Все компоненты приложения в одном ЦОД одновременно Компоненты приложения растянуты между ЦОД 17 Обнаружение перемещений хостов в LISP Мониторинг источника трафика § Новый xTR проверяет источник трафика § Настройка динамических-EID определяет какие префиксы могут «мигрировать» между ЦОД lisp dynamic-eid roamer database-mapping 10.2.0.0/24 <RLOC-C> p1 w50 database-mapping 10.2.0.0/24 <RLOC-D> p1 w50 map-server 5.1.1.1 key abcd Mapping DB interface vlan 100 lisp mobility roamer 5.1.1.1 A B Получили пакет… … от “Нового” хоста … его адрес находится в разрешенном диапазоне Dynamic-EID …это миграция! 5.2.2.2 Регистрируем /32 в LISP C D LISP-­‐VM (xTR) East-DC 10.3.0.0/16 West-DC 10.2.0.0 /16 Y X Y 10.2.0.2 18 Z Перенаправление трафика в LISP Обновление записей в БД Location Mapping § Когда LISP обнаруживает переезд хоста, база данных MS/MR и кеш xTR обновляются: § RLOC обновляет запись в базе данных § Старый ETR уведомляется о перемещении § ITR получают нотификацию для обновления своих кэш-записей § ITR или PITR начинают передавать трафик в новый ЦОД 10.2.0.0/16 – RLOC A, B LISP сайт xTR Mapping DB 10.2.0.2/32 – RLOC C, D A B C D LISP-­‐VM (xTR) East-DC 10.3.0.0 /16 West-DC 10.2.0.0 /16 Y X Y 10.2.0.2 19 Z Содержание § Введение § Управление входящим трафиком при помощи DNS GSLB § Location/ID Separation Protocol – LISP § Управление трафиком входящим в ЦОД-ы, не связанные по L2 § Управление трафиком входящим в ЦОД-ы, связанные по L2 § Интеграция распределенных сервисов § Route Health Injection – RHI § Заключение 11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved. Разделенные физически и логически ЦОД Возможные сценарии реализации в зависимости от бизнес-потребностей § Active-Standby § Active-Disater Recovery (DR) – VMware SRM, Microsoft DPM § Active-Облачный оператор (cloud bursting) Ingress: North-South / Client-Server WAN Связь по L2 между ЦОД отсутствует! ДВА физически и логически … Ingress: North-South / Client-Server … разделенных ЦОД? East-West / Server-Server Egress: South-North / Server-Client Egress: South-North / Server-Client 21 LISP Host-Mobility – First Hop Routing ЦОД не связаны по L2 § § § SVI (Interface VLAN x) и HSRP настраиваются как обычно § Один и тот же адрес GWY-MAC или один и тот же номер HSRP-группы Команда lisp mobility <dyn-eid-map> запускает функцию proxy-arp на SVI § LISP-VM маршрутизатор выступает шлюзом по умолчанию и для своих и для мобильных подсетей Мобильный хост всегда «разговаривает» с локальным шлюзом с одним и тем же MAC interface vlan 100 ip address 10.2.0.5/24 lisp mobility roamer ( ip proxy-arp) hsrp 101 mac-address 0000.0e1d.010c ip 10.2.0.1 Interface vlan 100 ip address 10.2.0.6/24 lisp mobility roamer (ip proxy-arp) hsrp 101 mac-address 0000.0e1d.010c ip 10.2.0.1 LISP-­‐VM (xTR) HSRP Active West-DC 10.2.0.0 /24 A B HSRP ARP GWY-MAC interface vlan 100 ip address 10.3.0.8/24 lisp mobility roamer (ip proxy-arp) hsrp 201 mac-address 0000.0e1d.010c ip 10.3..0.1 C D 10.2.0.2 HSRP ARP 22 GWY-MAC interface vlan 100 ip address 10.3.0.7/24 lisp mobility roamer (ip proxy-arp) hsrp 201 mac-address 0000.0e1d.010c ip 10.3.0.1 East-DC 10.3.0.0 /24 HSRP Active Пример миграции хоста Передача обновлений между сайтами не связанными по L2 через mapping DB Хостовый (/32) маршрут в Null0 показывает что хост “переехал” 6 10.2.0.0/16 – RLOC A, B 10.2.0.2/32 – RLOC C, D Map-Notify 10.2.0.2/32 <C,D> Routing Table: 10.2.0.0/16 – Local 10.2.0.2/32 – Null0 10 Mapping DB 5.1.1.1 B 2 9 10.2.0.0 /16 8 West-DC Map-Notify 10.2.0.2/32 <C,D> 5.2.2.2 5 7 A Map-Register 10.2.0.2/32 <C,D> 4 Routing Table: 10.3.0.0/16 – Local 10.2.0.0/24 – Null0 10.2.0.2/32 – Local C Routing Table: 10.2.0.0/16 – Local 10.2.0.2/32 – Null0 D 3 10.3.0.0 /16 1 East-DC Y X Y 10.2.0.2 Routing Table: 10.3.0.0/16 – Local 10.2.0.0/24 – Null0 10.2.0.2/32 – Local 23 Map-Notify 10.2.0.2/32 <C,D> Обновление кэш записей - «map cach» ITR 1. Тра eply A Mapping DB ap R фик д анны х 10.2.0.2/32 – RLOC C,D 4. M 3. 4. 5. 10.2.0.0/16 – RLOC A,B LISP сайт MR 2. Устройства ITR и PITR продолжают передавать трафик в «старый» ЦОД «Старый» xTR пересылает сообщения Solicit Map Request (SMR) любому узлу (encapsulator) который шлет инкапсулированный трафик, который предназначен переехавшему хосту ITR посылает новый map request ITR получает map-reply нового ЦОД ITR обновляет свой Map Cache 2. S 1. Map Cache @ ITR B C D LISP-­‐VM (xTR) Трафик перенаправляется в правильный ЦОД SMR сообщение является важным элементом поддерживающим целостность решения East-DC 10.3.0.0 /16 West-DC 10.2.0.0 /16 X Y Y 10.2.0.2 24 Z Конфигурация LISP ЦОД не связаны по L2 ip lisp ITR-ETR ip lisp database-mapping 10.2.0.0/16 <RLOC-A> ip lisp database-mapping 10.2.0.0/16 <RLOC-B> ip lisp ITR-ETR ip lisp database-mapping 10.3.0.0/16 <RLOC-C> ip lisp database-mapping 10.3.0.0/16 <RLOC-D> lisp dynamic-eid roamer database-mapping 10.2.0.0/24 <RLOC-A> database-mapping 10.2.0.0/24 <RLOC-B> map-server 1.1.1.1 key abcd map-server 2.2.2.1 key abcd map-notify-group 239.1.1.1 interface vlan 100 ip address 10.2.0.10 /16 lisp mobility roamer (ip proxy-arp) hsrp 101 mac-address 0000.0e1d.010c ip 10.2.0.1 lisp dynamic-eid roamer database-mapping 10.2.0.0/24 <RLOC-C> database-mapping 10.2.0.0/24 <RLOC-D> map-server 1.1.1.1 key abcd map-server 2.2.2.1 key abcd map-notify-group 239.2.2.2 interface vlan 100 ip address 10.3.0.11 /16 lisp mobility roamer (ip proxy-arp) hsrp 201 mac-address 0000.0e1d.010c ip 10.3.0.1 A B C D Mapping DB LISP-­‐VM (xTR) East-DC 10.3.0.0 /16 West-DC 10.2.0.0 /16 X Y 25 Z Настройка MS/MR на разных LISP сайтах Рекомендуется: совмещение функций MS/MR на xTR устройствах (один на ЦОД) LISP сайт 10.10.1.0 /24 MS/MR в West-DC A B ip lisp map-resolver ip lisp map-server lisp site BRANCH_1 eid-prefix 10.10.1.0/24 10.10.10.0/24 authentication-key abcd lisp site West-DC eid-prefix 10.2.0.0/16 10.1.0.0/16 accept-more-specifics authentication-key abcd lisp site East-DC eid-prefix 10.3.0.0/16 10.2.0.0/16 accept-more-specifics authentication-key abcd C D East-DC 10.3.0.0 /24 West-DC 10.2.0.0 /24 X MS/MR в East-DC Y Z 26 Передача данных внутри «нерастянутой» подсети West-to-East § § East-to-West X шлет ARP для Y Запись /32 Null0 для Y заставляет West-RLOC ответить своим MAC на этот запрос (proxy-ARP) • • § Замечание: предыдущая ARP запись для Y на хосте X очищатся после после получения GARP пакета от West-DC XTR § Трафик от X в сторону Y инкапсулируется в LISP BàC A Y шлет ARP для X Запись /24 Null0 для ‘домашней подсети’ заставляет East-RLOC ответить своим MAC на этот запрос (proxyARP) • Замечание: ARP кеш Y не содержит записей после «холодного» перемещения § Трафик от Y в сторону X инкапсулируется в LISP CàB 10.2.0.9 à 10.2.0.8 B C D A LISP DC xTR 10.2.0.8 à 10.2.0.9 B C D LISP DC xTR West-DC West-DC East-DC 10.2.0.0/24 10.3.0.0/24 Y 10.2.0.9 East-DC 10.2.0.0/24 10.3.0.0/24 Y 10.2.0.9 X Y 10.2.0.8 X Z 27 Y 10.2.0.8 Z Содержание § Введение § Управление входящим трафиком при помощи DNS GSLB § Location/ID Separation Protocol – LISP § Управление трафиком входящим в ЦОД-ы, не связанные по L2 § Управление трафиком входящим в ЦОД-ы, связанные по L2 § Интеграция распределенных сервисов § Route Health Injection – RHI § Заключение 11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved. Один логический ЦОД Возможные сценарии реализации в зависимости от бизнес-потребностей § Active-Active § Распределенный кластер Ingress: North-South / Client-Server WAN Связь по L2 между ЦОД организована! Ingress: North-South / Client-Server Это ОДИН логический ЦОД! East-West / Server-Server Egress: South-North / Server-Client Egress: South-North / Server-Client 29 LISP Host-Mobility – First Hop Routing ЦОД связаны по L2 § Одинаковые GWY-IP и GWY-MAC настроены в разных ЦОД § Одинаковые группы HSRP è одинаковые GWY-MAC § Серверы могут перемещаться куда угодно, адреса IP/MAC шлюза по умолчанию не изменяются interface vlan 100 interface Ethernet2/4 ip address 10.2.0.5/24 ip address 10.2.0.6/24 lisp mobility roamer lisp mobility lisproamer extended-subnet-mode LAN Ext. lisp extended-subnet-mode hsrp 101 hsrp 101 ip 10.2.0.1 A ip 10.2.0.1 B interface vlan 100 interface vlan 200 ip address 10.2.0.7/24 ip address 10.2.0.8/24 lisp mobility roamer lisp mobility roamer lisp extended-subnet-mode lisp extended-subnet-mode hsrp 101 hsrp 101 ip 10.2.0.1 ip 10.2.0.1 C D LISP-­‐VM (xTR) HSRP Active HSRP Active West-DC 10.2.0.0 /24 HSRP ARP GWY-MAC HSRP ARP GWY-MAC 30 East-DC 10.2.0.0 /24 Пример миграции хоста Передача обновлений между сайтами связанными по L2 через map-notify Хостовый (/32) маршрут в Null0 показывает что хост “переехал” 6 10.2.0.0 /24 is the dyn-EID 10.2.0.0/16 – RLOC A, B 10.2.0.2/32 – RLOC C, D Map-Register 10.2.0.2/32 <C,D> Mapping DB 4 5.1.1.1 Routing Table: 10.2.0.0/16 – Local 10.2.0.0/24 – Null0 10.2.0.2/32 – Null0 A B Routing Table: 10.2.0.0/16 – Local 10.2.0.0/24 – Null0 2 10.2.0.2/32 – Local Routing Table: 10.2.0.0/16 – Local 10.2.0.0/24 – Null0 4 10.2.0.2/32 – Null0 5 4 C Y X Map-Notify 10.2.0.2/32 <C,D> 1 OTV Y 10.2.0.2 31 Routing Table: 10.2.0.0/16 – Local 10.2.0.0/24 – Null0 10.2.0.2/32 – Local D 3 3 10.2.0.0 /16 West-DC 5.2.2.2 10.2.0.0 /16 East-DC Map-Notify 10.2.0.2/32 <C,D> Обновление кэш записей - «map cach» Map Cache @ ITR LISP site ITR A fic a Traf Mapping DB eply 1. Dat 2. S MR 10.2.0.2/32 – RLOC C,D ap R Трафик перенаправляется в правильный ЦОД SMR сообщение является важным элементом поддерживающим целостность решения 10.2.0.3/32 – RLOC A,B 10.2.0.2/32 – RLOC A,B 4. M 1. Устройства ITR и PITR продолжают передавать трафик в «старый» ЦОД 2. «Старый» xTR пересылает сообщения Solicit Map Request (SMR) любому узлу (encapsulator) который шлет инкапсулированный трафик, который предназначен переехавшему хосту 3. ITR посылает новый map request 4. ITR получает map-reply нового ЦОД 5. ITR обновляет свой Map Cache B C D LISP-­‐VM (xTR) OTV West-DC 10.2.0.0 /16 X Y Y 10.2.0.2 32 East-DC 10.2.0.0 /16 Z Конфигурация LISP ЦОД связаны по L2 - “extended-subnet-mode” ip lisp ITR-ETR ip lisp database-mapping 10.2.0.0/16 <RLOC-A> ip lisp database-mapping 10.2.0.0/16 <RLOC-B> ip lisp ITR-ETR ip lisp database-mapping 10.3.0.0/16 <RLOC-C> ip lisp database-mapping 10.3.0.0/16 <RLOC-D> lisp dynamic-eid roamer database-mapping 10.2.0.0/24 <RLOC-A> … database-mapping 10.2.0.0/24 <RLOC-B> map-server 1.1.1.1 key abcd map-server 2.2.2.1 key abcd map-notify-group 239.10.10.10 interface vlan 100 ip address 10.2.0.10 /16 lisp mobility roamer lisp extended-subnet-mode hsrp 101 ip 10.2.0.1 lisp dynamic-eid roamer database-mapping 10.2.0.0/24 <RLOC-C> database-mapping 10.2.0.0/24 <RLOC-D> map-server 1.1.1.1 key abcd map-server 2.2.2.1 key abcd map-notify-group 239.10.10.10 interface vlan 100 ip address 10.2.0.11 /16 lisp mobility roamer lisp extended-subnet-mode hsrp 101 ip 10.2.0.1 LAN Ext. A 1.1.1.1 B 2.2.2.2 C D Mapping DB LISP-­‐VM (xTR) West-DC East-DC 10.2.0.0/16 X Y 33 Z Передача данных внутри «растянутой» подсети § Миграция хостов без выключения (vMotion/Live Migration) и разнесенные члены кластера § Трафик в обе стороны передается без участия LISP (например OTV) § Мультикаст cообщения LISP map-notify передаются при помощи механизма растягивания VLAN (например OTV) 10.2.0.9 à 10.2.0.8 10.2.0.8 à 10.2.0.9 LAN Ext. A B C D LISP DC xTR West-DC East-DC 10.2.0.0/24 10.2.0.0/24 Y 10.2.0.9 X Y 10.2.0.8 34 Z Трафик клиент-сервер Весь трафик должен иметь LISP-инкапсуляцию § Клиенты 10.1.0.1 и 192.168.2.1 передают данные серверу 10.2.0.2 § Клиентский трафик инкапсулируется в LISP на ITR или PITR § От сервера к клиентам: § § ETR C или D Клиент 10.1.0.1 не-LISP сайты 192.168.2.1 à 10.2.0.2 G LISP сайт 10.1.0.1 à 10.2.0.2 От клиентов к серверу: § § Клиент 192.168.2.1 ETR (F) на LISP сайте PETR (G) для не-LISP сайтов § Трафик Сервер-Сервер между сайтами инкапсулируется в LISP (для тех серверных сегментов, в которых включена мобильность LISP) GàD xTR PxTR Mapping DB 192.168.2.1 à 10.2.0.2 F 10.1.0.1 à 10.2.0.2 FàC A B C D LISP-­‐VM (xTR) East-DC West-DC 10.3.0.0 /16 10.1.0.1 à 10.2.0.2 192.168.2.1 à 10.2.0.2 10.2.0.0 /16 Y X 35 Y 10.2.0.2 Передача данных между серверами Отличия работы LISP в зависимости от топологии VLAN растягиваются между ЦОД § Живая миграция и разнесенные компоненты кластера § Трафик между X и Y использует технологию растягивания VLAN, например OTV § Мультикаст сообщения map-notify не передаются при помощи LISP VLAN не растягиваются между ЦОД § Холодные перемещения (VMware SRM, MS DPM) § Трафик между X- Y передается LISP-VM устройству и инкапсулируется в LISP § Для распространения map-notify используется MS/MR 10.2.0.3 à 10.2.0.2 BàC Mapping DB 10.2.0.3 à 10.2.0.2 LAN Ext. A B C D A LISP-­‐VM (xTR) B C D LISP-­‐VM (xTR) West-DC West-DC 10.2.0.0/16 East-DC Y 10.2.0.3 East-DC 10.2.0.0/16 10.3.0.0/16 Y 10.2.0.3 X Y 10.2.0.2 X Z 36 Y 10.2.0.2 Z Преимущества LISP при решении DCI задач § Прямой путь трафика (no triangulation) § Соединение не разрывается при перемещении § Не возникает события сходимости протокола маршрутизации при переезде § Независимость от DNS § Прозрачно для конечных хостов § Глобальная масштабируемость (cloud bursting) § Поддержка IPv4/IPv6 не-LISP сайты LISP сайт PXTR XTR Mapping DB IP сеть Растягивание L2 сегментов между ЦОД LISP-­‐VM (XTR) East-DC West-DC RLOC 37 EID LISP Encap/Decap Содержание § § § § Введение Управление входящим трафиком при помощи DNS GSLB Location/ID Separation Protocol – LISP Интеграция распределенных сервисов § Эффект пинг-понга трафика между ЦОД § LISP Multi-Hop § Route Health Injection – RHI § Заключение 11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved. Интеграция распределенных сервисов Сервисные устройства разносятся между площадками • Сетевые сервисы как правило активны в DC-1 • Распределенные пары МСЭ и балансировщика нагрузки в каждом ЦОД • Растягивание VLAN для синхронизации состояния • Растягивание VLAN для нагрузки • Source NAT для SLB VIP L3 ядро Outside VLAN FW FT and session synch Inside VLAN VIP Src-NAT VIP VLAN Замечание: решение только на 2 площадки, как правило SLB session synch Front-­‐end VLAN Subnet A Subnet A Back-­‐end VLAN DC-1 DC-2 Интеграция распределенных сервисов Эффект пинг-понга влияет на приложение (время отклика, производительность) L3 ядро Outside VLAN Inside VLAN VIP Src-NAT VIP VLAN Front-­‐end VLAN Subnet A Subnet A Back-­‐end VLAN DC-1 100 км +/- 1 мсек на round trip DC-2 • МСЭ переезжает на удаленный сайт • Source NAT для SLB VIP остается • Задержка растет +/- 1 мсек для каждых 100 км между ЦОД • В ЦОД с несколькими контурами безопасности один запрос может вызвать 10 и более перемещений трафика между ЦОД • Настройка функции «Interface tracking» на сервисных устройствах – сервисы активны одновременно только в одном ЦОД Интеграция распределенных сервисов Частичный переезд приложения - эффект пинг-понга растет L3 ядро Outside VLAN Inside VLAN VIP Src-NAT VIP VLAN Front-­‐end VLAN Subnet A Subnet A Back-­‐end VLAN DC-1 100 км +/- 1 мсек на round trip DC-2 • FW переехал в DC-2 • Фронт-энд серверы переехали в DC-2 • Source NAT для SLB VIP поддерживает правильный обратный путь для трафика через Active SLB • Частичный переезд серверной фермы не оптимален • Понимать взаимосвязь приложений Интеграция распределенных сервисов Требуется координация действий между ИТ-подразделениями • Для снижения вероятности образования «тромбов» в сети все компоненты приложения должны переезжать вместе • FHRP фильтрация • Source NAT для SLB VIP поддерживает корректный обратный пусть черезе Active SLB • Координация действий сетевой и серверной (виртуализация) команд L3 ядро Outside VLAN Inside VLAN VIP VLAN Src-NAT Front-­‐end VLAN Subnet A HSRP Filter Subnet A Back-­‐end VLAN DC-1 100 км +/- 1 мсек на round trip DC-2 Интеграция распределенных сервисов Решение большинства проблем, вызывающих пинг-понг LISP Multi-hop может устранить и эту неоптимальность L3 ядро Outside VLAN Inside VLAN VIP Src-NAT VIP VLAN Front-­‐end VLAN Subnet A VIP Src-NAT HSRP HSRP Filter Filter Subnet A Back-­‐end VLAN DC-1 100 км +/- 1 мсек на round trip DC-2 • Контекст на МСЭ перемещается вместе с приложением • Применение функции Interface Tracking на сервисных устройствах • Обратный трафик остается симметричным и передается через устройство балансировки с source-NAT • Оптимизация путей передачи данных внутри ЦОД почти достигнута – требуется управление входящим трафиком от пользователей, например LISP Multi-Hop • Координация ИТ-подразделений • Серверы/Приложения • Сеть/HSRP фильтр • Сервис & безопасность • СХД Содержание § § § § Введение Управление входящим трафиком при помощи DNS GSLB Location/ID Separation Protocol – LISP Интеграция распределенных сервисов § Эффект пинг-понга трафика между ЦОД § LISP Multi-Hop § Route Health Injection – RHI § Заключение 11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved. Технология LISP Multi-Hop Функции обнаружения и инкапсуляции разносятся между разными устройствами § § На МСЭ и SLB попадает трафик без инкапсуляции Существующие MCЭ и SLB не поддерживают инспекцию трафика инкапсулированного в LISP* L3 ядро LISP encap/decap LISP сигнализация R2: FW (не-LISP) § Разнесение LISP функций: § SG XTR à LISP регистрация/encap/decap § 1st Hop router à детекция перемещений, нотификация устройства XTR, proxy default GWY § Устройство SG XTR LISP регистрирует перемещения и сообщает центральной БД MS/MR R3: Site GWY XTR (SG) R1: First Hop (FH) Move Detection Host route injection Default GWY proxy “roamer” (мобильная нагрузка) * Roadmap 45 Сообщение LISP EID-notify § xTR не стоит на первой линии перед нагрузкой Работа LISP Multi-Hop ЦОД связаны по L2 4 3 Map-Notify LISP Registration/ Notifications L3 Core LISP encap/decap Map-Register L3 Core LISP encap/decap 2 EID-Notify 5 Extended LAN (east-west traffic) EID-Notify 1 Map-Notify “roamer” (мобильная нагрузка) 2 Настройка LISP-HM Multi-Hop ЦОД связаны по L2 L3 Core ip lisp itr-etr lisp dynamic-eid foo database-mapping <eid-prefix> <xtr-rloc> priority <p> weight <w> map-server <map-server-address> eid-notify authentication-key <key-value> LISP Registrations LISP encap/decap SG1 LISP Notifications FHR “roamer” (мобильная нагрузка) SGn lisp dynamic-eid foo database-mapping <eid-prefix> <xtr-rloc> priority <p> weight <w> eid-notify <xtr-address-1> key <key-value>… eid-notify <xtr-address-n> key <key-value> Применение LISP Multi-Hop ЦОД не связаны по L2, холодная миграция приложений M-­‐DB L3 Core Update your Table SMR ITR ETR Director App has moved Owner ETR Owner Director CCL CCL Owner Subnet A Subnet B DC-1 Latency > 10ms DC-2 1 – пользователь шлет запрос в приложению 2 - ITR перехватывает запрос и проверяет локализацию приложения 3 - MS пересылает запрос ETR который сообщает что Subnet A находится за ETR DC-1 3” - ITR инкапсулирует пакеты в LISP и пересылает их в сторону RLOC ETR-DC-1 4 – LISP уведомляет ETR в DC-2 о переезде приложения в DC-2 5 – ETR DC-2 информирует MS о новой локализации приложения 6 – MR обновляет ETR DC-1 7 – ETR DC-1 свою таблицу (App:Null0) 8 – ITR пересылает трафик ETR DC-1 9 – ETR DC-1 отвечаечает при помощи SMRсообщения ( Solicit Map Request) 10 – ITR пересылает Map Req и затем перенаправляет трафик в сторону ETR DC-2 Применение LISP Multi-Hop ЦОД связаны по L2, горячая миграция, применение ASA Cluster M-­‐DB SMR ITR L3 Core Update your Table App is located in ETR-DC-2 ETR App has moved ETR Director CCL Extension Owner HRSP Filter Subnet A HRSP Filter Data VLAN Extension HRSP Filter DC-1 Subnet A HRSP Filter DC-2 1 - пользователь шлет запрос в приложению 2 - ITR перехватывает запрос и проверяет локализацию приложения 3 - MS пересылает запрос ETR который сообщает что Subnet A находится за ETR DC-1 3” - ITR инкапсулирует пакеты в LISP и пересылает их в сторону RLOC ETR-DC-1 4 – LISP уведомляет ETR в DC-2 о переезде приложения в DC-2 5 – ETR DC-2 информирует MS о новой локализации приложения 6 – MR обновляет ETR DC-1 7 – ETR DC-1 обновляет свою таблицу (App:Null0) 8 – ITR пересылает трафик ETR DC-1 9 – ETR DC-1 отвечаечает при помощи SMRсообщения ( Solicit Map Request) 10 – ITR пересылает Map Req и затем перенаправляет трафик в сторону ETR DC-2 Содержание § § § § § § Введение Управление входящим трафиком при помощи DNS GSLB Location/ID Separation Protocol – LISP Интеграция распределенных сервисов Route Health Injection – RHI Заключение 11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved. Использование /32 маршрутов Функция LISP IGP Assist L3 сеть Динамический маршрут /32 устанавливается при помощи LISP и затем редистрибутируется в IGP R1: FHR “roamer” (мобильная нагрузка) § Сквозное решение только на базе /32 § LISP обеспечивает только детектирование мобильной нагрузки § LISP помогает протоколам маршрутизации IGP сойтись быстрее § IGP распространяет маршруты изученные с помощью LISP § LISP инкапсуляция не применяется в процессе передачи данных Работа LISP-HM IGP Assist ЦОД связаны между собой по L2 (ESM) Сквозная маршрутизация на базе /32 маршрутов LISP “помогает” сойтись IGP Централизованная БД не используется L3 сеть Редистрибуция LISP маршрутов в IGP Редистрибуция LISP маршрутов в IGP 3 Удаляем /32 lisp interface мар-т Обнаруживаем мобильный хост Map-Notify 2 1 Map-Notify 2 “roamer” (lands in a foreign network) Устанав. /32 lisp interface мар-т 2 Настройка LISP-HM IGP Assist ЦОД связаны между собой по L2 (ESM) L3 Core Динамический маршрут /32 устанавливается при помощи LISP и затем редистрибутируется в IGP “roamer” (lands in a foreign network) @ FHR lisp dynamic-eid foo database-mapping <eid-prefix> redistribute map-notify-group 239.1.1.1 … router <favorite-routing-protocol> foo redistribute lisp route-map <bar> … ip prefix-list <eid-list-name> seq 5 permit <eid-prefix> ge 32 route-map <bar> permit 10 match ip address <eid-list-name> R1: FHR Работа LISP-HM IGP Assist ЦОД не связаны между собой по L2 (ASM) Сквозная маршрутизация на базе /32 маршрутов Без LISP сигнализации: трафик L3 сеть попадает в «черную дыру» Редистрибуция LISP маршрутов в IGP 4 Удаляем /32 lisp interface мар-т Редистрибуция LISP маршрутов в IGP 3 Dyn-eid timeout Обнаруживаем мобильный хост 1 Map-Notify 2 “roamer” (lands in a foreign network) Устанав. /32 lisp interface мар-т 2 Работа LISP-HM IGP Assist – задействуется MS ЦОД не связаны между собой по L2 (ASM) Сквозная маршрутизация на базе /32 маршрутов LISP “помогает” сойтись IGP L3 Core Map-Server Редистрибуция LISP маршрутов в IGP 5 Удаляем /32 lisp interface мар-т 4 Map-Notify Map-Notify Редистрибуция LISP маршрутов в IGP 3 Map-Register Обнаруживаем 1 мобильный хост Map-Notify 5 2 “roamer” (lands in a foreign network) Устанав. /32 lisp interface мар-т 2 Настройка LISP HM IGP Assist ЦОД не связаны между собой по L2 (ASM) @ FHR ip lisp etr <<<< Must be ETR only lisp dynamic-eid foo database-mapping <eid-prefix> redistribute database-mapping <eid-prefix> rloc <rloc> p1 w50 map-server <ms-address> key <some-key> map-notify-group 239.1.1.1 … router <favorite-routing-protocol> foo redistribute lisp route-map <bar> … ip prefix-list <eid-list-name> seq 5 permit <eid-prefix> ge 32 route-map <bar> permit 10 match ip address <eid-list-name> L3 Core Динамический маршрут /32 устанавливается при помощи LISP и затем редистрибутируется в IGP “roamer” (lands in a foreign network) R1: FHR Содержание § § § § § § Введение Управление входящим трафиком при помощи DNS GSLB Location/ID Separation Protocol – LISP Интеграция распределенных сервисов Route Health Injection – RHI Заключение 11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved. Заключение § Управление входящим трафиком при помощи DNS GSLB § Citrix Netscaler § Location/ID Separation Protocol – LISP § Мощное средство управления трафиком на все случаи жизни § Гибкость и простота настройки § Интеграция распределенных сервисов § Координация ИТ-подразделений § LISP Multi-Hop § Route Health Injection – RHI § LISP IGP Assist 11/19/14 © 2014 Cisco and/or its affiliates. All rights reserved. Ждем ваших сообщений с хештегом #CiscoConnectRu Спасибо Пожалуйста, заполните анкеты. Ваше мнение очень важно для нас. Contacts: Name Хаванкин Максим Phone +74999295710 E-mail [email protected] CiscoRu 11/20/14 Cisco © 2014 Cisco and/or its affiliates. All rights reserved. CiscoRussia