Администрирование Linux Лекция 9.1 Сети доступа к дискам Иртегов Д.В. Новосибирский гос. Университет 2014 SAN • Storage Access Network • Наиболее популярный протокол – iSCSI • Предполагает раздачу образов дисков по сети • В отличие от сетевой ФС, параллельный доступ на запись к одному диску невозможен • Зато производительность гораздо выше Производительность SAN • Диски: – SATA 1.0 – 1.5Гбит/с – SATA 2.0 – до 3Гбит/с – SATA 3.2 Express – до 16Гбит/с • Сеть – Ethernet 1Гбит/с, Ethernet 10Гбит/с – Infiniband – 16Гбит/с – FiberChannel – до 20Гбод Немного истории SCSI • • • Small Computer System Interface Разработан в начале 80х Разделение уровней – – – • Варианты физического уровня: – – – – – – – • Командный Транспортный Физический Narrow SCSI (8-битная параллельная шина, 8 устройств) Wide SCSI (16-битная параллельная шина, 16 устройств) SAS (Serially Attached SCSI – коммутируемая последовательная шина) USB (диски USB управляются командами SCSI) FireWire (IEEE 1394) TCP/IP (iSCSI) PATA/SATA (недисковые устройства, e.q., CD-ROM, управляются командами SCSI) Использовался для подключения – – – – Дисков Приводов CD, лентопротяжек Сканнеров Ethernet-адаптеров (сам не видел, видел фотографию в журнале) Терминология SCSI • Target – целевое устройство • LUN – логическое устройство в пределах Target (обычно, LUN – это диск) • Initiator – устройство, осуществляющее запрос (компьютер) • Target – это сервер, Initiator - клиент Типы устройств SCSI Код 00h 01h 02h 03h 04h 05h 06h 07h 08h 09h 0Ah-0Bh 0Ch 0Dh 0Eh-1Eh 1Fh Описание Устройство прямого доступа (например, магнитный диск) Устройство последовательного доступа (например, магнитная лента) Печатающее устройство Процессорное устройство Устройство однократной записи (например, некоторые оптические диски) CD-ROM Сканер Оптическое запоминающее устройство Устройство с заменой носителя (например, jukebox) Коммуникационное устройство Определено ASC IT8 Контроллер массива запоминающих устройств (например, RAID) Устройство enclosure services (мост в шину другого типа) зарезервировано Неизвестный или не определенный тип устройства Команды SCSI Имя команды CHANGE DEFINITION COMPARE COPY COPY AND VERIFY INQUIRY LOG SELECT LOG SENSE MODE SELECT(6) MODE SELECT(10) MODE SENSE(6) MODE SENSE(10) MOVE MEDIUM ATTACHED PERSISTENT RESERVE IN PERSISTENT RESERVE OUT PREVENT ALLOW MEDIUM REMOVAL READ BUFFER READ ELEMENT STATUS ATTACHED RECEIVE DIAGNOSTIC RESULTS RELEASE(6) RELEASE(10) REPORT LUNS REQUEST SENSE RESERVE(6) RESERVE(10) SEND DIAGNOSTIC TEST UNIT READY WRITE BUFFER Код Тип Описание 40h O Изменить версию протокола, используемого устройством 39h O Сравнить данные 18h O Копировать данные внутри устройства или между устройствами 3Ah O Копировать данные с проверкой 12h M Проверить наличие устройства, тип и поддерживаемые операции 4Ch O Включить сбор статистики 4Dh O Считать собранную статистику 15h Z Выбор режима работы устройства 55h Z 1Ah Z Считывание режима работы 5Ah Z A7h Z Для устройств с автоматической сменой носителя 5Eh Z Управление режимом блокировки устройства 5Fh Z 1Eh O Заблокировать сменный носитель в устройстве 3Ch O Чтение данных B4h Z Для устройств с автоматической сменой носителя 1Ch O Получить результаты самотестирования устройства 17h Z Разблокировка (освобождение) устройства 57h Z A0h O Считывание списка логических устройств 03h M Считывание статуса устройства 16h Z Блокировка (захват) устройства 56h Z 1Dh M Запрос самотестирования устройства 00h M Проверка готовности устройства 3Bh O Запись данных M = Реализация команды обязательна O = Реализация команды факультативна Z = Реализация и семантика команды зависит от типа устройства. Терминология iSCSI • iSCSI Qualified Name (iqn) • Naming String defined by Type Date Auth "example.com" naming authority +--++-----+ +---------+ +-----------------------------+ | || | | | | | iqn.1992-01.com.example:storage:diskarrays-sn-a8675309 • Аутентификация – Discovery: построение списка устройств – Login: присоединение к LUN – Двусторонний CHAP Еще про аутентификацию • Часто iSCSI используется в выделенных сетях (физически отдельный сегмент или VLAN), это удобно как для производительности, так и для безопасности • Тем не менее, есть возможность завести для каждого target свои имя пользователя и пароль. Демонстрация • Конфигурационный файл /etc/ietd.conf • Создание разреженного файла командой truncate (1) • Создание новых target и LUN из созданного файла при помощи /etc/ietd.conf • Файлы /proc/net/iet/volumes, /proc/net/iet/session Демонстрация • Установка iscsi-initiator-tools, lsscsi • Настройка имен и паролей в /etc/iscsi/iscsid.conf • Поиск устройств на 10.4.16.36 – iscsiadm --mode discovery -t sendtargets \ --portal 10.0.0.30 • Подключение к устройству target2 – iscsiadm --mode node --targetname \ iqn.2014-04.ru.nsu.swsoft:target2 --portal 10.4.16.36 \ --login • Проверка, что устройство подключилось – lsscsi – /proc/partitions – fdisk -l Продолжение демонстрации • Создание раздела на подключенном диске – fdisk /dev/sdb • Создание файловой системы в разделе (потом мы будем экспериментировать с LVM и ее снесем) – mkfs -t ext4 /dev/sdb1 • Монтирование созданной ФС Упражнение • Подключиться к заранее созданным iSCSI target, создать разделы и ФС Применение iSCSI • На бездисковых станциях, серверах, ВМ – корневая ФС • Разделы с данными БД, пользовательские файлы – Резко упрощает миграцию данных при замене сервера, переходе на новую версию ОС Главное отличие между iSCSI и NFS • NFS обеспечивает разделяемый доступ – Изменения [почти] сразу видны всем • iSCSI НЕ обеспечивает разделяемый доступ – Практически любые изменения приведут к повреждению ФС и потере данных – Даже при разделяемом доступе по RO, вы не можете вносить изменения в содержимое (кэши в памяти инициаторов не обновятся) – Чтобы изменить RO образ, его нужно отцепить от всех инициаторов, изменить и прицепить снова Копирование при записи • Некоторые системы хранения данных (ZFS, btrfs, LVM, Netapp WAFL) поддерживают snapshot – Дословно – «моментальный снимок» – Будем изучать на примере LVM – Снимки могут быть доступны на запись (это также называют клонирование) – Копирование при записи (хранятся только измененные блоки) – Снимки и клоны можно раздавать по iSCSI – Удобно развертывать образы корневых ФС: • клонируем чистый образ, • затем вносим изменения в конфигурацию – Проблема – нет слияния