Организация производительного и надежного сетевого обмена

УДК 001(06) Телекоммуникации и новые информационные технологии…
Е.Н. ЛАГУНЦОВ, Ю.А. ЧЕРНЫШЕВ
Московский инженерно-физический институт (государственный университет)
ОРГАНИЗАЦИЯ ПРОИЗВОДИТЕЛЬНОГО И НАДЕЖНОГО
СЕТЕВОГО ОБМЕНА МЕЖДУ ВЫЧИСЛИТЕЛЬНЫМИ
УЗЛАМИ
В
работе
рассмотрены
вопросы,
связанные
с
реализацией
высокопроизводительного и надежного обмена данными между узлами
вычислительной сети, применимые как при построении вычислительных
кластеров для инженерно-технических расчетов, так и в центре обработки данных
для приложений корпоративного уровня – систем управления базами данных,
систем документооборота и т.д.
Развитие информационных технологий, все более плотное вовлечение
их в процессы деятельности организаций, появление научных задач, для
решения которых требуется значительная вычислительная мощность,
тесная интеграция и совместные работы научных центров – все это
приводит к существенному возрастанию интенсивности обмена данными,
резко увеличиваются требования к производительности и надежности
сетевых соединений.
Сегодня большинство высокопроизводительных кластеров и центров
обработки данных строится на базе технологий Ethernet и TCP/IP, эта
технология используется и для организации взаимодействия на больших
расстояниях, например для построения сегментов вычислительной сети
GRID.
Тем не менее, оригинальные решения на базе Ethernet и стека
протоколов TCP/IP обладают рядом существенных недостатков, которые
затрудняют
повсеместное
использование
этой
технологии
взаимодействия. К этим недостаткам относятся, например: высокая
степень утилизации процессора систем при интенсивном обмене
данными, сложность в выделении гарантированной полосы пропускания,
высокая задержка при передаче сообщений, использование блокируемых
сетевых топологий, при которых невозможно гарантировать полную
пропускную способность от каждого узла кластера к каждому.
Для решения этих проблем в последние годы был предложен ряд
инициатив, использование которых позволяет реализовать сетевой обмен
с максимально возможной эффективностью. Некоторые инициативы
предполагают расширение возможностей Ethernet-TCP/IP при сохранении
________________________________________________________________________
ISBN 5-7262-0633-9. НАУЧНАЯ СЕССИЯ МИФИ-2006. Том 10
26
УДК 001(06) Телекоммуникации и новые информационные технологии…
аппаратной базы, некоторые – использование альтернативных
программно-аппаратных средств.
Высокая степень утилизации процессоров систем, участвующих в
сетевом обмене, объясняется природой стека TCP/IP. Во-первых, при
передаче и приеме информации на узле минимум трижды происходит
копирование передаваемых данных между буферами приложения,
операционной системы и драйвера сетевой платы. Во-вторых, обработка
данных, упаковка и распаковка их в сегменты TCP и пакеты IP, расчет
заголовков и контрольных сумм, также занимает существенное
процессорное время. Для того, чтобы избежать многократного
копирования данных и снизить нагрузку на процессор и подсистему
памяти, предназначена технология RDMA – Remote Direct Memory Access
– удаленный прямой доступ к памяти. При использовании этой
технологии драйвер сетевой платы обращается напрямую в область
памяти приложения. Технология TOE – TCP Offload Engine – позволяет
перенести обработку заголовков сегментов TCP непосредственно на
сетевую плату.
В серверной ферме, предъявляющей повышенные требования к
задержке при передаче данных и гарантированной полной
неблокируемости фабрики, возможно применение аппаратных решений,
отличных от Ethernet – например, технологии Infiniband, позволяющей
сократить задержку до 5мкс, и получить пропускную способность до
1Гбайта в секунду на один канал.
Для выделения гарантированной полосы пропускания для связи между
удаленными системами, особенно с использованием разделяемых
каналов, производители сетевого оборудования предлагают ряд
технологий приоритизации трафика,
использования
различных
механизмов очередей.
Надежность сетевого обмена внутри фабрики, объединяющей узлы
кластера или серверы приложений, может быть обеспечена различными
способами, такими как резервирование фабрик и сетевых адаптеров,
объединение адаптеров в логические группы для обеспечения
отказоустойчивости и балансировки нагрузки, активного мониторинга
сетевых путей внутри фабрики.
Таким образом, появление новых технологий сетевого взаимодействия
позволяет вывести на новый уровень производительность сетевого
обмена, обеспечить его надежность, уменьшив при этом утилизацию
вычислительных ресурсов, что позволяет направить их на решение
________________________________________________________________________
ISBN 5-7262-0633-9. НАУЧНАЯ СЕССИЯ МИФИ-2006. Том 10
27
УДК 001(06) Телекоммуникации и новые информационные технологии…
собственно тех задач, которые стоят перед вычислительной системой,
будь то бизнес-приложения или инженерно-технические расчеты.
________________________________________________________________________
ISBN 5-7262-0633-9. НАУЧНАЯ СЕССИЯ МИФИ-2006. Том 10
28