Win-кластер

Windows HPC Server 2008 R2 Suite:
– Windows Server 2008 R2 HPC Edition
+
– Microsoft HPC Pack
• Microsoft HPC Pack 2008 R2 Enterprise
• Microsoft HPC Pack 2008 R2 Express
Windows Server 2008 R2 HPC Edition, являясь частью Windows HPC Server
2008 R2 Suite, использует модель лицензирования «на сервер» и не требует
клиентских лицензий (CAL) для доступа. По условиям лицензии он не может
использоваться как «сервер».
Microsoft HPC Pack Enterprise и Express не требует клиентских лицензий.
Простейший HPC кластер может состоять из
головного узла и 2-х вычислительных узлов.
Головной узел может быть создан с помощью Microsoft HPC Pack 2008 R2 на
любой из следующих 64-разрядных ОС (не Itanium):
• Windows Server 2008 R2 HPC Edition
• Windows Server 2008 R2 Standard
• Windows Server 2008 R2 Enterprise
• Windows Server 2008 R2 Datacenter
HPC Pack это дополнительное программное обеспечение, предоставляющее
управление HPC кластером.
Вычислительные узлы могут быть созданы на любой из следующих 64разрядных ОС (не Itanium):
• Windows Server 2008 R2 HPC Edition или Windows Server 2008 HPC
Edition
• Windows Server 2008 R2 Standard или Windows Server 2008 Standard
• Windows Server 2008 R2 Enterprise или Windows Server 2008 Enterprise
• Windows Server 2008 R2 Datacenter или Windows Server 2008
Datacenter
Установка обновлений и
дополнительного ПО
• Через AD
• Подготовить шаблон типа для узла с
установленной ОС
• Создать задачу
• Через запуск команды (+копирование)
• Вручную
Microsoft HPC Pack 2008 R2
Enterprise
• Включает кроме стандартного
функционала HPC Pack 2008 R2
Express
• Возможность включать рабочие станции в
состав кластера
• Возможность выполнять вычисления из Excel
2010 на кластере
• позволяет использовать средства Azure
– «библиотека» Cloud Numerics
Организации, использующие рабочие станции в качестве вычислительных
узлов, могут использовать вычислительную мощность простаивающих в
нерабочее время ПК с Windows 7 или сформировать вычислительное
облако, предоставляющее дополнительную мощность для кластера
серверов Windows HPC Server. Клиентские компьютеры, на которых могут
быть запущены вычислительные узлы (workstation nodes) с помощью
Microsoft HPC Pack 2008 R2 for Workstation, должны работать на любой из
следующих (x86 или x64) ОС:
• Windows 7 Professional
• Windows 7 Enterprise
• Windows 7 Ultimate
HPC Pack 2008 R2 Tool Pack
• Lizard - вариант теста Linpack от MS
• ClusterCopy - утилита для копирования файлов на
узлы кластера
• Node XML Editor - Node XML Editor Excel file –
шаблон для создания и редактирования XML
описаний узлов кластера для развертывания на них
ПО
• Network Troubleshooting Report - тесты сети
кластера
• GangliaIntegration
• HPCPreInstall – для подготовки узлов к установке
HPC Pack
HPC Pack 2008 SharePoint Integration Sample
Клиентские компьютеры, с которых пользователи могут
управлять консолями администрирования и управления
заданиями, должны работать под следующими операционными
системами:
• Windows 7 Professional, Enterprise, Ultimate (x86 или x64)
• Windows Vista Enterprise, Business, Home, Ultimate
• Windows XP Professional с Service Pack 3 или старше (x86
или x64)
• Windows Server 2008 R2 Standard, Enterprise, Windows
Server 2008 R2 HPC Edition (x86 или x64)
• Windows Server 2008 Standard, Enterprise, Windows Server
2008 HPC Edition (x86 или x64)
• Windows Server 2003 R2 Standard Edition, Enterprise Edition
(x86 или x64)
• Windows Server 2003 Compute Cluster Edition, Windows
Server 2003 Standard Edition, Enterprise Edition с Service
Pack 2 или старше (x86 или x64)
• SDK
– Примеры
– средства для разработки драйверов NetworkDirect
– HPC Pack 2008 R2 MS-MPI redistributable installer
• MPITemplate – шаблон для VS проектов для
кластера
• Отправить задачу через оболочку
• Использовать интерфейс на основе
веб-частей Sharepoint
• Командлеты Powershell
Файлы, требующиеся для выполнения задания, должны размещаться на
носителях, доступных всем узлам.
ПРОБЛЕМА
• Блокировка файлов – задача висит «в
стартинге»
Требования для использования отладчика MPI-кластера
• На компьютере разработчика должна быть установлена среда Visual
Studio 2010 Professional Edition или более высокой версии с удаленным
отладчиком.
• У пользователя должны быть права администратора кластера.
• У Visual Studio должен быть доступ ко всем вычислительным узлам, на
которых предполагается запускать сеансы отладки. Необходимый
доступ обеспечивают сценарии, указанные ниже.
• Приложение разрабатывается на головном узле кластера или на
выделенном узле входа.
• Используется кластер, в котором вычислительные узлы
подключены к корпоративной сети (топология 2, 4 или 5), а
компьютер разработчика присоединен к тому же домену или к
домену, для которого настроены отношения доверия с доменом
кластера.
• Для отправки приложения в кластер HPC с клиентского компьютера
необходимо установить пакет Microsoft HPC Pack 2008.
• Для построения MPI-программ с использованием интерфейса передачи
сообщений корпорации Майкрософт необходимо, чтобы на компьютере
разработчика был установлен пакет Windows HPC Server 2008 SDK.
Cloud Numerics
A numerical library with over 400 functions
covering mathematics, statistics, linear
algebra, and more.
The "Cloud Numerics" Visual Studio
project gives instant access to distributed
data structures and numerical functions.
Develop and debug on your desktop then
deploy to Windows Azure with a couple of
simple steps.
The project template and sample program have the following operating system and
software prerequisites:
• Windows 7 or Windows Server 2008 R2 SP1, 32 or 64-bit
• Visual Studio 2010 Professional or Ultimate Edition with SP1 with Visual
C++ components installed*
• SQL Server 2008 R2 Express or higher
• Windows Azure SDK v1.6 and Windows Azure Tools for Visual Studio,
November 2011 or later edition
• A Windows Azure subscription for deploying projects from local, debugging
mode to Windows Azure.
If any of the following obsolete components are present, installation will appear to
succeed but you probably won’t be able to open a new “Cloud Numerics” project:
• Microsoft HPC Pack 2008 R2 Azure Edition
• Microsoft HPC Pack 2008 R2 Client Components
• Microsoft HPC Pack 2008 R2 MS-MPI Redistributable Pack
• Microsoft HPC Pack 2008 R2 SDK
• Windows Azure SDK v1.5
• Windows Azure AppFabric v1.5
• Windows Azure Tools for Microsoft VS2010 1.5
Архитектура Windows HPC
Архитектура Windows HPC
Основа кластера:
• Минимальный набор средств для запуска
кластерных приложений
Сервис-ориентированный кластер
• Строится на основе кластера с добавлением brokerузлов, необходимых для управления и выполнения
SOA приложений
Высоконадежный кластер
• Включает в себя избыточные(вспомогательные)
управляющий и broker-узлы, благодаря чему
приложения являются устойчивыми к отказу этих
критически важных серверов
Кластер рабочих станций
• Позволяет использовать рабочие станции под
управлением Windows 7 как вычислительные узлы
кластера во время простоя
Решения Microsoft для вузов и прикладной науки
Наши победы. СКИФ-Урал, Linpack
Узлы/Ядра Rmax(TFlops) Rpeak(TFlops) Эффективн.
166/1328
12.200
15.936
76.55%
156/1248
12.000
14.976
80.13%
Mellanox WinIB-ND 1.4.0b
Латентность: 2.9 / 5.6 μsec
Throughput: 931 Мб/сек
ОС
SUSE Linux Enterprise
Server 10
Windows HPC Server
2008 RC2
Классическая кластерная
инфраструктура: публичная,
приватная и MPI-сети
Решения Microsoft для вузов и прикладной науки
Некоторые российские вузы/институты,
разместившие заказы на кластерную ОС
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
МИЭТ
Белгородский ГУ
МИФИ
Пермский ГТУ
ЮрГУ
ИКИ РАН
МФТИ
ИБХ РАН
Санкт-Петербургский ГПУ
МГУ
Ульяновский ГТУ
Новосибирский ГУ
Волгоградский ГТУ
РосНОУ
Иркутский ТУ, …
TOP500.ORG