МПСиВ. Лекция 1. Введение в параллельные вычисления

Лекция 1
Параллельное программирование.
Введение.
Методология
параллельных систем и
вычислений
доцент М.А. Сокольская
План.
1.
2.
3.
4.
5.
6.
Что такое суперкомпьютер?
Понятие параллельных вычислений (ПВ)
Необходимость параллельных вычислений
Сдерживающие факторы развития ПВ
Пути достижения параллелизма
Примеры параллельных вычислительных систем
–
–
7.
Классификация многопроцессорных
вычислительных систем
–
2
Суперкомпьютеры
Кластеры
–
Мультипроцессоры
Мультикомпьютеры
Литература
1.
2.
3.
4.
3
Гергель В.П. Теория и практика параллельных
вычислений. - М.: Интернет-Университет, БИНОМ.
Лаборатория знаний, 2007.
Богачев К.Ю. Основы параллельного программирования.
- М.: БИНОМ. Лаборатория знаний, 2003.
Воеводин В.В., Воеводин Вл.В. Параллельные
вычисления. - СПб.: БХВ-Петербург, 2002.
Немнюгин
С.,
Стесик
О.
Параллельное
программирование
для
многопроцессорных
вычислительных систем — СПб.: БХВ-Петербург, 2002.
Серия книг “Суперкомпьютерное образование” –
лауреат национальной премии “Книга года”
(номинация “Учебник XXI века”)
Рост производительности
вычислительных систем
7-8 лет
12-13 лет
18-20 лет
5
ПК
60 Gflop/s
Mobile
1 Gflop/s
Суперкомпьютер “Tianhe-2”, Китай
(#1 Top500 в 2015 г., июнь)
16 000 вычислительных узлов
32 000 Intel Xeon IvyBridge, 12-core
48 000 Intel Xeon Phi
Всего: 3 120 000 ядер
Производительность:
Peak: 54,9 Pflop/s
Linpack: 33,86 Pflop/s
Что такое суперкомпьютер?
Изначально:
суперкомпьютер - это "сверхмашина", намного более
производительная, чем любая из доступных
рядовому пользователю. Самый большой, самый
дорогой,
самый
быстрый,
самый
мощный,
производительность его на настоящий момент
максимальна.
7
Что такое суперкомпьютер?
8
В настоящее время:
Суперкомпьютер – это вычислительная
система,
обладающая
предельными
характеристиками по производительности
среди имеющихся в каждый конкретный
момент времени компьютерных систем.
Предельные характеристики имеют разброс от
295 Tflops до 54 Pflops (данные последнего
исследования Top500 – top500.org).
Суперкомпьютер
Ломоносов, МГУ
9
10
Суперкомпьютер внутри (на
примере ПВС «Скиф», МГУ)
Блок процессоров
Стойки СКИФа изнутри
11
Процессорный элемент
Выполнение задачи на компьютере
(от мобильных платформ до экзафлопсных
суперкомпьютерных систем)
Задача
Компьютер
(миллионы, миллиарды…)
Метод
Технологии
программирования
Алгоритм
Предметная сторона
Системное ПО
Программа
Компьютерная сторона
Для чего нужны
суперкомпьютеры?
13
Суперкомпьютеры применяются в:
- стратегических исследованиях (управляемый термоядерный
синтез, моделирование взрывов и ядерных испытаний,
разработка военной и авиакосмической техники, системы
ПВО)
- Биологии (моделирование микроструктур), медицине
(использование суперкомпьютера и мед. аппаратуры)
- Нанотехнологиях
- Астрономии (моделирование поведения звезд, рождения
звезд)
- авиастроении
- Космологии (моделирование структуры галактики)
Нанотехнологии
Ткань, отталкивающая
любую жидкость
14
Астрономия
Сверхновая перед взрывом
Модель солнечного пятна
Рождение двойной звезды
15
Математическое моделирование
16
Для решения перечисленных задач
суперкомпьютеры используют
параллельные вычисления.
17
Понятие параллельных вычислений
Под
параллельными
вычислениями
понимаются процессы обработки данных,
в
которых
одновременно
могут
выполняться
несколько
операций
компьютерной системы
18
Понятие параллельных вычислений



19
Параллельные вычисления не сводятся к
использованию только многопроцессорных
вычислительных систем
Одновременные выполняемые операции
должны быть направлены на решение общей
задачи
Параллельные
вычисления
следует
отличать
от
многозадачных
(многопрограммных)
режимов
работы
последовательных ЭВМ
Группы задач, реализуемых
параллельно
Небольшие
задачи
(несколько часов
расчёта на одном
процессоре)
Очень большие
задачи (месяцы
расчётов на
одном
процессоре)
Суперком
пьютеры
20
Средние задачи
(неделя расчёта
на одном
процессоре)
Многоядерные
ПК,
видеокарты
Небольшие кластеры в лабораториях,
университетах
Почему нужны параллельные
вычисления…

Опережение потребности в вычислениях
быстродействия существующих компьютерных
систем
Оценка необходимой производительности –
1018 операций над вещественными числами в
секунду (1 Eflops) – 1 квинтиллион операций в
секунду.
Возможно, экзафлоп будет достигнут к 2018-2020
гг.

21
Сдерживающие факторы…
22

высокая стоимость параллельных систем –
в соответствии с законом Гроша (Grosch),
производительность
компьютера
возрастает
пропорционально
квадрату
его
стоимости

потери производительности для организации
параллелизма – согласно гипотезе Минского
(Minsky), ускорение, достигаемое при
использовании параллельной системы,
пропорционально двоичному логарифму от числа
процессоров
Сдерживающие факторы…


23
постоянное совершенствование последовательных
компьютеров – в соответствии с законом Мура (Moore)
мощность последовательных процессоров возрастает
практически в два раза каждые 18 месяцев
?!
существование последовательных вычислений –
в
соответствии
с
законом
Амдаля
(Amdahl)
ускорение процесса вычислений при использовании p
процессоров
ограничивается
величиной
S

1/(f+(1–f)/p)

1/f,
где f
есть доля последовательных вычислений в
применяемом
алгоритме
обработки
данных
Сдерживающие факторы…
•
•
24
зависимость эффективности параллелизма от
учета характерных свойств параллельных
систем
(отсутствие
мобильности
для
параллельных
программ)
?!
Существующее
массовое
программное
обеспечение ориентировано в основном на
последовательные
ЭВМ
?!
Примеры параллельных
вычислительных систем…

25
Суперкомпьютеры
Существует мировой рейтинг суперкомпьютерных
систем: ТОП500.
http://www.top500.org
Рейтинг содержит 500 лучших машин мира,
приводит
множество
их
характеристик,
позволяет оценить тенденции.
Производительность
машин
оценивается
стандартным тестом LINPACK.
Исторические примеры

26
Суперкомпьютеры. Программа ASCI
(США)
(Accelerated Strategic Computing Initiative)
– 1996, система ASCI Red, построенная Intel,
производительность 1 TFlops,
– 1999, ASCI Blue Pacific от IBM и ASCI Blue
Mountain от SGI, производительность 3 TFlops,
– 2000, ASCI White с пиковой производительностью
свыше 12 TFlops (реально показанная
производительность на тесте LINPACK составила
на тот момент 4938 GFlops)
Примеры параллельных
вычислительных систем…

Суперкомпьютеры. Система BlueGene
–
–
–
Первый вариант системы представлен в 2004 г. и
сразу занял 1 позицию в списке Top500
Расширенный вариант суперкомпьютера (ноябрь
2007 г.) по прежнему на 1 месте в перечне
наиболее быстродействующих вычислительных
систем
Сейчас – 22 место в рейтинге
212992 двухядерных 32-битных процессоров
PowerPC 440 0.7 GHz,
 пиковая производительность около 600 Tflops,
производительность на тесте LINPACK – 478 Tflops

27
Примеры параллельных
вычислительных систем…

Кластеры
Кластер – группа компьютеров, объединенных в
локальную вычислительную сеть (ЛВС) и способных
работать в качестве единого вычислительного
ресурса.
28
Предполагает
более
высокую
надежность
и
эффективность, нежели ЛВС, и существенно более
низкую стоимость в сравнении с другими типами
параллельных вычислительных систем (за счет
использования типовых аппаратных и программных
решений).
Примеры параллельных
вычислительных систем…

Кластеры. Beowulf
–
29
В настоящее время под кластером типа
“Beowulf” понимается вычислительная система,
состоящая из одного серверного узла и одного
или более клиентских узлов, соединенных при
помощи сети Ethernet или некоторой другой сети
передачи данных. Это система, построенная из
готовых
серийно
выпускающихся
промышленных компонент, на которых может
работать ОС Linux/Windows, стандартных
адаптеров Ethernet и коммутаторов.
Примеры параллельных
вычислительных систем…
Кластеры. Beowulf…
–
1994, научно-космический центр NASA Goddard
Space Flight Center, руководители проекта - Томас
Стерлинг и Дон Бекер:
16 компьютеров на базе процессоров 486DX4,
тактовая частота 100 MHz,
 16 Mb оперативной памяти на каждом узле,
 Три параллельно работающих 10Mbit/s сетевых
адаптера,
 Операционная система Linux, компилятор GNU,
поддержка параллельных программ на основе MPI.

30
Примеры параллельных
вычислительных систем…

Кластеры. AC3 Velocity Cluster
–
2000, Корнельский университет (США), результат
совместной работы университета и Advanced Cluster
Computing Consortium, образованного компаниями Dell,
Intel, Microsoft, Giganet:




31
64 четырехпроцессорных сервера Dell PowerEdge 6350 на
базе Intel Pentium III Xeon 500 MHz, 4 GB RAM, 54 GB HDD,
100 Mbit Ethernet card,
1 восьмипроцессорный сервер Dell PowerEdge 6350 на базе
Intel Pentium III Xeon 550 MHz, 8 GB RAM, 36 GB HDD, 100 Mbit
Ethernet card,
Операционная система Microsoft Windows NT 4.0 Server
Enterprise Edition,
Пиковая производительность AC3 Velocity 122 GFlops,
производительность на тесте LINPACK 47 GFlops.

Кластеры. Thunder
–
2004, Ливерморская Национальная Лаборатория
(США):
1024 сервера, в каждом по 4 процессора Intel
Itanium
1.4 GHz,
 8 Gb оперативной памяти на сервер,
 общая емкость дисковой системы 150 Tb,
 операционная система CHAOS 2.0,
 пиковая производительность 22938 GFlops и
максимально показанная на тесте LINPACK 19940
GFlops (5-ая позиция списка Top500 ).

32
Примеры параллельных
вычислительных систем…

Кластер. Ломоносов
(МГУ им. М.В. Ломоносова)
2015, 71 место в рейтинге на июнь
-
33
Пиковая производительность — 1,7 Pфлопс
Производительность на тесте LINPACK – 900 Tflops
– Число процессорных ядер – 78660, из них 29820 на
ускорителях
– Оперативная память — 99489 ГБ
– Объем системы хранения данных около 2000 ТБ
– операционная система — Clustrix T-Platforms Edition
– Занимаемая площадь — 252 кв.м
Суперкомпьютерные центры:
ожидания и реальность
1 Pflop/s system… Что мы ожидаем?
1Pflop * 60sec * 60min * 24hours * 365days = 31,5 ZettaFlop (1021) per year
Что в реальности? Очень малая доля…
Суперкомпьютеры и паровозы…
Где эффективность выше?
Особенности архитектуры, сложные потоки задач, плохая
локальность данных, огромная степень параллелизма в
аппаратуре и т.п. – все это причины низкой эффективности.
Эффективность суперкомпьютерных центров
(простая оценка)
3.5%
Усредненная производительность одного ядра
суперкомпьютера “Чебышев” за 3 дня
Эффективность суперкомпьютерных центров
Проекты, приложения
Очереди заданий
Динамика приложения
Поток приложений
Стек ПО
Компоненты компьютера
Инж.инфраструктура
CPU usage:
user, system, irq, io, idle,
(summary, and per-core)
Performance counters;
Swap usage;
Memory usage;
Interconnect usage;
Network errors;
Disk usage;
Filesystem usage;
Network filesystem usage;
Hardware alarms (ECC, SMART, etc);
CPU and motherboard temperatures;
Network switches errors;
Cooling subsystem data;
Power subsystem data;
FAN speeds;
Voltages;
...
Крайне сложная структура суперкомпьютеров привела к потере контроля над
пониманием (знанием) их поведения.
Цель - полный контроль над HW/SW и приложениями.
Большие числа суперкомпьютерных центров
(степень параллелизма)
Сегодня в суперкомпьютерах все параметры большие :
•
Ядра, процессоры, ускорители, узлы,
•
Компоненты аппаратуры,
•
Компоненты программного обеспечения,
•
Число файлов в СХД, число буферов,
•
Трафик в интерконнекте,
•
Число пользователей, проектов,
•
Выполняющиеся и ожидающие задачи,
•
…
И все эти числа очень быстро растут !
Организация работы суперкомпьютерного
комплекса Московского университета
(суперкомпьютер “Ломоносов”)
Пользователи – более 600:
• первичная регистрация,
• Help Desk,
• массовое заведение групп пользователей (практикумы,
школы, академия, ФПК…).
Проекты – более 400:
• пользователи, квоты, лицензии, приоритеты
• ежегодная отчетная кампания: экспертиза отчетов,
критерии и оценка результатов работы (!!!)
Организация работы суперкомпьютерного
комплекса Московского университета
(суперкомпьютер “Ломоносов”)
SW: прикладные пакеты, библиотеки, инструменты… – 60+
(это число постоянно увеличивается):
Intel ICC/IFORT, GCC, PathScale, PGI, MPIs, Intel VTune Performance Analyzer, Intel
Cluster Tools, RogueWave TotalView, RogueWave ThreadSpotter, Allinea DDT,
ScaLAPACK, ATLAS, IMKL, AMCL, BLAS, LAPACK, FFTW, cuBLAS, cuFFT, MAGMA,
cuSPARSE, CUSP, and cuRAND…
VASP, WIEN2k, CRYSTAL, Gaussian, MOLPRO, Turbomole,
Accelrys Material Studio, MesoProp, MOLCAS, Gromacs, FireFly, LAMMPS, NAMD,
GAMESS, Quantum ESPRESSO, ABINIT, Autodock, CP2K, NWChem, PRIRODA, SIESTA,
Amber, CPMD, DL POLY, VMD, GULP, Aztec, Geant, OpenFOAM, PARMETIS, FDMNES,
GSL, METIS, Msieve, Octave, OpenMX, PETSc, SMEAGOL, VisIt, VTK, WRF…
HW: поддержка и сопровождение – 10000+ компонентов
(это число постоянно увеличивается):
Что такое 10-петафлопсный суперкомпьютер?
•
Высокая стоимость,
•
Высокое энергопотребление,
•
Разнообразие приложений,
•
Высокая степень параллелизма,
•
Большие числа - повсюду,
•
Почти невозможно точно описать/предсказать состояние
системы,
Мы потеряли контроль …
Классификация вычислительных
систем…

Систематика Флинна (Flynn)
–
классификация по способам взаимодействия
последовательностей (потоков) выполняемых команд и
обрабатываемых данных:




SISD (Single Instruction, Single Data)
SIMD (Single Instruction, Multiple Data)
MISD (Multiple Instruction, Single Data)
MIMD (Multiple Instruction, Multiple Data)
Практически все виды параллельных систем,
несмотря на их существенную разнородность,
относятся к одной группе MIMD
41
Классификация вычислительных
систем…
Детализация систематики Флинна…
–
–
дальнейшее разделение типов
многопроцессорных систем основывается на
используемых способах организации
оперативной памяти,
позволяет различать два важных типа
многопроцессорных систем:
multiprocessors (мультипроцессоры или
системы с общей разделяемой памятью),
 multicomputers (мультикомпьютеры или
системы с распределенной памятью).

42
Классификация ПВС
Детализация систематики Флинна…
MIMD
Мультипроцессоры
Распределенная память
NUMA
NCC-NUMA
CC-NUMA
COMA
Общая память
UMA
SMP
Мультикомпьютеры (NORMA)
MPP
43
Clusters
PVP
Классификация ПВС

Мультипроцессоры с использованием единой
общей памяти (shared memory)…
– обеспечивается однородный доступ к памяти
(uniform memory access or UMA),
– являются основой для построения:


44
векторных параллельных процессоров (parallel vector
processor or PVP). Примеры: Cray T90,
симметричных мультипроцессоров (symmetric
multiprocessor or SMP). Примеры: IBM eServer, Sun
StarFire, HP Superdome, SGI Origin.
Классификация ПВС

Мультипроцессоры с использованием единой
общей памяти…
Процессор
Процессор

Кэш
Кэш
Оперативная
память
45
Классификация ПВС
Мультипроцессоры с использованием единой общей
памяти
Проблемы:
Доступ с разных процессоров к общим данным и
обеспечение, в этой связи, однозначности
(когерентности) содержимого разных кэшей
(cache coherence problem),
 Необходимость синхронизации взаимодействия
одновременно выполняемых потоков команд

46
Классификация ПВС
Мультипроцессоры с использованием физически
распределенной памяти (distributed shared memory or DSM):
– неоднородный доступ к памяти (non-uniform memory access
or NUMA),
– Среди систем такого типа выделяют:
 Сache-only memory architecture or COMA (системы KSR-1
и DDM),
 cache-coherent NUMA or CC-NUMA (системы SGI Origin
2000, Sun HPC 10000, IBM/Sequent NUMA-Q 2000),
 non-cache coherent NUMA or NCC-NUMA (система Cray
T3E).
47
Классификация ПВС
Мультипроцессоры с использованием физически
распределенной памяти…
Процессор
Кэш
Процессор

Оперативная
память
48
Кэш
Оперативная
память
Сеть передачи данных
Классификация ПВС

49
Мультипроцессоры с использованием физически
распределенной памяти:
– упрощаются
проблемы
создания
мультипроцессоров (известны примеры систем с
несколькими тысячами процессоров),
– возникают
проблемы
эффективного
использования распределенной памяти (время
доступа к локальной и удаленной памяти может
различаться на несколько порядков).
Классификация ПВС

Мультикомпьютеры…
–
–
–
50
не обеспечивают общий доступ ко всей
имеющейся в системах памяти (no-remote memory
access or NORMA),
каждый процессор системы может использовать
только свою локальную память,
для доступа к данным, располагаемых на других
процессорах,
необходимо
явно
выполнить
операции передачи сообщений (message passing
operations).
Классификация ПВС
Мультикомпьютеры
Процессор
Процессор
Кэш
Кэш
Оперативная
память
Оперативная
память
Сеть передачи данных
51

52
Мультикомпьютеры
Данный подход используется при построении двух
важных типов многопроцессорных вычислительных
систем:
– массивно-параллельных
систем
(massively
parallel processor or MPP), например: IBM RS/6000
SP2, Intel PARAGON, ASCI Red, транспьютерные
системы Parsytec,
– кластеров (clusters), например: AC3 Velocity и
NCSA NT Supercluster.

53
Мультикомпьютеры. Кластеры…
Кластер - множество отдельных компьютеров,
объединенных в сеть, для которых при
помощи
специальных
аппаратнопрограммных
средств
обеспечивается
возможность унифицированного управления
(single
system
image),
надежного
функционирования
(availability)
и
эффективного использования (performance)

Мультикомпьютеры. Кластеры…
Преимущества:
–
–
–
54
Могут быть образованы на базе уже существующих у
потребителей
отдельных
компьютеров,
либо
же
сконструированы из типовых компьютерных элементов;
Повышение
вычислительной
мощности
отдельных
процессоров позволяет строить кластеры из сравнительно
небольшого количества отдельных компьютеров (lowly
parallel processing),
Для параллельного выполнения в алгоритмах достаточно
выделять только крупные независимые части расчетов
(coarse granularity).

Мультикомпьютеры. Кластеры
Недостатки:
–
–
55
Организация взаимодействия вычислительных
узлов кластера при помощи передачи
сообщений обычно приводит к значительным
временным задержкам,
Дополнительные ограничения на тип
разрабатываемых параллельных алгоритмов и
программ (низкая интенсивность потоков
передачи данных)
Вопросы к семинару
Обзор рейтинга TOP500 (преобладающий тип
вычислительных систем, место российских ПВС в
рейтинге, преобладающая ОС и т.д. top500.org)
2.
Топологии сети передачи данных (организация
физических связей между процессорами системы).
Виды топологий, характеристики.
3.
Системные платформы для построения кластеров
(семейство Windows, семейства UNIX и Linux)
4.
Обзор систем программирования для параллельных
вычислительных систем (MPI, OpenMP, PVM, CUDA)
Задание: подготовить доклад по вопросу и презентацию к
нему (можно в паре).
1.
56