EXASCALE CHALLENGES: T

На пути к созданию
систем экзафлопсного уровня производительности
Алексей Коптев,
Директор по продажам
ОАО “Т-Платформы”
(Дубна)
07.10.2011
О КОМПАНИИ
 Основана в 2002 году
 Более 200 суперкомпьютерных проектов
 Собственные разработки аппаратного и программного
обеспечения, многочисленные патенты
 Один из лидеров мирового суперкомпьютерного рынка
 Полный спектр решений и услуг в области HPC
 Шесть решений в рейтинге TOP500 самых мощных
суперкомпьютеров мира (2007-2008г., 2011г.
– СКИФ “Cyberia”, ТГУ)
 Центральный офис в Москве (Россия) с
представительствами в Германии, Украине, на Тайване и в Китае
ИЗМЕРЕНИЯ
FLOPS - Floating point OPerations per Second
Количество выполняемых операций с плавающей запятой в секунду




Гигафлопс 109 - миллиард операций в секунду
Терафлопс 1012 - триллион операций в секунду
Петафлопс 1015 - квадриллион операций в секунду
Экзафлопс 1018 - квинтиллион операций в секунду
3
ЭКЗАФЛОПСНЫЙ РУБЕЖ: КОГДА? ЗАЧЕМ?
1 Эфлопс
??
1 Пфлопс
Roadrunner
1 Tфлопс
1 Гфлопс
ASCI Red
Терроризм Финансовый кризис Эпидемии
Изменения климата Старение популяции
Нехватка ресурсов Землетрясения
Загрязнение окружающей среды
CRAY-2
1986
11 лет
1997
11 лет
2008
11 лет??
2018
Суперкомпьютер «Ломоносов»
Суперкомпьютер "Ломоносов”- самый мощный вычислительный
комплекс в Восточной Европе с пиковой производительностью в 1,3
Пфлопс. Cуперкомпьютер использует 6 типов вычислительных узлов
и процессоры различных архитектур.
•
•
•
•
•
1,3 Пфлопс
На базе TB2-XN и TB2-TL
QDR InfiniBand 40Гб/с
3-уровневая система хранения
данных объемом 1,8 ПБ
Операционная система ClustrX
Т-Platforms Edition
ЭКЗА-ЗАДАЧИ
Энергетика
- качественно новые
ядерные реакторы
- индивидуальные
катализаторы
- новые источники
топлива
Климат
предсказание
локального влияния
глобальных
климатических
сдвигов
Астрофизика
1 расчет процесса
образования сверхновой
за 8 недель при 20%
реальной
эффективности Эфлопс
Биология
- 100 милисекунд
сворачивания белка за
секунды вместо 3 лет на
петафлопе
- конструирование наномеханизмов с нуля
Социоэкономика
поддержка
стратегических решений
за счет интеграции
экологических,
энергетических и
социальных моделей
ЭКЗА-ЗАДАЧИ: ЭНЕРГЕТИКА
• Получение более глубоких знаний о базовых процессах, таких как сгорание:
более эффективное использование жидкого топлива
• компьютерный дизайн индивидуальных катализаторов «из первых
принципов»: выделение большего количества энергии из любого сырья
• Качественный рывок в дизайне и оптимизации ядерных реакторов
• Новые способы поиска оптимальных решений инженерных проблем:
несколько пета-моделей отдельных подсистем
устройства рассчитываются одновременно.
При этом оптимизация параметров происходит на уровне
глобальной экза-модели целого устройства
ЭКЗА-ЗАДАЧИ: КЛИМАТ
• Значительное увеличение разрешения моделей: понимание локального
влияния глобальных изменений климата
• Значительное улучшение представления физических,
климатических и биологических процессов в
климатических моделях
• Возможность глубокого исследования факторов
неопределенности в климатических моделях через
масштабные ансамблевые вычисления
Некоторые вопросы:
• С ускорением глобальных изменений климата, на региональном уровне
возникают значительные погодные сдвиги. Могут ли модели предсказывать
их?
• Таяние льдов Гренландии и Антарктики может поднять уровень моря на 6
метров. Насколько велика вероятность?
• Уровень кислотности воды в океане меняется с ростом cодержания СО2 в
атмосфере. Когда эти изменения приведут к разрушению коралловых рифов?
ЭКЗА-ЗАДАЧИ: АСТРОФИЗИКА
• Моделирование формирования галактик, эволюции звезд, образования
сверхновых звезд
• Для корректного моделирования критических аспектов взрыва, приводящего к
образованию сверхновых (например, эволюции магнитных полей ядра звезды
и их роли в образовании сверхновой) требуется новый уровень разрешения
• Один расчет процесса образования
сверхновой звезды займет около 8 недель при
20%-ной реальной производительности
приложения на
экзафлопсном компьютере
ЭКЗА-ЗАДАЧИ: БИОЛОГИЯ
• Возможность корректно воссоздавать микро-системы: выход на новый уровень
пространственно-временного разрешения моделей
• Моделирование клетки как единой системы
• Чтобы смоделировать 100 милисекунд процесса сворачивания белка,
петафлопсной системе понадобится 3 года. Экзафлопсные системы смогут
воспроизвести полный цикл сборки белка за секунды
• Результат – возможность конструировать новые вещества и нано-механизмы с
заранее заданными свойствами
• Возможность включать в одну модель системы
разного масштаба: от микроорганизмов до
целых экосистем
ЭКЗА-ЗАДАЧИ:
СОЦИОЭКОНОМИЧЕСКОЕ МОДЕЛИРОВАНИЕ
• Интеграция детализированных моделей производства и использования
энергии, социо-экономических моделей с высоким пространственновременным разрешением, а также экологических моделей Земли, отражающих
влияние человека на окружающую среду
• Результат: поддержка принятия решений о стратегиях глобального
экономического развития благодаря оценке последствий этих стратегий для
окружающей среды
• Различные способы ответа на глобальные
изменения климата могут комплексно
оцениваться для поиска оптимального
варианта стратегии
ЭКЗАФЛОПС: ТЕХНОЛОГИЧЕСКИЕ ВЫЗОВЫ
Эфлопс на современных
технологиях
5000 МВт
При сохранении
текущего тренда
>500 МВт
Необходимо
20 МВт
Производительность
Linpack на Ватт
Энергопотребление и тепловыделение
Исторический тренд
Цель для Эфлопс
Тяжелые узлы 1
Тренд Тор10
Лучшие ожидания
Легкие узлы 2
Тренд Тор1
Легкие узлы 1
Тяжелые узлы 2
ЭКЗАФЛОПС: ТЕХНОЛОГИЧЕСКИЕ ВЫЗОВЫ
Ограничение объема ОЗУ
100 млн. чипов памяти при 1ГБ на ядро
Надежность, энергопотребление
Ограничение пропускной способности ОЗУ
Текущая эволюция чипов памяти
Нет массового доступа к технологии
Ограничение скорости работы с СХД
Механические компоненты на дисках – ограничение времени
позиционирования
Флэш-память: недостаточно циклов записи
Проблемы хранения и эффективного использования метаданных
Копирование на диск при записи контрольных точек
уже сегодня занимает 50% времени счета
13
ЭКЗАФЛОПС: ТЕХНОЛОГИЧЕСКИЕ ВЫЗОВЫ
Программное обеспечение
Выражение параллелизма и локальности, управление параллелизмом
Алгоритмы
Средства управления
Средства разработки
Недостаточная
степень
параллелизма
Необходима новая
среда разработки
от языков
программирования
до средств отладки
14
НЕКОТОРЫЕ НАПРАВЛЕНИЯ ИССЛЕДОВАНИЙ
 Разработка энергоэффективных технологий изготовления микросхем
 Поиск альтернативных технологий для организации памяти и процессорной
логики, обеспечивающих меньшее энергопотребление
 «Трехмерные» микросхемы: технологии их упаковки, связи между
кристаллами и их охлаждения
 Оптический интерконнект
 Разработка энергоэффективных методов
определения и коррекции ошибок
 Технологии автоматического
использования резервных компонентов
в случае отказа
Прототип оптического интерконнекта, ORNL
15
ВЫВОДЫ
Параллелизм на уровне
миллиардов процессов
Энергопотребление
Новые архитектуры, «легкие
процессоры», интерконнект и
системное ПО с иным уровнем
масштабируемости
и отказоустойчивости
16
ЭКЗАФЛОПСНЫЕ ИНИЦИАТИВЫ
ASC
«Программа
Передового
Имитационного
моделирования и
вычислений»
Национальное
агентство ядерной
Безопасности
Министерства
Энергетики США
«Имитационное
моделирование для
энергетики, экологии
и
Глобальной
безопасности»
Управление по науке
Министерства
Энергетики США
10-летний план
$1.6 – 2 млрд/год
Эфлопс
к 2018-2019 г.г.
1995
«Международный
проект по
разработке ПО
уровня экзаскейл»
США, Евросоюз
Япония, Англия
Инициатива
Научного совета
«Большой
Восьмерки»
«Суперкомпьютинг
уровня экзаскейл»
€10 млн
Эфлопс
к 2022 г.
«Европейская
инициатива CRAY
по разработкам
уровня экзаскейл»
СRAY, Университет
Эдинбурга, СКЦ
Швейцарии
«Моделирование и
вычисления уровня
экзаскейл»
Еврокомиссия
€24млн
на 3 прототипа
2007
2009
2010
СОТРУДНИЧЕСТВО С ВЭБ
Наблюдательный совет государственной корпорации «Банк развития и
внешнеэкономической деятельности (Внешэкономбанк)» под руководством
Председателя Правительства Российской Федерации
В. Путина принял решение о поддержке проекта, реализуемого компанией
«Т-Платформы» в области инновационных российских суперкомпьютерных
технологий.
 Разработка инновационных отечественных суперкомпьютерных
технологий и их экспорт на международный рынок
 Развитие инноваций в стратегических компьютерных технологиях и
электронной промышленности
 Диверсификация российского экспорта за счет наиболее
высокотехнологичной продукции отрасли ИКТ
 Укрепление позиций России в ряду мировых технологических лидеров
18
CLUSTRX
СИСТЕМНОЕ ПО БЕЗ АРХИТЕКТУРНЫХ ОГРАНИЧЕНИЙ ПО МАСШТАБИРУЕМОСТИ –
ПУТЬ К ОПЕРАЦИОННОЙ СИСТЕМЕ УРОВНЯ ЭКЗАСКЕЙЛ
 Мета-OС уровня кластера, а не уровня вычислительного узла
 Единое решение для всей инфраструктуры
 Облегченное оптимизированное ядро Linux (CNL)
 Оптимизированное управление памятью на уровне ядра
 Легко масштабируемая система управления и мониторинга
 Поддержка гетерогенных систем
 Режим экономии электроэнергии
 Масштабируемость на уровне десятков петафлопс
19
Наши вопросы
Что нужно сегодня владельцам СКЦ от производителей HPC?









Простота управления и использования
Энергоэффективность, охлаждение
Масштабируемость интерконнекта и системного ПО
Отказоустойчивость
Доступность масштабируемых
параллельных алгоритмов, приложений
Новые среды разработки, отладки
«Облачная» архитектура, виртуализация
Цена / производительность
???
Спасибо за внимание!
Алексей Коптев,
Директор по продажам
ОАО “Т-Платформы”
E-mail:
alexey.koptev@t-platforms.ru