Презентация - Нижегородский государственный университет

Нижегородский государственный университет
им. Н.И. Лобачевского
Национальный исследовательский университет
МОДЕЛИРОВАНИЕ ПЛАЗМЫ МЕТОДОМ
ЧАСТИЦ В ЯЧЕЙКАХ
НА КЛАСТЕРНЫХ СИСТЕМАХ
Бастраков С., Гоносков А., Донченко Р.,
Ефименко Е., Малышев А., Мееров И.
Нижний Новгород,
11.12.2010
Содержание





Введение и постановка задачи
Метод Particle-in-Cell
Программная реализация и результаты экспериментов
Параллельная схема
Заключение
ННГУ, 2010
2/38
Предметная область. Плазма
Плазма это полностью или частично
ионизованный газ, в котором плотность
положительно и отрицательно заряженных частиц
почти одинакова.
 Плазма это не просто набор заряженных частиц, в
плазме каждая заряженная частица
взаимодействует с большим числом близко
расположенных частиц, что приводит к
проявлению коллективных эффектов:
квазинейтральность, экранировка, плазменные
колебания.

ННГУ, 2010
3/38
Предметная область. Лазерные технологии





Лазерные технологии позволяют получать в настоящее время
лазерное излучение с максимальной интенсивностью до 1022
Вт/см2, что соответствует напряженности поля 1012-1013 В/см, при
такой огромной напряженности разность потенциалов на 1 см
составит 1ТВ.
Необходимо уметь организовать эффективное взаимодействие
сверхсильных полей с веществом.
Пробой диэлектриков (стекло, вода…) достигается уже при
интенсивностях 1011-1012 Вт/см2, газа до 1014 Вт/см2.
При этом происходит ионизация вещества, образуется плазма, т. е.
происходит смена фазового состояния вещества, сопровождающаяся
резким изменением характеристик и часто взрывообразным
разрушением материала.
В плазме взаимодействие может идти при значительно более высоких
напряженностях поля, в сравнении с обычным веществом.
ННГУ, 2010
4/38
Область исследований


Область исследований – численное моделирование
плазмы на гетерогенных кластерных системах.
Актуальность темы:
– Обусловлена актуальностью прикладных задач.
– Важная область приложения – биомедицина:
исследование лазерного ускорения протонов и легких
ионов для создания компактных и дешевых источников
• адронная терапия для лечения онкологических заболеваний и
производства изотопов;
• протонография – определение внутренней структуры
массивных объектов.
– Есть и другие области приложения.
ННГУ, 2010
5/38
Текущее состояние дел
Первые работы по численному моделированию плазмы
начались более 40 лет назад.
 Текущие направления исследований:
– разработка все более совершенных алгоритмических схем
моделирования физических процессов;
– разработка новых подходов для эффективного
использования современных вычислительных систем для
расчетов.
 Имея существенную вычислительную
трудоемкость, практические задачи требуют использования
суперкомпьютеров.
 Один из основных методов расчета – метод частиц в ячейках
(Particle-in-Cell, PIC)*.

* Бэдсел Ч., Ленгдон А. Физика плазмы и численное моделирование:
Пер. с англ. – М.: Энергоатомиздат, 1989. – 452 с.
ННГУ, 2010
6/38
Обзор литературы


Используемые архитектуры и технологии:
– x86 CPU/GPU/CellBE
– MPI/OpenMP/CUDA
Значимые программные реализации PIC:
– VPIC (Los Alamos National Lab): MPI + IBM Cell.
– VLPL (Max-Planck-Institut fur Quantenoptik): MPI, Cray T3E.
– OSIRIS (UCLA): Cray T3E.
– PIConGPU (Dresden): MPI + GPU.
ННГУ, 2010
7/38
Анализ литературы




Существует большое количество работ по улучшению
физической, алгоритмической и вычислительной части.
Существуют программные пакеты, использующие в
расчетах кластеры и суперкомпьютеры с традиционной
архитектурой на базе многоядерных CPU.
Появляются первые работы по использованию GPU.
Наша группа в основном фокусируется на
эффективной реализации методов моделирования
плазмы на современных гетерогенных
вычислительных системах.
ННГУ, 2010
8/38
Постановка задачи (первый этап)





Изучить метод PIC для моделирования плазмы.
Описать вычислительную схему метода с учетом опыта
решения прикладных задач в ИПФ РАН.
Разработать инфраструктуру для проведения
исследований (система построения кода, тестовая система
для анализа
корректности/производительности, подсистема
конфигурирования/визуализации).
Спроектировать и реализовать программно расчетную
схему для однопроцессорной системы с учетом
дальнейшего расширения.
Разработать первую версию параллельной реализации для
кластера.
ННГУ, 2010
9/38
МЕТОД PARTICLE-IN-CELL
ННГУ, 2010
10/38
Моделирование плазмы. Краткое описание PIC


Система заряженных частиц.
Электромагнитное поле на пространственной сетке.
Источник: Бэдсел Ч., Ленгдон А. Физика плазмы и численное
моделирование: Пер. с англ. – М.: Энергоатомиздат, 1989. – 452 с.
ННГУ, 2010
11/38
Вычислительный цикл*
Инициализация
Взвешивание токов
Интегрирование
уравнений движения
частиц
∆t
Интегрирование
уравнений поля
Интерполяция полей
* Бэдсел Ч., Ленгдон А. Физика плазмы и численное моделирование:
Пер. с англ. – М.: Энергоатомиздат, 1989. – 452 с.
ННГУ, 2010
12/38
Взвешивание токов



Частица вносит вклад только в узлы, являющиеся
вершинами ячейки.
Заряд/ток расщепляется между ними по линейному
закону:
Вклады всех частиц суммируются.
ННГУ, 2010
13/38
Интегрирование уравнений поля

Численно интегрируются уравнения Максвелла:

Метод интегрирования Finite-Difference Time-Domain
(FDTD)*.
Значения электрического поля и плотности тока в узлах
сетки, значения магнитного поля в центрах ячеек и
сдвинуты на половину шага по времени.
Граничные условия.


* Taflove A. Computational Electrodynamics: The Finite-Difference
Time-Domain Method. – London: Artech House, 1995. – 599 P.
ННГУ, 2010
14/38
Интерполяция полей


Процедура, обратная взвешиванию.
Значение поля в точке определяется только значениями
полей в ближайших узлах сетки, интерполяция по
линейному закону:
ННГУ, 2010
15/38
Интегрирование уравнений движения частиц



Движение под действием силы Лоренца.
Релятивистское обобщение второго закона Ньютона.
Метод интегрирования Boris*.
* Бэдсел Ч., Ленгдон А. Физика плазмы и численное моделирование:
Пер. с англ. – М.: Энергоатомиздат, 1989. – 452 с.
ННГУ, 2010
16/38
ПРОГРАММНАЯ РЕАЛИЗАЦИЯ
И РЕЗУЛЬТАТЫ ЭКСПЕРИМЕНТОВ
ННГУ, 2010
17/38
Инфраструктура
Solver Test
UI
Output Joiner
Solver



Конфигурационные файлы: Tcl.
Вывод в формате HDF5*.
Автоматизированное тестирование.
* http://www.hdfgroup.org/HDF5/
ННГУ, 2010
18/38
Результаты экспериментов (корректность)
Плоские электромагнитные волны:
Ey(t)
1,5
1
0,5
0
-0,5
5000
4500
4000
3500
3000
2500
2000
1500
1000
500
0
0
0,1
0,2
0,3
0,4
0,5
0,6
0,7
0,8
0,9
1
1,1
1,2
1,3
1,4
1,5
1,6
1,7
1,8
1,9
2
-1
|Ey*(ω)|
-1,5
Относительная ошибка* по сравнению с теоретической
частотой: 1%.
* Все приводимые в данном разделе величины относительных ошибок призваны отражать
качественно верное поведение и не являются предельной точностью.
ННГУ, 2010
19/38
Результаты экспериментов (корректность)


Релятивистское ускорение в статическом электрическом
поле. Относительная ошибка по сравнению с
аналитическим решением:
• 8e-2% для координаты;
• 1e-4% для импульса.
Осцилляция в статическом магнитном поле. Относительная
ошибка по сравнению с аналитическим решением:
• 1e-2% для координаты;
• 3e-6% для импульса.
ННГУ, 2010
20/38
Результаты экспериментов (корректность)
«Холодные колебания плазмы»:
|Ex*(ω)|
Ex(t)
2500
350000
2000
300000
1500
250000
1000
500
0
200000
150000
-500
100000
-1000
50000
-1500
0
-2000
-2500
Относительная ошибка по сравнению с теоретической
частотой: 2.6%.
ННГУ, 2010
21/38
ПАРАЛЛЕЛЬНАЯ СХЕМА
ННГУ, 2010
22/38
Декомпозиция задачи


Разбиение расчетной области на равные части по узлам
сетки.
Частицы распределяются в соответствии с координатами.
ННГУ, 2010
23/38
Вычислительный цикл
Инициализация
Обмен
частицами
Взвешивание токов
Интегрирование
уравнений движения
частиц
∆t
Интерполяция полей
ННГУ, 2010
Обмен
токами
Интегрирование
уравнений поля
Обмен
полями
24/38
Обмен полями (1)
После шага интегрирования
полей
актуально
неактуально
другой домен
ННГУ, 2010
25/38
Обмен полями (2)
актуально
неактуально
другой домен
ННГУ, 2010
26/38
Обмен полями (3)
актуально
неактуально
другой домен
ННГУ, 2010
27/38
Обмен полями (4)
актуально
неактуально
другой домен
ННГУ, 2010
28/38
Обмен полями (5)
актуально
неактуально
другой домен
ННГУ, 2010
29/38
Обмен полями (6)
актуально
неактуально
другой домен
ННГУ, 2010
30/38
Обмен полями (7)
актуально
неактуально
другой домен
ННГУ, 2010
31/38
Обмен полями (8)
актуально
неактуально
другой домен
ННГУ, 2010
32/38
Обмен полями (9)
актуально
неактуально
другой домен
ННГУ, 2010
33/38
Результаты масштабируемости
Разбиение
Время (сек.) Ускорение
Идеальное
ускорение
4 процесса (4x1x1)
717,68
1,00
1
8 процессов (8x1x1)
370,89
1,94
2
16 процессов (16x1x1)
231,81
3,10
4
16 процессов (4х4х1)
887,00
0,81
4
ННГУ, 2010
34/38
Основные результаты
Создана последовательная реализация метода Particle-inCell.
 Разработан набор тестов для контроля корректности
отдельных частей вычислительного цикла и схемы в
целом.
 Создана инфраструктура для ввода/вывода и
автоматизированного тестирования.
 Разработана MPI-версия.
__________________________________________
Проведены эксперименты по распараллеливанию отдельных
частей вычислительной схемы на общую память
(OpenMP) и GPU (CUDA).

ННГУ, 2010
35/38
Планы



Оптимизация и эксперименты с MPI-версией.
Реализация для гетерогенных систем с использованием
всех доступных вычислительных ресурсов:
– Распараллеливание на OpenMP.
– Переложение на GPU.
Расширение функциональности:
– Более точные разностные схемы, интерполяция.
– Задание источников.
– PML.
ННГУ, 2010
36/38
Литература


Бэдсел Ч., Ленгдон А. Физика плазмы и численное
моделирование: Пер. с англ. – М.: Энергоатомиздат, 1989.
– 452 с.
Taflove A. Computational Electrodynamics: The FiniteDifference Time-Domain Method. – London: Artech
House, 1995. – 599 P.
ННГУ, 2010
37/38
Вопросы
ННГУ, 2010
38/38
BACKUP
ННГУ, 2010
Другие приложения





Поиск альтернативных источников электромагнитного
излучения в труднодоступных диапазонах на основе
сверхмощных лазерных систем.
Фундаментальные исследования в области экстремальных
световых полей.
Исследование концепции лазерного поджига для УТС
(управляемый термоядерный синтез).
Исследования в астрофизике.
Прикладные и инженерные исследования в
приборостроении в области вакуумной электроники.
ННГУ, 2010