report-integ-113-2009
реклама
РОССИЙСКАЯ АКАДЕМИЯ НАУК СИБИРСКОЕ ОТДЕЛЕНИЕ Отчет по междисциплинарному интеграционному проекту № 113 СО РАН за 2009 год “Разработка вычислительных методов, алгоритмов и аппаратурно-программного инструментария параллельного моделирования природных процессов” (промежуточный) Исполнители: Институт физики полупроводников (ИФП) СО РАН Институт вычислительных технологий (ИВТ) СО РАН Институт вычислительной математики и математической геофизики (ИВМиМГ) СО РАН Институт теоретической и прикладной механики (ИТПМ) СО РАН Институт ядерной физики (ИЯФ) СО РАН Институт физики прочности и материаловедения (ИФПМ) СО РАН Институт цитологии и генетики (ИЦиГ) СО РАН Координатор проекта чл.-корр. РАН _____________________ Новосибирск 2009 В.Г. Хорошевский ОТВЕТСТВЕННЫЕ ИСПОЛНИТЕЛИ ПРОЕКТА Учёный секретарь проекта, ответственный исполнитель от ИФП СО РАН к.т.н. ___________ М.Г. Курносов ___________ М.П. Федорук ___________ В.А. Вшивков ___________ И.В. Швейгерт ___________ А.В. Бурдаков ___________ А.Ю. Смолин ___________ Н.А. Колчанов Ответственный исполнитель от ИВТ СО РАН д.ф.-м.н. Ответственный исполнитель от ИВМиМГ СО РАН д.ф.-м.н. Ответственный исполнитель от ИТПМ СО РАН д.ф.-м.н. Ответственный исполнитель от ИЯФ СО РАН д.ф.-м.н. Ответственный исполнитель от ИФПМ СО РАН к.ф.-м.н. Ответственный исполнитель от ИЦиГ СО РАН академик РАН 2 СОДЕРЖАНИЕ 1. Аппаратурно-программный инструментарий параллельного моделирования природных процессов ............................................................................................................................................ 4 1.1. Пространственно-распределенная мультикластерная ВС ..................................................4 1.2. Инструментарий вложения параллельных программ в распределенные ВС ...................4 1.3. Алгоритмы распределения по элементарным машинам параллельных задач с нефиксированными параметрами ................................................................................................5 1.4. Метод расчета показателей живучести большемасштабных ВС .......................................5 2. Метод конечных объемов на неструктурированных сетках для решения трехмерных нестационарных уравнений Максвелла .......................................................................................... 5 2.1. Метод сглаживания неструктурированных треугольных сеток ........................................5 2.2. Алгоритмы решения трехмерных нестационарных уравнений Максвелла в средах с переменными значениями диэлектрической и магнитной проницаемостей ...........................6 2.3. Параллельное моделирование процесса записи объемных микро- и наноструктур ........6 3. Кинетическое моделирование релаксации электронного пучка в плазме ............................... 7 3.1. Методика вычисления температуры плазмы .......................................................................7 3.2. Параллельное моделирование релаксации электронного пучка в плазме ........................7 3.3. Моделирование аномальной теплопроводности .................................................................8 4. Моделирование тлеющего газового разряда в модельном сверхзвуковом потоке газа с электродами, расположенными на поверхности летательного аппарата..................................... 8 5. Диагностические средства исследования турбулентного нагрева плазмы электронным пучком............................................................................................................................................... 10 5.1. Исследование развития турбулентного нагрева плазмы в многопробочной ловушке ГОЛ-3 ............................................................................................................................................10 5.2. Исследования турбулентности плазмы, возникающей при её нагреве мощным электронным пучком ...................................................................................................................10 6. Параллельная реализация метода подвижных клеточных автоматов .................................... 11 7. Параллельная обработка молекулярно-генетических данных ................................................ 12 7.1. Система формирования и выполнения конвейерных задач по биоинформатике ..........12 7.2. Интеграция гетерогенных данных по регуляции транскрипции генов эукариот ...........12 7.3. Параллельная обработка молекулярно-генетических данных при решении задачи сборки полногеномных последовательностей ..........................................................................13 3 1. Аппаратурно-программный инструментарий параллельного моделирования природных процессов 1.1. Пространственно-распределенная мультикластерная ВС Сформирована базовая конфигурация пространственно-распределенной мультикластерной вычислительной системы (ВС, GRID-модель) для параллельного моделирования задач физики низко- и высокотемпературной плазмы, нанотехнологий (включая нанофотонику и наноматериалы) и биоинформатики (рис. 1.1). Система включает больше 100 процессорных ядер и имеет производительность несколько TFLOPS. К Inte ласт е l 166 Xeon р D GF 515 LO 0 К PS Inte ласт е l 298 Xeon р E GF 534 LO 5 К PS Inte ласт е l 800 Xeon р F GF 542 LO 0 PS Кл аст ер нтр R Кл Ла бо ра т си ория сте м И вычи Кл ФП сл H аст Inte P BLc ер G СО ител 3 l РА ьны 300 Xeon 000 Н GF 541 х аст ер H LO 0 PS C Кл Це AM Клас D O те 52 pter р I GF on LO 248 PS аст ер па ра л тех лель но ны ло х гий выч Си исл бГ УТ ител И ьн ых B Кл аст ер A Рис. 1.1. Конфигурация пространственно-распределенной мультикластерной вычислительной системы 1.2. Инструментарий вложения параллельных программ в распределенные ВС Для вложения параллельных программ в современные иерархические распределенные вычислительные системы предложен алгоритм, основанный на решении задачи о разбиении взвешенного графа на k непересекающихся подмножеств. Вложение параллельной программы формируется путем разбиения её информационного графа на количество подмножеств равное отношению числа ветвей в программе к количеству процессорных ядер в вычислительных узлах распределенной ВС. Это обеспечивает локализацию в каждом из вычислительных узлов ветвей параллельной программы, обменивающихся большими объемами данных и, как следствие, сокращение времени межмашинных обменов. Результаты натурных экспериментов с промышленными MPI-программами на действующих вычислительных кластерах показали, что в среднем, время выполнения тестовых MPI-программ с вложением созданным алгоритмом в 1,46 раз меньше времени выполнения программ с вложением средствами стандартных библиотек MPI (MPICH2 и OpenMPI). 4 1.3. Алгоритмы распределения по элементарным машинам параллельных задач с нефиксированными параметрами Созданы последовательный и параллельный генетические алгоритмы распределения по элементарным машинам распределенных вычислительных систем параллельных задач с нефиксированными параметрами. Алгоритмы учитывают определенные пользователем предпочтения на требуемые (возможные для задачи) конфигурации вычислительных ресурсов и обеспечивают (суб)минимальное время решения параллельных задач. 1.4. Метод расчета показателей живучести большемасштабных ВС В рамках проекта разработан метод составления и решения дифференциальных уравнений для вычисления моментов (начальных и центральных) произвольного порядка для случайных величин, характеризующих количество неисправных машин ВС в момент времени t. Метод основан на моделях теории массового обслуживания и аппарате производящих функций. Расчетные формулы позволяют осуществлять анализ функционирования ВС и в стационарном, и в переходном режимах. Предложенный метод построения аналитических формул расчета моментов произвольных порядков, в отличие от существующих подходов, не требует знания статистических данных о состоянии системы. Полученные формулы просты и эффективны при инженерных расчетах. 2. Метод конечных объемов на неструктурированных сетках для решения трехмерных нестационарных уравнений Максвелла 2.1. Метод сглаживания неструктурированных треугольных сеток Разработан метод сглаживания неструктурированных треугольных сеток, основанный на пружинной аналогии. Применение немонотонной функции взаимодействия между узлами, обеспечило превосходство данного метода, особенно для сеток с сильно меняющимся по области размером ячеек, над традиционными подходами, использующими для сглаживания монотонные функции (рис. 2.1, 2.2). Рис. 2.1. Сетка со сгущением ячеек к центру Рис. 2.2. Сетка со сгущением ячеек к границе области: слева направо – без сглаживания, области: слева направо – без сглаживания, с с монотонным сглаживанием, монотонным сглаживанием, с немонотонным с немонотонным сглаживанием сглаживанием 5 Предложенный метод позволяет получать треугольные ячейки почти правильной формы даже в случае сильно неравномерных сеток. 2.2. Алгоритмы решения трехмерных нестационарных уравнений Максвелла в средах с переменными значениями диэлектрической и магнитной проницаемостей На основе метода конечных объемов создан алгоритм для решения трехмерных нестационарных уравнений Максвелла в средах с переменными значениями диэлектрической и магнитной проницаемостей, позволяющий эффективно моделировать распространение электромагнитного излучения в сложных наноструктурированных материалах. Реализована параллельная версия алгоритма, эффективность которого продемонстрирована на примере расчета цилиндрической гиперлинзы, находящейся в вакууме и представляющей собой бесконечный в направлении оси z цилиндр, с выколотой сердцевиной (рис. 2.3-2.6). Рис. 2.3. Декомпозиция Рис. 2.4. Источники в Рис. 2.5. Внутренняя Рис. 2.6. Внешняя расчетной области вакууме, амплитуда линза, амплитуда линза, амплитуда поля Hz магнитного поля Hz магнитного поля Hz Предложенный алгоритм для двумерного и одномерного случаев характеризуется ускорением близким к линейному. 2.3. Параллельное моделирование процесса записи объемных микро- и наноструктур Разработаны последовательный и параллельный алгоритмы моделирования процесса записи объемных микро- и наноструктур путем воздействия фемтосекундных лазерных импульсов на оптические световоды. Исходная система уравнений описывает эволюцию медленной огибающей электрического поля A (2.1) и динамику плотности плазменных электронов (2.2). iAz 1 2 k i ( K ) 2 K 2 2 A Att k 0 n2 A A (1 i e ) A A A, 2k 2 2 2 (2.1) 1 bs (K ) 2K . 2 A A K nb2 E g (2.2) t Алгоритм основан на методе расщепления по физическим процессам, параллельном алгоритме прогонки для решения линейной части уравнения (2.1) и методе декомпозиции по 6 радиальной переменной r для решения уравнения (2.2). Результаты параллельного моделирования приведены на рис. 2.7, 2.8. Рис. 2.7. Ускорение параллельного алгоритма Рис. 2.8. Распределение плотности электронов на кластере Intel Itanium 2 и графическом плазмы при P / Pcr = 10 ускорителе NVIDIA Tesla C1060. 3. Кинетическое моделирование релаксации электронного пучка в плазме 3.1. Методика вычисления температуры плазмы Наиболее сложной задачей при моделировании теплопроводности в высокотемпературной плазме является вычисление её температуры. В рамках метода частиц в ячейках предложена методика для вычисления температуры плазмы по распределению модельных частиц: температура рассчитывается как дисперсия импульсов модельных частиц. При этом температура оказывается средней кинетической энергией частиц, в соответствии с физическим определением. Результаты расчетов свидетельствуют, что для достаточно подробных сеток температура, определяемая по распределению модельных частиц, не зависит от шага сетки, и от числа модельных частиц. Кроме того, показано, что сетка не оказывает определяющего влияния на результат расчета, так как относительная плотность коротковолновых сеточных гармоник имеет незначительную величину. Величина отклонения полной энергии системы от начального значения не превышает 1%, а полного импульса 0.1% за все время расчета. Таким образом, можно утверждать, что температура, вычисленная как дисперсия импульсов модельных частиц, имеет физический смысл. 3.2. Параллельное моделирование релаксации электронного пучка в плазме Проведено параллельное моделирование взаимодействия плазмы с релятивистским электронным пучком в трехмерной постановке. Параллельный алгоритм основан на декомпозиции расчетной области по направлению, перпендикулярному направлению движения электронного пучка. Использована 7 смешанная эйлерово-лагранжева декомпозиция. Сетка, на которой решаются уравнения Максвелла, разделена на одинаковые подобласти по одной из координат. С каждой подобластью связана группа процессоров. Модельные частицы каждой из подобластей разделяются между процессорами связанной с этой подобластью группы равномерно, вне зависимости от координаты. На рис. 3.1 приведен график эффективности параллельного алгоритма. Рис. 3.1. Эффективность параллельного алгоритма на вычислительном кластере МВС-100К (МСЦ РАН): 50 частиц в ячейке, 10000 временных шагов 3.3. Моделирование аномальной теплопроводности На основе метода частиц в ячейках проведено трехмерное численное моделирование релаксационных процессов распространения электронного пучка в высокотемпературной плазме (рис. 3.2). Показано, что наблюдаемое в расчетах формирование областей с малым потоком энергии электронов связано с понижением электронной теплопроводности. Рис. 3.2. Изолинии модуля потока тепла в плоскости XY, z = ZM / 2 (ZM - размер области по координате z) Результаты расчетов показали, что релаксация электронного пучка в плазме сопровождается модуляцией плотности плазмы с амплитудой до 300% начальной плотности. Кроме того, в модельной плазме возникают изолированные друг от друга области с ненулевым потоком энергии, так что в целом поток энергии через область близок к нулю. Наблюдаемое в расчетах формирование областей с малым потоком энергии электронов связано с понижением электронной теплопроводности. Релаксация пучка сопровождается уменьшением коэффициента электронной теплопроводности в 102 - 103 раз. 4. Моделирование тлеющего газового разряда в модельном сверхзвуковом потоке газа с электродами, расположенными на поверхности летательного аппарата Различные типы газовых разрядов широко используются для модификации свойств 8 газового потока вокруг до и сверхзвуковых летательных аппаратов. Для понимания особенностей горения разрядов в верхних слоях атмосферы, где давление газа понижено, моделирование необходимо проводить с применением кинетических подходов. Проведено исследование особенностей горения тлеющего разряда при низком давлении газа, и влиянию граничных условий для потенциала на диэлектрике на функцию распределения электронов. Использован метод частиц в ячейках с розыгрышем столкновений методом Монте-Карло, исследованы параметры тлеющего газового разряда с электродами, расположенными в одной плоскости. Давление газа Р = 100 мТорр и 500 мТорр, и напряжение на катоде U = -500 В и -1000 В. Разряд горит в сверхзвуковом потоке газа в азоте. В данной модели тлеющего разряда в потоке газа система уравнений включает кинетические уравнения для электронов и ионов (трехмерные по скорости и двухмерные по пространству) и уравнение Пуассона. Распределение концентрации электронов показано на рис. 4.1 для Р = 100 мТорр. Плазменный сгусток имеет размеры 15 см по оси х и 6 см по оси y, и концентрация плазмы от центра к периферии падает в 30 раз. Практически вся плазма является квазинейтральной за исключением области вблизи поверхности. Максимум концентрации плазмы сдвинут относительно катодной области в сторону анода по направлению потока газа. Катодный слой хорошо виден на рис. 4.1 из-за отсутствия холодных электронов. На рис. 4.2 показаны изолинии электрического поля E ( E x2 E y2 )1 / 2 вблизи нагруженного электрода. Максимальные градиенты поля Е наблюдаются на краях катода. Диэлектрик окружающий электроды находится под отрицательным потенциалом 1-4 В. Отрицательный потенциал поверхности повышает потенциальный барьер для электронов с энергией близкой к порогу ионизации (15,6 эВ) N2. Благодаря этому уход горячих электронов на поверхность значительно уменьшается, что приводит к повышению скорости ионизации и концентрации плазмы в объеме. За счет присутствия высокоэнергетичных электронов, скорость ионизации достаточно высока вблизи диэлектрика. Из расчетов получено, что функция распределения электронов имеет нелокальную зависимость от напряженности электрического поля, и ионизация имеет место за пределами катодного слоя. Рассчитан потенциал на поверхности диэлектрика, наведенный потоками плазмы из объема. Показано, что функция распределения электронов по энергиям у поверхности диэлектрика определяется величиной этого поверхностного потенциала. Формирование дополнительного отрицательного потенциального барьера значительно уменьшает потерю высокоэнергетичных электронов и повышает скорость ионизации, как в квазинейтральной части разряда, так и вблизи поверхности. 9 Рис. 4.2. Распределение электрического поля Рис. 4.1. Распределение концентрации электронов при давлении 100 мТорр, E ( Ex2 E y2 )1/ 2 вблизи нагруженного nemax = 3×109 см−3 и nemin = 108 см−3 . электрода при давлении 100 мТорр Катод (xc1, xc2) и анод (xa1, xa2) показаны жирной линией. Поток газа направлен слева направо. 5. Диагностические средства исследования турбулентного нагрева плазмы электронным пучком 5.1. Исследование развития турбулентного нагрева плазмы в многопробочной ловушке ГОЛ-3 Развит диагностический комплекс на установке ГОЛ-3 для исследования турбулентного состояния плазмы, возникающего при воздействии на нее интенсивного электронного пучка. На основе зависимости удельных потерь электронов в веществе от их энергии реализовано измерение энергетического спектра электронного пучка при его взаимодействии с плазмой. С использованием частотных и поляризационных фильтров излучения осуществлено измерение спектра радиоизлучения турбулентной плазмы в субмиллиметровом диапазоне. Предложена магнитная диагностика плазмы для анализа высокочастотных возмущений азимутального магнитного поля. Использованы “зонды Мирнова”, расположенные равномерно по окружности вокруг плазменного столба в одной плоскости, нормальной к оси системы, и ориентированные в азимутальном направлении. Диагностические средства проверены в тестовых испытаниях и в реальных условиях эксперимента на ГОЛ-3. 5.2. Исследования турбулентности плазмы, возникающей при её нагреве мощным электронным пучком Предложена диагностика турбулентности плазмы, возникающей при её нагреве мощным электронным пучком с использованием диамагнитных измерений распределения энергии 10 плазмы по длине ловушки. В основе диагностики лежит измерение спектра радиоизлучения на двойной плазменной частоте и спектра электронного пучка по энергии. Проведено исследование турбулентных характеристик плазмы, нагреваемой мощным электронным пучком в многопробочной ловушке ГОЛ-3. Анализатор спектра электронов пучка по энергии позволил получить характер и динамику во времени потерь энергии пучка, провзаимодействовавшего с плазмой. Измерения спектра электромагнитных колебаний из плазмы показали наличие излучения на двойной плазменной частоте, что указывает на турбулентное состояние плазменно-пучковой системы. Наконец, измерения возмущений азимутального магнитного поля показали наличие интенсивных полей, слабо скоррелированных по азимуту, что подтверждает турбулентный характер наблюдаемых колебаний. Проведенные исследования подтверждают вывод о роли турбулентных процессов в нагреве плазмы мощным электронным пучком. 6. Параллельная реализация метода подвижных клеточных автоматов Разработаны параллельные OpenMP- и MPI-версии созданного программного пакета MCA2D моделирования методом подвижных клеточных автоматов (ПКА) механического поведения сложных материалов и сред в условиях внешних воздействий в двухмерной постановке. В параллельной MPI-версии пакета MCA2D учтена особенность метода ПКА, требующая рассмотрения структуры графа соседей (окружения) каждого автомата, то есть данных, как в узлах графа, так и в его рёбрах с учётом динамической перестройки самого графа. В табл. 6.1 приведены результаты параллельного моделирования на вычислительных кластерах. Таблица 6.1 Ускорение параллельной MPI-версии пакета MCA2D Количество Время выполнения, Ускорение Эффективность процессоров мс S = ts / tp E=S/N Вычислительный кластер 4 узла x 4 AMD Opteron (~23000 ПКА) 1 1410 – – 8 257.4 5.48 0.68 Вычислительный кластер СКИФ Cyberia (~360000 ПКА) 1 21180 – – 40 915 23.15 0.58 11 Разработана параллельная MPI-версия программы MCA3D для трехмерного моделирования методом ПКА. Результаты моделирования показали, что предложенные параллельные версии пакетов обладают хорошей эффективностью только в случае малых искажений в пространственной структуре ПКА. 7. Параллельная обработка молекулярно-генетических данных 7.1. Система формирования и выполнения конвейерных задач по биоинформатике Разработан прототип системы формирования и выполнения конвейерных задач по биоинформатике (http://pipeline.bionet.nsc.ru), который в настоящее время включает два модуля: систему запуска конвейерного сценария и Web-интерфейс для формирования сценариев конвейерной обработки. Сценарий конвейерной обработки – это список выполняемых узлов обработки данных. Для каждого узла, кроме начального, указывается родительский узел. Такой механизм позволяет описывать любые древовидные сценарии последовательной обработки данных. Реализована возможность запуска сценариев конвейерной обработки, как на локальной машине, так и на удаленных вычислительных кластерах. Web-интерфейс служит для ввода данных и просмотра результатов их обработки. На данный момент Web-интерфейс поддерживает линейные. Рис. 7.1. Web-интерфейс формирования и выполнения сценариев конвейерной обработки данных по биоинформатике 7.2. Интеграция гетерогенных данных по регуляции транскрипции генов эукариот Создана база данных, включающая полногеномные последовательности для человека, мыши и крысы, локализацию генов, стартов транскрипции, стартов трансляции, функции генов, описание транскрипционных факторов и других регуляторов транскрипции, уровень 12 экспрессии на основе ДНК чиповых экспериментов и др. Система SQL-запросов позволяет формировать выборки промоторов с заданными размерами флангов. База данных будет использована при распределенных вычислениях в исследовании механизмов регуляции транскрипции. 7.3. Параллельная обработка молекулярно-генетических данных при решении задачи сборки полногеномных последовательностей Создан сценарий сборки полногеномных последовательностей эукариот на основе наиболее широко используемых экспериментальных подходов секвенирования ДНК с использованием вычислительных кластеров. Этапы сценарий созданы на базе свободно распространяемого программного обеспечения. Сравнительный анализ времени выполнения отдельных этапов ассемблирования с использованием различных программных средств показал, что время, необходимое на полногеномную сборку растет нелинейно, в зависимости от объема экспериментальных данных, поступающих на обработку. Для вычислительно-сложных этапов сценария предложены их параллельные версии. Получены оценки времени, необходимого для обработки экспериментальных данных и одно-проходной полногеномной сборки для типичных представителей эукариот. Для обеспечения наиболее качественной сборки полногеномной последовательности ДНК проведен анализ параметров экспериментальных данных, таких как длина клонов, длина секвенируемых концевых участков, качество секвенирования последовательностей ДНК, уровень перекрытия секвенированных участков ДНК. 13
