Высокопроизводительный прогноз погоды

Высокопроизводительный прогноз погоды
3 февраля 2010 года в Гидрометцентре Росси прошло торжественное
заседание Ученого совета, посвященное 80-летию Гидрометцентра России. С
вступительным словом к собравшимся обратился исполняющий обязанности
руководителя Росгидромета А.В.Фролов. С докладом "Гидрометцентру России 80
лет: итоги и перспективы деятельности" выступил директор Гидрометцентра
России Р.М.Вильфанд. 4 февраля Роман Менделевич Вильфанд и директор
Главного вычислительного центра Росгидромета Владимир Александрович
Анцыпович дали нам эксклюзивное интервью, которое началось с наших
поздравлений с достаточно внушительной датой.
Роман Менделевич, с 60-х годов производительность компьютеров выросла
в миллиарды раз. А как изменилась точность и заблаговременность прогноза
погоды?
РВ. Естественно, зависимость точности прогноза погоды от мощности
вычислительной техники непростая и нельзя один рост в миллиарды раз переносить
механически в другие сферы.
Прогнозирования погоды связано с решением сложных систем уравнений
гидродинамики. Начало научного прогнозирования погоды датируется серединой 19
века, когда замечательный ученый, военачальник, путешественник адмирал Фицрой,
обнаружил, что погода связана с давлением. Человек был очень яркий, в частности,
он руководил кругосветным плаванием на английском военном корабле "Бигль", на
борту которого находился скромный молодой учёный Чарльз Дарвин. Пять лет
длилось плавание. Его итоги были опубликованы в трёх томах, из которых два
первых написаны Фицроем, а последний - Дарвином. Благодаря Фицрою прогноз
погоды начал становиться на научный фундамент. До него он делался на другой
основе. Позднее очень известная норвежская школа метеорологии разработала
систему уравнений, решение которых сегодня и является прогнозом погоды.
Однако подступить к их решению удалось лишь в начале 60-х годов 20 века,
когда , во-первых, благодаря фундаментальным и прикладным исследованиям мировой
науки в области вычислительной математики и физики, в которых огромная роль
принадлежит замечательным ученым: А.А. Фридману, И.А. Кибелю, Г.И. Марчуку, А.М.
Обухову, А.С. Монину и многим, многим другим, и, во-вторых, в связи с появлением
компьютеров, способных хоть на какой-то уровень вычислений в этом плане. Точное
решение уравнений в принципе не существует и возможно лишь их приближенное
решение. Точность решения системы таких уравнений напрямую связана с
вычислительными ресурсами. Мало того, это решение надо получать быстро,
поскольку прогноз на завтра нужен сегодня, а не через месяц или через год.
Таким образом, при практическом использовании численных методов прогноза
погоды возникает необходимость баланса между желаемой (достижимой) точностью
и технологически допустимым временем счета. Поэтому приходилось упрощать
уравнения, чтобы сделать возможным их оперативное решение, хоть и в
приближенном виде. Чем мощнее становились наши вычислительные ресурсы, тем
меньше нам приходилось упрощать и наши модели все больше приближались к
реальности. В конце концов, буквально 2-3 года назад наши вычислительные
возможности позволили ставить "негидростатические" задачи, то есть, учитывать
вертикальные потоки в атмосфере. При этом переходе объем вычислений резко
возрастает, и ввод в эксплуатацию в 2009 году нового вычислительного комплекса
наконец-то позволил выйти на этот уровень и реализовать на практике те
теоретические наработки, которые были у ученых Гидрометцентра России к этому
моменту.
Мне хотелось бы специально подчеркнуть этот момент. В нашей работе
повышение вычислительных мощностей приводит к реальному улучшению
прогнозов. Именно поэтому наш вычислительный центр - важнейшая часть нашей
работы.
Еще один очень важный момент - это дискретность описания атмосферных
процессов. Всего двадцать лет назад шаг координатной сетки, на которой
производился расчет прогноза, составлял 300 километров. При таких расстояниях
вполне можно "пропустить" серьезные атмосферные процессы, как например циклон,
зарождающийся на фронте.. Сегодня разрешение в наших моделях - три километра,
и мы переходим от параметризации конвекции в вертикальных потоках к ее явному
описанию.
А вот об истории того, как мы подошли к этим совершенно новым
возможностям расскажет руководитель нашего вычислительного центра Владимир
Александрович Анцыпович.
ВА. История вычислительного центра Гидрометцентра России начинается в
начале шестидесятых годов с ЭВМ М-20. Тогда это был один из наиболее мощных
компьютеров (а по тогдашним меркам - суперкомпьютеров) в России с
производительностью около 20 тысяч операций в секунду. Он начал работать в1963
году практически в соседнем помещении с тем, где мы разговариваем. С того
момента все компьютеры, попадавшие в наш вычислительный центр, сразу
приступали к очень серьзной работе: 24 часа в сутки на них рассчитывались
различные прогностические задачи. Среднее время наработки на отказ тогда не
превышало 15 минут, а вычислительные схемы считались примерно час-полтора.
Чтобы достичь результата, мы старались с одной стороны повысить время
безотказной работы, с другой – развивать отказоустойчивость самих прогностических
технологий.
С тех пор конструкторы всех российских (советских) вычислительных машин
старались первые серийные образцы компьютеров устанавливать в нашем центре,
где им было гарантировано высококачественное тестирование в оперативных
условиях. После М-20 у нас работала машина М-220, после нее все модели
компьютеров Минск - 2, 22, 32, "Весна", БЭСМ-6, всевозможные модели серии ЕС.
Все эти годы наш вычислительный центр был и остается своеобразной тестовой
площадкой для российских суперкомпьютеров. И это не случайно. Есть очень мало
вычислительных центров, где новая техника буквально с первых дней включается в
производительную работу в самом напряженном режиме.
Кроме интенсивного тестирования и эксплуатации вычислительной техники, в
нашем вычислительном центре всегда разрабатывались новые методы работы с
большими объемами информации. В шестидесятые годы входную информацию
было принято набивать вручную, но мы не могли так поступать, потому что этой
информации было очень много и нам надо было вводить ее быстро для
оперативного расчета прогнозов. Для решения этой проблемы у нас разрабатывался
метод электронного ввода информации непосредственно с каналов связи и
программные методы ее синтаксического анализа, декодирования, контроля
качества.
После ввода информации в ЭВМ и выполнения расчетов надо было
представить ее в виде, удобном для работы синоптикам. Поэтому мы начали
разрабатывать устройства для отображения информации. Здесь тоже было минимум
два направления работы - двухкоординатные расчерчивающие устройства и
устройства на базе электронно-лучевых трубок. На втором направлении совместно с
заводом "Рубин" мы сделали первый отечественный дисплей. Как только появилась
необходимость направления подготовленной информации на разные устройства,
сразу стали развиваться приемы, которые на современном ИТ-языке называются
драйверами.
Это была прекрасная школа для программистов и компьютерщиков, поэтому в
любом мало-мальски серьезном вычислительном центре Москвы сегодня вы
наверняка найдете специалиста, который работал у нас.
Смена компьютеров в нашем вычислительном центре шла своим чередом до
1976 года, когда из-за того, что в СССР было принято решение создавать линию ЕС
ЭВМ, практически "схлопнулись" все другие линии разработки. Проблема была еще и
в том, что нас уже не устраивала производительность, доступная на
производившейся в СССР (странах СЭВ) вычислительной технике. Поэтому возникла
идея закупки зарубежного суперкомпьютера, им стала ЭВМ фирмы CDC. Правда, мы
не получили те машины, которые бы нам хотелось, но два компьютера CDC у нас
начали работать. Параллельно с ними работали и самые последние модели серии
ЕС - 1060, 1066.
В 80-е годы у нас появились компьютеры компаний Hitachi и Comparex(аналоги
компьютеров IBM). В 1996 году у нас был установлен суперкомпьютер Cray, который
успешно проработал до 2005 года, но уже с 2003 года мы начали прорабатывать
следующий цикл модернизации нашего оборудования. Поскольку в 2002 году Cray
был снят с производства, мы начали разрабатывать кластерные решения и
продумывать, как распараллеливать счет на них. Cray Y-MP, установленный у нас,
позволял нам при распараллеливании алгоритмов использовать восемь потоков, а
теперь речь пошла о десятках и сотнях процессоров для организации параллельного
счета. Первые кластерные решения, которые были нам доступны, были решения на
базе Intel Itanium.
Итак, начиная с 2003-2004 года, мы стали проверять возможности счета наших
задач в кластерных средах. С учетом интереса многих компьютерных компаний к
планировавшейся нашей модернизации, у нас был появились стенды для такого
тестирования многих компаний - IBM, SGI, Fujitsu, Bull - по сути дела все основные
производители суперкомпьютеров. Некоторые компании привозили к нам свое
оборудование, другие предоставляли возможность удаленного счета, третьи
приглашали к себе наших специалистов - к 2005 году мы досконально изучили
ситуацию и смогли написать подробные технические требования для тендера,
ориентированного на максимально возможное эффективное использование
оборудования в применении конкретно к нашим задачам.
Программа модернизации касалась четырех наших вычислительных центров:
основной вычислительный центр в Москве, два региональных центра в Новосибирске
и Хабаровске, которые также занимаются оперативной прогностической
деятельностью, и центр Главной геофизической обсерватории в Санкт-Петербурге,
который занимается климатическими расчетами. Мы решили на первом этапе
провести тендер для Санкт-Петербурга и на основе результатов его работы
принимать дальнейшие решения. Оборудование для Санкт-Петербурга поставила
компания "Крафтвей", работающая по соглашению с компанией "Силикон-Графикс".
В суперкомпьютерах использовались процессоры Intel Itanium 2. Интегратором для
трех остальных вычислительных центров в результате конкурса стала компания IBS.
Сегодня в нашем московском вычислительном центре работают два кластера,
у одного из которых пиковая производительность 11 Терафлопс, у другого - 16
Терафлопс. Комплексы в Новосибирске и Хабаровске имеют производительность по
600 Гигафлопс. Московский комплекс был введен в эксплуатацию в марте 2009 года,
а ВЦ в Новосибирске и Хабаровске - осенью 2009 года.
РВ. Я вернусь к тому, на чем закончил свой рассказ. Новые вычислительные
возможности позволяют внедрять в прогностические схемы те знания, которые
раньше просто не могли быть реализованы. На новых суперкомпьютерах уже
считаются две мезомасштабные модели самого современного уровня, а в начале
марта они будут эксплуатироваться сначала в в опытном, а потом и в оперативном
режиме.
Суть мезомасштабных моделей в том, что в них учтены все известные науке
физические явления, мы практически ничем не пренебрегаем. Интересно, что такие
модели называются "примитивными" в том смысле, что в них нет никаких упрощений.
Все описывается максимально детально, но у нас есть, куда развиваться: через три
года мы планируем увеличить точность нашего описания атмосферных процессов до
одного километра, а к 2014 году (к сочинской олимпиаде) - до 500 метров.
Точность прогнозов зависит от многих факторов, главные из которых три.
Первый - это физический блок, то есть учет всех физических явлений. Второй - это
динамический блок, то есть метод решения этой системы. Но даже при абсолютной
точности двух этих блоков в прогнозе все равно будут ошибки, связанные с
неточностями начальных данных, на основе которых и решаются наши уравнения.
Для того, чтобы максимально повысить точность начальных данных,
приходится решать целый комплекс достаточно сложных задач. Они уточняются
путем последовательных приближений при решении прямой и обратной задачи и, в
конце концов, сходятся к устойчивому набору данных, которые могут использоваться
при прогнозе на пять и даже на десять суток. Естественно, для всех этих
масштабных вычислений, которые надо производить практически в режиме
реального времени, необходимы очень серьезные вычислительные мощности.
А если вернуться к вопросу о том, что изменилось за 20 лет, то тогда точность
прогноза на завтра была такой же, как сегодня на третий день. Вот что позволяют
нам сделать новые компьютеры! Тридцать лет назад совершенно невероятным
считался прогноз на пять-шесть дней (о чем не раз мне говорил тогдашний директор
Гиродметцентра), а сегодня мы делаем это. Вот результат роста вычислительных
возможностей нашего вычислительного центра!
Но при этом очень важно понимать, что прогноз на шесть дней - это наш
предел сегодня. Кстати, в метеорологическом сообществе есть и такое понятие, как
предел предсказуемости, которое ввел в обиход прекрасный американский ученый
Эдвард Лоренц. Суть его в том, что детализировать прогноз можно в принципе
максимум на 15-20 дней. Это связано с ошибками в начальных данных, от которых
никогда нельзя будет избавиться. Если говорить о прогнозах на более долгий срок,
то можно прогнозировать только осредненные, фоновые параметры, например:
следующий месяц будет по температуре выше или ниже нормы.
Одно из самых последних и очень интересных направлений нашей работы это прогнозирование качества самого прогноза. С этой целью можно немного
"пошевелить" входные данные и посмотреть, как эти небольшие отклонения скажутся
на результате прогноза. Для одних регионов это может привести к незаметным
изменениям, а для других - к существенным. Естественно, вероятность реализации
прогноза для первого такого региона будет выше, чем для второго. Для каждого
прогноза можно делать до 30 таких "вариантных" прогнозов и рассчитать на их
основе некий усредненный прогноз. Такой подход позволяет повысить качество
прогнозов. Как Вы понимаете, реализовать все эти планы можно только при наличии
очень серьезных вычислительных ресурсов. В ведущих мировых метеорологических
вычислительных центрах такие прогнозы просчитываются 50-60 раз.
Не менее сложная задача - приучить потребителей к таким "вероятностным"
прогнозам. Но можно отметить, что за последние 10 лет мы наблюдаем постоянный
рост количества таких "разумных" и подготовленных пользователей. Они готовы
воспринимать такой вероятностный прогноз, поскольку, прежде всего, он более
честен, а кроме того с его помощью можно продуманно и обоснованно решать
задачи оптимизации своих рисков и выгод. Речь идет о транспортных, строительных
организациях и других видах деятельности, которые в существенно степени зависят
от прогноза погоды.
Надо признать, что внедрение вероятностного прогноза принимается
населением без восторга. Лет сорок назад его пробовали внедрять в США, и
потребители его просто не восприняли. Необходимо терпеливо пропагандировать и
продвигать его, чтобы дать пользователям возможность привыкнуть к новым
реалиям.
Вы помянули американцев, а насколько их прогнозы погоды лучше и точнее
российских?
РВ. Это очень интересный вопрос. До того времени, как в нашем
вычислительном центре появился суперкомпьютер Cray, мы достаточно сильно
отставали от развитых метеорологических служб других стран по точности
прогнозирования. Но к 1999-2000 г.г . заметно приблизились к ним, можно сказать,
что шли вровень с Германией и занимали в мире 7-9 место. После этого около 10 лет
не было обновления компьютерного парка, и мы опять стали отставать. Однако
после появления новых вычислительных мощностей в 2008 году, еще до их ввода в
эксплуатацию в полном объеме буквально за несколько месяцев нам удалось
сократить отставания в два и может даже больше раз. Таким образом, ответ на ваш
вопрос прост: важнейшее значение имеют мощности вычислительного центра.
Естественно, не только они, но они - в первую очередь.
Очень важно отметить и еще один аспект: метеорология уникальная отрасль
коллективной деятельности. Между национальными метеорологическими службами
не существует никаких коллизий и соперничества, они все работают в режиме
тесного сотрудничества. Все мы заинтересованы в том, чтобы службы всех стран
работали максимально эффективно и качественно. От этого зависят другие
прогнозы. В 90-е годы у нас был очень тяжелый период, когда сеть
метеорологических и аэрологических станций сокращалась, и качество прогнозов
ухудшалось, это ухудшение почувствовали и другие страны в своих прогнозах.
Атмосфера не знает границ, и качество прогнозов всех стран зависят друг от друга.
Именно поэтому в рамках Всемирной метеорологической организации
существует целый ряд стандартов, которые должны выполнять и выполняют все
метеослужбы нашей планеты. Все службы ежедневно поставляют информацию в
глобальную систему телесвязи. даже в самые худшие для нашей страны годы мы
всегда имели прогнозы и всю информацию от других стран, что позволяло нам
продолжать работать. Потребители не почувствовали резкого провала качества
наших прогнозов. Все наблюдения и прогнозы любой национальной
метеорологической службы всегда доступны всем национальным метеорологическим
службам.
И все-таки: на сколько дней вы можете прогнозировать погоду сегодня?
РФ. На пять-шесть дней, а к концу 2010 году планируем довести
заблаговременность прогноза до 7 суток. Успешность прогноза на завтрашний день
составляет 95-96%, а для каждого последующего дня она понижается на 2-3%. И на
шестой день надежность нашего прогноза резко падает.
Очень важно понимать, что дальнейшее повышение оправдываемости
прогноза выше 95-96% сталкивается с колоссальными сложностями. Не то что
процент, а каждая сотая доля процента на этом пути дается с трудом и стоит
больших денег. Никогда не удастся дойти до 100-процентной точности, всегда будет
существовать некоторая неопределенность, потому что невозможно полностью
исключить неточности входной информации. Можно вспомнить принцип
неопределенности Гейзенберга в квантовой механике, которое не позволяет
одновременно точно измерять координату и энергию частиц. У нас нет буквального
совпадения по смыслу, но некоторую аналогию можно проследить.
ВА. Мне хотелось бы отметить еще один момент, который подчеркивает
значимость высокопроизводительных вычислений в метеорологии. Прогнозы надо
делать не только хорошо, но и быстро: по правилам Всемирной метеорологической
организации прогноз надо делать за время, не превышающее 10% его срока.
Суточный прогноз надо выпускать не более чем за 2 с половиной часа. Естественно,
есть разные прогнозы - для определенных регионов, на сутки, на трое суток, на 6-7
суток - но надо все время помнить, что для каждого из них есть ограничение по
времени счета, а значит необходимы производительные суперкомпьютеры.
И еще один очень важный момент, можно сказать - залог нашего успеха,
который хочется подчеркнуть в заключение нашего разговора. У нас сейчас
установлены очень хорошие контакты с корпорацией Intel, поэтому мы оперативно
получаем не только самые последние модели процессоров, но, что важно – самые
последние данные по развитию вычислительной техники. Мы стараемся
оттестировать на наших алгоритмах практически все доступные на современном
этапе ИТ-решения в области высокопроизводительных вычислений.