Слайд 1 - Проект EGEE

NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Что такое Grid?
Первое упоминание о ГРИД
1997
Национальный Научный Фонд США (NSF) инициировал
новую программу развития информационных технологий
Partnerships for Advanced Computational Infrastructure (PACI)
Впервые возникла концепция Грид-инфраструктуры,
как некая аналогия электроэнергетической инфраструктуры
есть
сетевая компонента и
множество узлов
компьютерных ресурсов (электростанций)
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
2
Что такое Grid?
Отдельный компьютер (РС)
Прикладное ПО
Операционная система РС
Ресурсы РС
Диски, процессор, память …
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
3
Что такое Grid?
Отдельный компьютер
Прикладное ПО
Операционная система
Ресурсы РС
Локальная сеть
Прикладное ПО
Промежуточное ПО для соединения с другими узлами
(компьютеры, серверы, …)
Операционная система каждого узла
Ресурсы узла
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
4
Что такое Grid?
Отдельный компьютер
Локальная сеть
Прикладное ПО
Прикладное ПО
Промежуточное ПО для соединения с другими ресурсами
Операционная система
Операционная система каждого узла
Ресурсы РС
Ресурсы узла
Следующий шаг - Грид
Прикладное ПО
Промежуточное ПО для соединения с другими локальными сетями…
Промежуточное ПО для соединения с другими узлами
(компьютеры, серверы, …)
Операционная система каждого узла
Ресурсы узла
5
ЧтоПредпосылки
такое Grid?
Сравнение отдельных характеристик
Управление
ресурсами
Кластер
Распределенные
вычисления
Централизованное
Распределенное
Распределенное
Централизованное
Децентрализованное с учетом
приоритета локального
управления
ГРИД
Распределение
ресурсов
Централизованное
Аппаратные
компоненты
Однотипные
компьютерные
модули
Компьютерные ресурсы
организации
Компьютерные ресурсы Грид
Средства
коммуникации
Локальная сеть
Локальная, корпоративная
или региональная сеть
Интернет, региональная или
корпоративная сеть
Конфигурация
Сервер
Для чего
служит
Решение отдельных
задач различной
сложности
Специализированный комплекс
компьютеров, одноуровневая
компьютерная инфраструктура…
Обслуживание корпоративной
деятельности, запросов
анонимных клиентов
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Многоуровневая компьютерная
инфраструктура
Обслуживание деятельности
пользователей Грид
6
Что такое Grid?
(Ian Forster: “What is Grid”, 2002 г.)
«Грид – это система, которая:
координирует использование ресурсов при отсутствии
централизованного управления этими
ресурсами
использует
стандартные,
открытые,
универсальные
протоколы и интерфейсы
обеспечивает высококачественное обслуживание»
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
7
Что такое Grid?
В прагматическом понимании Грид – это
концепции и технологии
интеграции
расположенных в разных местах
телекоммуникационной сети (т.е. распределенных)
компьютерных систем
для обеспечения
более эффективного использования ресурсов и
решения прикладных задач
принципиально нового уровня сложности.
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
8
Что такое Grid?
С точки зрения распределенной обработки данных Грид – это
 концепции,
 технологии,
 методы и средства,
позволяющие
распределенные т.е различающиеся
динамически интегрировать
гетерогенные платформами
ресурсы сетевыми протоколами
виртуальная
исполнительная
среда
и администрированием…
предоставляющие услуги
для использования
этой среды
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
9
Предпосылки
Что такое Grid?
Идеальная Грид-инфраструктура должна
обеспечивать доступ к ресурсам так, чтобы различия между
платформами
сетевыми протоколами
административными границами
стали совершенно прозрачными
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
10
Зачем?
Необходимость решения сложных научных,
производственных, инженерных и бизнес-задач
Наука все больше делается
глобальные коллаборации
через распределенные
с использованием internet
Желание расширить границы научного открытия вычислительным
анализом и моделированием (e-Science)
ГРИД предоставляет доступ к:
–Очень большим наборам данных
–Огромным (тера…) вычислительным ресурсам
–Высокопроизводительной визуализации
–Высокоскоростным сетям
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
11
Почему это можно сделать
Традиционные технологии интернет хорошо развиты
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
12
Уже существует масса Грид-систем…
Необходимость решения
сложных задач
e-Science
Технологии Интернет
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
13
Уже существует масса Грид-систем…
Некоторые Грид проекты
•NASA Information Power Grid
•DOE Science Grid
•NSF National Virtual Observatory
•NSF GriPhyN
•DOE Particle Physics Data Grid
•NSF TeraGrid
•DOE ASCI Grid
•DOE Earth Systems Grid
•DARPA CoABS Grid
•NEESGrid
•DOH BIRN
•NSF iVDGL
•DataGrid (CERN, ...)
•EuroGrid (Unicore)
•DataTag (CERN,…)
Astrophysical Virtual Observatory
•GRIP (Globus/Unicore)
•GRIA (Industrial applications)
•GridLab (Cactus Toolkit)
•UK – OGSA-DAI, RealityGrid, GeoDise,
Comb-e-Chem, DiscoveryNet, DAME,
AstroGrid, GridPP, MyGrid, GOLD, eDiamond,
Integrative Biology, …
•Netherlands – VLAM, PolderGrid
•Germany – UNICORE, Grid proposal
•France – Grid funding approved
•Italy – INFN Grid
-Switzerland - Network/Grid proposal
•Hungary – DemoGrid, Grid proposal
•Norway, Sweden – NorduGrid
•CrossGrid (Infrastructure Components)
•EGSO (Solar Physics)
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
14
Уже существует масса Грид-систем…
Грид в России
 Телекоммуникационный центр "Наука и общество"
 Биологи:
Институт молекулярной биологии РАН
Институт биологии гена РАН
Институт биомедицинской химии РАМН
 Физики:
Институт теоретической и экспериментальной физики
НИИ ядерной физики МГУ
Институт Космических исследований РАН
Объединённый институт ядерных исследований (Дубна)
Институт физики высоких энергий (Протвино)
Петербургский Институт Ядерной Физики (Гатчина)
 Химики:
Институт химической физики РАН
Институт органической химии РАН
 Медики:
Институт иммунологии МЗ
Институт вирусологии РАМН
Институт биохимии РАМН
Институт вакцин и сывороток РАМН
Научный центр хирургии РАМН
 Международный институт теории прогнозов
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
15
Терминология
Ресурсы
Виртуальные организации
Middleware
Безопасность
Приложение
ГРИД - системы работают со следующими типами ресурсов:
• Вычислительные ресурсы - компьютеры, кластеры
Основная характеристика – производительность
• Ресурсы хранения данных
диски и дисковые массивы, ленты, системы массового хранения
Основная характеристика – объем
• Сетевые ресурсы
связующее звено между распределенными ресурсами ГРИД
Основная характеристика – скорость передачи данных
• Программное обеспечение
• Информационные ресурсы
особый вид ресурсов памяти, служат для хранения и предоставления
метаданных и информации о других ресурсах ГРИД
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
16
О распределении ресурсов в Грид
Ресурсы
Виртуальные организации
Middleware
Безопасность
Приложение
Основные задачи Грид – системы
• эффективное распределение ресурсов
• координация ресурсов
Для решения этих задач используется планировщик (брокер ресурсов)
• определяет наиболее подходящие ресурсы для каждой конкретной задачи
• резервирует их для ее выполнения
Во время выполнения задачи
она может запросить у планировщика дополнительные ресурсы
освободить избыточные.
или
После завершения задачи
все отведенные для нее вычислительные ресурсы освобождаются,
а ресурсы памяти могут быть использованы для хранения
результатов работы.
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
17
О распределении ресурсов в Грид
Ресурсы
Виртуальные организации
Middleware
Безопасность
Приложение
Важное свойство Грид – системы
пользователю не нужно знать о физическом
расположении ресурсов, отведенных его задаче
Для пользователя создается иллюзия работы в
едином информационном пространстве
с огромными вычислительными мощностями
и объемом памяти
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
18
О распределении ресурсов в Грид
Ресурсы
Виртуальные организации
Middleware
Безопасность
Приложение
Очень важная проблема Грид – системы обеспечение
надежного функционирования и
восстановления при сбоях
Контроль над ошибками возлагается на систему мониторинга,
которая следит за состоянии отдельных ресурсов.
Если ошибка произошла по вине:
задачи
задача останавливается, а диагностика направляется
ее владельцу
ресурса
планировщик перераспределит ресурсы и
перезапустит задачу
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
19
О распределении ресурсов в Грид
Ресурсы
Виртуальные организации
Middleware
Безопасность
Приложение
Сбой ресурсов – не единственная причина отказа в
Грид – системах
Перегруженный ресурс
может стать причиной отказа значительного количества
других ресурсов
Планировщик, используя систему мониторинга,
предотвращает перегрузки и простои ресурсов
«Единственная точка сбоя»
отказ любого ресурса не должен приводить к сбою в
работе всей системы
При отказе любого ресурса планировщик
произведет перераспределение ресурсов
и перезапустит задачу
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
20
Виртуальные организации
Ресурсы
Виртуальные
организации
Middleware
Безопасность
Приложение
Инфраструктура ГРИД основана на
• предоставлении ресурсов в общее пользование
• использовании публично доступных ресурсов
в Виртуальные Организации кооперируются как
потребители, так и владельцы ресурсов
Мотивы кооперации - разные
В существующих Грид - системах ВО – коллаборация специалистов из некоторой
прикладной области, которые объединяются для достижения общей цели
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
21
Виртуальные организации
Ресурсы
Виртуальные
организации
Middleware
Безопасность
Приложение
ГРИД-система – это среда коллективного компьютинга, в которой:
каждый ресурс имеет своего владельца,
доступ к ресурсам открыт в разделяемом
по времени и по пространству режиме
множеству входящих в ВО пользователей
Можно определить ГРИД-систему как
пространственно распределенную операционную среду с
гибким,
безопасным и
скоординированным
разделением ресурсов для выполнения приложений в рамках
Виртуальной Организации.
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
23
Терминология
Ресурсы
Виртуальные
организации
Виртуальная Организация
Middleware
Безопасность
Приложение
располагает определенным количеством ресурсов, которые предоставлены
зарегистрированными в ВО владельцами
знает кто что делает, и кому не будет позволено делать это снова…
контролирует доступ к описанным ресурсам
устанавливает самостоятельно правила работы для своих участников
может образовываться динамически и иметь ограниченное время
существования
обычно включает географически распределенных пользователей
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
24
Виртуальные организации – другой аспект
брокер
ресурсов
 принимает задание от пользователя
 согласует требования к ресурсам, содержащиеся в
описании задания, с имеющимися в наличии
свободными ресурсами и
 направляет задание на подходящий сайт.
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Ресурсы
25
Виртуальные организации – другой аспект
VOMS
VOMS
Брокер
Ресурсов
Ресурсы
VOMS
ВО n
ВО 2
ВО 1
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
26
Виртуальные организации – резюме
Виртуальная организация представляет собой
новую форму проблемно – ориентированной кооперации
предприятий,
научных центров,
образовательных учреждений,
а так же отдельных пользователей,
осуществляемую на основе совместного использования
принадлежащих им
интеллектуальных,
программных,
информационных и
аппаратных ресурсов.
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
27
Важные свойства ГРИД – инфраструктуры
 Распределенность на множестве административных
доменов и автономизация
2. Гетерогенность
3. Масштабируемость
4. Динамичность или адаптивность
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
ГРИД – направление отрасли информационных
технологий,
поддерживающее следующие приложения
1. Высокопроизводительный компьютинг
2. Компьютинг с высокой пропускной способностью
3. Компьютинг по запросу (on-demand)
4. Компьютинг больших массивов данных (data-intensive)
5. Компьютинг поддержки сотрудничества (виртуальных организаций)
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
1
1.
2.
3.
4.
5.
Высокопроизводительный компьютинг
Компьютинг с высокой пропускной способностью
Компьютинг по запросу (on-demand)
Компьютинг больших массивов данных (data-intensive)
Компьютинг поддержки сотрудничества (виртуальных организаций)
Высокопроизводительный компьютинг
агрегатирование компьютерных ресурсов для решения
очень больших задач,
которые не могут быть выполнены на какой-то одной компьютерной установке.
Примеры:
интерактивное моделирование военных действий,
моделирование сложных физических процессов
астрофизика,
газовая динамика,
прогнозирование погоды
…
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
1.
2.
3.
4.
5.
Высокопроизводительный компьютинг
Компьютинг с высокой пропускной способностью
Компьютинг по запросу (on-demand)
Компьютинг больших массивов данных (data-intensive)
Компьютинг поддержки сотрудничества (виртуальных организаций)
2
Компьютинг с высокой пропускной способностью
утилизация свободного процессорного времени
в пуле доступных компьютеров для обслуживания большого потока
слабосвязанных или независимых задач.
Примеры:
использование множества распределенных рабочих станций для
решения сложных задач криптографии, проектирования и анализа
..
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
3
1.
2.
3.
4.
5.
Высокопроизводительный компьютинг
Компьютинг с высокой пропускной способностью
Компьютинг по запросу (on-demand)
Компьютинг больших массивов данных (data-intensive)
Компьютинг поддержки сотрудничества (виртуальных организаций)
Компьютинг по запросу (on-demand)
обеспечение возможности быстрого и краткосрочного доступа к ресурсам,
которые не могут быть все размещены локально по техническим или
экономическим условиям, т.е. обеспечение разделения дефицитных ресурсов:
•
•
•
•
Примеры:
Компьютеры
Программное обеспечение
Репозитарии данных
Датчики…
выделение ресурсов,
планирование,
управление программным проектом,
обеспечение безопасности,
расчетно - платежные процедуры
...
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
4
1.
2.
3.
4.
5.
Высокопроизводительный компьютинг
Компьютинг с высокой пропускной способностью
Компьютинг по запросу (on-demand)
Компьютинг больших массивов данных (data-intensive)
Компьютинг поддержки сотрудничества (виртуальных организаций)
Компьютинг больших массивов данных (data-intensive)
обеспечение процесса синтеза новой информации из данных, накапливаемых в
географически распределенных
репозитариях,
электронных библиотеках,
базах данных
...
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
5
1.
2.
3.
4.
5.
Высокопроизводительный компьютинг
Компьютинг с высокой пропускной способностью
Компьютинг по запросу (on-demand)
Компьютинг больших массивов данных (data-intensive)
Компьютинг поддержки сотрудничества (виртуальных организаций)
Компьютинг поддержки сотрудничества (виртуальных организаций)
Поддержка кооперативной деятельности реальных участников виртуальных
организаций, предоставляющие свои ресурсы для выполнения совместных
проектов
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Важные свойства ГРИД – 1
1.
2.
2.
3.
Распределенность
Гетерогенность
Масштабируемость
Динамичность
Распределенность на множестве административных доменов
и автономизация
Ресурсы географически распределены и принадлежат различным организациям, их
подразделениям или даже отдельным пользователям, и поэтому:
 Не допускается какое-либо вмешательство в техническую политику
административного сайта или автономии
 Нельзя подвергать риску уже используемую службу безопасности пользователей или
удаленных сайтов
 Нельзя заменять уже используемые операционные системы, сетевые протоколы,
или службы
 Необходимо обеспечить возможность удаленным сайтам легко подключаться или
отключаться от инфраструктуры
 Необходимо обеспечить надежность и устойчивость к отказам в узлах виртуальной
организации
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Важные свойства ГРИД – 2
1.
2.
3.
4.
Распределенность
Гетерогенность
Масштабируемость
Динамичность или
Гетерогенность
 Нельзя устанавливать ограничений на
парадигмы программирования,
языки,
инструментарии или библиотеки,
выбираемые пользователем
 Необходимо обеспечивать интероперабельность
гетерогенных компонент
 Необходимо использовать стандарты и существующие технологии,
и давать средства взаимодействия с наследуемыми приложениями
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Важные свойства ГРИД – 3
1.
2.
3.
4.
Распределенность
Гетерогенность
Масштабируемость
Динамичность
Масштабируемость
ГРИД – система должна сохранять работоспособность при
значительном увеличении или уменьшении ее состава
(рост ГРИД порождает проблему снижения производительности,
поэтому приложения, требующие большого числа географически
распределеных ресурсов, должны проектироваться с учетом
латентности инфраструктуры)
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Важные свойства ГРИД – 4
1.
2.
3.
4.
Распределенность
Гетерогенность
Масштабируемость
Динамичность
Динамичность или адаптивность
Управление ресурсами и приложениями должно быть организовано с учетом
того факта, что в грид-инфраструктуре отказ скорее правило, чем исключение.
Необходимо обеспечить надежность и устойчивость к отказам в узлах
виртуальной организации
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Архитектура
Предпосылки
грид
:
 Определяет
системные компоненты,
цели и функции этих компонент
 Отражает способы взаимодействия компонент
друг с другом.
 Представляет собой архитектуру взаимодействующих
протоколов
сервисов
интерфейсов,
определяющих базовые механизмы, посредством которых
пользователи устанавливают
соединения с Грид-системой,
совместно используют вычислительные ресурсы для
решения разного рода задач.
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Предпосылки
Архитектура протоколов грид:
 Задает требования для основных компонент
 Не предоставляет строгий набор спецификаций для них
 Оставляет возможность их развития в рамках принятой
концепции
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Предпосылки
Уровни архитектуры
протоколов Грид
Уровни протоколов ГРИД
Прикладной
Коллективный
Ресурсный
Связывающий
Базовый
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Прикладной
Транспортный
Сетевой
Канальный
Уровни протоколов Интернет
и их соответствие уровням архитектуры протоколов Интернет
Предпосылки
Базовый уровень- Fabric Layer
Прикладной
Коллективный
Ресурсный
Связывающий
Базовый
Описывает службы, непосредственно работающие с
ресурсами.
Ресурсы ГРИД
Вычислительные
ресурсы
Ресурсы памяти
Сетевые ресурсы
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Информационные
ресурсы
Предпосылки
Уровень связи – Connectivity Layer
Прикладной
Коллективный
Ресурсный
Связывающий
Базовый
Определяет коммуникационные протоколы и протоколы
аутентификации
 Коммуникационные протоколы обеспечивают обмен данными между
компонентами базового уровнями
 Протоколы аутентификации предоставляют криптографические
механизмы для идентификации и проверки подлинности
пользователей и ресурсов
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Предпосылки
Ресурсный уровень – Resource Layer
Прикладной
Коллективный
Ресурсный
Связывающий
Построен над протоколами коммуникации и
аутентификации уровня связи архитектуры ГРИД
Базовый
Реализует протоколы, обеспечивающие:
 Согласование политик безопасности использования ресурса
 Процедуру инициации ресурса
 Мониторинг состояния ресурса
 Контроль над ресурсом
 Учет использования ресурса
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Предпосылки
Ресурсный уровень – Resource Layer
Прикладной
Коллективный
Ресурсный
Связывающий
Базовый
Различают два основных класса протоколов этого уровня:
Информационные протоколы
Получают информацию о структуре и состоянии
ресурса
- Конфигурация
- Текущая загрузка
- Политика использования…
Протоколы управления
согласование доступа к разделяемым ресурсам
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Предпосылки
Коллективный уровень – Collective Layer
Прикладной
Коллективный
Отвечает за глобальную интеграцию различных наборов
ресурсов
Ресурсный
(в отличие от ресурсного уровня, сфокусированного на
работе с отдельными ресурсами).
Связывающий
Базовый
На этом уровне различают
общие протоколы:
протоколы обнаружения и выделения ресурсов
системы мониторинга и авторизации сообществ…
специфические протоколы для различных приложений ГРИД:
протокол архивации распределенных данных
протоколы управления задачами сохранения…
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Предпосылки
Коллективный уровень – Collective Layer
Прикладной
Коллективный
Ресурсный
Связывающий
Компоненты этого уровня предлагают большое
разнообразие методов совместного использования
ресурсов.
Базовый
Сервисы каталогов
позволяют ВО обнаруживать свободные ресурсы, выполнять запросы по именам
и типам ресурсов
Сервисы совместного выделения, планирования и распределения ресурсов
обеспечивают выделение ресурсов для определенной цели,
планирование выполняемых на ресурсах задач
Сервисы мониторинга и диагностики
отслеживают аварии, атаки и перегрузку
Сервисы дублирования (репликации) данных
координируют использование ресурсов памяти в рамках ВО
Сервисы управления рабочей загрузкой
применяются для описания и управления
многошаговыми, асинхронными, многокомпонентными заданиями
Службы авторизации сообществ
способствуют улучшению правил доступа к разделяемым ресурсам
Службы учета и оплаты
обеспечивают сбор информации об использовании ресурсов
Сервисы координации
поддерживают обмен информацией в сообществе
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Предпосылки
Прикладной уровень – Application Layer
Прикладной
Коллективный
Ресурсный
Связывающий
Базовый
Описывает пользовательские приложения, работающие
в среде виртуальной организации
Приложения функционируют, используя сервисы
(службы), определенные на нижележащих уровнях.
На каждом уровне имеются:
определенные протоколы, обеспечивающие
доступ к необходимым службам
прикладные программные интерфейсы
(Application Programming Interface – API),
соответствующие данным протоколам
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Предпосылки должна:
Идеальная Грид-инфраструктура
Обеспечивать доступ к ресурсам так, чтобы различия между
 платформами
 сетевыми протоколами
 административными границами
стали совершенно прозрачными
По существу промежуточное программное обеспечение ГРИД
(middleware)
превращает
гетерогенную
базу грид-инфраструктуры
в единую
гомогенную.
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Терминология
Ресурсы
Виртуальные организации
Middleware
Безопасность
Приложение
Мобильный
доступ
G
R
I
D
Рабочие
станции
M
I
D
D
L
E
W
A
R
E
Суперкомпьютера, PC-кластеры
Хранилища данных, эксперименты, …
Визуализация
Internet, сети
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Middleware
Ресурсы
Виртуальные организации
Middleware
Безопасность
Приложение
Обеспечивает общие услуги Grid






Информация
Управление Заданиями
Управление Данными
Безопасность
Регистрация
Мониторинг
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Терминология
Ресурсы
Виртуальные организации
Middleware
Безопасность
Приложение
Инфраструктура безопасности ГРИД (GRID Security Infrastructure – GSI)
обеспечивает безопасную работу в незащищенных сетях общего доступа
(Интернет).
GSI предоставляет такие сервисы, как

Аутентификация и авторизация
Аутентификация: Кто я? - “эквивалент” ID card ….
Авторизация: Что я могу делать? Есть у меня доступ к запрашиваемым
ресурсам? - Запреты, обязанности …

Конфиденциальность передачи информации

Единый вход в ГРИД-систему
пользователю нужно лишь один раз пройти процедуру аутентификации,
а далее система сама позаботится о том, чтобы аутентифицировать его на всех
ресурсах, которыми он собирается воспользоваться
GSI основана на надежной и широко используемой инфраструктуре
криптографии с открытым ключём (Public Key Infrastructure – PKI)
В качестве идентификаторов пользователей и ресурсов в GSI используются
цифровые сертификаты Х.509.
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Терминология
Ресурсы
Виртуальные организации
Middleware
Безопасность
Приложение
Использование персональных сертификатов составляет основу
системы безопасности Грид.
Сертификат - это открытый ключ пары ключей шифрования
"открытый ключ - закрытый ключ“ (закрытый ключ доступен
только
Вам), вместе с некоторой персональной информацией, такой
как
Ваше имя, адрес электронной почты и т. д.
с цифровой сертификатов
подписью сертификационного
центра
(CA).
В процедуре выдачи / получения
задействованы
3 стороны:
1. Центр сертификации (Certificate Authority – CA)
Специальная организация с полномочиями выдавать цифровые сертификаты.
Отношения между СА и клиентами регулируются специальным документом.
2. Подписчик
Человек или ресурс, который пользуется сертификационными услугами СА.
СА включает в сертификат данные, предоставляемые подписчиком (имя, организация…)
и ставит на нем свою цифровую подпись
3. Пользователь
Человек или ресурс, полагающийся на информацию из сертификата при получении его
от подписчика.
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Терминология
Ресурсы
Виртуальные организации
Middleware
Безопасность
Приложение
Для входа в ГРИД-систему пользователь должен:
1. Быть легальным пользователем вычислительных ресурсов в
своей организации
2. Иметь персональный цифровой сертификат, подписанный СА
3. Быть зарегестрированным хотя бы в одной виртуальной
организации
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Аутентификация и авторизация
Ресурсы
Виртуальные организации
Middleware
Безопасность
UI
JDL
Пользователь
Приложение
CA
1
Аутентификация
учёт использования
ресурсов
2
3
авторизация
ВО
Ресурсы
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Терминология
Ресурсы
Виртуальные организации
Middleware
Безопасность
Приложения
В ГРИД компьютинге "приложение" в основном имеет отношение к "слою"
компонентов ГРИД. Приложение – это имя, используемое для обозначения
программного обеспечения, которое выполняет вычислительную работу,
управляет данными (доступ, загрузка, чтение...).
Прикладной уровень для каждого класса задач имеет свои
особенности и взаимодействует с другими уровнями с
использованием
стандартных или собственных средств и сервисов
(например, на основе наборов SDKs и интерфейсов APIs)
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Терминология
Ресурсы
Виртуальные организации
Middleware
Безопасность
Приложения
Типы приложений
•
•
Интенсивные вычисления
Интерактивная симуляция
моделирование климата
•
Крупномасштабная симуляция
формирование галактики, гравитационные волны, военные действия
•
Инженерия
моделирование, структурный анализ
•
•
Вычисления с большими объемами данных
Анализ экспериментальных данных
физика высоких энергий
•
Изображения, сенсорный анализ
астрономия, климат
•
Онлайновые инструменты
микроскопы, рентгентовские приборы
•
Удаленная визуализация
климатические станции, биология
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Примеры
Ресурсы
Виртуальные организации
Middleware
Безопасность
Приложения
–
Физика высоких энергий
симуляция, реконструкция, анализ, …
–
Медицина / Здравоохранение
отображение, диагностика и лечение
–
Биоинформатика геном человека, …
–
Нанотехнологии
разработка новых материалов на молекулярном уровнe, …
–
Инженерия авиационная безопасность, …
–
Природные ресурсы и Окружающая среда
прогноз погоды, …
–
Искусство
–
Материаловедение
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Физика высоких энергий - Эксперименты на LHC CERN
Ресурсы
Виртуальные организации
Middleware
Безопасность
Приложения
CMS
ATLAS
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
LHCb
ALICE
Биомедицина
Ресурсы
Виртуальные организации
Middleware
Безопасность
Приложения
–
–
–
–
–
Филогенетика
Статистическа генетика
Паразитология
Маммология
…
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Искусство
Ресурсы
Виртуальные организации
Middleware
Безопасность
Приложения
Сканер Thomson
Музей виртуального искусства El Pais (MUVA)
http://www3.diarioelpais.com/muva/
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Терминология
Пользовательский интерфейс (UI)
Элемент хранения (SE)
Служба информации (IS)
Вычислительный элемент (CE)
выполняет фактические вычисления,
на нем установлено программное
обеспечение для выполнения заданий
конечных пользователей.
обеспечивает единообразный
доступ к любым накопителям данных.
Может управлять дисковыми массивами,
массовой памятью и т.п.
Скрывает детали и обеспечивает единообразный
доступ к данным.
Каталог реплик (RC,RLS)
Поддерживает базу данных о местах хранения
оригинальных файлов и всех их копий.
Брокер ресурсов (RB)
принимает задание от пользователя
согласует требования к ресурсам, содержащиеся
в описании задания, с имеющимися в наличии
свободными ресурсами и
направляет задание на подходящий сайт.
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Резюме
Что характеризует Grid систему?
Гетерогенные ресурсы
Собственность
организаций
и индивидуумов
Различные
требования
безопасности
Потенциальная
недоступность
ресурсов
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Соединение
гетерогенных
многоуровневых
сетей
Различные
политики
управления
ресурсами
Географическая
распределенность
Взгляд на GRID
Пользователи используют
ресурсы, общаются с коллегами,
имеют доступ к данным
независимо от своего
местоположения.
Объединенные сетью
центры обработки данных и
соответствующее
программное
обеспечение ”middleware”
как элемент,
связывающий ресурсы
Научные инструменты и
эксперименты поставляют
огромные массивы данных
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Сегодня Grid широко применяется
 Ускоритель CERN
 UK Science Grid
 Национальный маммографический проект в Великобритании
 Молекулярная биологии для моделирования структуры белка,
анализа последовательностей ДНК ….
 Бизнес — нефтяная отрасль, геологоразведка
 В банковском деле
 В автомобильной промышленности Grid позволяет ускорить и удешевить
расчет виртуальных крэш-тестов
 Airbus и Boeing используют технологию для постоянного контроля состояния
двигателей и других агрегатов и узлов самолета - показания датчиков,
непрерывно собирающих информацию, через спутник передаются на землю, где
анализируются в сетях Grid
 В телекоммуникационной отрасли потенциальной областью использования
Grid являются онлайновые игровые системы, такие, как Butterfly.net
 IBM активно использует технологию Grid для внутренних нужд (моделирование
при создании микропроцессоров следующих поколений, таких, как Power5 и
Power6”
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Полезные ссылки
•
•
•
•
•
•
•
http://www.gridclub.ru/ - Интернет-портал по грид- технологиям
http://grid.jinr.ru/
- грид-портал ОИЯИ
http://www.eu-egee.org - проект EGEE-II
http://www.egee-rdig.ru/ - RDIG консорциум
http://rocmon.jinr.ru:8080/accounting/
- мониторинг RDIG
http://egee.sinp.msu.ru/gateway/index.php - НИИЯФ МГУ
http://egee.pnpi.nw.ru/ - ПИЯФ РАН
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)
Спасибо за внимание!
NA3 Induction Courses, Е. Новодворский (ПИЯФ, Гатчина)