Особенности современного построения грид-сети на примере виртуальной организации «Цифровая маммография» Жучков Алексей Васильевич Институт химической физики им. Н.Н. Семенова РАН [email protected] План: Особенности современного построения Грид • • • • • • Ресурс-провайдер Cloud Грид провайдер интегратор Платформа комбинация Пространство данных +/- Грид Безопаснее(proxy sertificat), Эффективнее($), … Примеры построения Грид-сервисов для организации высокопроизводительной обработки данных маммографического архива ВО “Chemical Physics” middleware ВО “ChemBioGrid” ВО “Human Molecular Polymorphism” ВО “BiblioGrid” Провайдеры приложений Более 30 биохимических, биофизических и медицинских учреждений РГБ БЕН и более 20 других… ARC GOS NAREGI Internet Provider Network Resources Provider OGSI, базирующиеся на WSRF, WSN, UNICORE,… Certification Authority Center infrastructures Инфраструктурные VO Mgmt Policy Mgmt Грид провайдер Monitoring Logging Discovery Event Distributed Notification Naming Mgmt Mgmt Basic Grid ServicesOGSA-AuthZ, (GT4) GSI, CAOPS Безопасность Authentication Authorization Intermediate Grid Services Integrity Resource JSDL, OGSA-BES, OGSA-RSS, GRAAP Запуск Boundary Traversal задания Job Execution Workload Workflow Execution Mgmt Planning Mgmt Mgmt GSM, DAIS, GFS, DFDL, GridFTP, ByteIO, UDT Computing Работа с данными Storage Access Content Instruments Integration TransferReplication Commercial Data Centers Ресурс-провайдеры UR, RUS, CDDLM, ACS, CGS DRMAA, Grid RPC, SAGA, GIR Finnigan LTQ-FT Resource Remote Info Clusters Управление ресурсами Интерфейс приложений ProvisioningDeployment Configuration Reservation Non-commercial Projects Grants +Cloud Mgmt ProcedureRetrieval Mass-Spectrometry Center of RAS API ВО “Цифровая маммография” Медицинские ВУЗы MMA РГМУ Маммологические центры и кабинеты Провайдеры прикладных (медицинских) сервисов ВНЦХ НаучноРАМН ГНЦ медицинская Институт библиотека иммунологии ИБМХ РАН Федеральный Маммологический центр Росмедтехнологий Общественные организации Союз общественных организаций «Движение женщин за здоровье нации» Новое действующее лицо – “ответственный пациент” Провайдеры базовых и информационных сервисов СК “Чебышев” РМЖ – вызов цивилизации В США общественные фонды собрали $20’000’000 и использовали их на исследования РМЖ. В результате удалось снизить смертность от 20% до 40% (в различных штатах). Проект National Digital Mammography Archive числился №1 в 2002 году в списке Top100 Innovation List в Информационных Технологиях ($6,3 миллиона государственного финансирования в 2002-2003 г.г.). В Европе реализован ряд проектов, в том числе международный (британофранко-итальянский) Mammogrid (2003-2005 г.г., 2’200’000 €). Цель проекта – создание транс-европейского распределенного хранилища маммограмм с использованием ресурсов EGEE. На основе созданной инфраструктуры запущен новый транс-европейский проект NeuGrid для борьбы с болезнью Альцгеймера (3’250’000 €). Все эти проекты в значительной мере опираются на использование грид-технологий РМЖ – социальная проблема • Заболеваемость РМЖ выросла на 40% за последние 20 лет. • И продолжает расти, в том числе у молодых женщин: сегодня в России заболеваемость РМЖ у женщин до 30 лет достигла 28,5 на 100 000. • Сегодня в России только 13% случаев РМЖ диагностируются на I стадии. 42% российских женщин приходят к врачу только на IV стадии. Статистика 5-летней выживаемости после обнаружения РМЖ: Общая статистика в российских клиниках для пациенток с РМЖ: 5-летняя выживаемость после операции = 50%. Совершенствование ранней диагностики РМЖ – единственный путь к долгой и здоровой жизни Широкое применение современных ИТ – один из путей совершенствования ранней диагностики РМЖ. 100% 84% 71% 75% 48% 50% 18% 25% 0% I II III IV РМЖ – вычислительно сложная задача Организация массового маммографического скрининга новый вызов для информационных технологий 1. По медицинских рекомендациям каждая женщина старше 40 лет должна проходить маммографическое исследование раз в 2 года. В 2006 г. в России их насчитывалось 48 миллионов. 1 маммографическое исследование = 4 рентгенмаммограммы по 12 МБ 2. Реализация п.1 означает появление 1015 байт новых данных в год. Миллионы маммограмм – основа ранней диагностики Сервисы ВО “Цифровая маммография” Сотни маммограмм Тысячи маммограмм Adobe Photoshop Поиск областей интереса (ROI) Поиск маммограмм “схожих случаев” ПК PC file system сервер хранения АРМ маммограмм Грид Миллионы маммограмм Связывание данных из электронных историй болезни Десятки миллионов маммограмм Сравнительный анализ по большим наборам данных Распределенное хранилище ЭИБ, маммограммы Суперкомпьютеры семейства СКИФ Сервисы ВО “Цифровая маммография” Высокоуровневые Грид-сервисы • Сервисы распределённого архива маммограмм • Сервисы обработки маммограмм • Сервисы работы в пространстве данных ВО Вспомогательные инфраструктурные Грид-сервисы G-ONTOLOGY – семантическое связывание гетерогенных данных GCS – сервис контрольных точек RMDS - обслуживание Репозитория Мета Описаний (РМО) BLPS - доступ к коллекциям из Web при помощи Bibliogrid Library Proxy LEXER - лексический анализ данных, из пространства данных по Мета-Модели DGIS - DICOM Grid Interface Service Базовые Грид-сервисы Globus Toolkit 4, OGSA-DAI, OGSA-BES, UDT, Unicore6 … Сервисы ВО “Цифровая маммография” • Сервисы распределённого архива маммограмм - аннотирование и внесение маммограмм в архив -поиск и доставка маммограмм, в т.ч. др. сервисам • Сервисы обработки маммограмм • обработка изображений - нормализация (ориентация, размеры, в т.ч. отношения пикселей 16,67 на мм) - отсечение неинформативной части (с нулевой энтропией) - линейное контрастирование, пороговая обработка, выделение контуров - выделение текстур, удаление шумов, вычисление локальных стат. моментов • CAD сервисы и сервисы для обучения - поиск областей интереса (ROI) - поиск “схожих случаев” и ранжирование по схожести (в т.ч. по ROI), поиск «выпадающих случаев», накопление статистики по признакам в рамках диагноза - актуализация атласа (маммоонтологии на основе подтверждённых диагнозов) - формирование «виртуальной маммограммы» (тестирование на разных условиях съемки, 3-D модель, восстановленная с растра, темпоральные ряды и др.) • Сервисы работы в пространстве данных ВО - сбор данных в пространстве данных по XML-шаблону (мета-модели) - формирование коллекций маммограмм и клинических данных, в т. ч. для обучения Сервисы распределённого архива 1240 маммографических кабинетов региональные маммографические центры Юридические и психологические аспекты Распределенный архив ВО “Цифровая маммография” Пример CAD cервиса поддержки диагностики РМЖ Статистический анализ диагнозов «схожих случаев» сервис DICOM Grid Interface Распределенный архив ВО “Цифровая маммография” сервис поиска “схожих случаев” Грид-пространство Виртуальной организации “Цифровая маммография” сервис поиска в ПД сервис поиска ROI сервис статистики диагнозов Статистика диагнозов критерий сходства: сред.квадр. разн. уровень сходства: 85% сервис всего просмотрено: 166945 отображения данных 1. Листовидная фиброаденома 641 2. Внутрипапиллярный рак 311 3. Рак в виде узла 101 4. Непальпируемый рак 80 700 600 500 400 300 200 100 0 1 Маммологический центр 2 3 4 Пространство Данных (по М. Franklin) ВО “Цифровая маммография” Корпоративные коллекции клинических данных Виртуальной организации Маммографические архивы CAD-систем Клинические МИС (Oracle,еtc.) Web-сайты (журналы, сайты ВО, etc) Репозиторий метаданных Персональные коллекции клинических данных Маммографические архивы (файлы) Персональные БД (MS Access, etc) Пример cервиса поиска в пространстве данных Сервис «Доказательная маммология» G-ONTOLOGY <DrugName>Novaldex <AdverseEvent>Womb cancer <RiskFactor>Age <PatientData> </PatientData> </RiskFactor> </AdverseEvent> <Source> </Source> </DrugName> RMDS Для сбора информации в пространстве данных используется XML-шаблон, в котором фиксируются семантические признаки для отбора интересующих данных. Для создания XML-шаблона используется сервис формирования и отображения онтологий. XML-шаблоны хранятся в РМД РМД «Доказательная маммология» Формирование коллекции в пространстве данных RMDS RMDS РМД РМД LEXER <body> … <b>Davis RJ</b> <p>Four cases of warfarininduced skin necrosis are reported, and previous reports of this adverse drug reaction are summarized. A 53-year-old man experienced two episodes of skin necrosis… … </body> BLPS 15/16 OGSA-DAI Доказательная маммология отображение собранных данных (G-Ontology, MS IE) Спасибо! Особенности современного построения Грид Примеры построения Грид-сервисов для организации высокопроизводительной обработки данных маммографического архива A. Жучков Институт химической физики им. Н.Н. Семенова РАН [email protected]