методы управления виртуальными ресурсами и приложениями в
реклама
9069 УДК 519.687 МЕТОДЫ УПРАВЛЕНИЯ ВИРТУАЛЬНЫМИ РЕСУРСАМИ И ПРИЛОЖЕНИЯМИ В ИНФОРМАЦИОННОЙ СИСТЕМЕ ДИСТАНЦИОННОГО ОБУЧЕНИЯ И.П. Болодурина Оренбургский государственный университет Россия, 460018, Оренбург, пр. Победы, 13 E-mail: [email protected] Д.И. Парфёнов Оренбургский государственный университет Россия, 460018, Оренбург, пр. Победы, 13 E-mail: [email protected] Ключевые слова: облачные вычисления, информационные системы, дистанционное обучение, виртуальные ресурсы, мультимедийные приложения, широкополосный доступ, распределение нагрузки Аннотация: В данном исследовании описаны методы управления виртуальными ресурсами и приложениями, входящими в состав информационной системы дистанционного обучения. Построена модель виртуализации ресурсов. Описаны методы доступа к информационной системе дистанционного обучения. 1. Введение В настоящее время быстрый рост обмена информацией требует разработки гибких решений для одновременного обслуживания множества пользователей. При этом наиболее востребованными являются мультимедийные сервисы, входящие в состав информационных систем дистанционного обучения (СДО). Как правило, системы дистанционного обучения являются многокомпонентными и осуществляют одновременную обработку нескольких разнородных информационных потоков. Поэтому существует необходимость в разработке специальных методов управления всей инфраструктурой в целом, а также приложениями, входящими в состав СДО. Кроме того, отличительной особенностью использования комплекса программно-технических средств СДО является существенное ограничение в вычислительных ресурсах. В настоящее время существует множество решений, позволяющих осуществлять управление распределением нагрузки между вычислительными ресурсами. Среди них наиболее перспективным является концепция облачных вычислений. Эта технология позволяет унифицировать доступ к ресурсам, что очень важно для систем, требующих высокого качества обслуживания и обеспечивающих доступность услуг в режиме 24/7. Рынок облачных вычислений включает в себя не только коммерческие программные продукты, такие как VMware ESX и т.д., но и хорошо документированные решения XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ ВСПУ-2014 Москва 16-19 июня 2014 г. 9070 с открытым исходным кодом, такие как OpenStack [5]. Применение концепции облачных вычислений позволяет обеспечить хранение и обслуживание значительных объемов мультимедийных данных, используемых информационной системой дистанционного обучения. Типовые конфигурации облачных решений имеют существенный недостаток. Предлагаемые решения рассчитаны на неограниченное масштабирование вычислительных ресурсов в режиме on-line, что в условиях ограниченности ресурсов приводит к значительным затруднениям. Предлагаемые в рамках исследования методы позволяют более эффективно использовать вычислительные ресурсы и сократить накладные расходы на инфраструктуру. 2. Методы управления виртуальными ресурсами 2.1. Модель виртуализации ресурсов Концепция виртуализации вычислительных ресурсов строится на базе абстракций, представляющих собой кортежи отношений, связанных между собой элементами подмножеств. В настоящем исследовании нами разработана модель виртуализации ресурсов. Облачную систему можно представить в виде связанных между собой объектов, включающих в себя: вычислительные узлы Snodei , системы хранения данных Sstgi , сетевого хранилища данных (NAS) Snasi , сервер расписаний Sraspi . На каждом вычислительном узле одновременно запущенно сразу несколько экземпляров виртуальных машин, описываемых кортежем Snodei {VM i ,1 ,VM i , 2 , ,VM i ,k } , где k количество виртуальных машин на одном вычислительном узле. При этом каждая виртуальная машина содержит набор приложений VM { App1 , App2 , , Appn } , обеспечивающих, поддержку работы определенных сервисов. В состав сетевого хранилища данных входит набор готовых образов виртуальных машин Snas {VMimg1 ,VMimg2 , ,VMimgk } , содержащих требуемую операционную систему с предустановленным программным обеспечением и заданными параметрами виртуального аппаратного обеспечения VMimg {OS1 , OS2 , , OSk } . Сервера расписаний осуществляют мониторинг и управление работой гибридной облачной системой. Работа всей облачной системы строится с использованием системы планирования выполнения каких-либо операций Srasp {Rtask1 , Rtask2 , , Rtaskk } , задаваемых посредством сервера расписаний. В распределенной системе хранения данных, состоящей, как правило, из отказоустойчивых RAID массивов Sstg {RDisk1 , RDisk2 , , RDiskk } , осуществляется размещение необходимой для работы мультимедийных сервисов информации Sstg {Data1 , Data2 , , Datak } . Помимо этого, в гибридной облачной системе также присутствуют виртуальные и физические коммутаторы, соединяющие между собой все компоненты в единую сеть. Каждый из компонентов, входящих в множество узлов Shcn {Snode, Snas, Srasp, Sstg,VM , } облачной системы обладает следующими характеристиками: Shcni {State, Mem, Disk , Diskn, Core, Lan} , (1) где State {" on" , " off " } – состояние объекта гибридной облачной сиcтемы; Mem N – объем оперативной памяти установленной для узла облачной системы; Disk N – объем дискового пространства устройств хранения данных, установленных для узла облачной системы; Diskn N – количество устройств хранения данных, установленных XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ ВСПУ-2014 Москва 16-19 июня 2014 г. 9071 для узла облачной системы; Core N – количество вычислительных ядер процессора узла облачной системы; Lan N – максимальная пропускная способность сетевого адаптера узла облачной системы. При этом для виртуальных машин из множества Snodei , может быть создано подмножество VMnode {Snode, Snas, Srasp, Sstg, } , включающее в себя все компоненты гибридной облачной системы, что позволяет масштабировать архитектуру и изолировать вычислительные ресурсы для различных сервисов друг от друга. Декомпозиция ресурсов облачной системы и ее основных компонентов представлена на рис 1. Облачная система (Shcn)={Snode,Snas,Srasp,Sstg...} Shcni={State,Mem, Disk, DiskN, Core, Lan} State={“on”,“off”} Snode={VM1,VM2,...VMn} Snas={VMimg1,VMimg2,...VMimgn} VM={App1,App2,...Appn} VMimg={OS1,OS2,...OSn} Srasp={Rtask1,Rtask2,...Rtaskn} Sstg={RDisk1,RDisk2,...RDiskn} RDisk={Data1,Data2,...Datan} Рис. 1. Декомпозиция ключевых ресурсов облачной системы. Кроме того, так как облачная система является динамическим объектом, изменяющимся в моменты времени t, ее состояние может быть формализовано в виде ориентированного графа вида: (2) Shcn (t ) ( Node(t ), Connections (t ), App(t )), где вершины Node(t ) {Node1 , Node2 ,..., Noden } – представляют собой активные элементы входящие в одно из множетсв Snodei, Sstgi, Snasi, Sraspi; Connections(t ) {Connections1 , Connections2 ,..., Connectionsn } – активные подключения пользователей к виртуализованным приложениям; App(t ) { App1 , App2 ,..., Appn } – активные экземпляры приложений, запущенные на виртуальных ресурсах. Таким образом, нами описана система, позволяющая обеспечить доступ мультисервисному набору услуг. С точки зрения широкополосного трафика одновременное обслуживание разнородных запросов пользователей такой системы является нетривиальной задачей. При этом также стоит учитывать ограниченность вычислительных ресурсов. Для обеспечения качества обслуживания рассмотрим методы доступа, применяемые для обслуживания клиентов. 2.2. Методы доступа к информационной системе дистанционного обучения На сегодняшний день эффективным считается прогнозирование поведения клиентов. Используя механизмы предварительной регистрации (подписки на сервисы), а также статистику потребления ресурсов по каждой из подсистем, мы можем предопределить объем необходимых вычислительных мощностей, требуемых для обслуживания поступающего потока заявок [1]. Отметим, что необходимость в одновременном обслуживании нескольких типов заявок, поступающих в разные каналы обслуживания, требует эффективного управления потоками запросов, поступающих на широкополосные мультимедийные ресурсы системы дистанционного обучения. XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ ВСПУ-2014 Москва 16-19 июня 2014 г. 9072 Потоки запросов (трафик) к мультимедийным приложениям, как правило, отличаются от модели простого пуассоновского потока, описываемого экспоненциальной функцией распределения интервала времени между моментами поступления заявок. При этом каждый из источников запросов, участвующий в процессе создания потока пакетов, обладает собственными значениями удельной интенсивности нагрузки. В каждый момент времени интенсивность нагрузки результирующего потока запросов пользователей зависит от того, к каким приложениями они направлены, каким каналом (виртуальным ресурсом) они обслуживаются, а так же каково соотношение их численности для различных приложений. Используя различные оптимизационные алгоритмы на каждом из этапов можно повлиять на структуру трафика, обеспечив тем самым качество обслуживания для выделенного сервиса. При этом входные потоки претерпевают значительные изменения и в итоговом трафике появляются долгосрочные зависимости в интенсивности поступления запросов, что позволяет ввести обратную связь для компонентов обслуживающей системы. Отличительной особенностью имитационной модели, построенной для исследования процесса обслуживания запросов, является набор признаков, характеризующих каждую из поступающих заявок: ресурсоемкость – оценивается с использованием рейтинга востребованности основных ресурсов системы; предполагаемое время выполнения – оценивается с использованием статистики обслуживания однотипных заявок в зависимости; рейтинг конечного исполнителя заявки – используется в качестве весового коэффициента для рационального распределения ресурсов с использованием, приведенной ранее уровневой модели подсистем. Каждая из заявок во входном потоке данных получает динамический приоритет, в зависимости от представленных набора признаков и текущего состояния всей СМО в целом. Примем, что все вычислительные узлы K, в рамках выбранного класса решаемой задачи, идентичны и любая заявка может быть обслужена любым из них. При этом на каждом вычислительном узле для эффективного обслуживания заявок применяются относительные приоритеты. Несмотря на то, что в модели можно четко классифицировать поступающие заявки, использование группового режима обработки в качестве дисциплины обслуживания не эффективно, так как не позволяет обеспечить равноценное качество для всех представленных мультимедийных сервисов. Учитывая особенности каждого сервиса, формализуем характеристики построенной модели. Количество источников I, и интенсивность n 1,..., I напрямую зависит от количества пользователей, обращающихся в данный момент к облаку СДО, причем в случае одновременного обращения одного клиента к разным уровням подсистем будем считать как заявки, поступившие от двух независимых друг от друга источников. Учитывая это, интенсивность µ поступления заявок в облачную систему в целом будет неравномерной не зависимо от выбранного интервала времени моделирования. Поэтому моделирование будем проводить в переходном режиме функционирования СМО. Кроме того, в СМО облака можно выделить несколько фаз F обслуживания заявок. Это обусловлено архитектурой технического решения, позволяющего масштабировать вычислительные мощности в зависимости от поставленных задач. Облачный контроллер, управляющий размещением вычислительных задач на запущенных экземплярах приложений, а так же запуском/остановкой вычислительных узлов, способен определять классы задач, что дает возможность использовать гибкое управление потоками запросов. XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ ВСПУ-2014 Москва 16-19 июня 2014 г. 9073 Определим схему управления потоками запросов (рис. 2) и выделим три фазы обслуживания заявок: накопление заявок в контроллере облачной системы (фаза 1), приоритетное обслуживание заявок на выбранном вычислительном узле (фаза 2), генерация пакетов данных, запрашиваемых пользователями (фаза 3). К11 ... I1 К31 S31-очередь потоковых данных К21 К1n S1 Очередь контроллера S2 К1i Очередь приоритетного Каналы обслуживания обслуживания задач на вычислительных узлов вычислительном узле К32 S32-очередь статических данных Рис. 2. Схема управления потоками запросов в системе дистанционного обучения. Рассмотрим каждую из фаз обслуживания потока заявок более подробно. При поступлении заявки в систему дистанционного обучения она попадает в очередь S1 облачного контроллера для последующего распределения по вычислительным узлам K1i, i=1,..,n (n – количество узлов). Длина очереди S1 в данном случае неограниченна, так как время пребывания заявки в очереди на обслуживание фиксировано, что обусловлено принципом работы веб приложений. При этом число узлов K1i, напрямую зависит от текущей загруженности облака, объема решаемых задач, а так же количества экземпляров каждой из подсистем, запущенных в данный момент. После того, как контролер выбрал доступный вычислительный узел, используя алгоритм минимизации потребляемых ресурсов и максимизации обслуживания клиентов, заявка поступает в очередь приоритетного обслуживания S2 [8]. В соответствии с алгоритмом приоритетного обслуживания заявки поступают в канал K21 для выполнения запрошенных операций [9]. Для генерации и передачи обработанного пакеты заявок направляются в одну двух очередей: для потоковых (видео- и аудио- трафик) или статических (текст и файлы) данных. Откуда они в соответствии алгоритмом предоставления доступа к данным в системе хранения облака предаются в каналы обслуживания K31 или К32 соответственно [9]. В рамках исследования установлено, что для потока запросов к информационной системе дистанционного обучения характерна сильная неравномерность интенсивности поступления заявок и пакетов. Заявки не равномерно распределены по различным интервалам времени, а группируются в «пачки» в одних интервалах, и полностью отсутствуют в других. При этом для каждого класса задач случайный процесс поступления в систему заявок характеризуется законом распределения, устанавливающим связь между значением случайной величины и вероятностью появления этого значения. Такой поток может быть описан вероятностной функцией распределения интервалов времени между соседними заявками. На основании статистических данных о количестве и размерах поступающих заявок, а так же характеристики интервалов времени между запросами получены следующие соответствия: для приложений, относящихся к первому классу и осуществляющих обработку потоковых данных (передача видео трафика) характерно распределение Парето между поступающими на обслуживание заявками; XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ ВСПУ-2014 Москва 16-19 июня 2014 г. 9074 для приложений, относящихся ко второму классу и осуществляющих обработку статических данных (передача бинарного трафика) характерно распределение Вейбулла между поступающими на обслуживание заявками; для приложений, относящихся к третьему классу и осуществляющих обработку статических данных (передача трафика данных набольшего размера) характерно Хиквадрат-распределение между поступающими на обслуживание заявками. Используя полученные данные, в рамках исследования сформулированы методы управления виртуальными ресурсами и приложениями. 2.3. Методы управления виртуальными ресурсами и приложениями Как уже отмечалось ранее, особенностью архитектуры виртуализации является ее масштабируемость и реконфигурируемость. Поэтому основной задачей управления является выбор необходимого количества вычислительных ресурсов в каждый последующий момент времени работы облачной системы. При организации широкополосного доступа к мультимедийным образовательным ресурсам это особенно актуально, так как создаваемая нагрузка на сервисы может изменяться в достаточно короткие интервалы времени. Для того, что бы предотвратить исчерпание ресурсов в уже запущенных приложениях и подготовить дополнительные вычислительные мощности требуется, динамически составлять план состояния ресурсов и применять его для оптимизации структуры облака. В отличие от других аналогичных мультимедийных сервисов поток запросов пользователей к образовательным ресурсам за счет организации подписки на сервисы возможно предсказать. Предоставления доступа пользователям к виртуализованным информационным ресурсам состоит из двух связанных друг с другом процессов. Одним из процессов создания виртуальной машины является планирование. В результате обработки в системе задается предполагаемое количество пользователей, а также может быть создан выделенный шаблон виртуальной машины с необходимыми аппаратными характеристиками и программным обеспечением для проведения мероприятия. На основе полученного шаблона и данных о предыдущих аналогичных мероприятиях сервером расписаний осуществляется расчет конфигурации для развертывания сервиса. При этом в случае идентичности виртуальных машин по программному обеспечению предлагаются варианты уже созданных ранее образов, хранящихся на NAS. Для удобства конфигурации виртуальной машины предлагается три варианта. Первый вариант конфигурации – обеспечит запас производительности в случае непредвиденного увеличения количества пользователей. Коэффициент масштабирования при этом рассчитывается динамически. При этом облачная система производит масштабирование в рамках всех доступных на текущий момент времени ресурсов вычислительной системы. Кроме того, системой предоставляется возможность выбрать диапазон количества экземпляров виртуальных машин, доступных для запуска. Второй вариант конфигурации – обеспечит заведомо меньшую производительность виртуальной машины, по сравнению с заданным количеством пользователей. Однако такой шаблон является наиболее эффективным при использовании сервисов для узкоспециализированной аудитории пользователей. Он позволяется сократить накладные расходы при сравнительно малом количестве пользователей, относительно заявленного числа подписчиков. Как и в случае с первым вариантом шаблона, возможно задать количество экземпляров виртуальных машин, это позволяет обеспечить параллельный запуск на нескольких вычислительных узлах в условиях недостатка ресурсов в облачной системе. Таким образом, производится разделение на независимые узлы общей вычислительной задачи, что также позволяется обеспечить соответствующе качество обслуживания для проводимого мероприятия. XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ ВСПУ-2014 Москва 16-19 июня 2014 г. 9075 Третий вариант конфигурации – создается с использование заданных пользователем характеристик, включающих в себя фиксированный коэффициент масштабирования, и фиксированное количество экземпляров виртуальных машин, которые будут запущены независимо от количества пользователей сразу после начала мероприятия. Другим процессом является обслуживание запросов пользователей и масштабирование ресурсов в рамках работы приложений. Системой учитывает общее количество запросов от каждого из источников, что дает возможность прогнозирование нагрузки не только на облако и запущенные приложения, но и на отдельные сегменты ЛВС. На основе полученных данных системой управления облаком в соответствии с заданным планом осуществляется миграция и масштабирование вычислительных ресурсов. Для эффективного использования ресурсов в рамках описанных процессов в NAS хранилище образов так же создаются дополнительные экземпляры виртуальных машин, обеспечивающие минимальную нагрузку для облака, но поддерживающие работу приложений в режиме «stand by» для обеспечения доступа минимального количества пользователей. При этом в случае прогнозирования увеличения нагрузки на какой-либо сервис облачная система разворачивает полноценный образ мультимедийного ресурса и анализирует выходящие запросы пользователей. Если в течение заданного интервала времени нагрузка не превышает количества стандартного потока запросов в режиме «stand by», сервер расписаний переключает нагрузку на соответствующий образ, выключая виртуальную машину. 2.4. Экспериментальная апробация методов управления виртуальными ресурсами и приложениями В ходе эксперимента проводился анализ совместной работы всех предложенных алгоритмов при обработке потоков запросов различной интенсивности ко всем доступным приложениям информационной системы дистанционного обучения. При этом на каждом этапе эксперимента устанавливалось ограничение на количество выделяемых ресурсов не только на каждую из подсистем СДО, но и на вычислительные узлы в целом. Это позволило определить оптимальную конфигурацию аппаратного оборудования, необходимого для поддержки всей системы. Экспериментальная апробация проводилась на реальной облачной системе OpenStack с использованием дополнительного модуля распределения нагрузки реализованного на языке Python. Для приближения результатов к реальным данным при проведении представленных экспериментов создавался поток запросов, аналогичный снятому трафику системы дистанционного обучения. При этом количество одновременных запросов, поступивших в систему, составило 10000, что соответствует потенциальному количеству активных пользователей в информационной системе дистанционного обучения, согласно проведенному исследованию. Все поступившие запросы классифицированы на 6 групп, характеризующих типичное поведение пользователей СДО. Для каждой из группы пользователей по уровневой модели ресурсов системы дистанционного обучения, согласно полученным законам распределения задана интенсивность использования каждого из компонентов системы, а также объем востребованных данных. Эксперимент проводился на интервале времени равному одному часу, что соответствует наиболее длительному периоду времени пиковой нагрузки системы, зафиксированному в реальном трафике. В таблице 1 представлены основные показатели, полученные в результате эксперимента для первой группы пользователей. XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ ВСПУ-2014 Москва 16-19 июня 2014 г. 9076 Таблица 1. Эффективность обслуживания запросов пользователей Подсистемы СДО (тип данных) Общее кол-во запросов Объем данных Кол-во обслуженных запросов (без применения балансировки нагрузки) Интенсивность обслуживания зп/с контроль знаний (текст) 8000 32658 электронная библиотека (файлы) 1000 9330 видеопортал (видео- аудиотрафик) 1000 10340 5443 (4352) 622 (418) 517 (356) 90,71(72,53) 10,36 (6,96) 8,61 (5,93) % Нагрузки на узел В ходе проведенного эксперимента установлено, что использование разработанных методов управления виртуальными ресурсами, позволяет снизить количество отказов в обслуживании на 11% - 15% при обращении пользователей к системе дистанционного обучения. Дополнительно нами проведена оценка методов управления относительно балансировки нагрузки между виртуальными вычислительными узлами. Оценка эффективности балансировки нагрузки между виртуальными ресурсами производилась по следующим критериями: время отклика сервера и количество выделенных виртуальных серверов для каждой из подсистем. На рис. 3 представлен график работы системы балансировки нагрузки на вычислительных ресурсах СДО. 60 40 20 0 Стандартное С приоритетами 1 2 3 4 5 6 7 8 9 14,15094 33,01887 52,83019 19,18605 31,97674 48,83721 17,79661 31,77966 50,42373 0 47,16981 52,83019 53,89222 0 46,10778 0 47,87234 52,12766 Виртуальные узлы Рис. 3. График балансировки нагрузки между виртуальными узлами. Проведенное исследование показало, что при использовании разработанных методов оптимизации для выделения ресурсов для всех запущенных экземплярах приложений, входящих в СДО, возможно высвобождение до 20% ресурсов (виртуальных серверов) и гарантировано обеспечение совместной работы, что удовлетворяет требованиям потенциальных пользователей. 3. Заключение Таким образом, предложенные в исследовании методы управления облачной системой позволяют повысить эффективность ее использования в условиях ограниченности ресурсов, а так же максимизировать количество обслуживаемых пользователей. XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ ВСПУ-2014 Москва 16-19 июня 2014 г. 9077 Список литературы 1. Болодурина И.П., Решетников В.Н., Парфёнов Д.И. Распределение ресурсов в информационной системе дистанционной поддержки образовательного процесса // Программные продукты и системы. 2012. № 3. C. 151-155. 2. Петров Д.Л. Оптимальный алгоритм миграции данных в масштабируемых облачных хранилищах // Управление большими системами. 2010. №. 30. С.180-197. 3. Петров Д.Л. Динамическая модель масштабируемого облачного хранилища данных // Известия ЛЭТИ. 2010. № 4. С. 17-21. 4. Гусев О.В., Жуков А.В., Поляков В.В., Поляков С.В. Проблема адекватной оценки производительности веб-серверов в корпоративных сетях на предприятиях ЦБП // Материалы 6-й научно-технической конференции «Новые информационной технологии в ЦБП и энергетике». Петрозаводск, 2004. С. 8487. 5. Жуков А.В. Некоторые модели оптимального управления входным потоком заявок в интранетсистемах // Материалы 6-й научно-технической конференции «Новые информационной технологии в ЦБП и энергетике». Петрозаводск, 2004. С. 87-90. 6. Бойченко И.В., Корытников С.В. Управление ресурсами в сервис-ориентированных системах типа «приложение как сервис» // Доклады Томского государственного университета систем управления и радиоэлектроники. 2010. Вып. 1-2. С. 156-160. 7. Тарасов В.Н., Полежаев П.Н., Шухман А.Е., Ушаков Ю.А., Коннов А.Л. Математические модели облачного вычислительного центра обработки данных с использованием OpenFlow // Вестник Оренбургского государственного университета. 2012. № 9. C. 150-155. 8. Парфёнов Д.И. Сравнение эффективности алгоритмов динамического распределения данных в облачных хранилищах системы дистанционного обучения // Системы управления и информационные технологии. 2012. № 4.1. С. 163-168. 9. Парфёнов Д.И. Сравнение эффективности алгоритмов динамического распределения данных в гибридных облачных системах дистанционного обучения // Информационные технологии моделирования и управления. 2012. № 6 (78). С. 491-498. 10. OpenStack Open Source Cloud Computing Software. [Электронный ресурс]. Режим доступа: http://www.openstack.org/ XII ВСЕРОССИЙСКОЕ СОВЕЩАНИЕ ПО ПРОБЛЕМАМ УПРАВЛЕНИЯ ВСПУ-2014 Москва 16-19 июня 2014 г.
