Распределение наборов неоднородных по размеру заданий в

Распределение наборов неоднородных по
размеру заданий в кластерных системах на
основе ClassAd механизма
Голубев Александр Юрьевич, 542 группа
Научный руководитель: Вахитов А. Т.
Рецензент: Граничин О. Н.
Актуальность
• Решение вычислительно сложных задач,
связанных с научными экспериментами,
сводится к вычислению большого количества
неоднородных по размеру заданий
• Применяющиеся в кластерных системах
алгоритмы распределения заданий не
эффективны для подобных вычислений
• Необходим балансирующий нагрузки
алгоритм, реализованный на универсальной
системе
Математическая постановка
• Размеры заданий в таких наборах характеризуются
ограниченным распределением Парето с параметром 1 <
a < 2:
a a
1 k x
F ( x) 
,k  x  p
a a
1 k p
• Необходимо получить алгоритм распределения,
минимизирующий дисбаланс между нагрузками Li(x)
машин:
1 n 1 n
M  E    L j ( x)  Li
 n i 1 n j 1




Результаты
• Интервальный алгоритм с уравнивание
нагрузок лучше других справляется с задачей
эффективного распределения набора
неоднородных по размеру заданий
• Значения границ интервалов, обнуляющих
целевую функцию:
1
 ip  a 1 (n  1)k  a 1   a 1
xi  


n
n


• Алгоритм реализован на инфраструктуре
Condor с помощью механизма ClassAd
Моделирование
• 16 ядер были разделены на 4 класса по размерам
заданий, которые они берут.
• Было отправлено 400 заданий. Оценивая ClassAd
выполненных работ, получено:
Моделирование и вывод
• В смоделированной ситуации: M  35.5
т.е. разбалансировка составляет 18 % от
среднего времени вычисления
• Подобное значение является неплохим для
практики результатом
• При увеличении размеров и количества
заданий этот процент уменьшается
Литература
• M. Harchol-Balter, M. E. Crovella, C. D. Murta. On
Choosing a task Assignment Policy for a Distributed
Server System // In Proceedings of Performance
Tools, Lecture Notes in Computer Science, Vol. 1468,
pp. 231-242, September 1998
Спасибо за внимание!
Вопросы?