Books - Высшая школа экономики

Министерство экономического развития и торговли
Российской Федерации
Государственный университет –
Высшая школа экономики
Факультет БИЗНЕС-ИНФОРМАТИКИ
Программа дисциплины
Стохастическое Моделирование
для направления 010500.68 – Прикладная математика и
информатика подготовки магистра
Автор Жуков Л.Е. ([email protected])
Рекомендовано секцией УМС
«Бизнес-информатика»
Председатель
______________ Г.А.Лёвочкина
«___» _________200_ г
Одобрено на заседании
кафедры анализа данных и
искусственного интеллекта
Зав. кафедрой
_______________С.О. Кузнецов
« »
2006 г.
Утверждено УС факультета
бизнес-информатики
Учёный секретарь
___________
А.И. Олейник
«___» ________200_ г.
Москва
Программа дисциплины Стохастическое Моделирование (Анализ
комплексных сетей) для подготовки магистров по направлению 010500.68 (магистерская
программа «математическое моделирование»)
I. Пояснительная записка
Автор программы: Л.Е. Жуков, Ph.D
Требования к студентам: Изучение курса "Стохастическое Моделирование" («Анализ
комплексныx сетей») требует предварительных знаний по теории вероятности, линейной
алгебре и теории алгоритмов (курс «Дискретная математика»).
Аннотация. Дисциплина “Стохастическое Моделирование” предназначена для подготовки
магистров по направлению 010500.68 (магистерская программа «математическое
моделирование»)
В последние годы ученые, занимающиеся исследованиями в самых разных областях науки,
обнаружили, что во многих сетях - от интернета и энергетических линий, до экономических
сетей и метаболической системы клетки - доминирует относительно небольшое число узлов
(концентраторов), имеющих огромное количество связей. Таким структурам свойственна
масштабная инвариантность и их поведение подчиняется определённым закономерностям:
например, они необычайно стойки к случайным отказам, но чрезвычайно уязвимы для
скоординированных атак. Понимание общих принципов построения и функционирования
сети, независящих от способа реализации, поможет решить многие прикладные задачи.
Изложение курса начинается с повторения основных понятий теории графов. Далее
рассматриваются теоретические модели безмасштабных сетей и иx основные свойства:
степенное распределению степеней узлов (power law), высокий коэффициент кластеризации
(корреляция между соседями) и малое среднее расстоянию между узлами. Рассматривается
три основных класса моделей: классические случайные графы (Erdos-Renyi), модели роста
Barabasi-Albert и комбинированная модель Watts-Strogans. В последнее время социальные
сети оказались в центре внимание пользователей интернета и представляют яркий пример
безмасштабных сетей. В курсе изучаются их многочисленные структурные и групповые
свойства с точки зрения математики, а также экономики и социологии. Интернет (WWW)
на сегодня является самой большой масштабно-инвариантной сетью и следующая часть
курса посвящена изучению его свойств и алгоритмам автоматического поиска и
ранжирования веб сайтов. В последней части курса рассматриваются двудольные графы и
их применение в e-commerce, рекомендационных системах, рекламных сетях и интернет
аукционах.
Учебные задачи курса.
Данный курс знакомит студентов с новой и активно развивающейся областью –
комплексными сетями и их применением в социологии, поисковых интернет системах,
электронной коммерции. Студенты получат практические навыки анализа и обработки
сетевых данных, программирования на Matlab а также использования средств визуализации
информации.
II. Тематический план курса "Дискретные структуры"
№
Название темы
Всего часов по
дисциплине
Аудиторные часы
Лекции
Самостоятельн
ая работа
1 Обзор курса, введение в
8
2
Сем. и
практика
занятия
2
2 Основы теории графов и
8
2
2
4
3 Случайные графы и
10
2
2
6
4 Масштабно – инвариантные
10
2
2
6
5 Степенной закон распределения
10
2
2
6
6 Анализ социальных сетей
20
4
4
12
7 Структура интернета и
20
4
4
12
8 Алгоритмы для электронной
20
4
4
12
106
22
22
62
комплексные системы
линейной алгебры.
стохастические сети
(scale-free) сети, феномен малого
мира (small world)
(power law), закон Zipf.
поисковые системы
коммерции (e-commerce), сетевая
реклама
Итого
4
Литература по курсу
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
Albert-Laszlo Barabasi and Eric Bonabeau. Scale-Free Networks, 2003.
L.A.N. Amarala and J.M. Ottino. Complex networks: Augmenting the framework for the
study of complex systems, 2003.
R. Albert and A.-L. Barabasi, Statistical mechanics of complex networks, Rev. Modern
Phys., 74 (2002), pp. 47–97.
M. E. J. Newman. The Structure and Function of Complex Networks, 2003
S. N. Dorogovtsev and J. F. F. Mendes, Evolution of networks, Adv. in Phys., 51 (2002),
pp. 1079–1187.
A.-L. Barabasi and R. Albert, Emergence of scaling in random networks, Science, 286
(1999), pp. 509–512.
D. J. Watts and S. H. Strogatz, Collective dynamics of “small-world” networks, Nature,
393 (1998), pp. 440–442.
M. E. J. Newman, Models of the small world, J. Statist. Phys., 101 (2000), pp. 819–841.
M. E. J. Newman, Power laws, Pareto distributions and Zipf's law, Contemporary Physics
46, pp 323-351 (2005).
M.L. Goldstein, S.A. Morris, and G.G. Yena,Problems with fitting to the power-law
distribution, Eur. Phys. J. B 41, pp 255–258 (2004).
L.C. Freeman, Centrality in Social Networks Conceptual Clarification, Social Networks
1, pp 215-239 (1978/79)
L. Page, S. Brin, R. Motwani, and T. Winograd, The Pagerank Citation Ranking:
Bringing Order to the web, technical report, Stanford University, Stanford, CA, 1998
Books:
Social Network Analysis: Methods and Applications. Stanley Wasserman, Katherine
Faust. Cambridge University Press, 1995.
2. Small Worlds: The Dynamics of Networks between Order and Randomness. Duncan J.
Watts, Princeton University Press, 2003
3. Mining the Web: Discovering Knowledge from Hypertext Data. Soumen Chakrabarti,
Morgan Kaufmann, 2002)
1.
Формы контроля и структура итоговой оценки.
Текущий контроль – домашнее задание.
Промежуточный контроль – зачет в конце первого модуля (120 мин);
Итоговый контроль – письменный экзамен (120 мин.)
Итоговая оценка складывается из следующих элементов:
- домашнее задание - 10%;
- письменный зачет – 25%
- проект – 30%
- письменный экзамен – 35%
Программа курса
Стохастическое Моделирование" («Анализ комплексныx сетей»)
Тема 1. Обзор курса, введение в комплексные системы
Комплексные сети, примеры безмасштабных (масштабно-инвариантных) сетей, интернет,
социальные сети, технологические сети, экономические и бизнес сети, финансовые сети,
надёжность и устойчивость сетей.
Основная литература
1.
2.
Albert-Laszlo Barabasi and Eric Bonabeau. Scale-Free Networks, 2003.
L.A.N. Amarala and J.M. Ottino. Complex networks: Augmenting the framework for the
study of complex systems, 2003.
Дополнительная литература
R. Albert and A.-L. Barabasi, Statistical mechanics of complex networks, Rev. Modern
Phys., 74 (2002), pp. 47–97.
2. M. E. J. Newman. The Structure and Function of Complex Networks, 2003
3. S. N. Dorogovtsev and J. F. F. Mendes, Evolution of networks, Adv. in Phys., 51 (2002), pp.
1079–1187.
1.
Тема 2. Основы теории графов и линейной алгебры
Графы, узлы, ребра, матрица смежности, направленные графы, деревья, степени узлов,
распределение степеней узлов, путь, кратчайший путь, геодезическое расстояние, диаметр
графа, связанные и сильно связанные компоненты, поиск в глубину, поиск в ширину,
разряженные матрицы, собственные значения и собственные вектора
Основная литература
1.
2.
А.А. Зыков, Основы теории графов, М., Наука, 1987.
Ф. Харари, Теория графов, М., Мир, 1973.
Тема 3. Случайные графы
Модели Erdos-Renyi случайных графов, биномиальное распределение степеней,
распределение Пуассона, фазовый переход, гигантская связная компонента, критические
значения , средняя длина пути, коэффициент кластеризации.
Основная литература
R. Albert and A.-L. Barabasi, Statistical mechanics of complex networks, Rev. Modern
Phys., 74 (2002), pp. 47–97.
2. M. E. J. Newman. The Structure and Function of Complex Networks, 2003
1.
Дополнительная литература
3.
S. N. Dorogovtsev and J. F. F. Mendes, Evolution of networks, Adv. in Phys., 51 (2002), pp.
1079–1187.
Тема 4. Масштабно-инвариантные сети
Понятие «малого мира”, модель Watts-Stroganz, решёточные графы, Moore граф, Caley
деревья, безмасштабные сети, модели роста, модель предпочтительного присоединения
Barabasi-Albert, непрерывное приближение, средняя длина пути, кластерный коэффициент
Основная литература
A.-L. Barabasi and R. Albert, Emergence of scaling in random networks, Science, 286
(1999), pp. 509–512.
2. D. J. Watts and S. H. Strogatz, Collective dynamics of “small-world” networks, Nature, 393
(1998), pp. 440–442.
3. M. E. J. Newman, Models of the small world, J. Statist. Phys., 101 (2000), pp. 819–841.
1.
Дополнительная литература
R. Albert and A.-L. Barabasi, Statistical mechanics of complex networks, Rev. Modern
Phys., 74 (2002), pp. 47–97.
2. M. E. J. Newman. The Structure and Function of Complex Networks, 2003
3. Small Worlds: The Dynamics of Networks between Order and Randomness. Duncan J.
Watts, Princeton University Press, 2003
1.
Тема 5. Степенной закон распределения (power law)
Генерирующие модели, математическое ожидание, средние влелечины, расходимость
моментов, минимальные значения, нормировка, распределение Pareto, частоты слов, закон
Zipf, зависимость ранг – частота, MLE наиболее вероянтая оченка параметров
распределения из данных, функции рапспределения и плотности функций распределения
Основная литература
M. E. J. Newman, Power laws, Pareto distributions and Zipf's law, Contemporary Physics 46,
pp 323-351 (2005).
2. M.L. Goldstein, S.A. Morris, and G.G. Yena,Problems with fitting to the power-law
distribution, Eur. Phys. J. B 41, pp 255–258 (2004).
1.
Дополнительная литература
R. Albert and A.-L. Barabasi, Statistical mechanics of complex networks, Rev. Modern
Phys., 74 (2002), pp. 47–97.
2. M. E. J. Newman. The Structure and Function of Complex Networks, 2003
1.
Тема 6. Анализ социальных сетей
Направленные и ненаправленные отношения, акторы, радиус и диаметер графа, центр
графа, центральности узлов: степенная, промежуточная, центральность по близости,
центральность графа (сети) по Фриману, престиж, ранг (статус) престиж, престиж по
собственным векторам, стохастические матрицы
Основная литератрура
1.
L.C. Freeman, Centrality in Social Networks Conceptual Clarification, Social Networks 1, pp
215-239 (1978/79)
Дополнительная литература
1.
Social Network Analysis: Methods and Applications. Stanley Wasserman, Katherine Faust.
Cambridge University Press, 1995.
Тема 7. Структура интернета и поисковые системы
WWW как граф, структура интернета, источники и стоки, случайные блуждания на графе,
Марковские процессы, алгоритм PageRank, hubs и authorities. Архитектура поисковых
систем.
Основная литературa
Broder, R. Kumar et al, Graph structure in the the web. Proceedings of the 9th international
World Wide Web conference on Computer networks, p 309-320, 2000
2. L. Page, S. Brin, R. Motwani, and T. Winograd, The Pagerank Citation Ranking: Bringing
Order to the web, technical report, Stanford University, Stanford, CA, 1998
3. J. Kleinberg. Authoritative sources in a hyperlinked environment. Proc. 9th ACM-SIAM
Symposium on Discrete Algorithms, 1998.
1.
Дополнительная литература
1. Mining the Web: Discovering Knowledge from Hypertext Data. Soumen Chakrabarti,
Morgan Kaufmann, 2002)
Тема 8. Алгоритмы для электронной коммерции (e-commerce),
Основная литература
1. Mining the Web: Discovering Knowledge from Hypertext Data. Soumen Chakrabarti,
Morgan Kaufmann, 2002)
Дополнительная литература
1. Websites: Amazon, Google Adwords, Yahoo Music, Yandex Direct
Тематика заданий по различным формам текущего контроля:
1.
2.
3.
4.
5.
6.
7.
8.
Bводные понятие и примеры комплексных систем
Понятие графов, классические алгоритмы на графах
Распределение степеней узлов и фазовые переходы в моделях случайных графов
Распределение степеней узлов, коэффициент кластеризации и средняя длина пути в
моделях Watts-Strogans и Albert-Barabasi
Свойства степенных распределений, особенности распределений Pаreto и Zipf
Понятие центральности и престижа в социальных сетях
Структура интернета, математические основы рангирующих алгоритмов
Двудольнуе графы и их применение в е-commerce
Вопросы для оценки качества освоения дисциплины
Тема 1.
a) Какие системы и сети называются комплексными (масштабно инвариантными)
b) Привести примеры комплексных сетей
Тема 2.
a) Дать определение расстояние между узлами на графе
b) B чем отличие между понятиеми связанные и сильно связанные компоненты?
c) Дать определение собственными значениями и собственными векторами матрицы
Тема 3.
Для графов изображенных на рисунке, определить:
a) Какой из приведённых графов был наиболее вероятно сгенерирован используя ErdosRenyi модель G(n,p) с N=5 и p=0.3 . Почему?
b) Чему равна средняя ожидаемая степень узла при данных параметрах модели?
c) Какой из графов (если есть такие) не мог быть сгенерирован этой моделью?
Темa 4
a) Вычислить диаметр, среднюю длину пути и коэффициент кластеризации для Moore
graph (Caley tree)
b) Вычислить рапсределение степеней узлов в модели Barabasi-Albert при условии
равновероятностного присоединения, P(k) = 1/(m_0 + T)
Тема 5.
a) В чем заключается распределение (закон) Zipf? Как оно связано со степенным
распределением (power law)?
b) Что такое rank-frequency plot ( ранг – частота) ?
c) Привести пример распределения Zipf
Тема 6.
Для данной сети найти:
a)
b)
c)
d)
e)
f)
Радиус и диаметр
Центр графа и переферийные узлы
Узлы с наибольшей и наименьшей степенной центральностью.
Узлы с наибольшей и наименьшей betweenness центральностью.
Кластерные коэффициенты узлов 1,4,7,9,11
Среднюю величину степенной центральности графа и коеффициент степенной
центральности графа по Фриману
Темы 7-8.
a) Для данного графа написать матрицу смежности. Какое будет конечное
(стационарное) распределение собственного вектора eigenvector престижа в этой
сети ?
А
B
E
C
D
b) Для данного графа написать матрицу смежности и вычислить стационарное
распределиени собственного вектора (eigenvector) престижа и соответствующее
собственное значение (eigenvalue)
1
3
2
c) Изменим направление одного из ребер в сети (b) на противоположенное. Как
измениться рапсределиние престижа? Возможен ли его прямой расчет как в
предыдущем случае? Если нет, предложите какой-либо способ для “исправления”
ситуации.
Автор программы: _____________________________/ Л.Е. Жуков/