Тексты лекций, часть 2

00:05:08
-Давайте быстренько посмотрим OpenRefine… извините за мою стремительность…
Я подготовила краткую… мы пишем, да?
---- заставка----00:06:05
-Как у нас здесь шутка прозвучала, обещаю быстро, не больно и самое простое.
Итак, мы вкратце смотрим что же собой представляет OpenRefine, бывший Google
Refine, а так же я написала некую последовательность действий как его грузить,
откуда грузить. Итак, предположим что мы зашли на сайт, от куда мы его можем
скачать.
00:07:00
То есть OpenRefine download... на самом деле всё ищется в два клика буквально. На
самом деле, чтобы его загрузить, мы сейчас грузить не будем, я хотела просто
показать с нуля, что это очень просто. Скачивается обычный архив, zip-архив под
системы семейства Windows, операционные системы и собственно, просто файлы
разархивируются и даже не требуется каких-то отдельных… так, у нас с
интернетом здесь проблемы, но в общем на этой странице должно было быть
некое… точнее в этом месте должна быть веб-страница, с которой можно
загрузить, собственно, этот софт… а, грузится. Отлично. Мы видим что мы можем
загрузить последние версии в разделе Download, мы в нём и находимся.
00:07:56
Здесь есть под Виндус, под Мак и Линукс определённые так называемые
инструментарии. Итак, грузим OpenRefine, так… секунду… как всё запущено…
00:08:20
------- перерыв------00:25:32 Иван
- Коллеги, у нас небольшие технические сложности, поэтому с демонстрацией
OpenRefine будем чуть меньше, а то что попытаемся показать, будем чуть больше.
Я покажу тогда не только свою презентацию, а презентацию Андерса Петерса из
Опен спендинг, которая тоже касается бюджетов. И OpenRefine мы посвятим
отдельное занятие, которое у нас будет, которое будет посвящено только ему.
Начинаем. Меня зовут Иван Бегтин,, вы меня все знаете, представляться, я думаю,
не нужно. Визуализация бюджетов, программное обеспечение с открытым кодом
для журналистики данных. В качестве вступления, что такое бюджет – все знают,
можно не задавать этот вопрос. Что такое деньги, что такое государственные
деньги, что такое вообще, в принципе как с ними работать – это одна из таких
ключевых тем. И люди, которые как-либо работают с государственной
информацией, коллеги, просьба, тихо!
00:26:26
Люди, которые работают с государственной информацией, они конечно, всегда
начинают с финансов. Потому что финансы – это вопрос, куда идут наши деньги.
Поэтому моя презентация будет посвящена тому как такие проекты делаются, как
люди мониторят куда идут государственные расходы. Я пока не буду углубляться
очень-очень глубоко, но по крайней мере то что происходит в мире, то что
происходит в России, основные проекты и плюс как это можно сделать самим в
сравнительно короткие сроки. Открытые бюджеты в мире. Опен спендинг – это
проект, с которого стоит начинать. Openspending.org – это ключевой проект по
открытости бюджетов в мире по той причине что ребята, которые его сделали – это
ребята с Open Knowelege Foundation, которые создали платформу, в которую
каждый человек может загрузить информацию о бюджете.
00:27:20
То есть вы открываете этот сайт, открываете там раздел Help, там есть помощь,
можете прочитать гайд, можете вот Upload a visualised data, можете загрузить туда
существующие данные, которые у вас подготовлены предварительно, это довольно
не сложно и добиться того что эти данные будут очень красиво визуализированы и
они будут не единственные, по одной Нигерии там 14 массивов данных загружено.
По Соединённым Штатам – 16 массивов. По Великобритании куча, куча по другим
проектам, по многому другому. Опенспендинг – это точка старта, это то где вы
найдёте всё самое интересное, это проект с открытым исходным кодом, он
полностью доступен на git-хабе, у него куча компонентов, которые в нём
присутствуют, тоже открыта и очень многие проекта, которые появляются, в том
числе в России, они собственно, сделаны на его основе. Следующий проект – это
куда идут наши деньги, where does my money go – куда идут мои деньги. Этот
проект сделан, опять же, Open Knowelege Foundation на основе британских данных
о государственном заказе.
00:28:22
Они это сделали не просто так, они это сделали с визуализацией на карту
Великобритании, они это сделали сразу с визуализацией бабл три. Специально
разработанного компонента, вот он тут слева виден в упрощённом виде и вот в
виде картинок. То есть они нарисовали иконки, они нарисовали этот бабл три,
заказали специальному человеку, который это делал и ещё сумели нарисовать на
картах, то есть у них counting regional analizis. И они показывают сколько денег
приходится по той, или иной статье расходов, на каждого человека, на единицу, это
всё опять же с открытым исходным кодом, это всё доступно и более того,
некоторые наши проекта российские используют эти компоненты. Например, наш
проект «Открытая полиция» был построен на основе бабл три, который они
использовали. То есть мы взяли их открытый код, использовали его сами и
визуализировали у себя на сайте.
00:29:06
The Open Budget. Вот эта красивая разноцветная диаграммка с кучей разных слоёв
– это один из видов таких вот чартов сложных визуализации, где на каждом уровне
разный уровень детализации. То есть сначала какой департамент, потом
поддепартамент, какие темы, потом конкретные статьи расходов и многое другое.
И они тут сделали тоже 13-14 год, 12-13, общие расходы, то есть какое-то красивое
визуализация. Что самое уникальное в этом проекте? Что самое привлекательное?
Давайте, может быть на вскидку кто-нибудь из вас догадается?
(Ответ из зала)
- Сфера влияния денежная, которая в определённом направлении…
(Иван)
- Ещё какие-нибудь есть предположения, что уникального именно в этом проекте,
который был по открытому бюджету? Ну давайте я вам скажу – он был сделан за 2
дня. Это в Австралии, как и в России, проходят всякие хакатоны.
00:29:58
На хакатон пришли люди и сказали – «А давайте мы визуализируем бюджет
Австралии» и пришли программисты, которые сказали – «А мы это сделаем». И
вот они за 2 дня хакатона сделали вот такую клёвую штуку, она очень простая,
чрезвычайно простая, но очень наглядная. Если открыть theopenbudget.org, то его
можно увидеть. И это, в общем-то, судьба очень многих проектов, то есть чоень
многие из них появляются моментально, когда среда к этому готова, данные
подготовлены, просто дальше приходит программист, который – «О! Да я же
сбацаю это быстро» ион это сбацает. Это проект в Австралии. Это маленький город
в США, Окленд, у которого есть, разумеется, openbudgetoakland.org, сделанный
тоже проект активистами, где у них есть визуализация, данные, ресурсы в разных
форматах, вот это называется тримап-диаграмма, то есть когда различные крупные
блоки отображаются специализированным образом. В виде таких больших
кубиков, прямоугольников, это очень популярно для отображения именно
бюджетов, чтобы можно было увидеть
00:31:00
Где больше, где меньше, какова доля. И вы увидите что большая часть бюджетов,
даже предыдущие, они делаются одним и тем же образом. Надо детализировать
структуры, показать наглядно каким образом это происходит. Openbudgetoakland –
это пример того как это делают активисты в одном из американских городов. Это
открытый бюджет Польши. Это немного другая визуализация и визуализация,
опять же, с открытым исходным кодом. Все проекты, которые я здесь привожу по
большей части, все зарубежные – они с открытым исходным кодом. И в принципе,
не обязательно даже уметь программировать, можно найти интересный проект,
найти программиста и сказать – «Вот есть данные, есть такая интересная
визуализация, возьми их пожалуйста и сделай для нас. Хотим визуализировать
бюджет своего университета. Вот у нас есть ресурс, где можно найти бюджеты
всех университетов, пожалуйста, можно его визуализировать, показать сколько
уходит на зарплаты, а сколько уходит на что-то менее полезное.»
00:32:02
Это Польша. Соответственно, вот здесь уже немножко другая модель
визуализации, но опять же, они пытаются упаковать несколько слоёв смысла в
одну картинку. То есть все диаграммы бюджетов нелинейные, я дальше объясню
на примере российского почему так происходит. Государственные финансы –
довольно сложная тема. Бюджет города Берна. Берн – это город в Швейцарии. На
портале bern.budget.opendata.ch, на самом деле там приведено около десятка
городов, я беру Берн исключительно как пример. Опять же, это система с
открытым исходным кодом, то есть она доступна полностью как она есть. Здесь
показывает в виде круговых диаграмм и у них акцент на том что «получаю деньги»
и на том что деньги, соответственно, они тратят.
00:32:59
Ещё одно прекрасное министерство финансов в мире, израильское, которое опять
же, вот это, то что мы видим, нам может показаться что было потрачено много
денег, это не так. Люди, которые это сделали, на самом деле в начале, группа
израильских активистов, озаботились открытостью израильского бюджета, взяли и
сделали это проект независимо, через некоторое время израильское министерство
это увидело и сказало – «Давайте это возьмём как оно есть, типа нам уже платить
за это не надо» и они это сделали уже государственным, вот и всё. То есть это
главное отличие от того как это происходит в мире и в России. В России на это
тратится десятки-сотни миллионов рублей, в мире обычно какие-то активисты чтото сделают, а потом приходят большие политики и говорят – «О! Тут можно
задарма и давайте мы это используем.» Это одно из отличий их политических
систем. Потому что если потратить много денег, (неразборчиво) потом спросит –
«А что это вы так?»
00:33:52
Это пример Израиля, он вполне простой, понятный, тоже с открытыми данными,
на них основанный и их предоставляющий. В начале я хотел рассказать в качестве
вводной, какие проекты делались в мире и как это вообще происходит. Это проект
offenerhaushalt… я плохо говорю по-немецки… Австрия. Это проект без открытого
исходного кода, мне не удалось его найти, один из немногих зарубежных проектов,
не открывающий код, но при этом этот проект сделан Банком Австрии. То есть на
самом деле – это проект полукоммерческой компании, Банк Австрии, на сколько я
понимаю, это государственный банк, но он как раз тоже прозрачный. Показывают
– «А мы вот такие открытые, мы помогаем открытости.» Отличается он тем что он
полугосударственный портал, но на нём собрали все бюджеты, не только
федеральный бюджет, но и бюджеты всех регионов австрийских, можно открыть и
посмотреть по каждому австрийскому региону информацию. Визуализация очень
простая, опять же, они все любят тримапы и некоторые визуализации по времени,
например по тому как это тратилось по различным статьям расходов и плюс
возможность получить данные себе.
00:35:02
Мы переходим к коммерческим проектам. Пока у нас в России тема открытых
бюджетов только заводится, на западе есть уже порядка пяти компаний, которые
активно продают решения по визуализации бюджетов. Вот opengov.com, они
недавно купили этот домен, они сделали уже порталы примерно 15-ти
американских городов по открытости бюджетов. Выглядит примерно вот так, то
есть они показывают как происходят расходы с возможностью визуализации,
фильтрации, просмотра по годам, по изменениям и многим другим критериям. Это
коммерческие проекты, обычно они продаются как сервисы. Различных городов, то
есть избираемый губернатор, когда говорит что он, или кандидат в мэры какогонибудь города скажет – «А ещё мы визуализируем наш бюджет открыто,
прозрачно» то есть это – инструмент поддержки политических обещаний по
открытости. Собственно, таким образом это всё и продаётся.
00:36:00
Это второй проект, называется budgetvision.com, здесь его создатели, я пока не
понимаю чего они хотят добиться, но они собирают бюджеты самые разные, до
местных сообщество, вообще все-все, хотят консолидировать в одну платформу и
дать тем кто из регионов заинтересован, возможность редактировать, каким-то
образом дополнять информацию и так далее. То есть, похоже, они хотят
консолидировать всю информацию и дать возможность участникам бюджетного
процесса каким-то образом там заводить платные аккаунты. То есть, фактически,
сейчас открытый бюджет – это визуализация плюс ещё коммерческая тема, потому
что на этой визуализации начинают многие вполне активно зарабатывать. Это,
конечно, без открытого исходного кода, здесь почти нет как таковой визуализации,
на самом деле она там в проекте есть, если вы посмотрите по другим, более
крупным городам, а не этот маленький, который я привожу в пример.
00:36:51
Usaspending.gov это один из немногих проектов, которые я приведу в пример,
которые идут глубже чем в бюджет. Мы знаем что есть бюджет, общие расходы
государства, на то что будет потрачено, а есть то чего фактически было заплачено.
Это называется государственный контракт. И государственный контракт – гораздо
более детализированная история за очень редким исключением, в которой
конкретно написано кому, за что, от кого пошли деньги, когда, с какой
детализацией и так далее. Иногда даже смета приводится. Usaspending – это портал
раскрытия государственных контрактов Соединённых Штатов. В России такой
портал тоже есть. Он не государственный, мной создавался несколько лет назад
rosspending, но данные раскрываются на закупки gov.ru, публикуется вся
информация по госконтрактам. Но государственного портала раскрытия
госконтрактов у нас нет. То есть так чтобы это было наглядно, удобно, с
красивыми графиками, так далее, они много лет уже пытаются сделать, но нет. Это
и технически сложная задача и задача, сложная политически, потому что там в
этом случае всё становится сразу видно наружу.
00:37:54
То есть на самом деле только порядка 5-ти стран, у которых есть такие проекты.
Россия тоже есть, но просто создано не государством.
Открытый бюджет города Нью Йорка. Это такой олдскульный тип визуализации
открытого бюджета, где они просто приводят кучу разных графиков
екселеподобного типа, это довольно давняя тема и город Нью Йорк, он уже много
лет таким образом публикует данные. У них открытый бюджет означает и
публикацию транзакций, данных, кучу документов, ещё дальше визуализация и
многое другое.
Город Арлингтон, вы можете посмотреть что это сделано очень просто.
Предыдущий Нью Йорк был без открытого исходного кода, Арлингтон с открытым
исходным кодом, можно его скачать, посмотреть и так далее.
00:38:46
Иногда можно сделать универсальный компонент, в котором можно
визуализировать, иногда универсальные компоненты не получаются, в Арлингтоне
они пошли по пути что – «Давайте набьём разными графиками, покажем на одной
странице и с большими подробностями.» Это опять же проект с полностью
открытым исходным кодом, он доступен на git-хабе, его можно посмотреть, как
всегда используют тримапы и плюс ещё сочетания других графиков.
У этого проекта нет какой-то нормальной ссылки, он сделан активистами. Просто
когда данные доступны, появляется какой-то активист, американец, который хочет
проследить куда идут наши деньги. И он сделал проект по визуализации
федерального бюджета по годам внизу и вверху по темам. И здесь я начну
говорить об особенностях бюджета, о том как это происходит, о чём дальше
поговорю подробнее. Бюджет – это сложная штука для визуализации.
00:39:41
То есть есть у вас, к примеру численность населения, или число преступлений на
1000 человек, или что-то ещё. Механизмы визуализации довольно ограничены. Вы
можете визуализировать только на карты наложить, таблицы, может быть какимито простыми графиками, но у вас пространств для визуализации не много. В
принципе у вас некоторая иерархия может быть географическая, но не более того.
Когда мы говорим про бюджет, бюджет сложно устроен. У бюджета есть
несколько уровней, у бюджета есть те кто тратят, есть то что тратится, есть как
тратится и ещё есть по годам, как это потрачено по годам утверждено и ещё есть
отделение как запланировано и как потрачено, а ещё есть сложность что в бюджет
вносятся изменения, а ещё там есть много других сложностей, поэтому когда мы
погружаемся в эту тему очень глубоко, мы понимаем что там можно, в общем, не
начинать. То есть это просто ад, кошмар и ужас. И каждый раз визуализировать
бюджет лучше всего получается у тех кто в нём мало разбирается.
00:40:39
Потому что я в бюджете разбираюсь уже хорошо и меня в казначействе сожрут с
потрохами, скажут – «Ты же понимаешь как это работает, почему ты сделал так
плохо?» А если делает кто-то, кто не так глубоко погружён, то всегда можно
сказать что люди делают попытки, классно, пусть не полно, но это интересно. В
любом случае, идеально охватить невозможно, это очень сложная финансовая тема
и здесь попытка каким-то образом совместить визуализацию по годам с
визуализацией хотя бы по темам. Плюс у них там ещё есть всякие критерии, типа
изменения населения, как растёт бюджет, доля по населению, как растёт
инфляция, добавили некоторые другие уровни, которые можно коррелировать. То
есть если у нас есть какая-то тема, если у нас есть изменение структуры населения,
то есть можно видеть увеличение расходов на здравоохранение и увеличивается ли
после этого рождаемость.
00:41:37
Visualbudget.org я предлагаю сразу туда зайти, зарегистрироваться и посмотреть.
Это уникальные ребята, они придумали визуализировать бюджет, после чего они
поняли что это обойдётся дорого, пошли на сервер kickstarter.com и сказали –
«Чуваки, мы сделаем классный проект по визуализации бюджета, нам нужно
$20 000.» И они собрали их просто от людей. 170 человек их поддержало, они
собрали кучу денег и сделали такую визуализацию, там она показывает в
прототипе, но она довольно классно выглядит уже как прототип и я подозреваю
что она будет, если они доделают всё-таки, я надеюсь, то она будет выглядеть
супер. И там они начали уже совмещать и то как идут доходы, как идут расходы,
как это можно 3д уровне полетать.
00:42:28
Американцы любят такие проекты по визуализации, сравнение с другими странами
и многое другое. Уже в форматах инфографики, довольно сильно сделанные. Это
то как делают когда нет исходного кода и когда хотят сделать очень клёво, а
государственное бабло брать не хочется. Ну вот, собственно, одна из картинок от
туда, она мне очень нравится, у них вот так вот дефицит. Сразу видно, большой
чёрный кирпич, который лежит, это дефицит американского бюджета. То что они
берут снова у налогоплательщиков. Как всегда, эти проекты любят республиканцы
показывать. От куда у них возникает мотивация визуализировать –
конкурирующие две партии и одна другой обязательно должна какую-нибудь
гадость подложить.
00:43:20
Это бюджет города Нью Йорка, который я показывал ранее, это сделано просто
активистами в виде бабл-чарта, который можно сделать с помощью того же
(неразборчиво), о котором мы говорили, это очень клёвая штука просто в плане
того что активисты сами там опа – почему бы мне не сделать самому. Беру данные,
визуализирую, этих визуализаций у них чуть ли ни тысяча. Их очень много, я
привожу не все.
Мы подошли к проектам России. Их поменьше, но они тоже есть. Я приведу сейчас
не все, но по крайней мере те, которые я знаю.
Бюджет Москвы. Открытого исходного кода нет. Здесь модель другая, здесь была
реформа по изменению того что происходило в Москве, это реформа бюджетной
системы, там много расходов было на внутреннюю систему. Вот у этой внутренней
системы есть некая внешняя часть, которую московское правительство сейчас
показывает как пример открытости.
00:44:15
От большинства зарубежных проектов отличается отсутствием исходного кода.
Там на самом деле малое количество открытых данных и то что на это потрачено
довольно много денег. Но при этом это открытый бюджет, да. Для потребителя это
примерно тот же уровень открытости, что и по всем предыдущим проектам.
Отличия только вот такие.
Это Россия и не Россия одновременно. Вот бабл три, которые я вам показывал куда
идут наши деньги, мы взяли в проекте «Открытая полиция» применили и
визуализировали эти данные таким вот образом. То есть не мы сами, мы нашли
человека в России, который это сделал. Мы собрали данные о бюджете,
подготовили их, переслали их специалисту, который занимается инфографикой. Он
взял этот компонент, подготовил их, включил туда и теперь у нас есть на сайте
Открытая полиция вот такая визуализация.
00:45:11
Я каюсь, обычно я люблю программировать, здесь я ничего не программировал. Я
только подготовил данные и переслал тому человеку, который это сделал. Поэтому
на моём месте так мог бы поступить каждый, отмазки что мы не умеем
программировать тут уже не годятся, ведь можно найти человека, который это
сделает. Тем более, это на самом деле не сложно. Вот, примерно так это выглядит,
то есть по клику на шарик раскрывается информация, более подробно можно
увидеть по каждой статье расходов. Здесь сразу можно увидеть что нет временного
разреза. Здесь нет возможности смотреть по годам. Нет возможности
переключиться сразу между этим годом, этим, сравнить их и так далее. Это одно из
ограничений сложностью этих данных в том что готовые компоненты охватывают
обычно какую-то область. По годам с разбивкой как растёт падает, либо это такие
тематические разрезы с разными уровнями симпатичности и интерактивности.
00:46:03
Это Россия, Красноярский край. Тоже олдскульного типа проект, это просто раздел
на их портале Красноярского края, называется – инфографика о краевом бюджете
на 2014 год, это путеводитель бюджета, они одни из немногих регионов, которые
эту информацию в принципе публикуют, но конечно, там никакого исходного кода
нет, там ничего такого полезного, кроме как посмотреть на то как это делают. И
здесь я оговорюсь, почему я привожу все эти примеры, чтобы если вы решите
сделать визуализацию… Здесь есть представители школы экономики, есть
представители других университетов, у нас есть портал, на котором публикуются
все бюджеты, вы хотите завтра сделать портал открытый бюджет МГУ, или
открытый бюджет ФизТеха, как это сделать? Вы открываете специальный портал,
находите эту информацию и вам надо понять, как это визуализировать. И для этого
есть два источника вдохновения.
00:47:00
То как это сделали другие, посмотреть как это и сделать это готовыми
компонентами, либо найти какой-то готовый компонент, что-то совсем готовое и
таким образом это произвести. То есть достаточно пищи для ума чтобы потом
можно было с помощью готовых инструментов это сделать в сравнительно
короткие сроки. Поэтому Красноярский край вот так это худо-бедненько один из
немногих российских проектов в этой области.
А это уже поинтереснее, открытый бюджет Тульской области, он находится у них
на сайте министерства финансов. Я забыл вставить ссылку, но его легко найти. Там
довольно красиво, интерактивно, похоже, там с государственным долгом, доходом,
расходами. Всё это неплохо сделано, неплохо реализовано технологически, но
опять же, это реализовано закрытым образом. Открытого кода нет, это дселано
чиновниками по заказу в рамках каких-то своих проектов.
00:47:55
Бюджет города Красноярска. Примерно точно так же, здесь всё ровно как с Тулой,
они используют типовые способы визуализации, плюс какие-то красивые
картинки. Очень простая графика, но опять же это всё делается по контрактам с
какими-то господрядчиками чаще всего.
Budget4me.ru это уже немного другого типа проект, это проект комитета
гражданских инициатив Алексея Кудрина, это проект негосударственный, хотя
Алексей Кудрин был там министром финансов. Как только он покинул наше
государство и возглавил некоммерческую деятельность, то он, в том числе,
запустил такой проект – открытый бюджет России и главное его отличие, не
смотря на то что он мне не очень нравится за некоторые визуализации, я скажу
честно, но вообще это вполне на мировом уровне. И среди того что делают
коммерческие компании, это довольно круто.
00:48:55
Единственный недостаток, я всегда это говорю и сколько говорил создателям, это
открыть исходный код. Открыть исходный код, открыть данные. Там это
предусмотрено, но пока ещё не сделано. В принципе, это интересный проект для
того чтобы посмотреть как это делается. Охват, конечно, в основном федеральные.
Охвата регионального там довольно мало.
Visualbudget.ru вот здесь у меня не получилось упаковать в картинку, это
интересный проект, сделан просто, он немножко не доделан, его делал Станислав
Шакиров, тот самый товарищ, который помогал нам по полиции, он помог нам по
полиции, потому что на самом деле делал свой проект большой интересный, в
котором он решил визуализировать всё. Сделать возможность загружать туда
данные, например как у penspending, то есть загрузите данные по любому
российскому региону, муниципалитету и визуализируйте ещё кучу разных
способов – бабл три, тримап, таблица. У меня не получилось…
00:49:50
А, вот. Что-то получилось. Визуализировано то что уже есть на карте, 19 бюджетов
всего, 9 федеральных, 2 региональных, 8 муниципальных. Это довольно
интересный проект, Станислав у нас был победителем maps for Russia, в
номинации гугл, он использовал гугловые карты. В принципе это… вообще, если
бы это было в другой стране, там конечно о как круто, замечательно. У нас на
открытость бюджета спроса большого нет, если честно, ни у власти, ни у граждан,
пока ещё, но всё меняется постепенно.
Это один из примеров того что происходить в России и это доступно всё с
открытым исходным кодом. Это главное отличие. Всё что здесь приведено, в конце
презентации у меня будут ссылки, я их все перешлю.
Поговорим о бюджете.
00:50:41
Всё это долгое время я рассказывал какие проекты делаются о бюджете, не сильно
вдаваясь о том как бюджет устроен, в частности российский. У него есть куча
всяких ограничений, особенностей и так далее, о которых очень важно поговорить
прежде чем во всё это дело ввязываться. Это всё не сложно, некоторым людям
даже нравится копаться в финансовой информации, считать чужие деньги – это
прекрасно. Тем не менее, это требует некоторых навыков чтобы те, кого ты
считаешь не могли сказать «мы ничего не понимаем.» Поговорим о бюджете. Где
найти? Бюджеты публикуются на сайте министерства финансов и на сайтах
парламентов. Как правило, бюджет – это есть закон, который утверждают. Закон о
бюджете, есть опять же принятые поправки, это оформляется в виде законов и
окончательная версия публикуется на сайте министерства финансов.
00:51:35
Здесь я могу дополнить что в принципе у нашего министерства финансов есть
некая дочка под названием росказначейство, федеральное казначейство, на которой
информация по бюджетам есть, но немножко в специфической форме. То есть там
информация не по тому что утверждено, а по тому что потрачено. Отчёты о
расходовании бюджета находятся именно там. Федеральных, региональных и так
далее. Поэтому если, например, захотеть визуализировать старые данные о том что
было реально потрачено, это можно зайти на сайт федерального казначейства
чтобы не рыскать по всем остальным местам, там в отчётах можно всё прекрасно
найти. Чаще всего – это документы exel, word, или HTML формата. То есть очень
редко информацию можно получить в других форматах, хотя на budget.gov.ru и
budget.mos.ru есть экспорт в XML, они очень ограниченные, их создатели не
сильно думали о том чтобы это было удобно, это просто какие-то таблички,
сдампленные в XML-файлы и чаще всего оказывается что взять екселевский файл,
его покрутить поанализировать удобнее чем работать каким-то другим образом.
00:52:36
Построчная детализация бюджета называется бюджетной росписью. Если вы
будете где-то искать, например на том же сайте минфина, раздел Бюджетная
роспись – это то самое место где… её можно получить вот там, ниже, бюджетная
роспись находится именно по этой ссылке, там все изменения, там бюджетная
роспись по доходам, бюджетная роспись по расходам и так далее. Бюджетная
роспись – это тот документ, который публикуется на дату. То есть например на
текущий момент они утверждены, на конец года, на следующий год, вот она есть.
Через несколько месяцев бюджет могут поменять. Ещё через несколько месяцев
могут принять новый закон, бюджетная роспись обновится. Поэтому бюджетная
роспись – это такой довольно живой документ и одна из особенностей всех данных
бюджета – они меняются в России довольно постоянно. Но на это иногда можно
забить, то есть можно просто взять определённую дату и сказать –«Вот мы сделали
бюджет за это время.» Например в 2008 году бюджет сильно поменялся, потому
что произошёл кризис. А в принципе он меняется обычно не очень сильно.
00:53:32
Наконец бюджетные данные визуализация, это можно сразу пойти на budget.gov.ru,
там довольно много данных и какая-то визуализация реализована, поэтому
источники данных основные – это сайты министерства финансов, казначейства и
budget.gov.ru, где по идее, в будущем должно быть всё. По крайней мере то что они
обещают. Как это будет на самом деле, посмотрим. Как это выглядит? Есть такой
раздел на сайте минфина, вот именно здесь на самом деле основная информация,
которую мы стартуем. Файл здесь второй, называется «Бюджетные ассигнования
по расходным средствам 13-й год и плановые 14-й, 15-й» на 3.8 мегабайта, это он и
есть. В этом ексель-файле всё приведено и всё довольно подробно расписано.
Выглядит как такая жуткая таблица, куча разных кодов.
00:54:26
Если бы у нас получилось подключиться, я просто бы вам это показал наглядно как
с ними работать, поэтому я пока просто расскажу на словах. Эта таблица устроена
довольно непростым образом и для того чтобы начать что-то визуализировать,
начать её анализировать, надо уметь её читать, о чём я дальше тоже проговорю.
Таблица состоит из… как устроена внутри, в справочнике. Если мы посмотрим эту
таблицу, здесь есть коды. Называется «Главный распределитель бюджетных
средств», раздел, подраздел, целевая статья и вид расходов. Всё это является
справочниками. Фактически там 4 справочника, на которые всё делится. Это
разные справочники, они довольно специфичны. Некоторые из них обладают
иерархией, некоторые довольно плоские. Если мы посмотрим, вот ГРБС – главный
распределитель бюджетных средств, например это министерство.
00:55:19
Министерство финансов, министерство сельского хозяйства. Другой пример –
государственная дума. Третий пример – верховный суд Российской Федерации.
Это очень крупные государственные структуры, которые, как правило, либо
упомянуты в конституции, либо каким-то образом подчиняющиеся президенту,
или правительству на самом верхнем уровне и которые определяют того как давать
другим деньги уже в дальнейшем. Они распоряжаются средствами, которыми
владеют сами и распределяют их по тому как куда их направить, кому их
направить, каким образом их направить. То есть там несколько форм. То есть это
ответственная организация. Следующее – это разделы. ФКР – функциональная
классификация расходов, это раздел и подраздел, это вот эти пункты – раз и два.
На самом деле подраздел включает полностью код раздела, но не название. Это –
тематика, то по какой теме расходуются средства.
00:56:14
Например национальная экономика, национальная оборона, охрана окружающей
среды, это такая тематическая разбивка на что идут наши деньги. Не более чем и
довольно верхоуровневая. Следующая часть – целевые статьи расхода – ЦСР. Вот
здесь написано целевая статья расходов. Это уже глубокая детализация того на что
по конкретной теме идут деньги. Целевая статья расходов, как правило, привязана
к разделу и подразделу, но они могут отличаться, то есть одна и та же статья может
присутствовать по разным подразделам. Поэтому это отдельный справочник, но он
очень детализированный и внутри него упакованы различные федеральные
целевые программы и так далее. У него примерно 4 уровня вложенности.
Следующее – вид расходов, код вида расходов – КВР, который определяет то как
деньги будут потрачены.
00:57:13
То есть каким образом они будут направлены. Есть несколько способов, то есть
деньги, которые выделены тому, или иному министерству, они могут быть
потрачены на субсидии – перечисления каким-то другим органам власти,
межбюджетная трансферта – передать другим бюджетам. Они могут быть
потрачены на государственные закупки, опять же , в разных формах, или на
выплату заработной платы, то есть некоторое количество направлений, по которым
они тратятся. Это есть виды расходов. И эти виды расходов делятся по иерархии
примерно на 3 уровня, например 200, 240, 242 – три цифры, три уровня. Целевые
статьи делятся на примерно 4 уровня по тому как они разделены просто по
иерархии и уже подразделы делятся на 2 уровня – раздел – подраздел, а ГРБС не
делится, это плоский справочник, просто список всех кто тратит деньги.
00:58:07
Вот пример как это сделано. Чтобы читать и разобраться как это устроено, есть две
ссылки, одна ссылка на портале budget.gov.ru, они каким-то образом, минфин,
нормально человеческим образом это написал как это устроено. Там не всё
исчерпывающе объяснено, но очень многое. И можно, открыв эту ссылку budget
system principles, прочитать как устроены бюджеты, что означают их коды. Так
чтобы можно было их читать в дальнейшем более-менее нормально. По ссылке,
которая ниже – это ссылка, которая написана мной несколько лет назад, как раз
когда в дискуссиях, в разговорах спрашивали что это означает, я просто написал
небольшую статью о том как считать региональные бюджеты, но это относится и к
федеральным. И там уже объяснено эти справочники, как они устроены, их
иерархия и конкретные примеры на бюджете Москвы.
00:59:00
Проблема: справочников нет. То есть всё что я писал там, КВР, ЦСР, ГРБС, их нет
в живом виде, то есть их нельзя скачать с сайта минфина и анализировать по ним.
Их никогда не публикуют и я не знаю как это сложилось, сознательно они это
делают, или просто никогда не возникало такой потребности, но их нет. Но их
можно реконструировать. Это вторая особенность. Если мы вернёмся к этой
табличке… я очень хотел показать в екселе, но не получится, придётся показывать
здесь в презентации, здесь по каждой строке вы видите что есть например строка,
одно поле заполнено, остальные пустые. Особенность в том что здесь в левом
названии, то что называется наименование показателя, там перемешаны названия
из всех справочников.
00:59:55
Если мы отфильтруем все где есть главные из пяти бюджетных средств, но нет
кода раздела, мы получим список всех ГРБС-ов. То есть они будут в левой части.
Если мы отфильтруем по тем у кого есть раздел, но нет подраздела, мы получим
весь список разделов, то есть вот эти коды, они будут дублироваться по каждому
из них. Если мы отфильтруем по подразделам, мы получим весь список вот этих,
если отфильтруем по целевой статье, мы получим все названия целевых статей и,
соответственно, по коду видов расходов то же самое. Поэтому из каждого
документа бюджета, из каждой бюджетной росписи она превращается в набор
справочников и бюджетную роспись. Это такое волшебное преобразование,
которое, как правило, не охватывает всего что есть в каком-нибудь министерстве
финансов на самом деле, там по всем целевым статьям, которых например, в этом
году ноль. Отменили статью, она в прошлом году была, в этом году нет, но, тем не
менее, это просто то что есть.
01:00:52
Здесь можно увидеть, по многим из них как всё это детализировано устроено, там
очень многие поля повторяются именно по этой причине. Поэтому первый шаг при
анализе российского бюджета, если это делать масштабно и правильно, то надо
конечно реконструировать все справочники, а потом всё нанизывать на эти
справочники. Но для более простых визуализаций, на самом деле, этого не нужно,
там другие способы, как например начать визуализировать только по
министерствам, или потом визуализировать только по целевым статьям, или только
функциональная классификация. Справочников нет – их можно реконструировать
и расшифровка. ГРБС – организации, ну просто для закрепления, то что я говорил.
Организации, у которых есть логотип, начальник, подчинение, иерархия, они могут
быть часть под президентом, часть под правительством, часть независимыми, это
организации, имеющие вполне физическое воплощение. ФКР – это темы.
Глобально темы, то есть здоровье, труд, что-то ещё.
01:01:53
То есть это тематика включительно. ЦСР – детализация. Не на совсем низком
уровне, но довольно сильно детализировано, в общебюджетной росписи больше
20 000 строк, там по-моему 28 000 строк в последней и большая часть из них – это
детализация по ЦСР. КВР – это то как расходуются, то есть именно то каким
образом происходит расходование средств, потому что если например на охрану
окружающей среды предусмотрены деньги по госзакупкам, значит будут
проведены госзакупки, а если предусмотрены субсидии, то будут субсидировать
предприятия, или другие бюджеты, которые будут это осуществлять. Это просто
разные модели управления нашими государственными финансами, которые не
всегда понятны нам самим.
Важные особенности. Я уже упоминал, бюджеты разбиты по годам всегда. В
бюджеты вносятся изменения по 3-4 раза в год.
01:02:47
Это минимум. На самом деле их вносят чаще. Это постоянно меняющиеся
документы и когда мы например, анализируем какой-то бюджет, там они
регулярно меняются. Справочники меняются год от года. В них добавляются
новые пункты, из них удаляются новые пункты, министерства ликвидируют,
создают, ГРБС не равно министерство. Каждое министерство является ГРБС-ом, не
каждый ГРБС является министерством. Кроме того, Российская Академия
Художеств и Российская Академия Наук тоже являются ГРБС-ами. То есть вся
война вокруг академий к этому и сводится, если говорить финансовым языком,
академия наук перестанет быть распределителем бюджетных средств. То есть она
будет исключена из всех финансовых транзакций, будет осуществлена как
потребитель, а модель тут очень простая, либо ты получаешь деньги от кого-то и
живёшь, либо тебе деньги утверждает госдума, когда ты ГРБС, а дальше ты
распределяешь их сам по собственному усмотрению. Поэтому всё остальное – это
просто нюансы, а реально ГРБС Российская Академия Наук перестанет
существовать в ближайшее время.
01:03:48
Список ГРБС меняется год от года, меняются полномочия, министерство
здравоохранения могут слить с министерством труда, могут разделить снова на
министерство труда, министерство энергетики могут уничтожить, могут
воссоздать, поэтому полномочия меняются и не всегда их можно сравнивать между
собой. Это касательно годового анализа, поэтому анализ в пределах одного года
всегда возможен, анализ по соседним годам чаще всего возможен по ФКР.
Сравнение по организациям иногда бывает затруднено. То есть если мы хотим
посмотреть на что они влияют – это одна ситуация, а если мы хотим посмотреть на
что тратятся деньги – это немножко другое. Расшифровка. Пример. Вот у нас есть
код – 020, 04, 0411, 1003899, 241. Ужасное число. Если кому-то показать, он
подумает что вы над этим человеком издеваетесь.
01:04:42
Например как коды КПК(?), есть много классификационных кодов, есть люди,
которые умеют читать ИНН, или ОГРН. Вот я умею читать ОГРН, обладаю этим
редким тайным скиллом. Я смотрю на чек в ресторане, или в кафе, в магазине и
могу понять, эта организация находится в Москве, в каком районе и так далее. То
же самое и здесь. По этим кодам, люди, которые занимаются госфинансами, они
понимают что это такое. 020 – Министерство Промышленности и Торговли
Российской Федерации, вот оно одно из первых. Это код ГРБС – первые три числа.
04 – национальная экономика. Здесь в бюджетной росписи дублируется код 04 и
0411, это просто избыточность. Дальше идёт уже более сложная вещь. Целевая
статья расходов здесь 1003899, но здесь есть некоторая иерархия.
01:05:28
Вот эти три числа, которые я привожу - 1000000, 1003800 и 1003899 – это три
иерархических кода, которые распространяются на эту целевую статью, то есть
целевая статья является реализацией федеральных мероприятий. На самом деле она
находится третьей в иерархии. То есть я показываю уровень справочника, вот здесь
был ЦСР1, ЦСР2, ЦСР3 и это всё входит в федеральные целевые программы,
которые подпадают под этот ФКР, но при этом это уровень детализации довольно
большой. И далее тут уже есть у нас как могут быть потрачены деньги по целевой
статье. Есть федеральная программа по гражданской авиации, у неё есть
реализация мероприятий, то есть не подпрограмма, а просто мероприятие,
направление и дальше разделено 200, 240, 241.
01:06:19
То есть мы знаем что у нас есть закупка товаров для государственных нужд – это
200, КВР1, 240 – это иные закупки, наконец научно-исследовательские, опытные и
конструкторские работы. Это опять же иерархия из трёх уровней. Если мы будем
это визуализировать, то есть мы проводили в бабл чарт, мы можем на самом деле
взять любой из этих срезов и по нему это визуализировать. Можем взять только вот
этот срез – раз, два и показать – национальная экономика и прикладные
исследования. Как они потрачены, как они устроены. Можем взять только первый
срез, можем показать министерства как они тратят между собой. Мы можем
сделать только целевые статьи, то есть сделать детализацию по этому, а дальше
сделать трёхуровневую иерархию по каждой из статей. Мы можем взять вообще
только виды расходов и показать каким образом у нас государство деньги… какие
механизмы у него есть для траты денег.
01:07:06
Можем попытаться любые два из этих справочников, КВР ЦСР, КВР ФКР, ГРБС
ФКР совместить и сделать иерархию визуализации. Нормально, когда я показывал
бабл чарты, чаще всего делают совмещение двух справочников, потому что больше
уже технически сложно. И делают обычно совмещение справочников ГРБС и темы.
То есть министерство финансов тратит на национальную экономику, министерство
экономического развития тратит на национальную безопасность и так далее. Вот
эти два. Но иногда можно их варьировать в зависимости от того какие цели мы
преследуем. То есть мы хотим показать что у нас бюджет государственный на
госзакупки увеличивается год от года, субсидии уменьшаются, больше денег идёт
на трату самими федеральными органами и меньше на то чтобы помогать другим
органам власти, можем использовать справочник КВР. Для этого надо уметь
расшифровывать, это полная строка того как это у нас происходит в бюджетной
росписи.
01:08:02
Как действовать. Это практически копия слайда того что было на прошлой
презентации, что делать когда вы хотите визуализировать. Первое, конечно, надо
достаточно глубоко погрузиться в тему, посмотреть всё что существует. Надо
подобрать инструмент визуализации. Их много. Часть из них я перечислил, часть
будет на следующем слайде,. Далее, найти данные по бюджету. Их надо найти,
убедиться что они в принципе существуют. Подготовить и привести данные в
удобный формат. Есть несколько способов визуализировать, есть способы, которые
нужны для инструментов, которые это делают, например бабл три, он использует
свой формат. Другие инструменты могут использовать что-то другое, проект open
spending использует свой формат, у Стаса Шакирова visualbudget предполагает ещё
один формат. Есть какое-то количество инструментов и поддерживаемых ими
форматов.
01:08:52
Нужно их привести. Наконец визуализировать, что на самом деле чрезвычайно
просто делается, я не смогу показать на этом ноутбуке, но в принципе, если
получится, лично покажу вам как это работает.
Инструменты. У нас ещё есть время. Открытый код. Весь этот список – это всё
проекты по визуализации бюджетов с открытым исходным кодом. Фактически,
если вы захотите что-то сделать, вы можете взять любой из них, какой больше
понравится. Австралийский проект The open budget (Australia), VisualBudget.ru – то
что сделал Стас Шакиров. Фреймворк, который Budget Visualization есть, Open
Spending, который есть, BubbleTree, который только компонент, польский
инструмент визуализации, их бесконечное количество.
01:09:46
Вам не нужно придумывать что-то своё, вы можете взять имеющееся и просто
написать там другие слова, вбить цифры и визуализировать бюджет чего вы
захотите. Университета, города, страны, или конкретного олигарха, это как вы
решите сами. Даже израильский бюджет открыт, собственно, от куда израильское
правительство это всё и сделало. Ну и наконец, я в начале думал презентацию
посвятить open spending, потом подумал что это будет наверное слишком. Вместо
того чтобы много рассказывать про open spending, я потом очень быстро покажу
презентацию Андерса Петерса. Которая красивая, там куча всяких интересных
гифок, но самое главное – она посвящена этому проекту и это сейчас один из
ключевых проектов. Проект Open Knowelege Foundation, в который вы можете
загружать данные и получать от туда данные.
01:10:36
Всё что там есть – оно общедоступно. И там уже десятки, по-моему несколько
сотен массивов всего, десятки по разным странам, которые можно скачать в
определённых форматах, опять же загрузить и получить быструю визуализацию
любого чего только захотите, можно там сделать. Там какие-то нигерийские
университеты опубликованы с бюджетами, там Кения, Танзания, кого ещё
привести в пример в Россией – Марокко. Многие африканские страны, но России
нет. По России там не хватает двух вещей – загрузки хотя бы одного бюджета, это
каюсь, в своё время у меня просто не дошли руки. Я занимаюсь темой давно, но я
делаю проекты по открытости бюджета в России. Мне не хватает просто сил и
времени чтобы загрузить что-то в Open Spending.
01:11:19
Поэтому я подбиваю всех у кого есть время и возможность. Это во-первых, помочь
с переводом гайда, видите, Open Sp[ending Guide, который есть, он на английском
языке и переведён уже примерно на 7. Вы можете помочь присоединиться к его
трансляции. И загрузить туда хоть какие-то данные. Посмотреть, разобраться и
загрузить любые очень простые данные нашего бюджета хотя бы данные по
какому-то набору министерств.
Источники информации, опять же budget.gov.ru, мос, минфин, федеральное
казначейство. Скажу честно, источников, разъясняющих как это устроено внутри,
очень мало. Чаще всего, по моему опыту, люди, которые в это вникали, они писали
мне, или кому-то кто разбирается. Вот я довольно много подробно рассказывал как
это устроено. Я не могу при этом сказать что я большой специалист глубоко в
финансовой системе, то есть я разбираюсь, но я один из немногих, кто пытается это
донести нормальным образом, потому что финансисты начинают говорить на
каком-то своём языке, это даже не юридический птичий язык, у минфина свой
язык, это довольно тяжело воспринимать.
01:12:21
Источники информации, они примерно вот такие. Ну и если есть вопросы, я готов
на них ответить.
Вопрос:
- С 2014 года у нас будет формироваться программа (неразборчиво) У нас будет 42
государственных программы, как здесь будет визуализация?
Ответ:
- Она будет отличаться не сильно от того что было, как я помню, я видел
программный бюджет, его сейчас можно наблюдать на портале Москвы. На
портале Москвы без визуализации программного бюджета. И часть визуализации
на budget.gov.ru – это уже визуализация программного бюджета. Как я понимаю,
там будут во главу угла вынесены коды ФКР, а уже под ними всё остальное. То
есть если сейчас там есть целевые программы,
01:13:09
И целевые программы могут быть поделены на просто расходы и расходы по ФЦП,
то теперь все расходы будут только по этим национальным программам,
программным методам. И там главная особенность в том что есть надежда что они
кроме бюджетов будут публиковать (неразборчиво). Потому что то что оказалось
вне того о чём я сейчас рассказывал, очень важная тема, это как вообще понять что
те деньги, которые были потрачены, потрачены были с пользой? Для этого
министерство сейчас принимает решение по ключевым показателям. Выделили
деньги на здравоохранение и сколько больниц построено, отремонтировано,
лекарств закуплено, людей вылечено. И если это начнут, к программным
бюджетам это должно быть привязано, если это начнут публиковать, тогда у нас
появится много других возможностей для визуализации. Пока механизмы
отличаться будут не сильно. То же самое, но другая иерархия.
01:14:00
Всё. Справочники другие, но опять же справочников и так нет, их приходится
реконструировать.
Вопрос:
- Хорошо. Есть ещё вопрос по закрытой части бюджета.
Ответ:
- Это проблема большая в России. Как и во многих странах с большими
спецслужбами, у нас большие закрытые бюджеты, но у нас неизвестны даже его
размеры. У нас размер бюджета по своим методикам рассчитывается, по-моему
институтом Гайдара, который это регулярно публикует. Я не представляю пока что
с ним делать. Нельзя оперировать тем, чего не существует. В данном случае
бюджет – это такое виртуальное тело неизвестного размера. Ещё вопросы?
Наверняка есть вопросы. Вопросы?
01:14:51
Нет? Ну тогда спасибо за внимание. Я думаю, подробнее, если вы хотите, я покажу
нагляднее как можно с помощью бабл три визуализировать какой-нибудь бюджет.
Можно взять бюджет какой-нибудь организации и вот сейчас немножко с ним
поиграть. Спасибо!