Лекция1 Большие данные и их развитие в цифровой экономике

Лекция: «БОЛЬШИЕ ДАННЫЕ И ИХ
РАЗВИТИЕ В УСЛОВИЯХ ЦИФРОВОЙ
ЭКОНОМИКИ»
кафедра информатики,
Санкт-Петербургский государственный
экономический университет (СПБГЭУ)
ПОЯВЛЕНИЕ БОЛЬШИХ ДАННЫХ
Причина 1 – информационный взрыв, как социальноэкономический феномен развития общества
«Информационный взрыв – лавинообразное нарастание
разнообразной информации в современном обществе»
массы
Аркадий Дмитриевич Урсул, ученый,
специалист в сфере кибернетики
ПОЯВЛЕНИЕ БОЛЬШИХ ДАННЫХ
Причина 1 – информационный взрыв, как социальноэкономический феномен развития общества
I, байт
За всю историю человечества
до 2001 года человечество накопило
примерно
12х1018 байт = 12 Экзабайт
10000 до н.э.
0
2001
2013
2020
2027
ПОЯВЛЕНИЕ БОЛЬШИХ ДАННЫХ
Причина 1 – информационный взрыв, как социальноэкономический феномен развития общества
I, байт
440х1021 байт = 440 Зеттабайт
За всю историю человечества
до 2001 года человечество накопило
примерно
12х1018 байт = 12 Экзабайт
10000 до н.э.
0
2001
44х1021 байт = 50 Зеттабайт
4,4х1021 байт = 4,4 Зеттабайт
2013
2020
2027
ПОЯВЛЕНИЕ БОЛЬШИХ ДАННЫХ
Причина 1 – информационный взрыв, как социальноэкономический феномен развития общества
Особенностью роста данных в XXI веке становится резко возрастающая доля автоматически
генерируемых цифровых данных от общего объема мировых данных:
с 11% в 2005 г. до более 40% в 2021 г.
ПОЯВЛЕНИЕ БОЛЬШИХ ДАННЫХ
Причина 1 – информационный взрыв, как социальноэкономический феномен развития общества
Причина
2
–
значительное
увеличение
технологического потенциала общества для хранения,
передачи и обработки цифровых данных
ПОЯВЛЕНИЕ БОЛЬШИХ ДАННЫХ
Причина
2
–
значительное
увеличение
технологического потенциала общества для хранения,
передачи и обработки цифровых данных
промышленные революции
сопровождаются сменой технологических укладов
Индустрия
1.0
Индустрия
2.0
Индустрия
3.0
Индустрия
4.0
✓ Индустрия 4.0: проникновение киферфизических систем в производства и
обслуживание человеческих потребностей
✓ Индустрия 4.0: развитием конвергентных цифровых технологий для работы с данными,
большими данными
ПОЯВЛЕНИЕ ТЕРМИНА BIGDATA
1997-2007 гг. редкие факты появления термина
2008 г. активное использование после публикации «Как
могут повлиять на будущее науки технологии,
открывающие возможности работы с большими
объемами данных?»
2011 г. большие данные трендом №2 в
ИТ- инфраструктуре по версии Gartner Group
2015 г. – настоящее время большие данные включены в
программы цифровой экономики и другие документы по
цифровизации
«БОЛЬШИЕ ДАННЫЕ»: от 3V до 7V
ПРАВИЛО 3V
• VOLUME — объем
данные измеряются
объема
по
величине
физического
• VELOCITY — скорость
данные регулярно увеличиваются с возрастающей
скоростью
• VARIETY — разнообразие
структурированные, неструктурированные или
слабоструктурированные данные
Определение больших данных через правило 3V было
впервые предложено в 2001 году аналитиком Gartner Inc.
Дугом Лэйни
«БОЛЬШИЕ ДАННЫЕ»: от 3V до 7V
ПРАВИЛО 3V
+ VOLUME — объем
+ VELOCITY — скорость
+ VARIETY — разнообразие
ПРАВИЛО 5V
+ VERACITY — достоверность
+ VALUE — ценность
ПРАВИЛО 7V
+ VARIABILITY — изменчивость
+ VISUALIZATION – визуализация
СТАНДАРТЫ БОЛЬШИХ ДАННЫХ
первый Международный стандарт в области больших
данных ISO/IEC 20546:2019
В 2019 году принят первый Международный стандарт в области больших данных
ISO/IEC 20546:2019 Information technology — Big data — Overview and vocabulary
✓ содержит набор терминов и определений в области больших
данных.
✓ обеспечивает терминологическую основу для стандартов,
связанных с большими данными.
СТАНДАРТЫ БОЛЬШИХ ДАННЫХ
первый Международный стандарт в области больших
данных ISO/IEC 20546:2019
первый национальный стандарт в России о больших
данных ГОСТ Р ИСО/МЭК 20546-2021
В 2021 году в России принят первый национальный стандарт в области больших данных.
ГОСТ Р ИСО/МЭК 20546-2021 «Информационные технологии. Большие данные. Обзор и словарь»
✓ идентичен ISO/IEC 20546:2019 Information technology – Big data – Overview and
vocabulary.
✓ термины, перевод англоязычных терминов и понятия, которым должны
следовать участники рынка больших данных
СТАНДАРТЫ БОЛЬШИХ ДАННЫХ
первый Международный стандарт в области больших
данных ISO/IEC 20546:2019
первый национальный стандарт в России о больших
данных ГОСТ Р ИСО/МЭК 20546-2021
Основные термины и понятия
Большие данные (анг. Big Date) – большие массивы
данных, отличающиеся главным образом такими
характеристиками объем, разнообразие, скорость
обработки и/или вариативность, которые требуют
использования технологии масштабирования
для
эффективного хранения, обработки, управления и
анализа
СТАНДАРТЫ БОЛЬШИХ ДАННЫХ
первый Международный стандарт в области больших
данных ISO/IEC 20546:2019
первый национальный стандарт в России о больших
данных ГОСТ Р ИСО/МЭК 20546-2021
Основные термины и понятия
Объем данных (анг. data volume) – количественная характеристика
данных, влияющая на выбор ресурсов для вычислений и хранения, а
также на управление данными в процессе обработки.
Скорость обработки данных (анг. data velocity) – скорость потока
с которой данные создаются, передаются, сохраняются
анализируются или визуализируются.
СТАНДАРТЫ БОЛЬШИХ ДАННЫХ
первый Международный стандарт в области больших
данных ISO/IEC 20546:2019
первый национальный стандарт в России о больших
данных ГОСТ Р ИСО/МЭК 20546-2021
Основные термины и понятия
Объем данных (анг. data volume) – количественная характеристика
данных, влияющая на выбор ресурсов для вычислений и хранения,
а также на управление данными в процессе обработки.
Скорость обработки данных (анг. data velocity) – скорость потока
с которой данные создаются, передаются, сохраняются
анализируются или визуализируются.
СТАНДАРТЫ БОЛЬШИХ ДАННЫХ
первый Международный стандарт в области больших
данных ISO/IEC 20546:2019
первый национальный стандарт в России о больших
данных ГОСТ Р ИСО/МЭК 20546-2021
Основные термины и понятия
Разнообразие данных (анг. data variety) – диапазон форматов,
логических моделей, временных шкал и семантики массива
данных.
Вариативность данных (анг. data variability) – изменения в скорости
передачи, формате или структуре, семантике или качестве
массива данных.
ИСТОЧНИКИ БОЛЬШИХ ДАННЫХ
Корпоративные
(внутренние) данные
•
•
•
•
Базы данных организации
ERP
CRM
Системы электронного
документооборота
• Архивы
• другие
Внешние данные
• Интернет: соцсети, блоги,
СМИ, форумы, сайты
• Внешние набора данных
• другие
Данные устройств
• Показания устройств
(датчики, приборы, данные
сотовой связи,
метеорологические данные
и др.)
• Данные мобильных
устройств (частота
использования приложений,
геолокация и др.)
• Данные IoT-устройств
BIGDATA и ЦИФРОВАЯ ЭКОНОМИКА
В национальных программах и документах по цифровизации
✓ 2017 г. БОЛЬШИЕ ДАННЫЕ выделены как одна из девяти сквозных технологий
цифровой экономики, согласно программе "Цифровая экономика Российской
Федерации" от 28.07.2017 г. (с 2019 г недействующая)
✓ 2019 г. Большие данные включены как субкатегория сквозной прорывной
технологии «Нейротехнологии и искусственный интеллект» в рамках дорожной
карты "Нейротехнологии и искусственный интеллект» (срок реализации до 2024 г.
включительно)
✓ 2021 г. Системы сбора, хранения, обработки, анализа, моделирования и
визуализации массивов данных выделены в качестве приоритетные направления
поддержки цифровой экономики.осольших данных
BIGDATA и ЦИФРОВАЯ ЭКОНОМИКА
Развитие больших данных
✓ Рынок больших данных растет со среднегодовым темпом роста примерно 10%-13%
✓ Технологии работы с большими данными
отраслях экономики
применяются практически во всех
✓ Компании используют большие данные для поддержания и усиления своих
конкурентных преимуществ
✓ Развиваются цифровые платформы и сервисы на основе больших данных
платформы и сервисы на основе больших данных
✓ Растет спрос на специалистов по большим данными, аналитиков больших данных,
которые считаются одними из самых востребованных современными компаниями.а
основе больших данных
Тестовая съемка