Machine Translated by Google
Sankt-Peterburg davlat universiteti
Kompyuter simulyatsiyasi va multiprotsessor kafedrasi
tizimi
Shvedov Oleg Yurievich
Bakalavrning yakuniy malakaviy ishi
Jamoatchilik samaradorligini tahlil qilish
texnologiyadan foydalangan holda transport
katta ma'lumotlar
Yo‘nalish 010300 Asosiy
informatika va axborot texnologiyalari
Ilmiy maslahatchi, t.f.n.,
dots
Korxov V.V.
Sankt-Peterburg
2016 yil
Machine Translated by Google
Sankt-Peterburg davlat universiteti
Kompyuterni modellashtirish va multiprotsessorli tizimlar kafedrasi
Shvedov Oleg
Bakalavrlik dissertatsiyasi
Katta ma'lumotlar texnologiyalaridan foydalangan holda
jamoat transporti operatsiyalari samaradorligini tahlil qilish
Ta'lim sohasi 010300
Asosiy informatika va axborot texnologiyalari
Ilmiy rahbar, t.f.n.,
Dotsent
Korxov VV
Sankt-Peterburg
2016 yil
Machine Translated by Google
Tarkib
Kirish.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5
Vazifalarni belgilash.
. . . . . . . . . . . . . . . . . . . . . . . . .8
Adabiyot manbalarini haqida umumiy ma'lumot; Adabiyot sharhi .
. . . . . . . . . . . . . . . . . . . . . . . . .9
I bob. Jamoat transportining samaradorligi. 1.1. Jamoat transporti
. . . 11
sohasidagi hozirgi holat. 1.2. Jamoat transporti samaradorligi
. . . 12
mezonlari. 1.3. Kirish samaradorligi mezonini tahlil qilish. 1.3.1
. . . 12
. . . . . . . . . . 15
Qoplash va kirish masofasi.
. . . . . . . . . . . . 15
1.4. Foydalanish imkoniyati samaradorligi mezonini tahlil qilish. . . . . . . . 16
1.4.1 Parvozlarning chastotasi va marshrutlar soni.
. . . . . . 18
1.5. Ortiqchalik mezonini tahlil qilish. 1.5.1 . . . . . . . . . . . . . . . . 18
To'xtash joylarining samarasiz joylashishi. 1.5.2 To'plamni . . . . . 19
qoplashning joylashuv muammosi. 1.5.3 Lagranj
. . . . . . 20
. . . . .muammosi.
. . . . . . . . . . . . 22
evristikasi. 1.5.4 Maksimal hududni qoplash
. . . . 24
. . . . . . . . . . . 26
II bob. Katta ma'lumotlar metodologiyasi.
. . . . . . . . . . . . . . . . 26
2.1. Katta ma'lumotlarning ta'rifi.
2.2. Apache Hadoop.
. . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2.1 Apache Hadoop komponentlari.
. . . . . . . . . . . . . . 28
2.2.2 Taqsimlangan fayl tizimi HDFS. 2.2.3 MapReduce . . . . . . 30
. . API.
. . . . . . . . . . . . . . . 31
paradigmasi. 2.2.4 Hadoop Streaming
. . 33
2.3. Microsoft Azure HDInsight bulutli platformasi. 2.4. Katta
. . . . . . 33
ma'lumotlar va jamoat transporti tadqiqotlari 35
. . . . . . . . . . . . . . . . . . 38
III bob. Vazifalarni amalga oshirish.
3.1. Dastlabki ma'lumotlarning tavsifi.
. . . . . . . . . . . . . . . . . . 38
. . . . . . . . . . . . . . . . . 38
3.1.1 Transport ma'lumotlari.
3
Machine Translated by Google
. . . . . . . 40
3.1.2 Ma'muriy bo'linmalar va aholi. 3.1.3 Yo'l
. . . . . . . . . . . . . . . . . 41
tarmog'i. 3.2. Dasturiy ta'minot va konfiguratsiya.
. . . . . . . . . 43
3.3. Ma'lumotlarni tayyorlash. 3.3.1 UDS faylini
. . .klasterning
. . . . . .HDFS-ga
. . . . . . . . . . . . . . 44
konvertatsiya qilish. 3.3.2 Bulutli
. . . . . . . . . . . . . . . 44
ma'lumotlarni yuklash.
. . . 44
. . . . . . . . . . . . . . . . . . 45
3.3.3 Ma'lumotlarni filtrlash.
. . . . . . . . . . . 46
3.3.4 MapReduce ishini bajarish. 3.3.5
Ma'lumotlarni geografik axborot tizimiga ko'chirish 48
3.4. Kirish parametrlari tahlilini amalga oshirish.
. . . . . . . . . . . 49
3.5. Mavjudlik parametrlari tahlilini amalga oshirish. 3.6. . . . . . . . . 52
. 53
Kirish va mavjudlik parametrlarini birgalikda tahlil qilish. 3.7.
. . . . . . . . . . . . . . 55
Ortiqchalik tahlilini amalga oshirish.
Xulosalar.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 58
Xulosa.
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
Ilova. GTFS
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
tasmasi tarkibiga misol. Yo'l tarmog'i
. . . . . . . . . . . . . . . . 60
ma'lumotlarini yuklash skripti. BLOB bulutli xotirasidan . . . . . . . . . 63
. . . 64
fayllarni yuklab olish uchun skript.
Adabiyotlar ro'yxati .
. . . . . . . . . . . . . . . . . . . . . . . . 65
4
Machine Translated by Google
Kirish
Jamoat transporti tizimi shahar infratuzilmasining eng muhim tarkibiy
qismlaridan biri sifatida, shubhasiz, katta ta'sir ko'rsatadi .
ularning turmush tarziga ta'siri. Ushbu tizimlarning barcha tarkibiy qismlarining
ishlashi to'g'risida to'liq ma'lumotga ega bo'lish moslashuvchanlik va
manipulyatsiya harakatlarining eng keng doirasini dinamik ravishda amalga oshirish
boshqaruv uchun. Bu, ayniqsa, zamonaviy shaharlarda foydalidir
ayniqsa, jamoat tuzilmasi allaqachon o'rnatilgan megapolislarda
transport.
Jamoat transporti tizimlari tomonidan ko'rsatiladigan xizmatlar shaharni
rejalashtirishning muhim tarkibiy qismidir va
boshqaruv, shu bilan birga, shahar boshqaruvining mavjud mafkurasi
jamoat transporti juda umumiy bo'lib qolmoqda va tizimni har qanday keng miqyosda
manipulyatsiya qilishni o'z ichiga olmaydi .
Transportning ishlashini nazorat qilish qiyinligicha qolmoqda
real vaqt rejimida, aniq statistik ma'lumotlarni to'plash
butun jamoat transporti tizimi, yagona yo'qligi
shahar darajasida transport modellashtirish vositalari.
Anketalar, tematik kabi ma'lumotlarni to'plashning an'anaviy usullari
tadqiqot, shahar auditlari, intervyular, fokus-guruhlar, etnografiya,
bir qator jiddiy kamchiliklarga ega: ular disparate ustida ishlab chiqariladi, emas
uzluksiz asosda, oz sonli o'zgaruvchilarga ega, jamlangan
qo'pol miqyosga va ko'pincha cheklangan kirish imkoniyatiga ega. Mahalliy aholi at
Buning sababi dastlabki ma'lumotlarning cheklangan namunasida yotadi
juda zich yo'naltirilgan, qo'shimcha ravishda nimaga asoslangan
ma'lum vaqt va fazoviy interval va jismoniy
ko'lami cheklangan va ularni yaratish va tahlil qilish ancha qimmat. Shaharlar
haqidagi eng zamonaviy bilimlar shulardan olingan
nomukammal va kam ma'lumotlar.
Shahar boshqaruvini sifat jihatidan o'zgartirish tarmoqlaridan biri hisoblanadi
Katta ma'lumotlar maydoniga asoslangan Smart City kontseptsiyasi
o'z navbatida ma'lumotlar oqimini yig'ishda zamonaviy yondashuvlarni taklif etadi
5
Machine Translated by Google
yanada murakkab, keng ko'lamli va nozik taneli ma'lumotlarni pishirish
shahar faoliyati sohalarini qamrab olish. Aniq avtomatik
yaratilgan ma'lumotlar shahar infratuzilmasining eng kichik tarkibiy qismlari
haqida barcha kerakli ma'lumotlarni taqdim etishi kerak , bu esa imkon beradi
ularni maksimal avtomatizm darajasida va real vaqtda boshqaring
nazorat axborot tizimi yordamida vaqt. Bunday ma'lumotlar va axborot
tizimlarining o'zaro ta'siri minimal talab qiladi
inson ishtiroki, shu bilan shahar boshqaruvining murakkabligini kamaytiradi;
shuningdek, barcha turdagi ma'lumotlarning muhim miqdorini taqdim etish,
mavjud mablag'lar bilan undirib bo'lmaydigan. Shunday qilib,
“Aqlli shahar” konsepsiyasini amalga oshirish shahar boshqaruvini soddalashtirishi mumkin
infratuzilma, shu bilan birga ko'proq ma'lumotlarni o'rganish imkonini beradi
uning ishlashi va holati haqida.
Konsepsiyaga muvofiq, shahar jamoat transporti qamrovi
port ham olish uchun tubdan qayta tashkil etilishi kerak
undan yaxshiroq foydalanish imkoniyati. Oldindan amalga oshirish
Bu sohadagi shakllanishlarni tubdan farq qilmasdan amalga oshirish mumkin emas
real vaqtda markazlashtirilgan boshqaruv kabi usullar
meni: harakatlanuvchi tarkib harakati to'g'risidagi ma'lumotlarni maqsadli yig'ish
va yo'lovchilar telekommunikatsiya uskunalari orqali yagona
transportni boshqarish markazi operatsiyani kuzatish imkonini beradi
mavjud bo'lgan holda amalga oshirish mumkin bo'lmagan butun tizim
mahalliy qo'lda hisoblash va vizual kuzatish kabi usullar.
Tadqiqot nuqtai nazaridan, to'plangan transport ma'lumotlari mumkin
faoliyatini batafsil o‘rganish uchun foydalanish mumkin
jamoat transporti, masalan, aniqroq modellashtirish uchun,
turli statistik naqshlarni aniqlashtirish uchun yoki
texnik rejalashtirish. Ishlash xususiyatlaridan biri
transport ma'lumotlaridan olinishi mumkin bo'lgan ma'lumotlar jamoat
transportining samaradorligi hisoblanadi. O'z navbatida, bu
xarakteristikasi qisqa va uzoq muddatli maqsadlar uchun juda foydali
rejalashtirish, shuningdek, boshqa tadqiqotlar uchun, masalan, uchun
innovatsion dizayn usullarini ishlab chiqish.
6
Machine Translated by Google
Ishlash xususiyatlarini o'z-o'zini o'rganish, ammo transport xizmatlarining
asosiy funktsiyalaridan biri bo'lgan jamoat transportidan foydalanish qulayligi
uchun juda muhim bo'lishi mumkin . Jamoat transporti samaradorligi
to'g'risidagi ma'lumotlar transport tizimida mahalliy yoki keng ko'lamli
o'zgarishlar talab qilinadigan hududlarni, shu jumladan avtomobil transporti
bilan birgalikda ishonchli tarzda aniqlashga yordam beradi . Boshqa
tomondan, samaradorlik aholining mavjudligi va qulayligini to'liq aks ettiradi
unda shahar aholisining harakatlanishi uchun transport.
Bundan kelib chiqadiki, samarali, innovatsion va sifatli (qulay) jamoat transporti
shaxsiy avtomobildan foydalanish o‘rniga uni tanlagan yo‘lovchilarni ko‘proq jalb
qilmoqda.
atrof-muhitga ta'siriga ijobiy ta'sir ko'rsatadigan transport
atrof-muhit, yo'l harakati va energiya samaradorligi. Shuningdek, transportni rivojlantirish,
shu jumladan aholi, mintaqa tarkibiy qismlari va uning barqaror rivojlanishi muammolarini
hal qilish o'rtasidagi bog'liqlik isbotlangan (eslatma) .
7
Machine Translated by Google
Vazifalarni belgilash
Ushbu ishning maqsadi tadqiqot faoliyatini amalga oshirishdir
jamoat transporti faoliyati samaradorligining turli xususiyatlari . Ushbu
tadqiqotni amalga oshirish ishtirok etishni talab qiladi
axborot vositalari va dastlabki transport ma'lumotlarini tahlil qilish vositalari ,
ular o'z navbatida statik ma'lumotlarni o'z ichiga olishi kerak
jamoat transporti tizimining infratuzilmasi va uning ma'lum vaqt davomida
ishlashi haqida.
Ishning o'ziga xos xususiyati tadqiqot usullaridan foydalanishdir
va asl nusxani manipulyatsiya qilish uchun katta ma'lumotlarni tahlil qilish vositalari
transport ma'lumotlari.
Keling, vazifalarni shakllantiraylik, ularning amalga oshirilishi bizga maqsadlarga erishishga imkon beradi
yumshoq maqsad:
- Mavzu sohasini o'rganish:
– Jamoat transportining hozirgi holati.
- Hozirgi tadqiqot yo'nalishlari
jamoat transporti samaradorligi sohalari.
– Jamoatchilik uchun ishlash mezonlarining turli formulalari
oyoq tashish.
- transport tizimining ishlashi to'g'risida dastlabki ma'lumotlarni qidirish;
talablarni qondirish.
– Utilitlar to'plami yordamida avtomobil ma'lumotlari to'plamini tayyorlash
Apache Hadoop.
– Olingan natijaviy ma’lumotlardan geoaxborot tizimida kerakli ishlash
parametrlarini hisoblash uchun foydalanish.
8
Machine Translated by Google
Adabiyot manbalarini haqida umumiy ma'lumot; Adabiyot sharhi
Ish [39] tomonidan taqdim etilayotgan xizmatlar sifatining xususiyatlarini ochib beradi
jamoat transporti tizimi o'z yo'lovchilarini idrok etish nuqtai nazaridan .
Manba [43] ilmiy va amaliy majmuaning umumiy ko'rinishini o'z ichiga oladi
yo'nalishlari: aholining harakatchanligini ta'minlash usullari va xususiyatlari;
yo‘nalish bo‘yicha tashishni tashkil etish va aholiga transport xizmatlari
ko‘rsatish sifatini baholash . Aholi uchun jamoat transporti xizmatlari sifati
ko'rsatkichlari ro'yxati keltirilgan,
va ishlarni yaxshilash uchun yo'nalishlar tasnifini tuzdi
shahar jamoat transporti.
[33] da samarali transport tizimlarining o'ziga xos xususiyatlarini ajratib
ko'rsatishga harakat qilindi
kam samarali jamoat transporti bo'lgan shaharlar. Buning uchun
DEA yondashuvi (Data Envelopment Analysis) asosida samarali transport
tizimlarini aniqlash tizimi ishlab chiqilgan. Bu yondashuv
tadqiqotida ham uchraydi [22].
Asarlar [17; 28; 29] optimallashtirishga qaratilgan tadqiqotlarni o'z ichiga oladi
to'xtash moslamalarini joylashtirish va shunga mos ravishda muammoni ko'rib chiqing
avtobus bekatlarining minimal samarali sonini topish
mavjud marshrutlar majmuasi asosida tashkil etilgan ekspress marshrutlar
tovarlar va ularning to'xtash joylari, urbanizatsiyalangan yo'nalishlar tarmog'i bilan qamrab olish muammosi
hududlar va qutqarish uchun kombinatsiyalangan yondashuvni amalga oshirish muammosi
minimal sonini kiritish bilan birga ortiqcha to'xtashlardan qochish
shaharning muhtoj hududlarida yangi.
Maqola mualliflari [9] aniqlash metodologiyasini amalga oshirish variantini tavsiflaydi
sun'iyga asoslangan transport tizimlarining samaradorlik darajasi
ko'p qatlamli perseptronlarga ega neyron tarmoqlari.
Maqola [35] transport ma'lumotlaridan foydalanish variantini ko'rsatadi
analitik maqsadlar uchun GTFS formatida: haqidagi ma'lumotlarning kombinatsiyasi
avtobus bekatlari va yo'lovchilar harakati mualliflarga ekspress avtobus tizimidagi
yo'lovchilar oqimining haqiqiy qiymatini aniqlashga imkon berdi.
9
Machine Translated by Google
va oddiy avtobuslar tizimida, ularning marshrut qismlari ba'zan o'tadi
bir xil joylar.
Ish [2] shahar boshqaruvi uchun katta ma'lumotlarni hisoblash usullaridan
foydalanish va turli xil ob'ektlarning ishlashini o'rganish uchun tadqiqot faoliyatini
amalga oshirish imkoniyatlarini ko'rsatadi.
shahar hayotining tarkibiy qismlari. Muallif turli ma'lumotlarni yig'ish jarayonini
tashkil etish va o'rnatishda sensorli tizimlarning alohida rolini ta'kidlaydi
manbalar, shu jumladan jamoat transportining harakatlanuvchi tarkibi.
Muallifning fikricha, ushbu yangi ma'lumotlar turi o'zgarishlarga turtki berishi mumkin
shaharni strategik rejalashtirish jarayoni, uni amalga oshirish
uzoq muddatli dan moslashuvchan qisqa muddatli har qanday qamrab oladi
mahalliy va shahar miqyosida.
10
Machine Translated by Google
I bob. Jamoatchilik samaradorligi
transport
Rivojlangan va samarali jamoat transporti to'g'ridan-to'g'ri yo'l
o‘zi xizmat qilayotgan hududlarning barqaror iqtisodiy rivojlanishiga hissa qo‘shadi
riy va aholining harakatchanligini ta'minlashning zaruriy sharti hisoblanadi
va uning diqqatga sazovor joylariga kirish imkoniyati. Bundan tashqari, transport tizimi
hayotning umumiy ritmiga, holatiga katta ta'sir ko'rsatadi
atrof-muhit, ijtimoiy komponentning barqarorligi va sifati
u qamrab olgan hududlarda hayot. Shubhasiz, o'sish
transport samaradorligi ham ma'lumotlarga foydali ta'sir ko'rsatadi
parametrlari. Samarasiz transport tizimi va u bilan bog'liq
shahar infratuzilmasi shakllari iqtisodiy va cheklaydi
hududlarning ijtimoiy imkoniyatlari.
Jamoat transporti transport tizimini rivojlantirishda muhim rol o'ynaydi,
chunki aynan u eng kuchlisini ta'minlashga qodir
yoqilg'i sarfini kamaytirish, shovqin, tirbandlik va ifloslanish kabi ijobiy energiya
va atrof-muhit ta'siri
shaxsiy transport vositalarining yuqori ulushi bilan solishtirganda havo
transport. Jamoat transportini rivojlantirish yanada kengaymoqda
yashovchi fuqarolarning eng katta foizi uchun transport xizmatlarini qamrab olish
muayyan hududlarni qamrab oladi.
Mavjud transport tizimlarining ishlashini tushunish, baholash va nazorat
qilish uchun vositalar to'plamini ishlab chiqish kerak .
qisqa va uzoq muddatli rejalashtirish maqsadlariga erishishni ta'minlaydigan
tarzda. Ishlash o'lchovlari
jamoat transporti baholashda muhim bo'lishi mumkin
siyosiy maqsadlar, shuningdek, kelajakdagi takomillashtirishni rejalashtirishda.
11
Machine Translated by Google
1.1. Jamoatchilik sohasidagi hozirgi vaziyat
transport
So'nggi o'n yilliklarda metropoliyalarning o'sishi ko'plab ijtimoiy sohalarga olib keldi
iqtisodiy muammolar. Ushbu masalalarning aksariyati bevosita bog'liq
jamoat transporti sohasi urbanizatsiyalashgan hududlar evolyutsiyasi va
o'sishining eng muhim elementlaridan biri sifatida . Shunday qilib, aholi ko'chirildi
shaharning markaziy tumanlaridan arzon uy-joy bilan chekka hududlarga yoki
boshqa yashash joylaridan ularga ko'chib o'tish barqarorlikni ta'minlaydi.
jamoat transporti xizmatlariga talab oshdi, bu esa oshadi
shahar infratuzilmasini ekspluatatsiya qilish uchun byudjet xarajatlari hajmi.
Jamoat transporti ko'pincha chekka joylarda rivojlanganligi sababli
shahar markaziga qaraganda zaifroq, bu talab yanada keskinroq. Bu qisman
rivojlanmaganligi bilan bog'liq
chekka hududlar va uzoq masofalarning yo'l tarmog'i
shahar ichidagi mayatnik jarayonida shahar aholisini qamrab olishi kerak
migratsiyalar.
Umuman olganda, shaharlarning uyushmagan o'sishi transport tizimining mos
ravishda uyushmagan rivojlanishiga olib keladi, buning natijasida ko'plab shaharlarning
transport tizimlarining hozirgi faoliyatini samarali deb atash mumkin emas.
Albatta, jamoat transportini yaxshilash bo'yicha har qanday kompleks choratadbirlarni hamma o'rtasida ishchi shartnomalar tuzmasdan turib amalga oshirib bo'lmaydi
jalb qilingan organlar, xususan, vazifalarni ajratish,
ma'muriy muvofiqlashtirish, moliyalashtirish. Integratsiyalashgan boshqaruv
yondashuvi rivojlanish uchun zaruriy asosdir va
jamoat transporti samaradorligini oshirish usullarini joriy etish.
1.2. Jamoatchilik samaradorligi mezonlari
transport
Jamoat transporti samaradorligi tushunchasi
bir qancha aniq mezonlar asosida tahlil qilish mumkin
12
Machine Translated by Google
transport muassasalari faoliyati bilan bog'liq nazariyalar va
ular taqdim etayotgan xizmatlar sifati. Bu mezonlarga quyidagilar kiradi [33]:
- transport tizimining har qanday tarkibiy qismlarining mavjudligi;
marshrutning boshlang'ich nuqtalari orasidagi masofa bilan belgilanadi
yo'lovchilar soni va eng yaqin jamoat transporti to'xtash joyi, yo'lovchilar
yo'nalishlaridagi oxirgi jamoat transporti to'xtash joyi va ularning yakuniy
manzillari orasidagi masofa. pasayish
bu masofani qisqartirish transport xizmatlarining mavjudligini oshiradi
va buning natijasida shaharlarning geografik qamrovini oshiradi, ularni aholi
uchun qulayroq qiladi.
harakatlanish qulayligi.
– Harakatlanuvchi tarkibning tezligi va marshrutlarning geometriyasi bilan
belgilanadigan sayohat vaqti. Tezlik funksiya sifatida aniqlanadi,
masofa, transport sharoitlari va sifatiga bog'liq
harakat.
– Vaqtinchalik rejalashtirishning noaniqlik darajasi bilan belgilanadigan ishonchlilik.
Bu sayohatlar soni va bilan o'lchanishi mumkin
boshqalarga nisbatan ularning vaqti, kechikishlar bilan sodir etilgan va
ba'zida bu kechikishlar.
– Har bir nur orasidagi vaqt oraliqlari bilan belgilanadigan chastota
laqqa baliq Yo'lovchilar vaqt jadvallari va ularning o'zgarishidan xabardor bo'lishlari kerak
kunduzi, dam olish kunlari yoki bayramlarda yoki boshqa vaqtlarda
maxsus holatlar.
- Har bir yo'lovchilar soni bilan belgilanadigan maksimal yuk
harakatlanuvchi tarkibning quvvatiga qarab eng yuqori soatlar.
- Harakatlanuvchi tarkibning xususiyatlari, jumladan: yoshi, ekologik tozaligi,
shovqin, texnologik parametrlar (eshik o'lchamlari).
teshiklar, qavat balandligi, yo'lovchilar uchun qulaylik
imkoniyatlar), qulaylik ko'rsatkichlari.
13
Machine Translated by Google
– Axborot va yordamchi uskunalarning yetarliligi: bekatlardagi ob-havo
boshpanalari, xaritalar bilan maÿlumot taxtalari va
vaqt jadvali, aniq ko'rinadigan to'xtash belgilari va
Transport vositasi.
- Ehtiyojlarga ko'ra harakatchanlik, ya'ni rejalashtirish
jamoat transporti yo'nalishlarini shunday to'plami
talab qilinadigan maydonni eng katta qoplash darajasini ta'minlash va
yo'lovchi uchun mos marshrutni tanlashda eng katta moslashuvchanlik
mil.
Yuqoridagi talablardan tashqari, jamoatchilikning samaradorligi
transport shuningdek, ishlash ko'rsatkichlarini o'z ichiga oladi, masalan:
ekspluatatsiya qiymati, harakatlanuvchi tarkibning optimal soni
xodimlar va xizmat ko'rsatish xodimlari, bu hozirgi darajaga ta'sir qilmaydi
ko'rsatilayotgan transport xizmatlari sifati, sonining nisbati
umumiy soniga jamoat transportidan foydalanadigan semiruvchilar
ma'lum bir hududda yashovchi aholi, marshrut tarmog'ining uzunligi
ma'lum bir hududning yo'l tarmog'ining umumiy uzunligiga nisbatan,
yo'lovchilarning qoniqish darajasi.
Ushbu maqolada biz samaradorlikni ikki nuqtadan ko'rib chiqamiz
ko'rish:
1) Jamoat transporti xizmatlaridan foydalanish qulayligi, tizimdan uning yaqinligi
asosida foydalanish imkoniyati - kirish (kirish);
2) Umumiy sayohat vaqtini qisqartirish, transport tarmog'ining mavjudligi
boshlang'ich nuqtadan belgilangan joyga transport vositasi sifatida
oqilona vaqt ichida, faoliyat samaradorligi
tizimlar - mavjudlik.
O'z navbatida, ularni alohida ta'riflarga bo'lish mumkin. pony
foydalanish imkoniyati jamoat transportining yaqinligi sifatida qabul qilinadi
talab qilinadigan masofani qisqartirish istagi bilan aholi
eng yaqin bekat/bekatga kirish uchun odam tomonidan yengish
qolgan xususiyatlarni hisobga olgan holda tashish,
14
Machine Translated by Google
sayohat vaqti kabilar qoniqarli. Boshqa tomondan, jamoat transportining
yaqinligi to'g'ridan-to'g'ri boshlang'ich nuqtadan belgilangan manzilgacha
bo'lgan umumiy sayohat vaqtiga ta'sir qiladi. ham ichida
kirish kontseptsiyasi doirasida hududni tarmoq bilan qamrab olish tushunchasi qo'llaniladi
jamoat transporti. Erkinlik tushunchasi sifatida qaraladi
transport tizimi orqali tashishni amalga oshirish imkoniyati, mavjudligi
boshlang'ich nuqtadan belgilangan joyga eng maqbul tarzda borish qobiliyati:
o'tkazmalar soni, harakat tezligi, xizmat ko'rsatishning muntazamligi yoki
parvozlar chastotasi.
Shuni ta'kidlash kerakki, ushbu tushunchalar bir-biri bilan chambarchas bog'liq va tizim muvaffaqiyatli
ishlayotgan va foydalanilganda bir-biriga bog'liqdir.
yo'lovchilar.
1.3. Kirish samaradorligi mezonlari tahlili
Taxminlarga ko'ra, jamoat transporti mavjudligining oshishi undan faolroq
foydalanishga olib keladi, shu jumladan shaxsiy avtomobillar o'rniga. Yuqorida
aytib o'tilganidek, bu migratsiya shahar miqyosida juda ko'p ijobiy ta'sir
ko'rsatadi.
Ushbu ko'rsatkich transport xizmatlaridan foydalanishning yaqinligi
yoki narxi uchun javobgardir [21] va buning uchun eng foydali va samarali
indikatorga to'xtash nuqtalarining joylashuvi ta'sir qilishi mumkin
jamoat transporti aholi uchun eng qoniqarli tarzda. To'xtash punktlarining
joylashuvini optimallashtirish tez-tez muhokama qilinadigan muammodir [14;
32], chunki joylashuv hech bo'lmaganda kirish tezligiga, sayohat vaqtiga va
umumiy qulayligiga ta'sir qiladi.
Albatta, eng maqbul va qulaylikka intilish kerak
ma'lum bir hududda to'xtash joylarining joylashishi.
1.3.1. Qoplash va kirish masofasi
Yashash joyidan kirish imkoniyati tekshiriladi; dastlabki ma'lumot - barcha
tumanlardagi shahar aholisini ro'yxatga olish
shaharlar. Belgilangan joyning, shuningdek, boshqa diqqatga sazovor joylarning mavjudligi
15
Machine Translated by Google
sayohat marshrutlarini ancha chuqurroq o‘rganishni talab qiladi
yo'lovchilar va yo'lovchilar oqimini modellashtirish.
Aholining jamoat transporti infratuzilmasidan foydalanish imkoniyatini o'lchashni
eng yaqin jamoat transporti bekatining yaqinligini baholashda ifodalash mumkin.
nisbatan ma'lum bir hudud hududida jamoat transporti
standart qoniqarli yurish masofasi yoki yurish vaqti.
O'rtacha, shahar avtobuslari uchun, ma'lum bir shaharda yashovchi
aholining 90% uchun eng yaqin to'xtash joyigacha bo'lgan maksimal
qoniqarli masofa.
hududi yoki umuman shaharda 400 metr [12] hisoblanadi, ammo u
muayyan holatlarga qarab dinamik ravishda tanlanishi mumkin
telestva va hududning shartlari. Bunga asoslanib, biz deb ataladigan narsani aniqlaymiz
markazlashtirilgan doiralar bilan ifodalangan buferli mavjudlik zonalari
to'xtash nuqtalari va radiusi 400 metr.
Keyin istalgan nuqtadan minimal masofani hisoblashingiz mumkin
ko'rib chiqilayotgan hududning eng yaqin to'xtash joyigacha. Agar bular
masofa berilgan mavjudlik bufer zonasining radiusidan oshmaydi
novka, hudud aholi uchun qulay deb hisoblanadi
transport. Ushbu ishda biz centroid mintaqalarini sifatida yig'amiz
tegishli soha vakillari, kimdan, yordami bilan
Evklid ko'rsatkichi jamoat to'xtash joylarigacha bo'lgan masofani o'lchaydi
transport.
1.4. Foydalanish imkoniyatining ishlash mezoni tahlili
Umumiy foydalanish transportni rejalashtirish va erdan foydalanishning
asosiy masalalaridan biridir . Ushbu kontseptsiya qulaylikni tavsiflaydi
kerakli/kerakli diqqatga sazovor joylarga erishish [19]. Asosan,
mavjudligi - yo'lovchini kerakli joyga etkazib berishni ta'minlash qobiliyati
diqqatga sazovor joylar, ammo, kontseptsiyaning ko'p qirraliligi tufayli, bor
uni o'rganishdagi muammolar. Foydalanishning bir necha usullari mavjud
qulaylik tushunchalari:
– Kirish qulayligi (masofa emas).
16
Machine Translated by Google
– Transport ta’sirini taqsimlash
- Sayohat imkoniyatlari
- Tashish ketma-ketligi
- Siyosiy institutlar bilan aloqalar
- Yangi ishlanmalarning ta'siri
– Yo‘lovchi va biznes transportini rejalashtirish
[4] ga ko'ra, foydalanish imkoniyati transport tizimining sifatlari (masalan,
transport vositalarining tezligi), shuningdek erdan foydalanish tizimining sifati
(masalan, zichlik va turlar) bilan bog'liq. Shu bilan birga, bu kontseptsiya
bevosita iqtisodiy ( xodimlarning ish joylariga, mijozlarning turli xizmatlar
joylashgan joylariga kirishiga, ijtimoiy aloqalarga), shuningdek, atrof-muhit
sohalariga bog'liq.
Jamoat transportining ishlashini nuqtai nazardan baholash
mavjudlik ko'pincha noqulay bo'lgan muammolarni hal qilishga yordam beradi
aholini tashish va uning o'zini taqsimlash masalalari bo'yicha qoidalar.
Foydalanish imkoniyati sezilarli darajada jamoat transporti yo'nalishlari, to'xtash
joylari, yo'llar tarmog'i kabi transport infratuzilmasi ob'ektlarini loyihalash ,
shuningdek, yaqin atrofda turli diqqatga sazovor joylar mavjudligiga bog'liq.
Shuningdek, jamoat transporti qatnov jadvalining to'g'riligi va yo'lda xavfsizlik
hissi kabi xususiyatlarga bog'liqlik mavjud.
Kerakli yo'nalishlarni aniqlash va ularga qoniqarli sayohat vaqti bilan ushbu
punktlarga yaqin joyda tegishli transport xizmatlarini taqdim etish juda muhimdir
[20]. Shunga ko'ra , jamoat transporti tarmog'i va diqqatga sazovor joylarning
foydalanish imkoniyatini o'lchashga qodir modelni ishlab chiqish bir xil darajada
muhimdir . Bunga qo'shimcha ravishda, ushbu modellar doirasida foydalanish
imkoniyati standartlari bir ma'noda talab qilinadi
yerdan foydalanishni rejalashtirish mezonlarini belgilash.
17
Machine Translated by Google
1.4.1. Parvoz chastotasi va marshrutlar soni
Shahar hududini eng ko'p qamrab olish shartini bajarish
jamoat transporti tizimi har doim ham uning maksimal darajasini bildirmaydi
fuqarolarni jalb qilish. Natijada, uni rivojlantirish va zarur
ta'sirni tahlil qilishda qo'shimcha strategik yondashuvlardan foydalanish
transport xizmatlari samaradorligi.
Mavjudlik parametrini baholashning bir qator usullari mavjud, masalan,
izoxron yondashuv [30]. [27] da harakatlanuvchi tarkibning tezligi oÿrganilgan.
Ushbu maqolada ushbu parametr nuqtadan baholanadi
jamoat transporti to'xtash joylari uchun parvozlar chastotasining ko'rinishi
port. Eslatib o'tamiz, parvoz chastotasi parametri to'g'ridan-to'g'ri ta'sir qiladi
jamoat transporti samaradorligi va diqqatga sazovor joylarning boshlang'ich
nuqtasidan oxirigacha bo'lgan kompozit sayohat vaqti haqida. Boshqa
tomondan, chastota davlat tizimining o'zi ishlashini anglatadi.
transport va uning xizmatlaridan foydalanish qulayligi. Ushbu
parametr, kirish parametri kabi, loyihalash uchun taklif etiladi
umuman shahar hududi bo'yicha, ya'ni o'rtacha qiymatni hisoblash uchun
har bir bekat tomonidan xizmat ko'rsatadigan barcha yo'nalishlar bo'yicha
berilgan hududdagi barcha bekatlarda amalga oshirilgan barcha reyslar .
Buning uchun transport ma'lumotlari bunday hisoblash uchun mos bo'lgan
ma'lumotlar formatini shakllantirish uchun qayta ishlanadi.
1.5. Ortiqchalik kriteriyasi tahlili
Mavjud transport tizimlari sharoitida jamoat transporti samaradorligini
oshirish alohida iqtisodiy va siyosiy xususiyatlarga ega. Xususan, undan
yanada xalos bo‘lish uchun jamoat transportining ortiqchalik darajasini o‘rganish
yanada foydali va oson amalga oshiriladigan chora-tadbirlar yo‘nalishi
hisoblanadi . Chunki ortiqchalik muammosi o'ziga xos muammolar bilan uzviy
bog'liqdir
kirish parametri uchun va uning yechimi bilan bir xil maqsadlarga qaratilgan
kirish, keyin ushbu ish doirasida biz ortiqchalikni o'rganamiz
18
Machine Translated by Google
xuddi shu tarzda avtobus bekatlari joylashuvining samarasizligi nuqtai nazaridan
ball.
Yo'nalishlarda to'xtashlar sonini kamaytirish, umumiy qamrovni kamida bir xil
darajada saqlash bilan bog'liq cheklovlarga qaramay, transport vositalarining umumiy
tezligiga va ularning ishlash tezligiga ijobiy ta'sir ko'rsatadi [26]. Boshqa bilan
Boshqa tomondan, qo'shimcha to'xtash joylarini joylashtirish amalda ijobiy natija bermaydi
jamoat transportining qulayligi va unumdorligi nuqtai nazaridan ta'sir qiladi , lekin
faqatgina butun tizimga yukni oshiradi va xizmat ko'rsatish sifatini pasaytiradi [29].
Harakatlanuvchi tarkibning tezligini jihozlash orqali ham oshirish mumkin
yo'llarda yoki bo'ylab qisman yoki to'liq ajratilgan bo'laklarning mavjudligi
tezroq yengil temir yo'l jamoat transporti bilan integratsiya.
Biroq, to'xtashlar sonining qisqarishi katta rol o'ynaydi
mavjud transport tizimini optimallashtirishda muhim rol o'ynaydi
biz, xoldingning arzonligi tufayli emas
tegishli harakatlar. Yana bir ijobiy ta'sir
uchun transport infratuzilmasini ishlatish xarajatlarini kamaytirish
minimal talab qilinadigan to'xtash nuqtalarini saqlab,
samarali marshrutlar orqali xizmat qiladi.
Albatta, eng yaxshi natijalarga faqat birlashtirish orqali erishish mumkin
faqat transport tizimining ortiqcha elementlarini olib tashlash jarayonlari va
uning saqlangan qismining ishlashi va mavjudligini oshirish.
1.5.1. Joylashuv samarasizligini to'xtating
To'xtash joylarining samarasizligi darajasini o'lchash jarayoni
ma'lum bir hududda, darajani o'lchagandan so'ng amalga oshirish tavsiya etiladi
ushbu hududni jamoat transporti bilan qamrab olish. samarasiz
Boshqa to'xtash joylariga kirish maydoniga tushadigan to'xtash hisoblanadi: uchun
i va j to'xtash joylarida i to'xtash joyini aniqlashda samarasizlik mavjud
agar Ni va Nj kirish maydonlarining tegishli to'plamlari Ni ÿ Nj ga ega
bo'lsa .
19
Machine Translated by Google
To'xtash joylarini samarasiz joylashtirish holatlari kamdan-kam uchraydi, hatto shahar xizmatlari ular
o'rtasida belgilangan masofani kuzatsa ham,
chunki shahar standartlari ushbu shartning bajarilishini belgilaydi
faqat bitta yo'nalish yoki bitta ko'chaning qo'shni to'xtash joylari. Masalan,
agar turli avtobus yo'nalishlari ikkita parallel ko'cha bo'ylab, ular orasidagi masofa 200 metr bo'lsa, u holda
shahar me'yoriga ko'ra, ularning to'xtash joylari har bir ko'cha bo'ylab har 400 metrda bir martadan ko'p
bo'lmagan holda joylashtirilishi kerak. bir ko'chadan to'xtash joyiga kirishning bufer zonasi bufer zonasi
bilan kesishadi
boshqa ko'chada to'xtash joyi mavjudligi.
Shunday qilib, samarasizlik nuqtai nazaridan ortiqchalikni tahlil qilish
to'xtash joylari ham muhim strategik chora sifatida namoyon bo'lmoqda
yuqorida aytib o'tilganlardan boshqa samaradorlik. Buning uchun mavjudni baholash kerak
to'xtash nuqtalarining umumiy konfiguratsiyasi.
1.5.2. To'plamni qoplashning joylashuv muammosi
Joylashuv to'plamini qoplash muammosi,
LSCP) - mavjudlarning ortiqchalik darajasini o'lchashga yondashuvning rasmiylashtirilishi
to'xtash joyini joylashtirish nuqtai nazaridan mavjud transport kompleksi
ma'lum bir hududdagi nazorat punktlari. Marshrutlarda to‘xtash punktlari sonini
qisqartirgan holda jamoat transporti tarmog‘ining ish faoliyatini qanchalik oshirish
mumkinligini aniqlash imkonini beradi [17; 37].
Ortiqchalikni o'lchash tizimi uchun LSCP sozlamasidan foydalanadi
quyidagi belgilar:
– i – barcha xizmat ko‘rsatilayotgan I zonalar to‘plamiga tegishli bo‘lgan xizmat
ko‘rsatilayotgan zona (mintaqa) indeksi (i ÿ I);
– j - barcha mavjud to'xtashlar to'plamiga tegishli bo'lgan joriy to'xtash indeksi J (j
ÿ J);
– dij – istalgan nuqta orasidagi eng qisqa masofa yoki sayohat vaqti
zona i va to'xtash j;
20
Machine Translated by Google
– S standart kirish masofasi yoki sayohat vaqti;
– Ni = {j | dedi 6 S};
ÿ 1, agar j to'xtash joyi xizmat ko'rsatish hududida qolsa
– xj =
ÿ
0 aks holda; ÿ
Keyin LSCP muammosi quyidagicha ko'rinadi:
xj
Minimallashtirish Z = X
(1)
j
cheklovlar bilan:
X xj > 1 ÿi ÿ I,
(2)
jÿNi
xj ÿ {0, 1} ÿj ÿ J.
(3)
Ya'ni, to'xtash joylari sonini minimallashtirish talab qilinadi,
berilgan xizmat ko'rsatish hududini to'liq qamrab olishni ta'minlash uchun zarur .
Cheklov (2) har bir hududga kamida bitta to'xtash nuqtasi xizmat ko'rsatishi
kerakligini bildiradi . Bu garan
barcha hududlar hozirda mavjud tomonidan xizmat ko'rsatilishini ta'kidlaydi
konfiguratsiyani to'xtatish va kamroq to'xtashlar bilan xizmat qilishda
davom etadi. Cheklov (3) yechim o'zgaruvchilarning butun sonini
kafolatlaydi . Shunday qilib, olish kerak
saqlangan to'xtash nuqtalarini aniqlash bo'yicha qarorlar
joriy jamoat transporti tarmog'ida. Bu muammo
to'plamning fazoviy versiyasidir [13; 31]. Bu ikki muammoning farqi maqsad
funksiyasi shaklidadir. To'plamni qoplash muammosi maqsad funktsiyasidagi
qaror o'zgaruvchilarni tortishni o'z ichiga oladi (P j ajxj , aj > 0). LSCPda har bir
ishtirokchining vazni bittaga teng.
LSCP muammosini o'rta va katta masshtablar uchun optimal bo'lish
ma'nosida hal qilish qiyin; uni hal etishning evristik usullari faol
o'rganilmoqda [6; 25]. Masalan, Lagranj relaksatsiyasi evristikasi keng
ko'lamli muammolar uchun samarali bo'lib chiqdi [18]. Quyida tavsif berilgan
bu usul.
21
Machine Translated by Google
1.5.3. Lagranj evristikasi
Dastlab, bu evristik standartni echishga qaratilgan edi
muammoni qoplang, shuning uchun uning formulasini ko'rib chiqing. I = {1
to'plamlari bo'lsin . . . m} va J = {1 . . to‘plamlar
. n}, shuningdek
turkumi.
toÿplam
I{Pj
I toÿplam,
, j ÿ va
J} kichik
PjJ
toÿplamning koÿrsatkich vektorini mos ravishda ikkilik matritsaning satrlar
toÿplami, ustunlar toÿplami va ustun vektori sifatida koÿrish mumkin. Agar S jÿC
Pj = I bo'lsa, C ÿ J kichik to'plami qopqoq shakli deb ataladi. cj - j ustunining narxi
bo'lsin . Keyin to'plamni qoplash muammosi matritsaning minimal qoplashdir.
xarajatlarini
Vazifa bo'lishi mumkin
ikkilik chiziqli dasturlash muammosi sifatida rasmiylashtiriladi:
X-ni minimallashtiring
cjxj
(4)
jÿJ
cheklovlar bilan:
X xj > 1, ÿi ÿ I,
iÿPj
xj ÿ {0, 1}, ÿj ÿ J
va qayerda:
- 1 agar j qopqoqqa tegishli bo'lsa,
xj =
ÿ
0 aks
holda.Pj
ÿ Shubhasiz,
(4)
muammo
=I
bo'lgandagina yechimga ega bo'ladi ; u ham NP-to'liq muammodir [16].
S jÿJ
Kombinatoriy optimallashtirish masalasi uchun Lagranj evristikasi hisoblanadi
uch bosqichdan iborat:
1) Muammo uchun dam olishni tanlash
2) Lagranjni yechishda subgradient usullaridan foydalanish
ikkilik
3) Har bir iteratsiyada dastlabki muammoning maqsadga muvofiq yechimi sifatida
yumshatiluvchi muammoning joriy yechimini belgilash;
22
Machine Translated by Google
(4) masala cheklovlarini yumshatib, biz Lagranj dualini olamiz
Undagi LD muammosi:
maks
pÿR+
(5)
W(p),
bu yerda berilgan p uchun qiymat W(p) optimal yechim hisoblanadi
quyidagi muammo R(p):
Minimal jÿJ
pi
ÿ xj + X ÿ
ÿ ÿcj ÿiÿPj
X
pi
,
(6)
iÿI
Bu yerda xj = {0, 1}, ÿj ÿ J.
Shubhasiz, muammo (5) uzluksiz versiya (4) bilan bir xil echimga ega.
Bunda bizni faqat evristikaning uchinchi bosqichi qiziqtiradi. (6) ning optimal
yechimi {x ÿ j, j ÿ J} boÿlsin va C = { j ÿ J | x = 1}. Agar C qopqoq bo'lmasa,
biztashlaymiz
matritsamizning
qoplangan
jÿC Pj to'plamini
o'chirib uchun
va yangi
ustunlar satrlarining
kiritish orqaliS qolgan
satrlarni qoplash
ochko'z evristik
tamoyilga
(k ÿ C) [8]
ortiqcha
amal qilamiz
bo'ladi .. Agar
Agar ortiqcha
C \ {k} qopqoq
ustun bo'lsa,
bo'lsa, qamrov
k
j ustuni
ÿ
ortiqcha
hisoblanadi.
qiling,SCjÿC\(k)
ortiqcha.
uni qanday
yaxshilashni
ko'rsatamiz:
R = {k ÿFaraz
C | bo'lsin
Pj =Keyin
I } - ortiqcha
ustunlar
to'plami .
Keyin biz muammoning maxsus versiyasini hal qilish orqali C dan olinadigan
eng kichik qoplama narxini topishimiz mumkin
belgilangan qamrov haqida:
X-ni minimallashtiring cjxj
jÿR
cheklovlar bilan:
X
men ÿ [ (I \ Pj ),
xj > 1, {jÿR |
jÿC\R
iÿPj}
xj ÿ {0, 1}, ÿj ÿ R.
23
(7)
Machine Translated by Google
Berilgan masalaning optimal qoplamasi T bo'lsin . U holda C dan
olinadigan eng kam qoplama qiymati (C \ R) ÿ T dir.
1.5.4. Maksimal hududni qoplash muammosi
(1) muammoni hal qilish maqsadining cheklovlaridan biri jamoat transporti xizmat
ko'rsatadigan hududlarni saqlab qolish talabidir . Bu shart har doim ham to'g'ri kelmaydi:
loyihalashda transport xizmatlarining umumiy sonidan aniq shahar hududlarini chiqarib
tashlash kerak bo'lishi mumkin . Buning sababi past hajmdir
yo'lovchi tashish yoki haddan tashqari yuqori darajadagi operatsion
xarajatlar.
Maksimal qoplamaning joylashuvi muammosi (MCLP) bu talabni zaiflashtiradi [7].
Buni aniqlash uchun
joylashuvni qoplash muammosining dastlabki o'zgaruvchilari bilan bir qatorda dachalar
o'rnatilgan bo'lsa, biz quyidagi belgilarni kiritamiz: ai - i (i ÿ I) hududidagi joriy/kutilayotgan
yo'lovchilar oqimi, p - tanlangan to'xtashlar soni,
ÿ 1 agar i hududi qoniqarli foydalanish imkoniyatiga ega bo'lsa,
qil =
ÿ
0 aks holda. ÿ
Keyin maksimal hududni qoplash muammosi sifatida shakllantiriladi
Hozirgi vaqtda aholining umumiy ulushini maksimal darajada oshirish muammosi
jamoat transportidan foydalanish imkoniyati va qaysi biri bundan keyin ham shunday bo'ladi:
X ni maksimal darajaga ko'tarish ish
i
shartlarda:
X xj > yi ÿi ÿ I,
(8)
jÿNi
xj = p,
(b): X
(9)
j
(c) : xj = yi = {0, 1} ÿi, j.
24
(10)
Machine Translated by Google
Shart (8) saqlash uchun tanlangan to'xtash joylari qaysi xizmat ko'rsatish sohalarini qamrab olishini
hisobga olish imkonini beradi . Shart (9) aynan p shunday to'xtash joylari tanlanganligini ko'rsatadi . Shart
(10) cheklovni qo'yadi
yechim o'zgaruvchilarning yaxlitligi.
Shunday qilib, maksimal joylashuvni qamrab olish vazifasi jamoat
transportida xizmat ko'rsatadigan ularni saqlash uchun eng jozibador bo'lgan
shahar hududlarini aniqlashga qaratilgan.
Maksimal muammodan foydalanishning qo'shimcha muhim afzalligi
to'plamni qoplashning joylashuv muammosidan oldin qoplash
ko'proq to'xtash punktlari olib tashlanganligi sababli byudjetni yanada ko'proq
tejash: samarasiz shahar hududlarini jamoat transporti tarmog'idan olib
tashlash ularning hududida joylashgan barcha to'xtash joylarini olib tashlashga
olib keladi, hech bo'lmaganda texnik xizmat ko'rsatish bilan cheklanmaydi.
ularning minimal soni.
25
Machine Translated by Google
II bob. Katta ma'lumotlar metodologiyasi
Katta ma'lumotlar yoki ma'lumotni talab qiluvchi texnologiyalar - bu fan,
sanoat va biznesdagi yangi texnologik tendentsiya
inson faoliyatining deyarli barcha jihatlari bilan bog'liq.
Bulutli hisoblash kabi zamonaviy texnologiyalarning imkoniyatlari, shuningdek, tarmoq
infratuzilmasini keng rivojlantirish barcha turdagi ma’lumotlarni yig‘ish, qayta ishlash va
vizualizatsiya jarayonlarini avtomatlashtirish uchun barqaror platformani ta’minlaydi.
Doimiy ortib borayotgan ma'lumotlar hajmi bilan ishlashga moslashgan holda, zamonaviy
ilm-fan sanoatga ilmiy tahlilning innovatsion usullarini taklif qilishi mumkin va sanoat ilg'or
va tez rivojlanayotgan katta ma'lumotlar texnologiyalari va ilmiy va jamoat maqsadlari
uchun vositalarni yaratishi mumkin [11].
2.1. Katta ma'lumotlarning ta'rifi
– “Yangi avlod texnologiyalari va arxitekturalari juda katta hajmdagi turli
xil ma’lumotlardan iqtisodiy foyda olishga mo‘ljallangan bo‘lib , ularni
tezda qabul qilish, o‘rganish va/yoki tahlil qilish imkonini beradi” [15].
- "Tuzilgan yoki tuzilmagan ma'lumotlarning katta miqdori shunchalik
kattaki, ularni an'anaviy dasturiy ta'minot texnologiyalari va ma'lumotlar
bazalari yordamida qayta ishlash qiyin " [36].
- " Har qanday qaror qabul qilish uchun mavzu sohasini chuqurroq
tushunish uchun ma'lumotlarni qayta ishlashning tejamkor, innovatsion
shakllarini talab qiladigan keng ko'lamli, tez to'planadigan va xilma-xil
axborot aktivlari " [5].
- Ko'pincha 5V kontseptsiyasi ma'lumotlarni o'z vaqtida o'zgartirish
imkoniyatini aks ettiruvchi qo'shimcha xususiyatlar bilan kengaytiriladi.
26
Machine Translated by Google
hayot aylanishi va manba ma'lumotlarini bog'lash zarurati
qayta ishlanadi, ularning semantik qiymatini saqlab qoladi: Dinamizm /
O'zgaruvchanlik (Dinamiklik / O'zgaruvchanlik) va Ulanish (Bog'lanish).
2.2. Apache Hadoop
Apache Hadoop [24; 40; 53] ochiq kodli dasturiy ta'minot ekotizimidir , u
ishlab chiqish va bajarish uchun mos bo'lgan asosni ta'minlaydi.
katta hajmdagi ma'lumotlarni qayta ishlaydigan taqsimlangan ilovalar
nyh. Hadoop muqobil sifatida taqsimlangan tizimlar ichida ishlab chiqilgan
asosiy kompyuterlar, lekin boshqa taqsimlangan tizimlardan farqli o'laroq, u yo'naltirilgan
muhim hisoblash ishlarini bajarish uchun emas, balki qayta ishlash
ku katta hajmdagi ma'lumotlar, ularning harakati ham bo'lib chiqadi
samarasiz. Shuning uchun, Hadoop-ning negizida kodni ko'chirish g'oyasi mavjud
ma'lumotlarga bajarilishi, lekin aksincha emas, ya'ni mijoz mashinalari yuboradi
klasterga bajariladigan dasturlarni qo'ying, shundan so'ng Hadoop ularni ko'chiradi
ma'lumotlarni tarqatish natijasida mavjud bo'lgan klaster mashinalariga
qayta ishlash uchun zarur bo'lgan ma'lumotlar bloklari.
Hadoopning standart vositalarga nisbatan afzalliklari
taqsimlangan hisoblash:
- Mavjudligi - Hadoop- ni tarmoqqa ulangan standart mashinalar va komponentlardan
yig'ilgan klasterlarda bajarish mumkin ,
jismonan bir joyda yoki bulutli hisoblash infratuzilmasining bir qismi sifatida.
– Ishonchlilik - standart uskuna arxitekturasi tufayli
Hadoop tez-tez uchraydigan nosozliklarni hisobga olgan holda ishlab
chiqilgan bo'lib , ular yuzaga kelganda xarakteristikalar bilan ishlanadi
klasterlar silliq va asta-sekin yomonlashdi.
– Chiziqli miqyoslilik – ma’lumotlar miqdori oshgani sayin va
Klasterga yangi tugunlarni qo'shish uchun hisoblash etarli.
– Oddiylik — dasturlashtiriladigan yuqori darajadagi muhit sizga imkon beradi
parallel samarali kod yaratish.
27
Machine Translated by Google
Klassik relyatsion boshqaruv tizimlariga nisbatan, asos
MI ma'lumotlari (RDBMS) Hadoop bir qator o'ziga xos xususiyatlarga ega:
– Vertikal masshtablash o‘rniga gorizontal masshtablash: klassik RDBMS-larda
ma’lumotlar hajmini kengaytirish ko‘proq sozlashni talab qiladi .
ularni qayta ishlash uchun kuchli server; Hadoop klasterining resurslarini
ko'paytirish yangi mashinalarni qo'shish bilan bog'liq.
– Relyatsion jadvallar o‘rniga kalit/qiymat juftliklaridan foydalanish. Nered
ma'lumotlar aloqadorlik tomonidan yomon tuzilgan bo'lgan holatlar
jadvallar yoki bunday tuzilish uchun juda katta. Asosiy
Hadoop-dagi ma'lumotlar birligi kalit/qiymat juftligidir.
- Deklarativ so'rovlar o'rniga funktsional dasturlash. Hadoop-da bajariladigan
dasturlarni kompilyatsiya qilish talab qilinadi
o'rniga kerakli ma'lumotlarni qayta ishlash bosqichlarini mustaqil ravishda tasvirlab bering
SQL so'rovlarini yozish. Biroq, SQL-ga o'xshash so'rovlarni bajariladigan kodga
kompilyatsiya qilish uchun asboblar to'plami mavjud.
– Onlayn tranzaktsiyalar o'rniga oflayn paketli ishlov berish va
B-daraxtlardan foydalanish, ya'ni Hadoop bir nechta yozuvlarni tasodifiy
o'qish va yangilash uchun mo'ljallanmagan; Buning o'rniga
Hadoop-dan optimal foydalanish bir marta yozishni nazarda tutadi
va partiyalarda saqlangan ma'lumotlarni bir necha marta o'qish.
2.2.1. Apache Hadoop komponentlari
Dasturiy jihatdan, Hadoop demon jarayonlari to'plamidir
klaster tarmog'idagi turli serverlar. Keling, jinlarning toifalarini sanab o'tamiz:
1) NameNode - fayl nomlari maydonining asosiy daemon-dispetcheri
DataNode demonlari o'rtasida past darajadagi kiritish/chiqarish
vazifalarini taqsimlovchi va fayllarni bo'linishini kuzatuvchi HDFS tizimi .
bloklar. Shuningdek, u barcha fayllar/kataloglar uchun fayl tizimi
daraxti va metamaÿlumotlarni saqlaydi. Bu iblis ostida, alohida
takrorlanmaydigan server.
28
Machine Translated by Google
1-rasm - Hadoopning strukturaviy elementlari
2) DataNode - bu mahalliy fayl tizimidagi jismoniy fayllarga HDFS bloklarini o'qish va
yozish uchun mas'ul bo'lgan , NameNode'dan fayl bloklarining joylashuvi haqida
ma'lumot olish uchun mas'ul bo'lgan qul mashinasi demonidir. Ma'lumotlar bloklarini
takrorlash uchun boshqa DataNodelar bilan o'zaro ishlaydi . Vaqti-vaqti bilan
NameNode-ga ma'lumot yuboring
davlat va mahalliy o'zgarishlar.
3) Ikkilamchi NameNode - HDFS klasterining holatini kuzatuvchi yordamchi demon .
Bu demonda alohida, takrorlanmaydigan server ham mavjud. NameNode'dan
farqli o'laroq, u HDFS o'zgarishlari haqida ma'lumotni qabul qilmaydi yoki
jurnalga kiritmaydi.
real vaqtda, lekin faqat u bilan o'zaro ta'sir qiladi
HDFS metama'lumotlarining suratini yaratish.
4) JobTracker - topshiriqlarni bajarish uchun umumiy reja tuzadigan demon. Bu ijro
jarayonida qaysi fayllarni qayta ishlash kerakligini aniqlaydi
vazifalarni bajaradi, vazifalarga tugunlarni belgilaydi va ularning bajarilishini nazorat qiladi.
Asosiy tugun rolini o'ynaydigan alohida serverga ajratilgan
klaster.
5) TaskTracker - JobTracker va boshqaruvlarga bo'ysunadigan ko'plab jinlar
muayyan bo'yicha individual topshiriqlarni bajarish
klaster tugunlari. TaskTracker vaqti-vaqti bilan JobTracker haqida xabar beradi
vazifalarning borishi.
29
Machine Translated by Google
Hadoop komponentlari o'rtasidagi o'zaro ta'sirlarning umumiy sxemasi keltirilgan
rasmda. bitta.
2.2.2. Taqsimlangan fayl tizimi HDFS
HDFS (Hadoop Distributed File System) - bu juda katta hajmdagi taqsimlangan
ma'lumotlarni saqlash uchun mo'ljallangan fayl tizimi va ularga oddiy mashinalar
klasterlarida kirish uchun oqim sxemasi [34].
HDFS xususiyatlari:
- Juda katta hajmdagi fayllarni saqlash.
– Oqimli ma'lumotlarga kirish: bir marta yozish va ko'p marta o'qish kontseptsiyasiga rioya
qilish HDFSda ma'lumotlarni qayta ishlashning maksimal samaradorligini beradi.
– HDFS, umuman, Hadoop kabi, yuqori ishonchlilikdagi qimmat uskunani talab
qilmaydi , chunki tizim ishlashga mo'ljallangan.
standart mashinalardan tashkil topgan va yuqori hisobga olgan holda klasterlar bo'yicha
individual tugunlarning ishdan chiqishi ehtimoli.
- HDFSda yuqori o'tkazuvchanlik tezlikdan afzalroq
kirish.
HDFS ning asosiy tushunchalaridan biri saqlangan ma'lumotlar fayllarini
blokirovka qilishdir (standart blok hajmi 64 MB). Bitta faylning bloklari bo'lishi mumkin
tarqatilgan do'kon, qaysi, boshqa narsalar qatorida, replikatsiya uchun ishlatiladi, va
fayllarni abstraktsiya qilish o'rniga blokli abstraktsiya saqlash quyi tizimini
(belgilangan o'lcham diskda ushlab turishi mumkin bo'lgan bloklar sonini hisoblashni
osonlashtiradi) va metama'lumotlarni tashkil qilishni soddalashtiradi. HDFS-da
ma'lumotlar xavfsizligi NameNode metama'lumotlarini bir nechta fayl tizimlarida
ko'paytirish va nazorat nuqtalarini yaratish uchun Ikkilamchi NameNode-dan
foydalanish orqali erishiladi . Yuqori mavjudlik faol/kutish konfiguratsiyasida ikkita
NameNode yordamida ta'minlanadi. Buning uchun ikkala NameNode ham
o'zgarishlar jurnalini saqlash uchun umumiy, yuqori darajada mavjud ma'lumotlar
do'konidan foydalanishi kerak. Ma'lumotlar tugunlari,
30
Machine Translated by Google
o'z navbatida, har ikkala NameNode-ga hisobot yuborishi kerak. Faol
NameNode-dan kutish rejimiga o'tishni o'chirish boshqaruvchisi boshqaradi.
2.2.3. MapReduce paradigmasi
2-rasm - MapReduce ishining sxemasi
Hadoopning eng muhim funksiyalaridan biri MapReduce dasturlarini ishga tushirishdir.
MapReduce [10] katta hajmdagi maÿlumotlarni taqsimlangan qayta
ishlash uchun moÿljallangan dasturiy taÿminot modelidir . MapReduce
ishi mijoz uchun bajarilishi kerak bo'lgan ish birligi bo'lib, kirishlar
to'plami , MapReduce dasturi va konfiguratsiya ma'lumotlaridan iborat.
MapReduce-dagi ma'lumotlarni qayta ishlash primitivlari tegishli qayta
ishlash funktsiyalari aniqlangan ajratuvchilar va reduktorlardir. Haqiqiy
ma'lumotlarning primitivlari ro'yxatlar va kalit/qiymat juftlaridir.
Ishni bajarish uchun MapReduce ushbu ishning ma'lumotlarini oladi, uni qat'iy o'lchamdagi qismlarga
ajratadi va yaratadi
juftliklar ro'yxati sifatida kirish ma'lumotlarini o'z ichiga olgan tarqatish muammolari
kalit/qiymat [(k1, v1)].
31
Machine Translated by Google
Ajratish bosqichida ajratuvchi funktsiyasi (map()) o'z zimmasiga oladi
alohida tarqatish vazifasini kiritadi va ma'lum bir keyin bajaradi
kirish bo'linmasida har bir juftlik (k1, v1) bo'yicha harakatlar ketma-ketligi
ma'lumotlar, uni juftliklar ro'yxatiga aylantirish [(k2, v2)]. Tarqatish vazifalari
agar iloji bo'lsa, kiritilgan ma'lumotlar joylashgan bir xil tugunlarda bajariladi
HDFS da saqlanadi (ma'lumotlar joylashuvini optimallashtirish printsipi). Dam olish kunlari
tarqatish vazifasi ma'lumotlari mashinaning mahalliy diskiga yoziladi va
HDFSda emas, chunki bu ma'lumotlarning joylashuvi sababli, takrorlang
HDFSda ular foydasiz.
Masshtablash uchun bo'linish funktsiyasidan foydalaniladi, bu yoki yo'qligini aniqlaydi
distribyutorlarda yaratilgan kalit- qiymat juftlarini qaysi vites qutilariga yuborish kerak.
Tanlov klasterlardagi ma'lumotlarning joylashuvi konfiguratsiyasiga va kalitning
xeshlanishiga bog'liq. Bir nechta reduktor funktsiyalari mavjud bo'lganda
Tarqatish vazifalari o'z mahsulotlarini bo'limlarga ajratadi. Har birida
uy bo'limida juda ko'p kalit bo'lishi mumkin, lekin berilgan kalit uchun barcha yozuvlar
bir xil bo'limda - aralash deb ataladi. Har bir vazifa
qisqartirishlar, shuning uchun ko'plab taqsimotlardan o'z ma'lumotlarini oladi.
g'ildiraklar. Distribyutorlar o'rtasida uzatiladigan hajmni kamaytirish uchun
va ma'lumotlar reduktorlari, shuningdek, birlashtiruvchi funktsiyani aniqlash mumkin,
distribyutorning chiqishini kamaytirish.
Kamaytirish bosqichida oraliq natijalar qayta ishlanadi, yarim
ajratuvchilar va [(k2, [v2])] juftliklar ro'yxatiga jamlangan .
Reduce funksiyasi (reduce()) roÿyxatning har bir juftini alohida qayta ishlaydi va yakuniy
bosqichda yigÿiladigan yangi juftlikni (k3, v3) hosil qiladi.
natija va HDFS bloklariga yoziladi. Kamaytirish muammolari soni kiritilgan
ma'lumotlarning hajmidan qat'iy nazar aniqlanadi. Kamaytirish muammolari emas
ma'lumotlar joylashuvidan foydalanish; bitta qisqartirish muammosining kirish ma'lumotlari
barcha tarqatish vazifalarining chiqishidan hosil bo'ladi: tartiblangan tarqatish
chiqishi tarmoq orqali vazifa bajariladigan tugunga uzatiladi.
qisqartirish, bu erda ma'lumotlar birlashtiriladi va reduktor funktsiyalariga
o'tkaziladi. Reduktor funktsiyalarining chiqishi HDFSda shunday saqlanadi
birinchi replika mahalliy xostda, qolganlari esa tashqi qismda saqlanadi
tugunlar.
32
Machine Translated by Google
MapReduce hisob-kitoblar ketma-ketligini sxematik ko'rsatish
shaklda ko'rsatilgan. 2.
MapReduce arxitektura toifasiga kirmaganligi sababli
ajratish (ya'ni mustaqil vazifalar bilan), keyin u muvaffaqiyatsizliklardan himoyalangan,
alohida klaster mashinalarida sodir bo'lgan, qayta ishga tushirish muvaffaqiyatsiz tugadi
ishlaydigan mashinalardagi vazifalar. Ushbu effekt ham qo'llab-quvvatlanadi
HDFSda replikatsiya mexanizmi.
2.2.4. Hadoop Streaming API
Hadoop Streaming API [49] - bu dasturlash interfeysi
MapReduce, bu sizga tarqatish va xaritalash funktsiyalarini yaratish uchun Java-dan
boshqa dasturlash tillaridan foydalanish imkonini beradi . Bu funksiya Unix standart
oqimi yordamida quyidagicha amalga oshiriladi:
MapReduce dasturlarini yozishda istalgan tildan foydalanishingiz mumkin,
standart kirish va standart oqimlar bilan o'zaro ta'sir qilish
kami chiqishi va xatolar. Tarqatish va kamaytirish funktsiyalari qatorlarni o'qiydi
standart kirish STDIN ma'lumotlarini ajratish , bo'yicha tartiblangan
tugmachasini bosing va natijani standart chiqish oqimiga STDOUT yozadi. Ma'lumotlar
mavzular mos ravishda Python dasturlash tilida taqdim etiladi,
sys.stdin o'zgaruvchisi va print() funksiyasi.
2.3. Microsoft Azure HDInsight bulutli platformasi
Microsoft Azure HDInsight [52] Hadoop klasterlarini masofadan joylashtirish
imkonini beruvchi va dasturiy ta'minot bilan ta'minlovchi bulutli xizmatdir.
katta ma'lumotlar operatsiyalarini boshqarish, tahlil qilish va vizualizatsiya qilish uchun
muhit. HDInsight Apache ochiq standartlariga to'liq mos keladi
Hadoop va tuzilmagan yoki yarim tuzilgan ma'lumotlar variantlarini boshqarishi
mumkin. Ma'lumotlar platformasi bilan integratsiya orqali
Hortonworks [46] foydalanuvchi ma'lumotlarni ko'chirish imkoniyatiga ega
zaxiralash, ishlab chiqish va sinovdan o'tkazish uchun Azure bulutiga mahalliy va
boshqa bulut manbalari . O'rnatilgan tahlil tizimi
bulutli va mahalliy klasterlarga so'rov yuborish imkonini beradi.
33
Machine Translated by Google
HDInsight plaginlari C#, Java, .NET,
Python, JavaScript.
Taqdim etilgan klasterdagi maksimal mavjud tugunlar soni
32 tugun va siz faqat haqiqatda foydalanadigan hisoblash uchun to'laysiz
telny resurslari. Klaster yaratgandan so'ng, siz unga to'liq kirishingiz mumkin,
shu jumladan RDP; boshqaruv boshqaruv paneli orqali mavjud,
Bu, boshqa narsalar qatorida, klasterda hisoblash uchun vazifalarni yaratishga imkon beradi
qayta. MapReduce vazifalariga qo'shimcha ravishda, interaktiv konsol qo'llab-quvvatlanadi
JavaScript va Hive-da so'rovlarni kompilyatsiya qilish.
Azure Marketplace ma'lumotlar do'koni real vaqtda ma'lumotlar, tasvirlar
va tijorat sotuvchilardan veb-xizmatlarni to'playdi
ma'lumotlar va rasmiy ommaviy axborot manbalaridan. Xizmat
ma'lumotlarni olish va ulardan foydalanish jarayonini soddalashtiradi: demografik
moliyaviy, ekologik, chakana savdo,
sport va boshqalar.
HDInsight xotirasi ikkilik formatdagi ma'lumotlarni ifodalovchi Azure
Remote Blob Storage bilan birlashtirilgan. Shunday qilib
ma'lum bir klasterga bog'lanmaganligi sababli, saqlangan ma'lumotlar bo'lishi mumkin
turli vazifalar uchun qayta foydalanish. HDInsight komponentlari
muyu tuzilgan va tuzilmagan bilan o'zaro ta'sir qiladi
HDFS interfeysi orqali blob xotirasidagi ma'lumotlar.
HDInsight ma'lumotlar omborining tuzilishi rasmda ko'rsatilgan. 3.
Blob konteynerlari ma'lumotlarni kalit/qiymat juftlari sifatida saqlaydi
va katalog ierarxiyasiga ega emas. Fayllarga kirish
blob saqlash URI sxemasi orqali amalga oshiriladi. Shuningdek uchun
Ushbu maqsadlar uchun siz Azure CLI (Buyruqlar qatori interfeysi) dan foydalanishingiz mumkin
Azure) yoki Azure PowerShell.
Operatsion tizim ostidan masofaviy klasterga kirish SSH orqali, RSA kaliti
yoki parol yordamida amalga oshiriladi. SSH tunnellash Ambari veb-interfeysi,
ResourceManager,
JobHistory, NameNode, Oozie va boshqalar. MapReduce vazifalarini tillarda bajarish
Java bo'lmagan, yuqorida aytib o'tilgan Hadoop orqali amalga oshiriladi
Streaming API.
34
Machine Translated by Google
3-rasm - HDInsight saqlash tuzilmasi
2.4. Katta ma'lumotlar va ommaviy tadqiqotlar
transport
Katta ma'lumotlarning ko'lami taqsimlanishiga bog'liq
raqamli resurslar, ularning kuchi, saqlash uchun resurslarni ko'paytirish
ma'lumotlar va, albatta, turli xil raqamli ishlab chiqarish jarayonidan
mazmuni.
Shahar jamoat transportini boshqarish va o'rganish sohasida katta
ma'lumotlardan foydalanish tizimning ishlashi to'g'risidagi ma'lumotlarning
aniqligi va ishonchliligi bo'yicha juda yuqori natijalarga erishishga imkon beradi.
har qanday o'lchov.
Shaharlardagi katta ma'lumotlar manbalarini uch toifaga bo'lish mumkin
rii:
1) yo'nalishli - an'anaviy qo'lda va yarim qo'lda kuzatish usullaridan foydalangan holda
yaratilgan;
2) avtomatlashtirilgan - raqamli qurilmaning ishlashi, raqamli tarmoqlarda tranzaktsiyalar va
o'zaro ta'sirlar, sensorlar va boshqa o'rnatilgan mexanizmlardan to'plangan ma'lumotlar;
35
Machine Translated by Google
3) ixtiyoriy - odamlarning o'zlari tomonidan yig'iladi (ijtimoiy o'zaro ta'sir
tarmoqlar, kraudsorsing ma'lumotlari, GPS treklari).
Ushbu triodan faqat avtomatik ravishda yaratilgan ma'lumotlar
haqida foydali kuzatishlar berish nuqtai nazaridan istiqbolli
shahar tizimlari, shu jumladan transport tizimlari [23]. Kuzatishning
avtomatlashtirilgan shakllarini, masalan, almashtirish orqali olish mumkin
Avtomatik smart-kartalarga tashishda qog'oz sayohat chiptalari,
avtomobil raqamini aniqlash tizimini joriy etish;
tezlik o'lchagichlar ko'rsatkichlarini avtomatik o'qish tizimlari, si
Yo'l holatini kuzatish uchun avtomatlashtirilgan xizmatlar tizimlari
Yo'l harakati va boshqalar. Shubhasiz, ushbu tadbirlarning har biri shahar
boshqaruvi xizmatlarini katta hajmdagi ma'lumotlar bilan ta'minlaydi.
bir-biri bilan uyg'unlashgan xususiyatlar. Shu sababli, dasturiy ta'minot
hammom "aqlli" shahar turli ma'lumotlar bilan qoplangan va
Sensor tarmoqlari ma'lumotlar bilan ishlashning bir xil usullarini talab qiladi
Katta ma'lumotlar texnikasini qo'llashning an'anaviy ob'ektlari, masalan,
ijtimoiy tarmoqlar.
Katta ma'lumotlarning axborot tizimlarini joriy etishning alohida afzalligi
nyh ishonchli axborot bazasini yaratish imkoniyatida yotadi
uzoq muddatli rejalashtirish va prognozlash uchun. Og'riqdan foydalanish
katta namunalar, turli xil ma'lumotlar shakllarini bog'lash ko'proq narsani ta'minlashi mumkin
chuqur, yaxlit va ishonchli tahlil.
Shahar muhitining barcha elementlaridan ma'lumotlarning yagona katta
ma'lumotlar bankiga kontsentratsiyasi shahar xizmatlariga foydali bo'ladi
axborot-tahliliy asos esa bir talabni qo'yadi
bunday tahlilning bir xilligi, go'yo u, masalan, sohaga tegishli
shaharning uy-joy kommunal xizmatlari yoki jamoat transporti . Boshqacha
qilib aytganda, katta va hatto "oddiy" ma'lumotlar olingan
shahar iqtisodiyotining turli sohalarining axborot tizimlaridan zarur
ularni osonlik bilan ta'minlaydigan universal tarzda qayta ishlanishi kerak
muayyan tadqiqot vazifasi talab qilsa, birlashtiriladi.
Masalan, jamoat transporti tizimining harakatlanuvchi tarkibining harakati
to'g'risidagi ma'lumotlarni "oddiy" deb tasniflash maqsadga muvofiqdir, chunki
36
Machine Translated by Google
ularning hajmi kamdan-kam hollarda bir necha gigabaytdan oshadi. Biroq,
transport tizimining ishlashini har tomonlama o'rganish mumkin
ularni yo'lovchi tashish va shaxsiy transport vositalari oqimi to'g'risidagi
ma'lumotlar bilan birlashtirish talab qilinadi, ularning hajmi, o'z navbatida, katta
shaharlar o'nlab gigabayt yoki undan ko'p bilan o'lchanishi mumkin. Shubhasiz, mavjudligi
bitta ishlov berish/tahlil asboblar to'plami qiyinchiliklardan qochadi
bunday kombinatsiyada, shuning uchun bunday vosita sifatida katta
ma'lumotlar texnologiyalarini ta'minlash sifatida foydalanish tavsiya etiladi
juda katta hajmdagi ma'lumotlar bilan eng yaxshi ishlash.
37
Machine Translated by Google
III bob. Vazifalarni amalga oshirish
1) Ommaviy samaradorlik parametrlarini hisoblash bosqichlarining tavsifi
transport
– Biz samarasizlik parametrini (rivojlanishda) hisoblaymiz, shahar hududlarini ushbu
mezon bo'yicha tartiblaymiz. Ro'yxatni olish
hududlar va ularning samaradorligi qiymatlari o'zaro bog'liq
ro'yxat tartibi.
2) Yakuniy natijalar, usul natijalarini solishtirish.
3.1. Dastlabki ma'lumotlarning tavsifi
3.1.1. Transport ma'lumotlari
Mavjud shahar jamoat transporti tizimi mavjud emas
bir yoki bir nechta trans tomonidan boshqariladi va xizmat ko'rsatiladi
tikuvchi kompaniyalar, yuk tashish kompaniyalari deb ataladi. Pere
haydovchilar o'zlari to'plagan transport ma'lumotlarini nashr etishlari mumkin,
telekommunikatsiya uskunasidan olingan ma'lumotlar paketlari,
harakatlanuvchi tarkibga o'rnatilgan, videokameralar ma'lumotlari, avtomobil hisobotlari
matlashtirilgan boshqaruv tizimlari, statistik ma'lumotlar va boshqalar.
GTFS (General Tranzit Feed Specification) [51] umumiy tranzit jadvallari
uchun ochiq va jadvalli optimallashtirilgan formatdir.
jamoat transporti va tegishli geofazoviy ma'lumotlar,
bu maÿlumotlardan xaritalarda, martni rejalashtiruvchilarda foydalanish imkonini beradi
ruts yoki tadqiqot va tahliliy maqsadlar uchun [1]. GTFS ruxsat beradi
standartlashtirilgan transport ma'lumotlari paketlarini ( kanallar deb
ataladi) yaratish va ularni rasmiy ravishda jamoat mulki sifatida e'lon qilish
tashuvchilar va har qanday foydalanuvchilar.
Transport tizimining GTFS kanallari haqida barcha kerakli ma'lumotlar
ma'lum bir shahar .txt kengaytmali 13 CSV fayli orqali tarqatiladi va
ularda vergul bilan ajratilgan qatorlar sifatida ifodalanadi, shuning uchun u
dasturni qayta ishlash uchun nisbatan oson, chunki faqat
38
Machine Translated by Google
kerakli miqdordagi fayllarni birlashtirish va ularning mazmunini tahliliy ishning
maqsadlariga qarab filtrlash. Shuningdek, ushbu ma'lumotlar formati
relyatsion ma'lumotlar bazalarida relyatsion vakillik va foydalanish uchun
qulaydir . Har bir paket fayli transport ma'lumotlarining ma'lum bir komponenti
uchun javobgardir ; ularning mazmuni qat'iy belgilangan tuzilishga
bo'ysunishi kerak. Har bir faylning birinchi qatori ma'lumotlar maydonlarining
nomlarini o'z ichiga oladi. Keling, ushbu fayllarni alohida ko'rib chiqaylik (har
bir fayl mazmuniga misollar uchun 3.7-ilovaga qarang).
1) agentlik.txt - ma'lumotni ko'rsatadigan majburiy fayl
Buning uchun ma'lumotlarni taqdim etadigan barcha tashuvchi kompaniyalar
GTFS kanali.
2) calendar.txt - haftalik jadvallar bo'yicha ishlaydigan marshrutlarning
sanalari ko'rsatilgan majburiy fayl ; boshlanishi va oxirini tasvirlaydi
marshrut faoliyati, shuningdek, marshrut mavjud bo'lgan hafta kunlari.
3) calendar_dates.txt - calendar.txt dan marshrutlar uchun ixtiyoriy istisno fayli .
Agar calendar_dates.txt fayli marshrut uchun barcha sanalarni o'z ichiga olsa, u
holda bu fayldan calendars.txt fayli o'rniga foydalanish mumkin .
4) fare_attributes.txt - tariflar bilan ixtiyoriy fayl, o'rnatilgan
dangasa tashuvchi kompaniyalar.
5) fare_rules.txt - tashuvchi kompaniyalar tomonidan belgilangan tarif qoidalarining
ixtiyoriy fayli . Ixtiyoriy fayl.
6) feed_info.txt - kanal haqida qo'shimcha ma'lumotga ega bo'lgan ixtiyoriy fayl
(kanal tashkilotchisining aloqa ma'lumotlari, versiyasi, e'lon qilingan
ma'lumotlarning dolzarbligi).
7) frequencies.txt - parvozlar orasidagi intervallarning ixtiyoriy fayli
o'zgaruvchan intervalli marshrutlar uchun.
39
Machine Translated by Google
8) routes.txt - xizmat ko'rsatadigan barcha marshrutlar uchun kerakli fayl
tashuvchi kompaniyalar.
9) shapes.txt - traektoriyalarni ko'rsatish uchun qoidalarning ixtiyoriy fayli
xaritadagi harakat yo'nalishlari.
10) stops.txt - bu transport vositalari yo'lovchilarni olib ketish/tushirish joylari
haqidagi ma'lumotlarga ega bo'lgan majburiy fayl .
11) stop_times.txt - har bir safarda transport vositasining kelish va jo'nash vaqtini
ko'rsatadigan majburiy fayl .
har bir bekat.
12) transfers.txt - uzatish qoidalarining ixtiyoriy fayli
marshrutlar orasidagi bolalar bog'chasi.
13) trips.txt - har bir marshda amalga oshirilgan sayohatlarning majburiy fayli
marshrut, to'xtashlar ketma-ketligi sifatida ifodalanadi.
GTFS kanali fayllari orasidagi bog'lanish diagrammasi rasmda ko'rsatilgan.
cho'kib ketgan 4.
GTFS formatida tarqatilgan ma'lumotlar to'liq qamrab oladi
Ushbu tadqiqotning ehtiyojlari, shuning uchun foydalanish mumkin
asl transport ma'lumotlarining sifati. Misol tariqasida, bor edi
GTFS formatidagi tanlangan transport ma'lumotlari, Toronto, Kanadaning TTC
tashuvchi kompaniyasi tomonidan portalda umumiy foydalanish uchun e'lon qilingan.
portal GTFS Data Exchange [47]. Ishning qolgan qismi tasvirlangan
transport tizimini tahlil qilish uchun harakatlar ketma-ketligi aniq
bu shahar.
Maqsadlar uchun jami yuklab olingan 265 MB maÿlumotlar paketidan
tadqiqot 5 ta faylni talab qiladi: routes.txt, shapes.txt, stops.txt,
stop_times.txt va trips.txt.
3.1.2. Ma'muriy bo'linish va aholi soni
O'rganilayotgan shaharni tumanlarga bo'lish o'zboshimchalik bilan amalga
oshirilishi mumkin; ushbu ish doirasida rasmiy
40
Machine Translated by Google
4-rasm - GTFS fayllarining diagrammasi
Toronto shahrining maÿmuriy boÿlinmasi. Ushbu bo'linish bo'yicha ma'lumotlar Toronto
Open Data Portal [41] dan EPCG:4326–WGS-84 koordinata proyeksiyasiga asoslanib,
ko'pburchaklarning vektor shakli fayli sifatida yuklangan . Toronto shahrining ma'muriy
bo'linishi asosida tumanlar bo'yicha aholi soni to'g'risidagi ma'lumotlarni olish uchun
demografik statistik ma'lumotlarni o'z ichiga olgan manbaga murojaat qilish kerak
[42].
ma'lumotlar.
3.1.3. Yo'l tarmog'i
Kerakli asosiy xarita qatlami ko'chani talab qiladi
o'rganilayotgan shaharning koordinatali to'rga bog'langan yo'l tarmog'i.
Ushbu qatlam shahar hududining fazoviy ramkasi rolini o'ynaydi, unga to'xtash
moslamalari biriktiriladi, paketdan chiqariladi.
transport ma'lumotlari va ko'pburchak maydonlari.
41
Machine Translated by Google
OpenStreetMap [48] xarita xizmati Toronto shahrining yoÿl tarmogÿi
boÿyicha maÿlumotlar manbai sifatida foydalanilgan boÿlib, u xarita
maÿlumotlarining oÿzboshimcha kombinatsiyalaridan foydalanish va yuklab
olish huquqi uchun bepul litsenziyaga ega va har qanday maÿlumotlarni kiritish imkon
o'zgarishlar.
OpenStreetMap topologik ma'lumotlar strukturasiga ega va .gpx kengaytmali XML
faylida saqlanadi; barcha mavjud xizmat ma'lumotlari uchta asosiy ob'ektdan biriga tegishli:
nuqtalar, chiziq m/ko'pburchaklar va XML teglarida ifodalangan munosabatlar, mos ravishda
<tugun>, <yo'l> va <aloqa>. Har qanday qo'shimcha ma'lumot kerakli sonli bolalarni
qo'shish orqali ushbu primitivlarga beriladi.
<tag> teglar, ularning har biri ikkita xususiyatga ega: name k="name" va value v="value".
Xususan, <way> chiziqlari uchun bu yo'lning turi (<tag k="highway"v="turar joy"/>), yo'lning
nomi (<tag k="name"v="Clipstone" bo'lishi mumkin. Street"/>) va boshqalar. O'z ichiga
olgan eng oddiy OpenStreetMap xarita faylining umumiy ko'rinishi
yo'l belgisi nuqtasi va bitta bo'g'indan iborat yo'l chizig'i:
<?xml version="1.0" encoding="UTF-8"?>
<osm version="0.6" generator="CGImap 0.0.2">
<node id="1831881213" changeset="12370172" lat="54.0900666"
lon="12.2539381" user="lafkor" visible="true">
<tag k="trafik_belgisi" v="shahar_chegarasi"/>
</tugun>
<way id="26659127" user="Masch" uid="55988" visible="true"
changeset="4142606">
<nd ref="292403538"/>
<nd ref="298884289"/>
<tag k="highway" v="unclassified"/> </way>
</sakkiz>
Asosiy serverlardan ma'lumotlarni yuklab olish uchun standart interfeys
OpenStreetMap tanlangan xaritaning to'liq faylini yuklab olishni o'z ichiga oladi
42
Machine Translated by Google
undagi barcha ob'ektlarni o'z ichiga olgan maydon. Tanlangan uchun (va
tezroq) umumiy xaritadan faqat kerakli toifalarni chiqarish
ob'ektlar uchun Overpass API veb-ilova interfeysi [45] ishlatilgan,
to'liq xarita faylini yuklab olish o'rniga, asosiylarini chetlab o'tib, maxsus
serverlarga maxsus so'rovlarni yuborish imkonini beradi. Interfeys mavjud
o'z so'rovlar tili Overpass QL, bu, o'z navbatida, ega
birlashtirilgan dasturlash tili o'rami
Python [50].
3.2. Dasturiy ta'minot va konfiguratsiya
Tadqiqot qisman QGIS erkin taqsimlangan geoaxborot tizimi doirasida
amalga oshirildi [44]. Asboblar to'plami
Ushbu tizim heterojenlarni ulash harakatlarini soddalashtirishga imkon berdi
ustunli transport va vektor xarita ma'lumotlari
PostGIS fazoviy jadvallariga asoslanib, ularning qo'llanmasini minimallashtirish
bog'lash va qayta ishlash, qo'shimcha ravishda o'z-o'zidan yozilgan modullar tomonidan
etishmayotgan dasturiy ta'minot funksiyalarini amalga oshirish imkoniyatini ta'minlaydi.
dasturiy ta'minot mavjudligi sababli Python va C++ dasturlash tillarida
QGIS API. Quyidagi vositalar ham ishlatilgan:
- Fazoviy tahlil
- Fazoviy so'rovlar
- Buferlash funktsiyalari
– Ko‘pburchaklarni qoplash
– Yaqinlikni baholash va ko'cha kesishmalarini aniqlash
- Natijalar taqdimoti
Microsoft Azure portalida transport ma'lumotlarini qayta ishlash uchun,
HDInsight Hadoop bulutli klasteri ekotizimning ishlashi uchun zarur bo'lgan
oldindan o'rnatilgan dasturiy ta'minot to'plami bilan joylashtirilgan. Klaster
konfiguratsiyasi:
43
Machine Translated by Google
1) 4 yadroli protsessorli va har biri 14 GB operativ xotiraga ega 2 bosh tugun. Bosh
tugunlari ham 200 Gb mahalliy SSD disklari bilan jihozlangan.
2) 4 yadroli protsessorli va har biri 7 GB bo'lgan 4 ta ishchi tugun
Har biri RAM.
3) Ushbu klaster uchun ajratilgan disk xotirasining umumiy hajmi 8 TB.
Klasterning asosiy operatsion tizimi Ubuntu Linux 12.04 LTS hisoblanadi.
Klaster bosh tuguniga masofadan turib orqali kirish mumkin
RSA kaliti autentifikatsiyasi bilan SSH.
3.3. Ma'lumotlarni tayyorlash
3.3.1. UDS faylini konvertatsiya qilish
Birinchi qadam sifatida, yuqorida aytib o'tilganidek, .gpx kengaytmali
XML formatiga ega bo'lgan yo'l tarmog'i faylini geografik axborot tizimida
keyingi foydalanish uchun zarur bo'lgan vektor shakli formatiga aylantiramiz .
Ushbu harakat Python dasturlash tili va til kutubxonasi modullari yordamida
amalga oshirildi .
ElementTree va pyshp.
3.3.2. Bulut klasterining HDFS-ga ma'lumotlarni yuklash
Transport ma'lumotlari bilan ishlash uchun ular asosiy ishlov berish bosqichlari amalga oshiriladigan
bulutli xotiraga yuklanishi kerak. Buning uchun masofaviy kirish huquqiga ega bo'lish kerak
klasterning bosh tugunlaridan biri va ichki buyruqni bajaring
hadoop -copyFromLocal <localFilePath> <storageFilePath>. Shuni ta'kidlash joizki,
klasterning HDFS fayl tizimi sukut bo'yicha Azure Blob xotirasida joylashgan , shuning
uchun HDFSda saqlangan katalog va fayllarga kirish uchun quyidagi URI sintaksisi
ishlatiladi : wasb[s]://<container>@<account>.blob . core.windows.net/<path>,
44
Machine Translated by Google
yoki uning qisqartirilgan versiyasi, bu to'g'ridan-to'g'ri wasb: protokoli va fayl
tizimi daraxtidagi yo'lni o'z ichiga oladi.
3.3.3. Ma'lumotlarni filtrlash
Bundan tashqari, yuklangan ma'lumotlar fayllari keraksizlardan filtrlanadi
ma'lumotlar. Saqlangan fayl maydonlari:
1) stops.txt fayli: stop_id, stop_name, stop_lat, stop_lon.
2) routes.txt fayli: route_id, route_short_name, route_type.
3) trips.txt fayli: route_id, trip_id, direction_id, shape_id.
4) stop_times.txt fayli: sayohat_identifikatori, kelish_vaqti, stop_id,
stop_sequence.
5) shapes.txt fayli: shape_id, shape_pt_lat, shape_pt_lon,
shape_pt_sequence.
Shuningdek, stop_times faylining mazmuni, masalan , ma'lum vaqt
davomida o'qish uchun zarur bo'lsa, vaqt oralig'i bo'yicha filtrlanadi .
kun vaqti.
Filtrlash HDInsight-da oldindan o'rnatilgan yuqori darajadagi Apache Pig
dasturiy platformasi va uning Pig lotin protsessual tili yordamida amalga
oshiriladi. grunt buyruq qatori tarjimoniga kirish
Bu uzoq klasterning bosh tugunlaridan birining konsolida cho'chqa buyrug'ini kiritish orqali
amalga oshiriladi . Cho'chqa lotincha dasturlari umumiy naqshga amal qiladi:
1) Yuklash: LOAD 'wasb:///path/' buyrug'i yordamida fayl tizimidan ma'lumotlarni
qayta ishlash uchun o'qish (maydonlar:tur); DUMP<ma'lumotlar>;. LOAD
operatorining natijasi kiruvchi fayl ma'lumotlariga ko'ra qatorlardagi maydonlardan
tashkil topgan kortejlar to'plami bilan ifodalangan munosabatdir .
2) Transformatsiya: bu holda, <filtered_data> = FOREACH buyrug'i yordamida
stop_times faylini filtrlash misoli
45
Machine Translated by Google
<ma'lumotlar> GENERATE $0, $1, $3, $4; bu strukturani tashkil qiladi
eski tuzilmadagi indekslari bo'yicha maydonlardan tashkil topgan maydonlar.
3) Olib tashlash yoki saqlash: olingan faylni STORE RESULT buyrug'i yordamida
keyingi qayta ishlash uchun 'wasb:///path/' ichiga saqlang; CHEKISH.
3.3.4. MapReduce ishini bajarish
5-rasm — Umumlashtirilgan transport ma'lumotlarini o'zgartirish sxemasi
Filtrlangan ma'lumotlar har birida parvozlar chastotasi bo'yicha to'xtashlar
reytingini olish uchun birlashtirilishi kerak . Buni amalga oshirish uchun siz
faylni yaratishingiz kerak, uning har bir satrida to'xtash identifikatori, uning
nomi va ushbu bekat tomonidan xizmat ko'rsatadigan barcha yo'nalishlar
juftliklari ro'yxati va tegishli marshrut doirasida amalga oshirilgan parvozlar
ro'yxati mavjud. Ushbu fayl satrlarining umumiy ko'rinishi:
stop_id, stop_name, stop_lat, stop_lon,
[(yo'nalish_qisqa_nomi, [kelish_vaqtlari])], vaqt_raqami
46
Machine Translated by Google
Kombinatsiyada bir nechta ma'lumotlar fayllari ishtirok etganligi sababli, ular tarqatish
funktsiyasiga kirishdan oldin to'liq tashqi ulanishni amalga oshirish kerak. Marshrutlar va
sayohatlar fayllari route_id maydonining kaliti orqali ulanadi; stop_times fayli stop_id
maydon tugmasi orqali to'xtash fayliga va trip_id maydon tugmasi orqali avval olingan
birlashma fayliga ulanadi . org.apache.hadoop.mapreduce.join paketi xaritalash tomonida
birlashishni amalga oshirish uchun ishlatiladi. Kirish manbalari
va ulanish turi yozilgan ulanish ifodasi orqali sozlanadi
oddiy tarzda. Qo'shilish va ma'lumotlarni o'zgartirishning umumiy ko'rinishi ko'rsatilgan
rasmda. 5.
Olingan struktura sys.stdin qiymati kaliti (bog'langan fayl) va ushbu fayl tarkibining
qiymati bilan satr bo'yicha tarqatish funktsiyasiga yuklanadi . Funktsiyaning chiqishi
cheksiz fayl satrlari ro'yxatini o'z ichiga oladi
trip_id va route_id quyidagicha:
stop_id, stop_name, stop_lat, stop_lon,
(yo'nalish_qisqa_nomi, kelish_vaqti), 1
Keyinchalik, uchta kombinatsiyalangan operatsiya amalga oshiriladi, ulardan birinchisi
Birinchidan, stop_id maydonining bir xil qiymatlariga ega bo'lgan barcha birliklar ro'yxatga
yig'iladi , ikkinchi kombinatsiya jarayonida kelish_vaqt maydonining barcha qiymatlari bittadan
Marshrut_qisqa_nomi maydonlarining qiymatlari ro'yxatga yig'iladi va uchinchi
kombinatsiyada to'xtash_id maydonining bir xil qiymatlari bo'lgan barcha juftliklar
(yo'nalish_qisqa_nomi, [kelish_vaqt]) ro'yxatga yig'iladi.
Kamaytirish funksiyasi quyidagi qabul qilingan satrlar ro'yxati bilan ta'minlanadi
turi:
stop_id, stop_name, stop_lat, stop_lon,
[(yo'nalish_qisqa_nomi, [kelish_vaqtlari])], [birlar]
Kamaytirish funktsiyasining chiqishi berilgan satrlari bo'lgan faylni o'z
ichiga oladi, unda birliklar ro'yxati umumiy sonning yakuniy maydonida to'plangan.
har bir bekatda yakunlangan parvozlar. Bosh
tugunlardan birining konsolida tuzilgan MapReduce kodi uchun
masofaviy klaster, yordami bilan mos keladigan vazifa chaqiriladi
mandy ip jar /usr/hdp/current/hadoop-mapreduce-client/hadoop
47
Machine Translated by Google
streaming.jar -fayllar mapper.py,reducer.py -mapper mapper.py
-reducer reduktor.py -kiritish wasb:///input/path/ -output wasb://
/chiqish/yo'l/.
Bu buyruq quyidagi qismlardan iborat:
– hadoop streaming.jar — MapReduce oqim operatsiyalarini bajarishda
foydalaniladi. Ushbu qism o'zaro ta'sirni ta'minlaydi
Taqdim etilgan tashqi MapReduce kodi bilan Hadoop.
--files Hadoop-ga MapReduce ishining barcha ishchilarga ko'chirilishi uchun
belgilangan fayllar kerakligini aytadi.
tugunlar.
--mapper Hadoop-ga qaysi fayldan foydalanishni aytadi
tarqatish moduli sifatida.
--reducer Hadoop-ga qaysi fayldan foydalanishni aytadi
kamaytirish moduli sifatida.
– -input, -output — kiritish fayli va chiqish katalogi.
BLOB bulutli xotiradan natijalar bilan faylni yuklab olish uchun
klaster, 3.7-ilovada keltirilgan skript tuzilgan
3.3.5. Ma'lumotlarni geografik axborot tizimiga o'tkazish
Geoaxborot tizimidagi barcha ma'lumotlar vektor formatida bo'lishi kerak
bo'lgan qatlamlar to'plamidir. Har bir qatlam atributlar jadvali bilan ifodalanadi,
bu erda har bir satr alohida tavsiflanadi
ustunlar to'plami bilan tavsiflangan atribut-xususiyatlar to'plamiga ega qatlam
ob'ekti .
Keyin geoaxborot tizimidagi qatlamlarning umumiy to'plami quyidagilardan iborat: asr
ko'cha-yo'l tarmog'ining tor tasviri, vektor tasviri
ma'muriy bo'linmalar, aholi jadvallari, ishga tushirish fayli
yog 'to'xtaydi.
48
Machine Translated by Google
6-rasm - Geoaxborotda ma'lumotlar qatlamlari to'plamining vizual tasviri
tizimi
Yo'l tarmog'i tuman poligonlari bilan bog'langan bo'lib, tegishli o'rab turgan
poligonlar hududida yo'l nuqtalarining geografik koordinatalarini o'rnatadi.
Shuningdek, ma'muriy bo'linish qatlamiga
ikkiga qo'shilish orqali aholi jadvaliga qo'shiladi
maydon nomi kaliti bo'yicha atribut jadvallari.
To'xtash qatlami koordinata atributlarini geografik sifatida belgilashga asoslangan
nuqta qatlamidir . To'xtash nuqtalari birlashtiriladi
yo'l tarmog'i qatlamiga yuqorida tavsiflangan tarzda.
Bundan tashqari, barcha to'xtash joylari parvozlar sonining atributi bo'yicha
tartiblanadi , bu ularning vizualizatsiyasiga ta'sir qiladi: qancha ko'p reyslar amalga oshiriladi
stop, uning nuqta belgisi qanchalik katta bo'lsa.
Olingan qatlamlar to'plamining vizualizatsiyasi shaklda ko'rsatilgan. 6.
3.4. Kirish parametrlari tahlilini amalga oshirish
Eslatib o'tamiz, ushbu parametrni hisoblash 1.3.1-bo'limda ko'rib chiqilgan
to'xtash nuqtalarining bufer zonalari tomonidan ma'lum bir hududning hududini
qamrab olish darajasini aniqlashdan iborat.
49
Machine Translated by Google
Geografik axborot tizimida har bir hudud uchun tahlilni amalga oshirish
o'rganilayotgan shaharning asboblari yordamida amalga oshiriladi
buferlar yordamida fazoviy tahlil. Uning fikri
biriktirilgan qatlam uchun xususiyat buferlarini yaratish, bu holda qatlam
to'xtash joylari va ularning asosiy qatlamning ko'pburchaklari ustidagi qoplamasi, bu holda
berilgan funksiyadan foydalangan holda ma'muriy bo'linish qatlami.
1.3.1-bo'limdagi fikrga muvofiq, biz to'xtash joylari uchun bufer zonasining
radiusini 400 metrga o'rnatdik. Keyinchalik ishlab chiqarilgan
tuman hududining buferlar bilan qoplanishining foizli qiymatini hisoblash
ustida to'xtaydi. Buning uchun fazoviy tahlil amalga oshiriladi
fazoviy farq funksiyasidan foydalangan holda ma'muriy bo'linish maydonlarining
buferlari va poligonlarini to'xtatish ; ochilmagan buferlar
tuman poligonlarining bo'laklari alohida vektor qatlamida tanlanadi
"xizmat ko'rsatilmagan" hududlar.
Keyingi qadam har bir ko'pburchakning maydonini hisoblashdir.
tuman bo'yicha va olingan qiymatlarni ma'muriy qatlam jadvaliga yozing
bo'linishlar yangi atribut sifatida. Xuddi shu tarzda, har birining maydonlari
"xizmat ko'rsatilmagan" hududlar qatlamining poligoni, bu esa o'z navbatida
Agar bir nechta ko'pburchaklar fragmentlar bo'lsa, qo'shimcha ravishda yig'iladi
u erda bir hududda.
Nihoyat, tumanlarning jadvallari qatlam va qatlam
xizmat ko'rsatilmagan hududlar, foiz hisoblanadi
qarovsiz maydon to'liq, uning qiymati biriktirilgan
qo'shimcha atribut sifatida ma'muriy bo'linish qatlamining jadvali.
Ma'muriy qatlamning yakuniy o'zgartirilgan jadvalining fragmenti
bo'linishi jadvalda keltirilgan. bitta.
Amalga oshirilgan fazoviy tahlil natijalarini vizualizatsiya qilish
shaklda ko'rsatilgan shaklga ega bo'ling. 7. Afsona foizni bildiradi
"xizmat ko'rsatilmagan" hududlarning tumanlarning umumiy maydoniga.
Belgilangan standart kirish masofasi ob'ektiv tahlil qilish imkonini beradi
o'rganilayotgan qamrov xarakteristikasini aniqlash; buni tasvirlash mumkin
boshqa turli masofa qiymatlarini hisobga olgan holda aniqlanishi mumkin, masalan, 200 dan
50
Machine Translated by Google
AREA_CD AREA_NAME HUMONI NO_TRANSIT FOIZ
1685997
2082
1
Yong-St. . . .
19247065
1340410
7
038
Lansing. . .
7764098
3309051
43
031
Yorkdale . . .
8770819
163855
2
097
York A. . . .
027
...
1 -jadval - Qamrovni hisoblash natijasida ma'muriy bo'linish qatlamining jadvali.
Birinchi ustun - tuman identifikatori, uchinchi va to'rtinchi ustunlar - mos ravishda;
tumanning umumiy maydoni m2 va "xizmat ko'rsatilmagan" hududning maydoni
7-rasm - Qoplash qiymatlarini hisoblash natijalarini vizualizatsiya qilish. Bo'yicha taqsimlash
ranglar qamrov darajasini bildiradi
600 metrgacha va aholini qamrab olish foizining tegishli qiymatlarini olish
8-grafada ko'rsatilgan. Ko'rinib turibdiki, 400 metrga yaqin
grafikda hech qanday sakrashlar yo'q, bu bizga uning asosliligini tasdiqlash imkonini beradi
standart qiymat sifatida tanlash. Logarifmik bog'liqlik
aholi qamrovi va qoniqarli kirish masofasi o'rtasida
to'xtash aholining ma'lum hududlarda to'planganligini anglatadi
eng yaqin o'rniga uzoqroqdagi bekatga kirish uchun
ancha masofani bosib o'tish kerak [29].
51
Machine Translated by Google
85
80
75
70
65
60 150 200 250 300 350 400 450 500 550 600 650 700 metr
Shakl 8 - qoniqarli mavjud bufer zonasi radiusi nisbati grafigi
to'xtash joylari soni va qamrab olingan aholining tegishli foizi
3.5. Mavjudlik tahlilini amalga oshirish
Oldingi bo'limda bo'lgani kabi, biz buni hisoblashni eslaymiz
Muayyan hudud uchun parametr o'rtachani topishdir
joylashgan barcha bekatlarda amalga oshirilgan reyslar sonidan qiymatlar
bu hudud ichida.
Geografik axborot tizimida bunday hisob-kitobni amalga oshirish uchun,
Fazoviy so'rovlar to'plami boshqa qatlam chegaralarida, albatta, ko'pburchaklar (bu
holda, ma'muriy bo'linish qatlamining ko'pburchaklari) bilan ifodalanadigan boshqa
qatlam chegaralaridagi ob'ektlarning paydo bo'lishini tahlil qilish va manipulyatsiyaga
asoslangan. ko'pburchak ob'ektlari chegaralariga kiritilgan barcha atributlarning
qiymatlari. Shunday qilib
to'xtash qatlami ilgari to'xtashlar soni bo'yicha qanday tartiblanganligi
parvozlarning har bir to'xtash joyida, keyin fazoviy so'rov jarayonida biz ushbu parametr
bo'yicha jamlaymiz. Fazoviy so'rovlar mexanizmi yig'ilgan qiymatga qo'llash uchun
matematik funktsiyani belgilash imkonini beradi : funksiya sifatida median funksiyani
o'rnatamiz. Olingan median qiymat tumanning har bir ob'ektiga ma'muriy bo'linish
qatlamining jadvaliga yangi atribut sifatida biriktiriladi, shundan so'ng u 1-jadvalda
qisman ko'rsatilgan shaklni oladi. 2.
52
Machine Translated by Google
AREA_CD AREA_NAME TRIPS_COUNT
097
York A. . . .
156
027
Yong-St. . . .
111
038
Lansing. . .
669
031
Yorkdale . . .
709
...
2 - jadval - Chastotani hisoblash natijasida ma'muriy bo'linish qatlamining jadvali
Amalga oshirilgan fazoviy tahlil natijalarini vizualizatsiya qilish
rasmda ko'rsatilgan shaklga ega. 9. Legend parametr qiymatlarini bildiradi
o'rtacha parvoz chastotasi.
9-rasm - Parvozlar chastotasi qiymatlarini hisoblash natijalarining vizualizatsiyasi. sindirish
rangi bo'yicha parvozlarning o'rtacha sonini bildiradi
3.6. Kirish parametrlarining kombinatsiyalangan tahlili va
foydalanish imkoniyati
Oldingi ikkita kichik bo'limda olingan natijalarni taqqoslash,
yanada umumiy va ob'ektiv baholash zarurligini taklif qiladi: Toronto shahri
misolida, eng yaxshi qamrovga ega bo'lgan barcha hududlar emas.
jamoat transportining marshrut tarmog'i (qoplangan hududning 91% dan).
53
Machine Translated by Google
hudud), parvozlarning o'rtacha chastotasi (400 va undan ortiq) bo'yicha etakchi
hisoblanadi. Ushbu kuzatish ikkalasini ham ko'rib chiqish muhimligini ko'rsatadi
jamoatchilik faoliyati samaradorligini o'rganishda parametrlar
transport: faqat marshrut tarmog'ining maksimal qamrovi
mintaqa hududi har doim ham qoniqarli samaradorlikka olib kelmaydi
uning ichida jamoat transporti.
Ushbu kuzatishni hisobga olgan holda, yuqorida olingan ma'muriy bo'linishning
ikkala o'zgartirilgan qatlamini birlashtirish kerak.
atributlarni qamrov qiymati va mantiqiy shartlar to'plamidan foydalangan holda chastota
qiymati bilan birlashtirgan yangi atributga ega .
Natijada paydo bo'lgan yangi atribut, shuning uchun ikkala parametrni ham tavsiflaydi
va hududni, agar uning hududida bo'lsa, samarali deb belgilashga imkon beradi
ko'p sonli to'xtash joylari mavjud
marshrutlar va aksincha, agar uning hududida poygalar mavjud bo'lsa, samarasiz
to'xtashlar etarli emas, yoki ularning ko'pchiligi
kam sonli yo'nalishlar yoki kamdan-kam trafik bilan yo'nalishlarga xizmat
qiladi . Atribut qiymatlari foiz sifatida ifodalanadi.
10-rasm - Qoplash va chastota parametrlarining kombinatsiyasini vizualizatsiya qilish. Bo'yicha taqsimlash
ranglar birlashtirilgan samaradorlik atributining foiz qiymatini tavsiflaydi
54
Machine Translated by Google
Olingan kombinatsiyalangan effekt parametrining natijalarini vizualizatsiya qilish
shaklda ko'rsatilgan. 10.
3.7. Ortiqchalik tahlilini amalga oshirish
1.5.3-bo'limda ta'riflanganidek, jamoat transporti to'xtash joylarini
joylashtirishda ortiqcha bo'lishi transport tizimining samarasizligining o'ziga
xos xususiyati bo'lishi mumkin va shunga mos ravishda
(1) muammoning yordami bilan Lagranj evristikasi tomonidan amalga oshirilgan yechimga ega
bu eng kam qoplash narxini topish uchun ishlatiladi
belgilangan (bu holda, shahar to'xtash punktlari hududi).
Bu evristik yechim quyidagi algoritm 1 bilan aniqlanadi
(ustunga yo'naltirilgan qisqartirish protsedurasi (ustun ustunligi
kamaytirish) [3]) da tasvirlangan.
1-algoritm Lagranj evristik yechish algoritmi
1: LHSCP protsedurasi
2: UB ÿ ÿ
3: ustunni_dominatsiyani_kamaytirish protsedurasini bajaring
4:
hamma uchun t subgradient usuli qilish
5:
R(p (t) ) yechish
6:
optimal ÿ x
7:
Optimal qamrov ekanligini tekshiring
8:
agar bo'lmasa
9:
(t)
ochko'z evristik yordamida tugatish
10:
agar tugaydi
11:
Joriy qoplamaning eng kam qoplanadigan qiymati ÿ (7)
12:
UB ÿ UBni yangilash
13:
p (t) ÿ yangilash p(t)
14: oxirigacha
15: tugatish tartibi
Chiqish o'zgaruvchisi UB kerakli minimal qoplash narxi bo'ladi. Yechimning
murakkabligi R(p), optimal yechimni tekshirish
55
Machine Translated by Google
11-rasm - Ortiqcha to'xtashlar uchun qidiruv natijalarining vizualizatsiyasi
qoplash uchun, p vektorini yangilash O ( f), bu yerda f = P Algoritmning
jÿJ
|Pj | [18].
takrorlanishlar soni belgilangan, shuning uchun algoritmning umumiy murakkabligi O(m
f) ochko'z evristikning ustunligi tufayli.
Ta'riflangan algoritmni o'rganilayotgan transport tizimiga qo'llash
qancha bekatni qamrab olish mumkinligini aniqlash imkonini beradi
qulaylik nuqtai nazaridan, shahar hududining bir xil miqdori yoki
aholining bir xil foizi. Dasturiy ta'minotni amalga oshirish tilda amalga oshiriladi
Python dasturlash va to'g'ridan-to'g'ri geografik axborot tizimiga o'rnatilgan
sharhlash muhiti doirasida ishga tushirilgan . Mavjud ma'lumotlarga ishlov
berish, algoritmni ishga tushirish va natijalarni ko'rsatish uchun bir daqiqadan
kamroq vaqt kerak bo'ldi, lekin muammoning ko'lami katta bo'lganligi sababli
takrorlashlarning cheklangan soni 200 dan oshmadi; Shu munosabat bilan,
eritmaning aniqligi 0,3% dan 5,6% gacha, bu tahlil uchun juda maqbuldir.
Algoritm natijalariga ko'ra, Toronto shahri uchun to'xtash nuqtalarining
dastlabki soni 10693 birlikni tashkil etadi.
Hozirgi qamrov darajasi saqlanib qolgan holda, bu raqam deb taxmin qilinadi
faqat 1500 dan kam to'xtash, dastlabki samaradorlikni ta'minlaydi; Har bir
ko'chaning ikkala tomonida to'xtash joylarini joylashtirish shartini qondirish
uchun ushbu samarali to'xtash joylarini ikki baravar oshirish kerak.
56
Machine Translated by Google
72% potentsial ortiqcha to'xtashlar. Natijada, muhim narsa bor
avtomobil tezligini oshirish salohiyati, va
shuning uchun umumiy sayohat vaqtini qisqartiradi.
Shaklda. 11-rasmda Torontoning markaziy qismining dastlabki to'xtash
nuqtalari va saqlangan samarali to'xtash yulduzlari bilan parchasi ko'rsatilgan.
12 - har xil bufer masofalarining nisbati va
natijada saqlangan to'xtashlar soni.
1600
1400
1200
1000
200 250 300 350 400 450 500 550 600 metr
12-rasm - Bufer zonasi radiusining qoniqarli nisbati grafigi.
to'xtashlar soni va tegishli saqlangan samarali soni
to'xtaydi
Mumkin bo'lgan qo'shimcha qadam sifatida, to'xtash bufer zonalarining turli
radiuslarini kiritish tavsiya etiladi, masalan, kamaytirish
uni orolning markaziy, eng qurilgan qismida 100 metrgacha tikib qo'ying
shaharni kuzatib bordi va chekka hududlarda 500 metrgacha ko'tarildi,
qo'shimcha ravishda to'xtash joylarining og'irligini hisobga olgan holda, ularni aks ettiradi
umumiy shahar ahamiyati. Bundan tashqari, amalda tuzatish kerak bo'lishi mumkin
shunday qilib, turli sabablarga ko'ra har qanday muhim to'xtash nuqtalari lyat
shuning uchun ularning hech biri o'chirilmaydi, agar uning joylashuvi aniq bo'lsa
ortiqcha. Misol uchun, katta almashinuv tugunlarida uni olib tashlash mumkin emas
ularning joylashuvi talablarga javob bermasa ham, ularga kiritilgan to'xtash joylari
samaradorlikka.
57
Machine Translated by Google
xulosalar
Ushbu maqolada Toronto shahri misolida jamoat transporti samaradorligini tahlil
qilishni amalga oshirish bo'yicha harakatlar ketma-ketligi taqdim etilgan.
Tadqiqotni amalga oshirish uchun, birinchi navbatda, ularning xilma-xilligi va
zaif rasmiylashtirilishini hisobga olgan holda, samaradorlik parametrlarini tanlashga
alohida e'tibor berish kerak .
Katta ma'lumotlarni tahlil qilish usullarining tadqiqot maqsadlarida, xususan,
faoliyatini o'rganishda qo'llanilishi
transport tizimi.
Biroq, bu usulni yaxshilash uchun joy bor.
nia, masalan:
- Ko'cha ob'ektlarining qo'shimcha reytingini qo'shish
ma'lum bir ko'chaning darajasi uning ahamiyati va sig'imiga bog'liq bo'lishi uchun
shahar hududidagi yo'l. Tog'la
bu xususiyat to'xtashlarning qo'shimcha xususiyati hisoblanadi:
masalan, agar to'xtash muhim magistralda joylashgan bo'lsa, unda yuqori
martaba uni ko'proq marshrutlar/reyslar bilan ta'minlaydi,
ikkinchi darajali ko'chada joylashganiga qaraganda.
– Shahar tumanlari aholisining xususiyatlarini qo'shish
savolga javob berish uchun, transport to'yinganligi qiymati nima
muayyan hudud uchun qoniqarli bo'ladi.
– Elektron sayohat chiptalari (smart-kartalar) maÿlumotlaridan olinishi mumkin
boÿlgan yoÿlovchilar harakati toÿgÿrisidagi maÿlumotlarni qoÿshish.
Yo'lovchi tashish va OT harakatini birgalikda o'rganish yo'lovchilar
tomonidan ma'lum yo'nalishlarga bo'lgan talab haqida keng ma'lumot berishi mum
- Tegishli statistik ma'lumotlarni olish uchun ma'lumotlarni olish mantiqan
kundalikdan ko'ra uzoqroq vaqt uchun - masalan,
trafik hafta ichi, dam olish kunlari va sezilarli darajada farq qiladi
bayramlar.
58
Machine Translated by Google
Xulosa
Tadqiqot doirasida quyidagi natijalarga erishildi:
– Katta ma’lumotlarni qayta ishlash metodologiyasini yo‘lovchi tashish, avtomobil
kabi qo‘shimcha ma’lumotlarni bog‘lash uchun yaroqli universal tahliliy asos
sifatida joriy etish.
transport va boshqalar.
- turli xil samaradorlik parametrlarini hisoblash natijalarini tahlil qilish va ulardan
ba'zilarini adekvatroq olish uchun birlashtirish;
qiymatlar.
Belgilangan vazifalar to'liq bajarildi. Postav
maqsadlarga erishildi.
59
Machine Translated by Google
Ilova
GTFS tasma namunasi
Agentlik.txt fayli:
agentlik_id, agentlik_nomi, agentlik_url, agentlik_vaqt zonasi, agentlik_telefon,
agency_lang
FunBus,The Fun Bus,http://www.thefunbus.org,America/Los_Angeles, (310) 555-0222,en
Calendar.txt fayli:
service_id,dushanba, seshanba, chorshanba, payshanba, juma, shanba,
yakshanba, boshlanish_sanasi, tugash_sanasi
BIZ,0,0,0,0,0,1,1,20060701,20060731
WD,1,1,1,1,1,0,0,20060701,20060731
Calendar_dates.txt fayli:
xizmat_identifikatori, sana, istisno_turi
WD, 20060703,2
BIZ, 20060703,1
WD, 20060704,2
BIZ, 20060704,1
fare_attributes.txt fayli:
tarif_id,narx,valyuta_turi,to'lov_usuli,o'tkazmalar,
transfer_davomiyligi
1,0,00,USD,0,0,0
2,0,50,USD,0,0,0
3,1,50,USD,0,0,0
4,2,00,USD,0,0,0
5,2,50,USD,0,0,0
fare_rules.txt fayli:
60
Machine Translated by Google
tarif_identifikatori, marshrut_identifikatori, kelib chiqish_identifikatori, maqsad_identifikatori, identifikatorni o'z ichiga oladi
a, TSW, 1, 1,
a,TSE,1,1,
a,GRT,1,1,
a,GRJ,1,1,
a,SVJ,1,1,
a, JSV, 1,1,
a,GRT,2,4,
a,GRJ,4,2,
b,GRT,3,3,
c,GRT,,,6
feed_info.txt fayli
feed_publisher_name,feed_publisher_url,feed_lang "SPb GKU
""Organizator perevozok"",http://orgp.sp.ru/,ru
Frequencies.txt fayli:
sayohat_identifikatori, boshlanish_vaqti, tugash_vaqti, oldinga_sek
AWE1,05:30:00,06:30:00,300
AWE1,06:30:00,20:30:00,180
AWE1,20:30:00,28:00:00,420
routes.txt fayli:
marshrut_identifikatori, marshrut_qisqa_nomi, marshrut_uzun_nomi, marshrut_kazali,
marshrut_turi
A,17,Missiya,““A”” marshruti quyi missiyadan o'tadi
Shahar markazi.", 3
shapes.txt fayli:
shape_id,shape_pt_lat,shape_pt_lon,shape_pt_sequence,
shape_dist_traveled
A_shp,37.61956,-122.48161,1,0
A_shp,37.64430,-122.41070,2,6.8310
A_shp,37.65863,-122.30839,3,15.8765
61
Machine Translated by Google
stops.txt fayli:
stop_id,stop_name,stop_desc,stop_lat,stop_lon,stop_url,
joy_turi, ota-ona_station S1, Mission St. &
Silver Ave., Bekat joylashgan
chorrahaning janubi-g'arbiy burchagida.,37.728631,
-122.431282,,,
S2, Mission St. & Cortland Ave., To'xtash joyi joylashgan
Missiya ko'chasidan 20 fut janubda,37.74103,-122.422482,,,
S3, Missiya ko'chasi va 24-ko'cha, To'xtash joyida joylashgan
chorrahaning janubi-g'arbiy burchagi.,37.75223,-122.418581,,,
S4, Missiya ko'chasi va 21-ko'cha, To'xtash joyida joylashgan
chorrahaning shimoli-g'arbiy burchagi.,37.75713,-122.418982,,,
S5, Missiya ko'chasi va 18-ko'cha, to'xtash joyi g'arbga 25 fut masofada joylashgan
18-uy, 37.761829,-122.419382,,,
S6, Missiya ko'chasi va 15-ko'cha, to'xtash joyi 10 fut masofada joylashgan
Mission St. shimoli, 37.766629,-122.419782,,,
S7,24-Sent-Mission Station,,37.752240,-122.418450,,,
stop_times.txt fayli:
sayohat_identifikatori, kelish_vaqti, jo'nash_vaqti, to'xtash_kodi, to'xtash_ketmasi,
olish_turi, tushirish_turi
AWE1,0:06:10,0:06:10,S1,1,0,0,0
AWE1,,,S2,2,0,1,3
AWE1,0:06:20,0:06:30,S3,3,0,0,0
AWE1,,,S5,4,0,0,0
AWE1,0:06:45,0:06:45,S6,5,0,0,0
AWD1,0:06:10,0:06:10,S1,1,0,0,0
AWD1,,,S2,2,0,0,0
AWD1,0:06:20,0:06:20,S3,3,0,0,0
AWD1,,,S4,4,0,0,0
AWD1,,,S5,5,0,0,0
AWD1,0:06:45,0:06:45,S6,6,0,0,0
transfers.txt fayli:
62
Machine Translated by Google
dan_stop_id,stop_id,o'tkazish_turi,min_o'tkazish_vaqti
S6, S7, 2,300
S7, S6,3,
S23, S7,1,
trips.txt fayli:
marshrut_identifikatori, xizmat_identifikatori, sayohat_identifikatori, sayohat_bosh belgisi, blok_identifikatori
A, WE, AWE1, Downtown, 1
A, WE, AWE2, Downtown, 2
Yo'l tarmog'i ma'lumotlarini yuklash skripti
import yo'l o'tkazgich
api = overpass.API(timeout=600) chiqish =
ochiq('streets.osm', 'w', encoding='utf8') javob = api.Get(''' yo'l["avtomobil
yo'li" ](43.5701,-79.7082,43.8544, -79.2275);
yo‘l["highway"="motorway_link"](43.5701,-79.7082, 43.8544,-79.2275);
yo'l["highway"="birlamchi"](43.5701,-79.7082,43.8544, -79.2275);
yo'l["highway"="ikkinchi darajali"](43.5701,-79.7082,43.8544, -79.2275);
yo'l["highway"="uchinchi darajali"](43.5701,-79.7082,43.8544, -79.2275);
yo'l["highway"="tasnifisiz"](43.5701,-79.7082, 43.8544,-79.2275);
yo'l["highway"="turar-joy"](43.5701,-79.7082,43.8544, -79.2275)''',
answerformat=xml)
output.write(javob) output.close()
63
Machine Translated by Google
Bulutdan fayllarni yuklab olish uchun skript
BLOB do'konlari
$resourceGroupName = "<AzureResourceGroupName>"
$clusterName = "<HDInsightClusterName>" $blob = "yo'l/to/
chiqish-fayl"
$cluster = Get-AzureRmHDInsightCluster -ResourceGroupName
$resourceGroupName -ClusterName $clusterName
$defaultStorageAccount = $cluster.DefaultStorageAccount
- ".blob.core.windows.net" ni almashtiring
$defaultStorageAccountKey = Get-AzureRmStorageAccountKey
-ResourceGroupName $resourceGroupName -Name
$defaultStorageAccount | %{ $_.Key1 }
$defaultStorageContainer = $cluster.DefaultStorageContainer $storageContext
= New-AzureStorageContext -StorageAccountName $defaultStorageAccount
-StorageAccountKey $defaultStorageAccountKey
Write-Host "Blobni yuklab oling ..." -ForegroundColor Green GetAzureStorageBlobContent -Container $defaultStorageContainer -Blob $blob -Context
$storageContext -Force
64
Machine Translated by Google
Adabiyotlar ro'yxati
1. Antrim A., Barbeau SJ GTFS ma'lumotlaridan ko'p foydalanish - tranzit va multimodal
ilovalar uchun eshikni ochish // Janubiy Florida universitetidagi Joylashuvdan xabardor
axborot tizimlari laboratoriyasi. - 2013 yil.
2. Batti M. Katta ma'lumotlar, aqlli shaharlar va shaharni rejalashtirish // Insondagi dialoglar
Geografiya. - 2013. - V. 3, No 3. - S. 274-279.
3. Beasley JE, J¨ornsten K. Muammolarni qamrab olish algoritmini takomillashtirish //
Yevropa operativ tadqiqotlar jurnali. — 1992. — T. 58,
No 2. — B. 293-300.
4. Bertolini L., Le Klerk F., Kapoen L. Barqaror foydalanish imkoniyati: transport va erdan
foydalanish rejasini tuzishni integratsiyalash uchun kontseptual asos.
Niderlandiyadagi ikkita test-ilova va oldinga yo'l haqida fikr // Transport siyosati. 2005. - T. 12, ÿ 3. — S. 207—220.
5. Big Data ta'rifi, Gartner Inc. — URL: http://www.gartner.com/it
lug'at/katta ma'lumotlar/.
6. Kaprara A., Fischetti M., Toth P. Muammoni qamrab oluvchi to'plam uchun evristik usul //
Operatsion tadqiqotlar. — 1999. — T. 47, ÿ 5. — S. 730—743.
7. Cherkov R., Velle CR . Maksimal joylashuv muammosi // Mintaqaviy fanlar bo'yicha
maqolalar . — 1974. — T. 32, ÿ 1. — S. 101—118.
8. Chvatal V. To'plamni qoplash muammosi uchun ochko'z evristik // Operatsiyalarni tadqiq
qilish matematikasi . — 1979. — T. 4, ÿ 3. — S. 233—235.
´
9. Kosta A.
, Markellos RN Neyron tarmoq modellari bilan jamoat transporti
samaradorligini baholash // Transport tadqiqotlari qismi C: Rivojlanayotgan
texnologiyalar. — 1997. — T. 5, ÿ 5. — S. 301—312.
10. Dekan J., Ghemawat S. MapReduce: yirik klasterlarda soddalashtirilgan ma'lumotlarni
qayta ishlash // ACM kommunikatsiyalari. - 2008. - T. 51, ÿ 1. — S. 107—
113.
11. Demchenko Y., Ngo C., Membrey P. Katta ma'lumotlar ekotizimining arxitektura asoslari
va komponentlari // Tizim va tarmoq muhandisligi jurnali. - 2013. - S. 1—31.
65
Machine Translated by Google
12. Demetskiy MJ, Lin BB-M. Avtobus bekati joylashuvi va dizayni // Jurnal
transport muhandisligi. — 1982. — T. 108, TE4.
13. Edmonds J. To'plamlar oilasidagi qoplamalar va o'rashlar // Amerika matematika
jamiyatining xabarnomasi . — 1962. — T. 68, ÿ 5. — S. 494—499.
14. Furth P., Rahbee A. Dinamik dasturlash va geografik modellashtirish orqali optimal
avtobus bekatlari oralig'i // Transport tadqiqotlari rekordi: Transport tadqiqotlari
kengashi jurnali. - 2000. No 1731. - B. 15-22.
15. Gantz J., Reinsel D. Xaosdan qiymat olish // IDC iview. — 2011. — T. 1142. — S. 1
—12.
16. Garey MR, Jonson DS NP-to'liqlik nazariyasi bo'yicha qo'llanma // WH Freemann,
Nyu-York. - 1979 yil.
17. Gleason JM . Avtobus to'xtash joyiga yaqinlashish to'plami // Omega. — 1975. — T.
3, ÿ 5. — S. 605—608.
18. Haddadi S. Muammoni qamrab oluvchi to'plam uchun oddiy Lagrangian evristik //
Yevropa operativ tadqiqotlar jurnali. — 1997. — T. 97, ÿ 1. B. 200-204.
19. Handy SL, Clifton KJ Mahalladan foydalanish imkoniyatini baholash: Imkoniyatlar va
amaliyliklar // Transport va statistika jurnali. - 2001. - T. 4, 2/3. — S. 67—78.
20. Hine J., Mitchell F. Transport kamchiligi va ijtimoiy istisno: shahar Shotlandiyadagi
transportda istisno mexanizmlar. - Ashgate Publishing, Ltd., 2003 yil.
21. Jansson K. Optimal jamoat transporti narxi va xizmat ko'rsatish chastotasi //
Transport iqtisodiyoti va siyosati jurnali . - 1993. - S. 33—50.
22. Karlaftis MG Shahar tranzit tizimlarining samaradorligi va samaradorligini baholash
uchun DEA yondashuvi // Yevropa operativ tadqiqotlar jurnali. - 2004. - T. 152, ÿ
2. — S. 354—364.
23. Kitchin R. Haqiqiy vaqtda shaharmi? Katta ma'lumotlar va aqlli urbanizm //
GeoJournal. - 2014. - T. 79, No 1. - S. 1-14.
66
Machine Translated by Google
24. Lam C. Hadoop harakatda. - Manning Publications Co., 2010 yil.
25. Lan G., DePuy GW, Whitehouse GE . Muammoni qamrab oluvchi to'plam uchun
samarali va oddiy evristik // Yevropa operativ tadqiqotlar jurnali. - 2007. - T. 176,
ÿ 3. — S. 1387—1403 yillar.
26. Levinson HS Tranzit sayohat vaqtini tahlil qilish. - 1983 yil.
27. Murray AT Jamoat transporti qamrovining strategik tahlili // Ijtimoiy iqtisodiy
rejalashtirish fanlari. - 2001. - T. 35, ÿ 3. — S. 175—188.
28. Murray AT Jamoat transporti tizimiga kirish imkoniyatini yaxshilash va kirishni
kengaytirish uchun qamrov modeli // Operatsion tadqiqotlar yilnomalari. - 2003. T. 123, 1-4. — S. 143—156.
29. Myurrey AT, Davis R., Stimson RJ Jamoat transportiga kirish // Transport tadqiqot
qismi D: Transport va atrof-muhit. — 1998. — T. 3, ÿ 5. — S. 319—328.
30. O'Sallivan D., Morrison A., Shearer J. Jamoat transportida foydalanish imkoniyatini
tekshirish uchun ish stoli GIS-dan foydalanish : izoxron yondashuv // Geografik
axborot fanining xalqaro jurnali. — 2000. — T. 14, ÿ 1. — S. 85—104.
31. Roth R. Minimal qoplamali muammolar uchun kompyuter echimlari // Operatsiyalar
Tadqiqot. - 1969. - 17-jild, No 3. - B. 455-465.
32. Shahar hududlarida avtobus bekatlari oralig'ini aniqlash uchun Saka AA modeli //
Transport muhandisligi jurnali. - 2001. - T. 127, ÿ 3. — S. 195—199.
33. Sampaio BR, Neto OL, Sampaio Y. Jamoat transporti tizimlarining samaradorligini
tahlil qilish: institutsional rejalashtirish uchun saboqlar // Transport tadqiqotlari
qismi A: siyosat va amaliyot. - 2008. - T. 42, ÿ 3. — S. 445—454.
34. Shvachko K., Kuang H., Radia S. Hadoop taqsimlangan fayl tizimi // Mass Storage
Systems and Technologies (MSST), 2010 IEEE 26 -simpoziumi. - IEEE. 2010. S. 1—10.
67
Machine Translated by Google
35. Tao S., Korkoran J., Mateo-Babiano avtobusning tezkor tranzitini o'rganmoqda
Katta ma'lumotlardan foydalangan holda yo'lovchilarning sayohat harakati // Amaliy geografiya. —
2014. - T. 53. - S. 90-104.
36. Big Data Long Tail. — URL: http://www.devx.com/blog/the-big
data-long-tail.html.
37. Toregas C., Swain R., ReVelle C. Favqulodda vaziyatlar xizmatining joylashuvi
ob'ektlar // Operatsion tadqiqotlar. — 1971. — T. 19, ÿ 6. — S. 1363—
1373.
38. Transport Q. Janubi-Sharqiy mintaqaviy integratsiyalashgan transport rejasi
Kvinslend // Kvinslend hukumati, Brisben. - 1997 yil.
39. Oq PR Jamoat transporti: uni rejalashtirish, boshqarish va ishlatish. —
Routledge, 2008 yil.
40. White T. Hadoop: Aniq qo'llanma. - "O'Reilly Media, Inc.", 2012 yil.
41. Toronto uchun ma'muriy bo'linish ma'lumotlari. - URL: http:
// ochiq ma'lumotlar. toronto. ca / gcc / mahallalar _ rejalashtirish _
hududlar _
wgs84.zip.
42. Toronto shahridagi mahallalarning demografiyasi. - url:
https://en. Vikipediya. org/wiki/Demografiya_
ning
_ Toronto
mahallalar.
43. Dryuchin D. A., Mayorov M. A. Shahar yo'lovchilari tomonidan aholiga transport
xizmatlari ko'rsatish sifatini oshirishning asosiy yo'nalishlari.
muntazam yo'nalishlarda transport // Orenburg xabarnomasi
davlat universiteti. - 2015. - No 4. - B. 179.
44. QGIS geografik axborot tizimining rasmiy sayti. - URL: http:
//www.qgis.org/en/site/.
45. Overpass API ning rasmiy sayti. - url:
http://overpass-api.de/.
46. Hortonworks ma'lumotlar platformasi. URL: http://hortonworks.com/
mahsulotlar/hdp/.
68
_
Machine Translated by Google
47. Portal GTFS ma'lumotlar almashinuvi. — URL: http://gtfs-data-exchange.
com/agency/ttc/.
48. OpenStreetMap portali. - URL: http://openstreetmap.org.
49. Hadoop Streaming API. - URL: https://hadoop.apache.org/docs/r1.2.1/
streaming.html .
50. Python dasturlash tilida Overpass API interfeysi uchun dasturiy ta'minot
paketi . - URL: https://github.com/mvexel/overpass-api
python-o'rash.
51. GTFS spetsifikatsiyasi. — URL: https: // ishlab chiquvchilar. google. com /
tranzit/gtfs/.
52. Microsoft Azure HDInsight bulut xizmati sahifasi. - URL: https://
azure.microsoft.com/en-us/services/hdinsight/ .
53. Apache Hadoop loyihasi sahifasi. — URL: http://hadoop.apache.
org.
69