Мерење и методологија

Drive тест

Кампањом је покривено 47 градова (12 више у односу на кампању из 2017. године) и 10.000 км путева у Србији. Мерења су обухватала три категорије: Велике градове, Мале градове и Путеве. С обзиром на број мерних одбирака прикупљених током drive тест мерења (преко 6000 тестова говорног сервиса и 100.000 сесија преноса података обављено је у мрежи сваког од оператора), сматра се да је стандардна грешка мања од 3% и да је ниво поузданости већи од 95% за добијене резултате мерења.

* Градови додати у Benchmarking кампањи 2018. године

Drive тест руте коришћене за мерења приказане су на Слици 1.

Сл. 1 Drive тест руте

Мерења су обављена у drive тест форми, што значи да је мерна опрема била инсталирана у возилима која се крећу унапред дефинисаним рутама. Мерна опрема прикупља податке о мрежи, спроводећи тестове преноса говора и података, користећи скенер за прикупљање радио параметара. Све три мобилне мреже тестиране су у истом тренутку, на истим рутама, коришћењем истих мерних терминала – паметних телефона Sony Xperia XZ, за тестирање говорне услуге и услугe преноса података. Sony Xperia XZ је мобилни уређај који подржава 4G LTE категорије 9 (Cat. 9), што значи да подржава брзине преноса података до 450 Mb/s за пријем података, односно 50 Mb/s за слање података. Сви паметни телефони коришћени за мерење су радили у режиму аутоматског одабирања технологије. Како би се омогућило свеобухватно тестирање мрежа и коришћење расположивих сервиса са максималним могућностима које мрежа пружа, за тестирање свих мобилних мрежа су се користиле SIM картице са комерцијалним тарифним пакетима који пружају максималне могућности крајњим корисницима (највећи број минута, највећа количина података).

Мобилни тарифни пакети коришћени за тестирање мобилних мрежа (drive тест) приказани су у Табели 1.

Табела 1. Мобилни тарифни пакети – Drive тест

Мерни систем се састојао од два мерна возила опремљена идентичним мерним уређајима (SwissQual Diversity Benchmarker II), који су омогућавали тестирање свих технологија и сервиса истовремено, са великом тачношћу. За потребе тестирања говорног сервиса, Sony Xperia XZ телефони су непрекидно позивали један другог унутар исте мреже. У великим градовима, тестирања су се обављала тако што су се наведени телефони налазили у различитим возилима, док су у малим градовима и на путевима, телефони били у истом возилу. Овакав специфичан приступ за велике градове омогућио је ефикасно прикупљање релевантних података, без превеликог оптерећивања мреже у зонама где се иначе очекује велика количина саобраћаја у мобилној мрежи. Овим тестовима процењује се доступност говорног сервиса, одрживост везе и квалитет говорног сигнала. За потребе benchmarking-а коришћени су позиви у трајању од 85 секунди.

Мерна опрема инсталирана у колима приказана је на Слици 2.

Сл. 2 Мерна опрема инсталирана у колима

Примање и слање додатних пакета података током обављања говорних позива је додато мерном сценарију, како би се опонашао просечни корисник мобилне мреже, за кога је типично одвијање сесије преноса података у позадини, током трајања позива. За сваки позив, квалитет говорног сигнала мерен је помоћу POLQА P.863 алгоритма (MOS – Mean Opinion Score).

Тестирање сервиса преноса података обављено је помоћу Sony Xperia XZ мобилних телефона и коришћењем наменског сервера смештеног на операторски неутралној локацији у SoX-у (Serbian open eXchange) у Београду, како би се обезбедили идентични услови за пренос података ка свим мобилним мрежама. Оваквим тестовима процењују се расположивост мреже, стабилност, типичне перформансе и граничне могућности сервиса. Benchmarking је обухватио тестирање најчешће коришћених сервиса преноса података и то:

• HTTP Пренос података – Download (брзина преноса података величине 3 MB преко HTTP протокола од мерног сервера до мобилног телефона). Овакав тест дизајниран је за мерење одзива мреже и симулирање корисника који прима са мреже податке мале величине попут слике, mp3 фајла или email-a.
• HTTP Пренос података – Upload (брзина преноса података величине 1 MB преко HTTP протокола од мобилног телефона ка мерном серверу). Овакав тест је креиран за мерење одзива мреже и симулирање корисника који шаље на мрежу фајл мале величине попут слике, mp3 фајла или email-а.
• FDTT HTTP Тест капацитета – Download (брзина преноса података величине 400 MB путем HTTP протокола од мерног сервера до мобилног телефона током фиксног временског интервала од 10 секунди). Овај тест је дизајниран за тестирање капацитета мреже која треба да обезбеди највећу континуирану брзину преноса података, што је важно за кориснике који преузимају велике фајлове са мреже – типично за кориснике који за приступ интернету користе мобилну мрежу са својих PC/лаптоп уређаја.
• FDTT HTTP Тест капацитета – Upload (брзина преноса података величине 400 MB путем HTTP протокола од мобилног телефона до мерног сервера током фиксног временског интервала од 10 секунди). Овај тест је дизајниран за тестирање капацитета мреже која треба да обезбеди највећу континуирану брзину преноса података, што је важно за кориснике који шаљу велике фајлове на мрежу – типично за кориснике који за приступ интернету користе мобилну мрежу са својих PC/лаптоп уређаја.
• HTTP Browsing – Статичка страница (тестирање брзине учитавања и отварања референтне ETSI Kepler web странице на мобилном телефону).
• HTTP Browsing – Live странице (тестирање брзине учитавања и отварања live web страница на мобилном телефону).
• YouTube (тестирање квалитета live видео стрима).
• Ping (мерење кашњења између слања и пријема пакета у мрежи).

Како би се опонашао просечан корисник мобилног интернета у Србији, на основу популарности међу корисницима, изабране су следеће интернет странице за тестирање:

https://www.google.rs
https://www.facebook.com
https://www.kupujemprodajem.com
https://www.instagram.com

Квалитет YouTube видео stream-а измерен је коришћењем J.343.1 алгоритма (VMOS – Video Mean Opinion Score).

За тестирање радио параметара мобилних мрежа коришћен је скенер (PCtel MX). За обраду података и креирање извештаја коришћен је SwissQual NQDI софтверски пакет. Додатно, за анализу и складиштење података током обраде коришћени су системски ресурси (Data warehouse) компаније Sysтemics-PАB.

Мерења на hot-spot локацијама и железничким трасама

Кампања је обухватала walktest мерења на четири hot-spot локације у Београду и railway мерења на две националне железничке трасе.

Hot-spot локације у Београду коришћене за мерења приказане су на Слици 3.

Сл. 3 Hot-spot локације у Београду

Railway руте коришћене за мерења приказане су на Слици 4.

Сл. 4 Railway руте

Мерења на Hot-spot локацијама обављена су у walktest режиму, што значи да је мерна опрема инсталирана у ранцу који носи инжењер који врши мерења. Мерења у возовима обављена су са ранцем смештеним у једном од вагона, поред прозора са терминалима усмереним у правцу кретања воза.

Мерна опрема прикупља податке о мрежи спроводећи тестове преноса говора или података, користећи скенер за прикупљање радио параметара. Све три мобилне мреже тестиране су у истом тренутку, на истим рутама, коришћењем истих мерних терминала као код drive тестова – паметних телефона Sony Xperia XZ за тестирање говорне услуге и услуге преноса података. Sony Xperia XZ је мобилни уређај категорије 9 (Cat. 9), што значи да подржава 4G (LТЕ) брзине преноса података до 450 Мb/s за пријем података, односно 50 Мb/s за слање података. Сви паметни телефони коришћени за мерење су радили у режиму аутоматског одабирања технологије. Како би се омогућило свеобухватно тестирање мрежа и коришћење расположивих сервиса са максималним могућностима које мрежа пружа, за тестирање свих мобилних мрежа су се користиле SIM картице са комерцијалним тарифним пакетима који пружају максималне могућности крајњим корисницима (највећи број минута, највећа количина података).

Мобилни тарифни пакети који су се користили за тестирање мобилних мрежа (walk и railway тест) на Hot-spot локацијама и железничким трасама приказани су у Табели 2.

TТабела 2. Мобилни тарифни пакети – Walk и railway test

Мерни систем се састојао од ранца (SwissQual Freerider III) опремљеног мерним терминалима који су омогућавали тестирање свих мрежних технологија са великом тачношћу. За потребе тестирања говорног сервиса, Sony Xperia XZ телефони су непрекидно позивали један другог унутар исте мреже. Тестирања су се обављала у M2M (Mobile to Mobile) сценарију између терминала смештених у ранцу. Услед ограничења у броју терминала који се могу сместити у ранац, свака hot-spot локација је мерена два пута, и то покривајући исту руту, прво тестирајући говорни сервис, а потом сервис преноса података. За мерења на hot-spot локацијама и на железничким трасама користио се исти мерни сценарио за тестирање сервиса преноса говора и преноса података као за drive тест мерења.

За тестирање радио параметара мобилних мрежа коришћен је скенер (Rohde&Schwarz TSME). За обраду података и креирање извештаја коришћен је SwissQual NQDI софтверски пакет. Додатно, за анализу и складиштење података током обраде коришћени су системски ресурси (Data warehouse) компаније Systemics-PАB.

Мерна опрема коришћена за walktest и railway мерења приказана је на слици 5.

Сл. 5 Мерна опрема коришћена за walktest и railway мерења

Резултати спроведених walktest мерења на hot-spot локацијама и railway мерења на железничким трасама нису узети у разматрање приликом одређивања коначног резултата бодовања измерених KPI вредности. С обзиром на обим benchmarking кампање, број прикупљених мерних одбирака приликом обављених тестова на hоt-spot локацијама и железничким трасама није статистички репрезентативан да би се ти резултати узели у обзир приликом израчунавања коначног скора.