Мерење и методологија

Drive тест

Кампањом је покривено 50 градова (3 више у односу на кампању из 2018. године) и 10.000 км путева у Србији. Мерења су обухватала три категорије: Велике градове, Мале градове и Путеве. Узимајући у обзир број мерних одбирака прикупљених током drive тест мерења (преко 6.000 тестова говорне услуге и 3.500 сесија за сваку од услуга преноса података обављено је у мрежи сваког од оператора), сматра се да је стандардна грешка мања од 3% и да је ниво поузданости већи од 95% за добијене резултате мерења.

* Градови додати у Benchmarking кампањи 2019. године

Drive тест руте коришћене за мерења приказане су на Слици 1.

Сл. 1 Drive тест руте

Мерења су обављена у drive тест форми, што значи да је мерна опрема била инсталирана у возилима која се крећу унапред дефинисаним рутама. Мерна опрема прикупља податке о мрежи, спроводећи тестове преноса говора и података, користећи скенер за прикупљање радио параметара. Све три мобилне мреже тестиране су у истом тренутку, на истим рутама, коришћењем истих мерних терминала – паметних телефона Samsung Galaxy S10 за тестирање говорне услуге и Samsung Galaxy S8 за тестирање услугe преноса података. Samsung Galaxy S10 био је опремљен са firmware-ом оператора за подршку свих најновијих мрежних функција (укључујући остваривање VoLTE позива, односно говорних позива коришћењем LTE технологије). Samsung Galaxy S8 је мобилни уређај категорије 16 (Cat. 16), што значи да подржава 4G (LTE) брзине преноса података до 1000 Mb/s за пријем података, односно 50 Mb/s за слање података. Сви паметни телефони коришћени за мерење су радили у режиму аутоматског одабирања технологије. Како би се омогућило свеобухватно тестирање мрежа и коришћење расположивих сервиса са максималним могућностима које мрежа пружа, за тестирање свих мобилних мрежа су се користиле SIM картице са комерцијалним тарифним пакетима који пружају максималне могућности крајњим корисницима (највећи број минута, највећа количина података).

Мобилни тарифни пакети коришћени за тестирање мобилних мрежа (drive тест) приказани су у Табели 1.

Табела 1. Мобилни тарифни пакети – Drive тест

Мерни систем се састојао од два мерна возила опремљена идентичним мерним уређајима (SwissQual Diversity Benchmarker II), који су омогућавали тестирање свих технологија и услуга истовремено, са великом тачношћу. За потребе тестирања говорне услуге, Samsung Galaxy S10 телефони су непрекидно позивали један другог унутар исте мреже. У великим градовима, тестирања су се обављала тако што су се наведени телефони налазили у различитим возилима, док су у малим градовима и на путевима, телефони били у истом возилу. Овакав специфичан приступ за велике градове омогућио је ефикасно прикупљање релевантних података, без превеликог оптерећивања мреже у зонама где се иначе очекује велика количина саобраћаја у мобилној мрежи. Овим тестовима процењује се доступност говорног сервиса, одрживост везе и квалитет говорног сигнала. За потребе benchmarking-а коришћени су позиви у трајању од 85 секунди.

Мерна опрема инсталирана у колима приказана је на Слици 2.

Сл. 2 Мерна опрема инсталирана у колима

Примање и слање додатних пакета података током обављања говорних позива је додато мерном сценарију, како би се опонашао просечни корисник мобилне мреже, за кога је типично одвијање сесије преноса података у позадини, током трајања позива. За сваки позив, квалитет говорног сигнала мерен је помоћу POLQА P.863 алгоритма (MOS – Mean Opinion Score).

Тестирање услуга преноса података обављено је помоћу Samsung Galaxy S8 мобилних телефона и коришћењем наменског сервера смештеног на операторски неутралној локацији у компанији SoX (Serbian open eXchange) у Београду, како би се обезбедили идентични услови за пренос података ка свим мобилним мрежама. Оваквим тестовима процењују се расположивост мреже, стабилност, типичне перформансе и граничне могућности услуга. Benchmarking је обухватио тестирање најчешће коришћених услуга преноса података и то:

• HTTP Пренос података – Download (брзина преноса података величине 3 MB преко HTTP протокола од мерног сервера до мобилног телефона). Овакав тест дизајниран је за мерење одзива мреже и симулирање корисника који прима са мреже податке мале величине попут слике, mp3 фајла или email-a.
• HTTP Пренос података – Upload (брзина преноса података величине 1 MB преко HTTP протокола од мобилног телефона ка мерном серверу). Овакав тест је креиран за мерење одзива мреже и симулирање корисника који шаље на мрежу фајл мале величине попут слике, mp3 фајла или email-а.
• FDTT HTTP Тест капацитета – Download (брзина преноса података величине 400 MB путем HTTP протокола од мерног сервера до мобилног телефона током фиксног временског интервала од 10 секунди). Овај тест је дизајниран за тестирање капацитета мреже која треба да обезбеди највећу континуирану брзину преноса података, што је важно за кориснике који преузимају велике фајлове са мреже – типично за кориснике који за приступ интернету користе мобилну мрежу са својих PC/лаптоп уређаја.
• FDTT HTTP Тест капацитета – Upload (брзина преноса података величине 400 MB путем HTTP протокола од мобилног телефона до мерног сервера током фиксног временског интервала од 10 секунди). Овај тест је дизајниран за тестирање капацитета мреже која треба да обезбеди највећу континуирану брзину преноса података, што је важно за кориснике који шаљу велике фајлове на мрежу – типично за кориснике који за приступ интернету користе мобилну мрежу са својих PC/лаптоп уређаја.
• HTTP Browsing – Статичка страница (тестирање брзине учитавања и отварања референтне ETSI Kepler web странице на мобилном телефону).
• HTTP Browsing – Live странице (тестирање брзине учитавања и отварања live web страница на мобилном телефону).
• YouTube (тестирање квалитета live видео стрима).
• Ping (мерење кашњења између слања и пријема пакета у мрежи).

Како би се опонашао просечан корисник мобилног интернета у Србији, на основу популарности међу корисницима, изабране су следеће интернет странице за тестирање:

https://www.twitter.com
https://www.facebook.com
https://www.kupujemprodajem.com
https://www.kupindo.com

Квалитет YouTube видео stream-а измерен је коришћењем J.343.1 алгоритма (VMOS – Video Mean Opinion Score).

За тестирање радио параметара мобилних мрежа коришћен је скенер (Rohde&Schwarz TSME). За обраду података и креирање извештаја коришћен је SwissQual NQDI софтверски пакет. Додатно, за анализу и складиштење података током обраде коришћени су системски ресурси (Data warehouse) компаније Sysтemics-PАB.

Мерења на hot-spot локацијама

Кампања је обухватала walktest мерења на четири hot-spot локације у Београду и једну у Новом Саду.

Hot-spot локације у Београду коришћене за мерења приказане су на Слици 3.

Сл. 3 Hot-spot локације у Београду

Hot-spot локација у Новом Саду коришћена за мерење приказана је на Слици 4.

Сл. 4 Hot-spot локација у Новом Саду

Мерења на hоt-spot локацијама обављена су у walktest режиму, што значи да је мерна опрема инсталирана у ранцу који носи инжењер који врши мерења.

Мерна опрема прикупља податке о мрежи спроводећи тестове преноса говора или података, користећи скенер за прикупљање радио параметара. Све три мобилне мреже тестиране су у истом тренутку, на истим рутама, коришћењем истих мерних терминала као код drive тестова – телефона Samsung Galaxy S10 за тестирање говорне услуге и Samsung Galaxy S8 за тестирање услуге преноса података. Samsung Galaxy S10 био је опремљен firmware-ом оператора за подршку свих најновијих мрежних функција (укључујући остваривање VoLTE позива, односно говорних позива коришћењем LTE мреже). Samsung Galaxy S8 је мобилни уређај категорије 16 (Cat. 16), што значи да подржава 4G (LТЕ) брзине преноса података до 1000 Мb/s за пријем података, односно 50 Мb/s за слање података. Сви телефони коришћени за мерење су радили у режиму аутоматског одабирања технологије. Како би се омогућило свеобухватно тестирање мрежа и коришћење расположивих сервиса са максималним могућностима које мрежа пружа, за тестирање свих мобилних мрежа су се користиле SIM картице са комерцијалним тарифним пакетима који пружају максималне могућности крајњим корисницима (највећи број минута, највећа количина података).

Мобилни тарифни пакети који су се користили за тестирање мобилних мрежа (walk тест) на hot-spot локацијама приказани су у Табели 2.

Табела 2. Мобилни тарифни пакети – Walk test

Мерни систем се састојао од ранца (SwissQual Freerider III) опремљеног мерним терминалима који су омогућавали тестирање свих мрежних технологија са великом тачношћу. За потребе тестирања говорне услуге, Samsung Galaxy S10 телефони су непрекидно позивали један другог унутар исте мреже. Тестирања су се обављала у M2M (Mobile to Mobile) сценарију између терминала смештених у ранцу. Samsung Galaxy S8 је коришћен за тестирање услуга преноса података. За мерења на hot-spot локацијама користио се исти мерни сценарио за тестирање услуга преноса говора и преноса података као за drive тест мерења.

За тестирање радио параметара мобилних мрежа коришћен је скенер (Rohde&Schwarz TSME). За обраду података и креирање извештаја коришћен је SwissQual NQDI софтверски пакет. Додатно, за анализу и складиштење података током обраде коришћени су системски ресурси (Data warehouse) компаније Systemics-PАB.

Мерна опрема коришћена за walktest мерења приказана је на Слици 5.

Сл. 5 Мерна опрема коришћена за walktest и railway мерења

Резултати спроведених walktest мерења на hot-spot локацијама нису узети у разматрање приликом одређивања коначног резултата бодовања измерених KPI вредности. Узимајући у обзир обим benchmarking кампање, број прикупљених мерних одбирака током тестова на hоt-spot локацијама није статистички репрезентативан да би се ти резултати узели у обзир приликом израчунавања коначног скора.