Drive тест
Кампањом је покривено 50 градова и 10.000 км путева у Србији. Мерења су обухватала три категорије: Велике градове, Мале градове и Путеве. Узимајући у обзир број мерних одбирака прикупљених током drive тест мерења (преко 7.000 тестова говорне услуге и 7.000 сесија за сваку од услуга преноса података обављено је у мрежи сваког од оператора), сматра се да је стандардна грешка мања од 3% и да је ниво поузданости већи од 95% за добијене резултате мерења.
Drive тест руте коришћене за мерења приказане су на Слици 1.
Сл. 1 Drive тест руте
Мерења су обављена у drive тест форми, што значи да је мерна опрема била инсталирана у возилима која се крећу унапред дефинисаним рутама. Мерна опрема прикупља податке о мрежи, спроводећи тестове преноса говора и података, користећи скенер за прикупљање радио параметара. Све три мобилне мреже тестиране су у истом тренутку, на истим рутама, коришћењем истих мерних терминала – паметних телефона Samsung Galaxy S10 за тестирање говорне услуге и Samsung Galaxy S9 за тестирање услугe преноса података. Samsung Galaxy S10 био је опремљен са firmware-ом оператора за подршку свих најновијих мрежних функција (укључујући остваривање VoLTE позива, односно говорних позива коришћењем LTE технологије). Samsung Galaxy S9 је мобилни уређај категорије 18 (Cat. 18), што значи да подржава 4G (LTE) брзине преноса података до 1200 Mb/s за пријем података, односно 210 Mb/s за слање података. Сви паметни телефони коришћени за мерење су радили у режиму аутоматског одабирања технологије. Како би се омогућило свеобухватно тестирање мрежа и коришћење расположивих сервиса са максималним могућностима које мрежа пружа, за тестирање свих мобилних мрежа су се користиле SIM картице са комерцијалним тарифним пакетима који пружају максималне могућности крајњим корисницима (највећи број минута, највећа количина података).
Мобилни тарифни пакети коришћени за тестирање мобилних мрежа (drive тест) приказани су у Табели 1.
| Оператор | Тарифни пакет за тестирање говорне услуге | Тарифни пакет за тестирање услуге преноса података |
|---|---|---|
| Telekom Srbija | SOKO | SOKO |
| Telenor | Total 30 | Biznis Total 100 |
| Vip mobile | NEO100 | Vip Online |
Табела 1. Мобилни тарифни пакети – Drive тест
Мерни систем се састојао од два мерна возила опремљена идентичним мерним уређајима (SwissQual Diversity Benchmarker II), који су омогућавали тестирање свих технологија и услуга истовремено, са великом тачношћу. За потребе тестирања говорне услуге, Samsung Galaxy S10 телефони су непрекидно позивали један другог унутар исте мреже. У великим градовима, тестирања су се обављала тако што су се наведени телефони налазили у различитим возилима, док су у малим градовима и на путевима, телефони били у истом возилу. Овакав специфичан приступ за велике градове омогућио је ефикасно прикупљање релевантних података, без превеликог оптерећивања мреже у зонама где се иначе очекује велика количина саобраћаја у мобилној мрежи. Овим тестовима процењује се доступност говорног сервиса, одрживост везе и квалитет говорног сигнала. За потребе benchmarking-а коришћени су позиви у трајању од 85 секунди.
Мерна опрема инсталирана у колима приказана је на Слици 2.
Сл. 2 Мерна опрема инсталирана у колима
Примање и слање додатних пакета података током обављања говорних позива је додато мерном сценарију, како би се опонашао просечни корисник мобилне мреже, за кога је типично одвијање сесије преноса података у позадини, током трајања позива. За сваки позив, квалитет говорног сигнала мерен је помоћу POLQА P.863 алгоритма (MOS – Mean Opinion Score).
Тестирање услуга преноса података обављено је помоћу Samsung Galaxy S9 мобилних телефона и коришћењем наменског сервера смештеног на операторски неутралној локацији у компанији SoX (Serbian open eXchange) у Београду, како би се обезбедили идентични услови за пренос података ка свим мобилним мрежама. Оваквим тестовима процењују се расположивост мреже, стабилност, типичне перформансе и граничне могућности услуга. Benchmarking је обухватио тестирање најчешће коришћених услуга преноса података и то:
Како би се опонашао просечан корисник мобилног интернета у Србији, на основу популарности међу корисницима, изабране су следеће интернет странице за тестирање:
https://www.twitter.com
https://www.facebook.com
https://www.kupindo.com
https://oglasi.rs/
Квалитет YouTube видео stream-а измерен је коришћењем J.343.1 алгоритма (VMOS – Video Mean Opinion Score).
За тестирање радио параметара мобилних мрежа коришћен је скенер (Rohde&Schwarz TSME). За обраду података и креирање извештаја коришћен је SwissQual NQDI софтверски пакет. Додатно, за анализу и складиштење података током обраде коришћени су системски ресурси (Data warehouse) компаније Sysтemics-PАB.
Walk test
Кампања је обухватала walk test мерења на четири локације у Београду.
Мерења на овим локацијама обављена су у walk тест режиму, што значи да је мерна опрема инсталирана у ранцу који носи инжењер који врши мерења.
Мерна опрема прикупља податке о мрежи спроводећи тестове преноса говора или података, користећи скенер за прикупљање радио параметара. Све три мобилне мреже тестиране су у истом тренутку, на истим рутама, коришћењем истих мерних терминала као код drive тестова – телефона Samsung Galaxy S10 за тестирање говорне услуге и Samsung Galaxy S9 за тестирање услуге преноса података. Samsung Galaxy S10 био је опремљен firmware-ом оператора за подршку свих најновијих мрежних функција (укључујући остваривање VoLTE позива, односно говорних позива коришћењем LTE мреже). Samsung Galaxy S9 је мобилни уређај категорије 18 (Cat. 18), што значи да подржава 4G (LТЕ) брзине преноса података до 1200 Мb/s за пријем података, односно 210 Мb/s за слање података. Сви телефони коришћени за мерење су радили у режиму аутоматског одабирања технологије. Како би се омогућило свеобухватно тестирање мрежа и коришћење расположивих сервиса са максималним могућностима које мрежа пружа, за тестирање свих мобилних мрежа су се користиле SIM картице са комерцијалним тарифним пакетима који пружају максималне могућности крајњим корисницима (највећи број минута, највећа количина података).
Мобилни тарифни пакети који су се користили за тестирање мобилних мрежа на walk тест локацијама приказани су у Табели 2.
| Оператор | Тарифни пакет за тестирање говорне услуге | Тарифни пакет за тестирање услуге преноса података |
|---|---|---|
| Telekom Srbija | SOKO | SOKO |
| Telenor | Total 30 | Biznis Total 100 |
| Vip mobile | NEO100 | Vip Online |
Табела 2. Мобилни тарифни пакети – Walk test
Мерни систем се састојао од ранца (SwissQual Freerider III) опремљеног мерним терминалима који су омогућавали тестирање свих мрежних технологија са великом тачношћу. За потребе тестирања говорне услуге, Samsung Galaxy S10 телефони су непрекидно позивали један другог унутар исте мреже. Тестирања су се обављала у M2M (Mobile to Mobile) сценарију између терминала смештених у ранцу. Samsung Galaxy S9 је коришћен за тестирање услуга преноса података. За мерења на walk тест локацијама користио се исти мерни сценарио за тестирање услуга преноса говора и преноса података као за drive тест мерења.
За тестирање радио параметара мобилних мрежа коришћен је скенер (Rohde&Schwarz TSME). За обраду података и креирање извештаја коришћен је SwissQual NQDI софтверски пакет. Додатно, за анализу и складиштење података током обраде коришћени су системски ресурси (Data warehouse) компаније Systemics-PАB.
Мерна опрема коришћена за walk тест мерења приказана је на Слици 3.
Сл. 3 Мерна опрема коришћена за walk тест мерења
Резултати спроведених walk тест мерења нису узети у разматрање приликом одређивања коначног резултата бодовања измерених KPI вредности. Узимајући у обзир обим benchmarking кампање, број прикупљених мерних одбирака током тестова на walk тест локацијама није статистички репрезентативан да би се ти резултати узели у обзир приликом израчунавања коначног скора.
Методологија бодовања развијена је за потребе рангирања мобилних оператора, а након benchmarking мерења, којима се процењује перцепција корисника о квалитету коришћених услуга у мобилној мрежи: преноса говора, података и видео сервиса.
Главне изазове, приликом развијања методологије, представљају селекција параметара квалитета (КPI - Key Performance Indicator) који ће верно одражавати корисничко искуство, као и развој алгоритма са јединственом метриком квалитета – скором (score), за сваког оператора. Према методологији коју користи Systemics-PAB, скор рефлектује корисничко искуство и проблеме у мрежи који доводе до незадовљства корисника.
Скоринг методологија користи најмање две метрике за оцену сваке услуге која се тестира.
Расположивост услуге се процењује кроз проценат успешно реализованих позива или сесија преноса података (CSR – Call Success Rate за услугу преноса говора, SSR – Session Success Rate за услуге преноса података). Параметри CSR/SSR су индикатори који се тестирају за све типове услуга и дефинишу се као однос успешних тестова (успешна успостава и исправна терминација) и свих генерисаних тестова. Израчунавају се према следећој формули:
| CSR/ SSR = | Укупан број генерисаних тестова – број неуспешних покушаја – број прекинутих конекција |
| Укупан број генерисаних тестова |
Друга метрика се односи на квалитет саме услуге и зависи од типа теста који се спроводи. Говорна услуга оцењује се кроз квалитет говорног сигнала, а услуга преноса података кроз брзину преноса података, време трајања сесије или квалитет видео stream-а за тестирање YouTube видеа. За услуге код којих је битно да постоји конзистентан квалитет услуге, расположивост услуге се додатно оцењује мерењем броја одбирака који имају лош квалитет (говорни одбирци са вредностима MOS<2,3 за тестирање говорне услуге, брзина преноса података испод минимално очекиване вредности у случају тестирања услуге преноса података). Овим се генерално процењује како мрежа одржава конзистентност квалитета (дистрибуција квалитета услуге требало би да се креће око просечне вредности).
MOS (Меan Opinion Score) служи за мерење квалитета говорних сигнала. Њиме се мери субјективни осећај слушаоца о квалитету говорног сигнала. Вредности се крећу на скали од 1 до 5, где 5 представља најбољу вредност.
За сваки од параметара квалитета (KPI) дефинисан је праг - минимално потребна вредност да би се освојили бодови. Праг је дефинисан на основу степена технолошког развоја (минимално потребна брзина преноса података за имплементацију 3G/4G технологије), квалитета услуге (MOS прагови испод којих се сигнал третира као лош), доступности услуге и сл.
Параметри квалитета (KPI) такође имају максималну вредност која се користи за бодовање, што се интерпретира као граница изнад које корисници не разазнају разлику у квалитету услуге, и нема разлике у корисничкој перцепцији. Оператори не добијају додатне поене ако прекораче дефинисане максималне вредности.
За сваки KPI се користи линеарна функција за израчунавање освојених поена (унутар min – max опсега). Ако је већа KPI вредност боља (нпр. квалитет говора или брзина преноса података) онда се пропорционално израчунава број освојених поена, а ако је мања вредност боља (нпр. време успоставе позива), број освојених поена се израчунава обрнуто пропорционално.
На основу података прикупљених током benchmarking тестирања врши се рангирање мобилних оператора за услуге преноса говора и података.
За израчунавање коначног резултата, тежински фактор за говорну услугу износи 40%, а за услуге преноса података 60%.
Први корак у израчунавању коначног резултата је израчунавање резултата по различитим категоријама:
За ове категорије израчунавање се врши одвојено, коришћењем дефинисаних тежинских фактора и прагова за различите типове услуга. У укупном скору, све категорије су обухваћене према унапред дефинисаним тежинским факторима за различите категорије, и то: Велики градови - 40%, Мали градови - 30% и Путеви - 30%.
Укупан скор, исто као и поени за појединачне категорије, изражава се у процентима и дефинише се као ниво постигнутог квалитета у односу на максимално могући квалитет. Самим тим, узимају се вредности од 0 до 100. Дијаграм израчунавања коначног скора дат је на Слици 1.
Сл. 1 Израчунавање коначног резултата (скора)
