У петогодишњој историји benchmark-a мобилних мрежа које је РАТЕЛ спроводио у Србији, овогодишњи пројекат је био највећи до сада. Benchmark је обухватао drive тестове, hot-spot локације и железницу, што је по први пут у оволиком обиму урађено на територији Србије (без АП Косово и Метохија).
Мапа рута коришћених за мерења приказана је на Слици 1.
Примењена је категоризација стриктно у складу са ETSI 103 559 Annex А документом.
Сл 1. Мапа рута мерења
Drive тест
Кампањом је покривено 55 градова и 15.000 км путева у Србији. Мерења су обухватала следеће категорије: Велике градове, Средње градове, Аутопутеве, Главне путеве и Руралне путеве. Примењена је категоризација стриктно у складу са ETSI 103 559 Аnex А документом. Узимајући у обзир број мерних одбирака прикупљених током drive тест мерења (преко 8.000 тестова говорне услуге и 8.000 сесија за сваку од услуга преноса података обављено је у мрежи сваког од оператора), сматра се да је стандардна грешка мања од 3% и да је ниво поузданости већи од 95% за добијене резултате мерења.
Мерења су обављена у drive тест форми, што значи да је мерна опрема била инсталирана у возилима која се крећу унапред дефинисаним рутама. Мерна опрема прикупља податке о мрежи спроводећи тестове преноса говора и података, користећи скенер за прикупљање радио параметара. Све три мобилне мреже тестиране су у истом тренутку, на истим рутама, коришћењем истих мерних терминала – паметних телефона Samsung Galaxy S10 за тестирање говорне услуге и пренос WhatsAPP порука и Sony Xperia 1 II за тестирање услуге преноса података. Samsung Galaxy S10 био је опремљен firmware-ом оператора за подршку свих најновијих мрежних функција (укључујући остваривање VoLTE позива, односно говорних позива коришћењем LTE технологије). Sony Xperia 1 II је мобилни уређај категорије 19 (Cat. 19), што значи да подржава 4G (LTE) брзине преноса података до 1600 Mb/s за пријем података, односно 300 Mb/s за слање података. Сви паметни телефони коришћени за мерење су радили у режиму аутоматског одабирања технологије. Како би се омогућило свеобухватно тестирање мрежа и коришћење расположивих сервиса са максималним могућностима које мрежа пружа, за тестирање свих мобилних мрежа су се користиле SIM картице са комерцијалним тарифним пакетима који пружају максималне могућности крајњим корисницима (највећи број минута, највећа количина података).
Мобилни тарифни пакети који су се користили за тестирање мобилних мрежа (drive тест) приказани су у Табели 1.
| Оператор | Тарифни пакет за тестирање говорне услуге | Тарифни пакет за тестирање услуге преноса података |
|---|---|---|
| Telekom Srbija | SOKO | SOKO |
| Telenor | Total Data+ | Total Data+ |
| A1 Srbija | NeoNeoMax | NeoNeoMax |
Табела 1. Мобилни тарифни пакети – Drive mecm
Мерни систем се састојао од два мерна возила опремљена идентичним мерним уређајима (SwissQual Diversity Benchmarker II), који су омогућавали тестирање свих технологија и услуга истовремено, са великом тачношћу. За потребе тестирања говорне услуге, Samsung Galaxy S10 телефони су непрекидно позивали један другог унутар исте мреже. У великим градовима, тестирања су се обављала тако што су се поменути телефони налазили у различитим возилима, док су у средњим, малим градовима и на путевима телефони били у истом возилу. Овакав специфичан приступ за велике градове омогућио је ефикасно прикупљање релевантних података, без превеликог оптерећивања мреже у зонама где се иначе очекује велика количина саобраћаја у мобилној мрежи. Овим тестовима процењује се доступност говорног сервиса, одрживост везе и квалитет говорног сигнала. За потребе benchmark-а коришћени су позиви у трајању од 85 секунди.
Мерна опрема инсталирана у колима приказана је на Слици 2.
Сл. 2 Мерна опрема инсталирана у колима
Примање и слање додатних пакета података током обављања говорних позива је додато мерном сценарију, како би се опонашао просечни корисник мобилне мреже, за кога је типично одвијање сесије преноса података у позадини, током трајања позива. За сваки позив, квалитет говорног сигнала мерен је помоћу POLQA P.863 алгоритма (MOS – Mean Opinion Score).
Тестирање услуга преноса података обављено је помоћу Sony Xperia 1 II мобилних телефона и коришћењем наменског сервера смештеног на операторски неутралној локацији у компанији SoX (Serbian open eXchange) у Београду, како би се обезбедили идентични услови за пренос података ка свим мобилним мрежама. Оваквим тестовима процењује се расположивост мреже, стабилност, типичне перформансе и граничне могућности услуга. Benchmark је обухватио тестирање најчешће коришћених услуга преноса података и то:
Како би се опонашао просечан корисник мобилног интернета у Србији, на основу популарности међу корисницима, изабране су следеће интернет странице за тестирање:
https://www.twitter.com
https://www.yahoo.com
https://www.kupindo.com
https://halooglasi.rs/
Квалитет YouTube видео stream-а измерен је коришћењем Ј.343.1 алгоритма (VMOS – Video Mean Opinion Score).
По први пут ове године спроведено је тестирање сервиса преноса WhatsApp порука. За тестове се користио пар Samsung Galaxy S10 мерних терминала. Слање и примање поруке се обављало коришћењем различитих мерних терминала. Циљ је био прикупити релевантне податке за мерење корисничког искуства приликом коришћења сервиса преноса WА порука када се WhatsAPP апликацији приступа путем мобилних мрежа.
За тестирање радио параметара мобилних мрежа коришћен је скенер (Rohde&Schwarz TSME). За обраду података и креирање извештаја коришћен је SwissQual NQDI софтверски пакет. Додатно, за анализу и складиштење података током обраде коришћени су системски ресурси (Data warehouse) компаније Systemics-PAB.
Walk тест
У складу са ETSI 103 559 Annex А документом, кампања је била подељена на два дела. Мерења на hot-spot локацијама обухватала су локације у Београду, Новом Саду и Нишу. Мерења на железници обухватала су 1800км дуж главних железничких рута на коридору X и XI.
Мерења на овим локацијама обављена су у walk тест режиму, што значи да је мерна опрема инсталирана у ранцу који носи инжењер који врши мерења.
Мерна опрема прикупља податке о мрежи спроводећи тестове преноса говора или података, користећи скенер за прикупљање радио параметара. Све три мобилне мреже тестиране су у истом тренутку, на истим рутама, коришћењем истих мерних терминала као код drive тестова –телефона Samsung Galaxy S10 за тестирање говорне услуге и преноса WhatsApp порука, односно Sony Xperia 1 II за тестирање услуге преноса података. Samsung Galaxy S10 био је опремљен firmware-ом оператора за подршку свих најновијих мрежних функција (укључујући остваривање VoLTE позива, односно говорних позива коришћењем LTE мреже). Sony Xperia 1 II је мобилни уређај категорије 19 (Cat. 19), што значи да подржава 4G (LTE) брзине преноса података до 1600 Mb/s за пријем података, односно 300 Mb/s за слање података. Сви мобилни телефони коришћени за мерење су радили у режиму аутоматског одабирања технологије. Како би се омогућило свеобухватно тестирање мрежа и коришћење расположивих сервиса са максималним могућностима које мрежа пружа, за тестирање свих мобилних мрежа су се користиле SIM картице са комерцијалним тарифним пакетима који пружају максималне могућности крајњим корисницима (највећи број минута, највећа количина података).
Мобилни тарифни пакети који су се користили за тестирање мобилних мрежа на walk тест локацијама приказани су у Табели 2.
| Оператор | Тарифни пакет за тестирање говорне услуге | Тарифни пакет за тестирање услуге преноса података |
|---|---|---|
| Telekom Srbija | SOKO | SOKO |
| Telenor | Total Data+ | Total Data+ |
| A1 Srbija | NeoNeoMax | NeoNeoMax |
Табела 2. Мобилни тарифни пакети – Hot Spot локације
Мерни систем се састојао од ранца (SwissQual Freerider III) опремљеног мерним терминалима који су омогућавали тестирање свих мрежних технологија са великом тачношћу. За потребе тестирања говорне услуге, Samsung Galaxy S10 телефони су непрекидно позивали један другог унутар исте мреже. Тестирања су се обављала у М2М (Mobile to Mobile) сценарију између терминала смештених у ранцу. Samsung Galaxy S10 је коришћен за тестирање услуга WhatsApp преноса података. За мерења на walk тест локацијама користио се исти мерни сценарио за тестирање услуга преноса говора и преноса података као за drive тест мерења.
За тестирање радио параметара мобилних мрежа коришћен је скенер (Rohde&Schwarz TSME). За обраду података и креирање извештаја коришћен је SwissQual NQDI софтверски пакет. Додатно, за анализу и складиштење података током обраде коришћени су системски ресурси (Data warehouse) компаније Systemics-PAB.
Мерна опрема коришћена за walk тест мерења приказана је на Слици 3.
Сл. 3 Мерна опрема коришћена за walk тест мерења
Резултати wалк тест мерења су део ETSI 103 559 Аnnex А методологије бодовања и узимају се у обзир приликом израчунавања коначног резултата.
Hot Spot мерења
Хот спот мерења су обухватала мерења на indoor и outdoor локацијама. Локације су одабране на основу критеријума велике посећености и јавног значаја.
Резултати мерења на хот-спот локацијама су део ETSI 103 559 Аnnex А методологије бодовања и узимају се у обзир приликом израчунавања коначног резултата.
Методологија бодовања развијена је за потребе рангирања мобилних оператора, а након benchmark мерења, којима се процењује перцепција корисника о квалитету коришћених услуга у мобилној мрежи: преноса говора, података и видео сервиса.
Главне изазове приликом развијања методологије представља селекција параметара квалитета (KPI – Key Performance Indicator) који ће верно одражавати корисничко искуство, као и развој алгоритма са јединственом метриком квалитета – скором (score), за сваког оператора. Према ETSI 103 559 Аnnex А методологији, скор рефлектује корисничко искуство и проблеме у мрежи који доводе до незадовљства корисника.
Скоринг методологија користи најмање две метрике за оцену сваке услуге која се тестира.
Расположивост услуге се процењује кроз проценат успешно успостављених позива или сесија преноса података (CSSR – Call Setup Success Rate за услугу преноса говора, SSSR – Session Setup Success Rate за услуге преноса података). Параметри CSSR/SSSR су индикатори који се тестирају за све типове услуга и дефинишу се као однос успешно успостављених тестова и свих генерисаних тестова. Израчунавају се према следећој формули:
| CSSR/ SSSR = | Укупан број успешно успостављених тестова |
| Укупан број генерисаних тестова |
Друга метрика се односи на квалитет саме услуге и зависи од типа теста који се спроводи. Говорна услуга оцењује се кроз квалитет говорног сигнала, а услуга преноса података кроз брзину преноса података, време трајања сесије или квалитет видео stream-а за тестирање YouTube видеа. За услуге код којих је битно да постоји конзистентан квалитет услуге, расположивост услуге се додатно оцењује мерењем броја одбирака који имају лош квалитет (говорни одбирци са вредностима MOS<1,6 за тестирање говорне услуге, брзина преноса података испод минимално очекивање вредности у случају тестирања услуга преноса података). Овим се генерално процењује како мрежа одржава конзистентност квалитета (дистрибуција квалитета услуге требало би да се креће око просечне вредности).
MOS (Mean Opinion Score) служи за мерење квалитета говорних сигнала. Њиме се мери субјективни осећај који слушалац има о квалитету говорног сигнала. Вредности се крећу на скали од 1 до 5, где 5 представља најбољу вредност.
За сваки од параметара квалитета (KPI) дефинисан је праг - минимално потребна вредност да би се освојили бодови. Праг је дефинисан на основу степена технолошког развоја (минимално потребна брзина преноса података за имплементацију 3G/4G технологије), квалитета услуге (MOS прагови испод којих се сигнал третира као лош), доступности услуге и сл.
Параметри квалитета (KPI) такође имају максималну вредност која се користи за бодовање, што се интерпретира као граница изнад које корисници не препознају разлику у квалитету услуге, те нема разлике у корисничкој перцепцији. Оператори не добијају додатне поене ако прекораче дефинисане максималне вредности.
За сваки KPI се користи линеарна функција за израчунавање освојених поена (унутар min – max опсега). Ако је већа KPI вредност боља (нпр. квалитет говора или брзина преноса података), онда се пропорционално израчунава број освојених поена, а ако је мања вредност боља (нпр. време успоставе позива), број освојених поена се израчунава обрнуто пропорционално.
На основу података прикупљених током benchmark тестирања врши се рангирање мобилних оператора за услуге преноса говора и података.
За израчунавање коначног резултата, тежински фактор за говорну услугу износи 40%, а за услуге преноса података 60%, односно:
Први корак у израчунавању коначног резултата је израчунавање резултата по различитим категоријама:
Градови:За ове категорије израчунавање се врши одвојено, коришћењем дефинисаних тежинских фактора и прагова за различите типове услуга. У укупном скору, све категорије су обухваћене према унапред дефинисаним тежинским факторима за различите категорије. Одговарајући тежински фактори за категорију градови су: Велики градови - 60%, Средњи градови – 30% и Мали градови - 10%. Одговарајући тежински фактори за категорију Путеви су: Аутопутеви - 60%, Главни путеви – 30% и Рурални путеви – 10%. За категорију Комплементарне зоне, тежински фактори су: Hot Spot локације – 60% и Железница – 40%.
Коначан скор израчунава се пондерисањем сваке категорије, и то: Градови – 50%, Путеви – 40% и Комплементарне зоне – 10%. Дијаграм израчунавања коначног скора приказан је на Слици 5.
Сл. 1 Израчунавање коначног резултата (скора)
Укупан скор, исто као и поени за појединачне категорије, изражава се у процентима и дефинише се као ниво постигнутог квалитета у односу на максимално могући квалитет. Самим тим, узимају се вредности од 0 до 100.
