U petogodišnjoj istoriji benchmarka mobilnih mreža koje je RATEL sprovodio u Srbiji, ovogodišnji projekat je bio najveći do sada. Benchmark je obuhvatao drive testove, hot-spot lokacije i železnicu, što je po prvi put u ovolikom obimu urađeno na teritoriji Srbije (bez AP Kosovo i Metohija).
Mapa ruta korišćenih za merenja prikazana je na Slici 1.
Primenjena je kategorizacija striktno u skladu sa ETSI 103 559 Anex A dokumentom.
Drive test
Kampanjom je pokriveno 55 gradova i 15.000 km puteva u Srbiji. Merenja su obuhvatala sledeće kategorije: Velike gradove, Srednje gradove, Autoputeve, Glavne puteve i Ruralne puteve. Primenjena je kategorizacija striktno u skladu sa ETSI 103 559 Anex A dokumentom. Uzimajući u obzir broj mernih odbiraka prikupljenih tokom drive test merenja (preko 8.000 testova govorne usluge i 8.000 sesija za svaku od usluga prenosa podataka obavljeno je u mreži svakog od operatora), smatra se da je standardna greška manja od 3% i da je nivo pouzdanosti veći od 95% za dobijene rezultate merenja.
Merenja su obavljena u drive test formi, što znači da je merna oprema bila instalirana u vozilima koja se kreću unapred definisanim rutama. Merna oprema prikuplja podatke o mreži sprovodeći testove prenosa govora i podataka, koristeći skener za prikupljanje radio parametara. Sve tri mobilne mreže testirane su u istom trenutku, na istim rutama, korišćenjem istih mernih terminala – pametnih telefona Samsung Galaxy S10 za testiranje govorne usluge i prenos WhatsAPP poruka i Sony Xpreia 1 II za testiranje usluge prenosa podataka. Samsung Galaxy S10 bio je opremljen firmware-om operatora za podršku svih najnovijih mrežnih funkcija (uključujući ostvarivanje VoLTE poziva, odnosno govornih poziva korišćenjem LTE tehnologije). Sony Xperia 1 II je mobilni uređaj kategorije 19 (Cat. 18), što znači da podržava 4G (LTE) brzine prenosa podataka do 1600 Mb/s za prijem podataka, odnosno 300 Mb/s za slanje podataka. Svi pametni telefoni korišćeni za merenje su radili u režimu automatskog odabiranja tehnologije. Kako bi se omogućilo sveobuhvatno testiranje mreža i korišćenje raspoloživih servisa sa maksimalnim mogućnostima koje mreža pruža, za testiranje svih mobilnih mreža su se koristile SIM kartice sa komercijalnim tarifnim paketima koji pružaju maksimalne mogućnosti krajnjim korisnicima (najveći broj minuta, najveća količina podataka).
Mobilni tarifni paketi koji su se koristili za testiranje mobilnih mreža (drive test) prikazani su u Tabeli 1.
| Operator | Tarifni paket za testiranje govorne usluge | Tarifni paket za testiranje usluge prenosa podataka |
|---|---|---|
| Telekom Srbija | SOKO | SOKO |
| Telenor | Total Data+ | Total Data+ |
| A1 | NeoNeoMax | NeoNeoMax |
Tabela 1. Mobilni tarifni paketi – Drive test
Merni sistem se sastojao od dva merna vozila opremljena identičnim mernim uređajima (SwissQual Diversity Benchmarker II), koji su omogućavali testiranje svih tehnologija i usluga istovremeno, sa velikom tačnošću. Za potrebe testiranja govorne usluge, Samsung Galaxy S10 telefoni su neprekidno pozivali jedan drugog unutar iste mreže. U velikim gradovima, testiranja su se obavljala tako što su se pomenuti telefoni nalazili u različitim vozilima, dok su u srednjim, malim gradovima i na putevima telefoni bili u istom vozilu. Ovakav specifičan pristup za velike gradove omogućio je efikasno prikupljanje relevantnih podataka, bez prevelikog opterećivanja mreže u zonama gde se inače očekuje velika količina saobraćaja u mobilnoj mreži. Ovim testovima procenjuje se dostupnost govornog servisa, održivost veze i kvalitet govornog signala. Za potrebe benchmark-a korišćeni su pozivi u trajanju od 85 sekundi.
Merna oprema instalirana u kolima prikazana je na Slici 2.
Sl. 2 Merna oprema instalirana u kolima
Primanje i slanje dodatnih paketa podataka tokom obavljanja govornih poziva je dodato mernom scenariju, kako bi se oponašao prosečni korisnik mobilne mreže, za koga je tipično odvijanje sesije prenosa podataka u pozadini, tokom trajanja poziva. Za svaki poziv, kvalitet govornog signala meren je pomoću POLQA P.863 algoritma (MOS – Mean Opinion Score).
Testiranje usluga prenosa podataka obavljeno je pomoću Sony Xperia 1 II mobilnih telefona i korišćenjem namenskog servera smeštenog na operatorski neutralnoj lokaciji u kompaniji SoX (Serbian open eXchange) u Beogradu, kako bi se obezbedili identični uslovi za prenos podataka ka svim mobilnim mrežama. Ovakvim testovima procenjuje se raspoloživost mreže, stabilnost, tipične performanse i granične mogućnosti usluga. Benchmark je obuhvatio testiranje najčešće korišćenih usluga prenosa podataka i to:
Kako bi se oponašao prosečan korisnik mobilnog interneta u Srbiji, na osnovu popularnosti među korisnicima, izabrane su sledeće internet stranice za testiranje:
https://www.twitter.com
https://www.yahoo.com
https://www.kupindo.com
https://halooglasi.com/
Kvalitet YouTube video stream-a izmeren je korišćenjem J.343.1 algoritma (VMOS – Video Mean Opinion Score).
Po prvi put ove godine sprovedeno je testiranje servisa prenosa WhatsApp poruka. Za testove se koristio par Samsung Galaxy S10 mernih terminala. Slanje i primanje poruke se obavljalo korišćenjem različitih mernih terminala. Cilj je bio prikupiti relevantne podatke za merenje korisničkog iskustva prilikom korišćenja servisa prenosa WA poruka kada se WhatsAPP aplikaciji pristupa putem mobilnih mreža.
Za testiranje radio parametara mobilnih mreža korišćen je skener (Rohde&Schwarz TSME). Za obradu podataka i kreiranje izveštaja korišćen je SwissQual NQDI softverski paket. Dodatno, za analizu i skladištenje podataka tokom obrade korišćeni su sistemski resursi (Data warehouse) kompanije Systemics-PAB.
Walk test
U skladu sa ETSI 103 559 Annex A dokumentom, kampanja je bila podeljena na dva dela. Merenja na hot-spot lokacijama obuhvatala su lokacije u Beogradu, Novom Sadu i Nišu. Merenja na železnici obuhvatala su 1800km duž glavnih železničkih ruta na koridoru X i XI.
Merenja na ovim lokacijama obavljena su u walk test režimu, što znači da je merna oprema instalirana u rancu koji nosi inženjer koji vrši merenja.
Merna oprema prikuplja podatke o mreži sprovodeći testove prenosa govora ili podataka, koristeći skener za prikupljanje radio parametara. Sve tri mobilne mreže testirane su u istom trenutku, na istim rutama, korišćenjem istih mernih terminala kao kod drive testova –telefona Samsung Galaxy S10 za testiranje govorne usluge i prenosa WhatsApp poruka, odnosno Sony Xperia 1 II za testiranje usluge prenosa podataka. Samsung Galaxy S10 bio je opremljen firmware-om operatora za podršku svih najnovijih mrežnih funkcija (uključujući ostvarivanje VoLTE poziva, odnosno govornih poziva korišćenjem LTE mreže). Sony Xperia 1 II je mobilni uređaj kategorije 19 (Cat. 19), što znači da podržava 4G (LTE) brzine prenosa podataka do 1600 Mb/s za prijem podataka, odnosno 300 Mb/s za slanje podataka. Svi mobilni telefoni korišćeni za merenje su radili u režimu automatskog odabiranja tehnologije. Kako bi se omogućilo sveobuhvatno testiranje mreža i korišćenje raspoloživih servisa sa maksimalnim mogućnostima koje mreža pruža, za testiranje svih mobilnih mreža su se koristile SIM kartice sa komercijalnim tarifnim paketima koji pružaju maksimalne mogućnosti krajnjim korisnicima (najveći broj minuta, najveća količina podataka).
Mobilni tarifni paketi koji su se koristili za testiranje mobilnih mreža na walk test lokacijama prikazani su u Tabeli 2.
| Operator | Tarifni paket za testiranje govorne usluge | Tarifni paket za testiranje usluge prenosa podataka |
|---|---|---|
| Telekom Srbija | SOKO | SOKO |
| Telenor | Total Data+ | Total Data+ |
| Vip mobile | NeoNeoMax | NeoNeoMax |
Tabela 2. Mobilni tarifni paketi – Hot Spot lokacije
Merni sistem se sastojao od ranca (SwissQual Freerider III) opremljenog mernim terminalima koji su omogućavali testiranje svih mrežnih tehnologija sa velikom tačnošću. Za potrebe testiranja govorne usluge, Samsung Galaxy S10 telefoni su neprekidno pozivali jedan drugog unutar iste mreže. Testiranja su se obavljala u M2M (Mobile to Mobile) scenariju između terminala smeštenih u rancu. Samsung Galaxy S10 je korišćen za testiranje usluga WhatsApp prenosa podataka. Za merenja na walk test lokacijama koristio se isti merni scenario za testiranje usluga prenosa govora i prenosa podataka kao za drive test merenja.
Za testiranje radio parametara mobilnih mreža korišćen je skener (Rohde&Schwarz TSME). Za obradu podataka i kreiranje izveštaja korišćen je SwissQual NQDI softverski paket. Dodatno, za analizu i skladištenje podataka tokom obrade korišćeni su sistemski resursi (Data warehouse) kompanije Systemics-PAB.
Merna oprema korišćena za walk test merenja prikazana je na Slici 3.
Sl. 3 Merna oprema korišćena za walk test merenja
Hot spot merenja su obuhvatala merenja na indoor i outdoor lokacijama. Lokacije su odabrane na osnovu kriterijuma velike posećenosti i javnog značaja.
Hot Spot merenja
Hot spot merenja su obuhvatala merenja na indoor i outdoor lokacijama. Lokacije su odabrane na osnovu
Rezultati merenja na hot-spot lokacijama su deo ETSI 103 559 Annex A metodologije bodovanja i uzimaju se u obzir prilikom izračunavanja konačnog rezultata.
Metodologija bodovanja razvijena je za potrebe rangiranja mobilnih operatora, a nakon benchmark merenja, kojima se procenjuje percepcija korisnika o kvalitetu korišćenih usluga u mobilnoj mreži: prenosa govora, podataka i video servisa.
Glavne izazove prilikom razvijanja metodologije predstavlja selekcija parametara kvaliteta (KPI – Key Performance Indicator) koji će verno odražavati korisničko iskustvo, kao i razvoj algoritma sa jedinstvenom metrikom kvaliteta – skorom (score), za svakog operatora. Prema ETSI 103 559 Annex A metodologiji, skor reflektuje korisničko iskustvo i probleme u mreži koji dovode do nezadovljstva korisnika.
Skoring metodologija koristi najmanje dve metrike za ocenu svake usluge koja se testira.
Raspoloživost usluge se procenjuje kroz procenat uspešno uspostavljenih poziva ili sesija prenosa podataka (CSSR – Call Setup Success Rate za uslugu prenosa govora, SSSR – Session Setup Success Rate za usluge prenosa podataka). Parametri CSSR/SSSR su indikatori koji se testiraju za sve tipove usluga i definišu se kao odnos uspešno uspostavljenih testova i svih generisanih testova. Izračunavaju se prema sledećoj formuli:
| CSSR/ SSR = | Ukupan broj uspešno uspostavljenih testova |
| Укупан број генерисаних тестова |
Druga metrika se odnosi na kvalitet same usluge i zavisi od tipa testa koji se sprovodi. Govorna usluga ocenjuje se kroz kvalitet govornog signala, a usluga prenosa podataka kroz brzinu prenosa podataka, vreme trajanja sesije ili kvalitet video stream-a za testiranje YouTube videa. Za usluge kod kojih je bitno da postoji konzistentan kvalitet usluge, raspoloživost usluge se dodatno ocenjuje merenjem broja odbiraka koji imaju loš kvalitet (govorni odbirci sa vrednostima MOS<1,6 za testiranje govorne usluge, brzina prenosa podataka ispod minimalno očekivanje vrednosti u slučaju testiranja usluga prenosa podataka). Ovim se generalno procenjuje kako mreža održava konzistentnost kvaliteta (distribucija kvaliteta usluge trebalo bi da se kreće oko prosečne vrednosti).
MOS (Mean Opinion Score) služi za merenje kvaliteta govornih signala. Njime se meri subjektivni osećaj koji slušalac ima o kvalitetu govornog signala. Vrednosti se kreću na skali od 1 do 5, gde 5 predstavlja najbolju vrednost.
Za svaki od parametara kvaliteta (KPI) definisan je prag - minimalno potrebna vrednost da bi se osvojili bodovi. Prag je definisan na osnovu stepena tehnološkog razvoja (minimalno potrebna brzina prenosa podataka za implementaciju 3G/4G tehnologije), kvaliteta usluge (MOS pragovi ispod kojih se signal tretira kao loš), dostupnosti usluge i sl.
Parametri kvaliteta (KPI) takođe imaju maksimalnu vrednost koja se koristi za bodovanje, što se interpretira kao granica iznad koje korisnici ne prepoznaju razliku u kvalitetu usluge, te nema razlike u korisničkoj percepciji. Operatori ne dobijaju dodatne poene ako prekorače definisane maksimalne vrednosti.
Za svaki KPI se koristi linearna funkcija za izračunavanje osvojenih poena (unutar min – max opsega). Ako je veća KPI vrednost bolja (npr. kvalitet govora ili brzina prenosa podataka), onda se proporcionalno izračunava broj osvojenih poena, a ako je manja vrednost bolja (npr. vreme uspostave poziva), broj osvojenih poena se izračunava obrnuto proporcionalno.
Na osnovu podataka prikupljenih tokom benchmark testiranja vrši se rangiranje mobilnih operatora za usluge prenosa govora i podataka.
Za izračunavanje konačnog rezultata, težinski faktor za govornu uslugu iznosi 40%, a za usluge prenosa podataka 60%, odnosno:
Prvi korak u izračunavanju konačnog rezultata je izračunavanje rezultata po različitim kategorijama:
Gradovi:
Putevi:
Komplementarne zone
Za ove kategorije izračunavanje se vrši odvojeno, korišćenjem definisanih težinskih faktora i pragova za različite tipove usluga. U ukupnom skoru, sve kategorije su obuhvaćene prema unapred definisanim težinskim faktorima za različite kategorije. Odgovarajući težinski faktori za kategoriju gradovi su: Veliki gradovi - 60%, Srednji gradovi – 30% i Mali gradovi - 10%. Odgovarajući težinski faktori za kategoriju Putevi su: Autoputevi - 60%, Glavni putevi – 30% i Ruralni putevi – 10%. Za kategoriju Komplementarne zone, težinski faktori su: Hot Spot lokacije – 60% i Železnica – 40%.
Konačan skor izračunava se ponderisanjem svake kategorije, i to: Gradovi – 50%, Putevi – 40% i Komplementarne zone – 10%. Dijagram izračunavanja konačnog skora prikazan je na Slici 5.
Sl. 5. Dijagram izračunavanja konačnog skora
Ukupan skor, isto kao i poeni za pojedinačne kategorije, izražava se u procentima i definiše se kao nivo postignutog kvaliteta u odnosu na maksimalno mogući kvalitet. Samim tim, uzimaju se vrednosti od 0 do 100.
