Mobile networks benchmark Merenje i metodologija

Merenja su sprovedena na način koji je statistički validan, ponovljiv, tehnički konzistentan i koji obezbeđuje uporedivost ključnih indikatora performansi mobilnih mreža i mrežnih tehnologija. Svi mereni KPI definisani su u ETSI standardima i ITU preporukama.

Kampanjom je pokriveno 35 gradova i 10.000km puteva u Srbiji. Merenja su obuhvatala tri kategorije: Velike gradove, Male gradove i Puteve. S obzirom na broj mernih odbiraka prikupljenih tokom drive test merenja (preko 6000 testova govornog servisa i oko 3500 testova usluge prenosa podataka obavljeno je u mreži svakog od operatora), smatra se da je standardna greška manja od 3% i da je nivo pouzdanosti veći od 95% za dobijene rezultate merenja.

Veliki gradovi:
  • Beograd
  • Čačak
  • Kragujevac
  • Niš
  • Novi Sad
  • Pančevo
  • Subotica
  • Zrenjanin
Mali gradovi:
  • Bačka Palanka
  • Bor
  • Gornji Milanovac
  • Jagodina
  • Kikinda
  • Kraljevo
  • Kruševac
  • Leskovac
  • Loznica
  • Negotin
  • Novi Pazar
  • Obrenovac
  • Paraćin
  • Pirot
 
  • Požarevac
  • Prokuplje
  • Ruma
  • Šabac
  • Smederevo
  • Smederevska Palanka
  • Sombor
  • Sremska Mitrovica
  • Užice
  • Valjevo
  • Vranje
  • Vršac
  • Zaječar

Drive test rute korišćene za merenja prikazane su na Slici 1.

Drive test rute
Sl. 1 Drive test rute

Merenja su obavljena u drive test formi, što znači da je merna oprema bila instalirana u vozilima koja se kreću unapred definisanim rutama. Merna oprema prikuplja podatke o mreži sprovodeći testove prenosa govora i podataka i koristeći skener za prikupljanje radio parametara. Sve tri mobilne mreže testirane su u istom trenutku, na istim rutama, korišćenjem istih mernih terminala - pametnih telefona, Samsung Galaxy S4 za testiranje govorne usluge i Samsung Galaxy Note 4 za testiranje usluga prenosa podataka. Samsung Galaxy Note 4 je mobilni uređaj kategorije 6 (Cat. 6), što znači da podržava 4G (LTE) brzine prenosa podataka do 300Mb/s za prijem podataka, odnosno 50Mb/s za slanje podataka. Svi pametni telefoni korišćeni za merenje su radili u režimu automatskog odabiranja tehnologije. Kako bi se omogućilo sveobuhvatno testiranje mreža i korišćenje raspoloživih servisa sa maksimalnim mogućnostima koje mreža pruža, za testiranje svih mobilnih mreža su se koristile SIM kartice sa komercijalnim tarifnim paketima koji pružaju maksimalne mogućnosti krajnjim korisnicima (najveća brzina protoka podataka, najveći broj minuta, najveća količina podataka).

Mobilni tarifni paketi koji su se koristili za testiranje mobilnih mreža prikazani su u Tabeli 1.

Operator Tarifni paket za testiranje govorne usluge Tarifni paket za testiranje usluga prenosa podataka
Telekom Srbija BIZNET 300 (200 MB) BIZNET 300 (30 GB)
Telenor PREMIUM+ SURF+50
Vip mobile NEO10 Vip Online 48

Tabela 1. Mobilni tarifni paketi

Merni sistem se sastojao od dva merna vozila opremljena identičnim mernim uređajima (SwissQual Diversity Benchmarker II), koji su omogućavali testiranje svih tehnologija i servisa istovremeno, sa velikom tačnošću. Za potrebe testiranja govornog servisa, Samsung Galaxy S4 telefoni su neprekidno pozivali jedan drugog unutar iste mreže. U velikim gradovima, testiranja su se obavljala tako što su se ti telefoni nalazili u različitim vozilima, dok su u malim gradovima i na putevima telefoni bili u istom vozilu. Ovakav specifičan pristup za velike gradove omogućio je efikasno prikupljanje relevantnih podataka, bez prevelikog opterećivanja mreže u zonama gde se inače očekuje velika količina saobraćaja u mobilnoj mreži. Ovim testovima procenjuje se dostupnost govornog servisa, održivost veze i kvalitet govornog signala. Za potrebe benchmarking-a korišćeni su pozivi u trajanju od 85 sekundi.

Merna oprema instalirana u kolima prikazana je na Slici 2.

Merna oprema instalirana u kolima pic-1
Merna oprema instalirana u kolima pic-2
Merna oprema instalirana u kolima pic-3
Merna oprema instalirana u kolima pic-4

Sl. 2 Merna oprema instalirana u kolima

Primanje i slanje dodatnih paketa podataka tokom obavljanja govornih poziva je dodato mernom scenariju, kako bi se oponašao prosečan korisnik mobilne mreže, za koga je tipično odvijanje sesije prenosa podataka u pozadini, tokom trajanja poziva. Za svaki poziv, kvalitet govornog signala meren je pomoću POLQA P.863 algoritma (MOS – Mean Opinion Score).

Testiranje servisa prenosa podataka obavljeno je pomoću Samsung Galaxy Note 4 mobilnih telefona i korišćenjem namenskog servera smeštenog u kompaniji SoX (Serbian open eXchange) u Beogradu, kako bi se obezbedili identični uslovi za prenos podataka ka svim mobilnim mrežama. Ovakvim testovima procenjuje se raspoloživost mreže, stabilnost, tipične performanse i granične mogućnosti servisa. Benchmarking je obuhvatio testiranje najčešće korišćenih servisa prenosa podataka i to:

  • HTTP Prenos podataka - Download (brzina prenosa podataka veličine 3MB preko HTTP protokola od mernog servera do mobilnog telefona). Ovakav test dizajniran je za merenje odziva mreže i simuliranje korisnika koji prima sa mreže podatke male veličine poput slike, mp3 fajla ili email-a.
  • HTTP Prenos podataka - Upload (brzina prenosa podataka veličine 1MB file preko HTTP protokola od mobilnog telefona ka mernom serveru). Ovakav test je kreiran za merenje odziva mreže i simuliranje korisnika koji šalje na mrežu fajl male veličine poput slike, mp3 fajlova ili e-maila.
  • FDTT HTTP Test kapaciteta - Download (brzina prenosa podataka veličine 400MB putem HTTP protokola od mernog servera do mobilnog telefona tokom fiksnog vremenskog intervala od 10 sekundi). Ovaj test je dizajniran za testiranje kapaciteta mreže koja treba da obezbedi najveću kontinuiranu brzinu prenosa podataka, što je važno za korisnike koji preuzimaju velike fajlove sa mreže – tipično za korisnike koji za pristup internetu koriste mobilnu mrežu sa svojih PC/laptop uređaja.
  • FDTT HTTP Test kapaciteta - Upload (brzina prenosa podataka veličine 400MB putem HTTP protokola od mobilnog telefona do mernog servera tokom fiksnog vremenskog intervala od 10 sekundi). Ovaj test je dizajniran za testiranje kapaciteta mreže koja treba da obezbedi najveću kontinuiranu brzinu prenosa podataka, što je važno za korisnike koji šalju velike fajlove na mrežu - tipično za korisnike koji za pristup internetu koriste mobilnu mrežu sa svojih PC/laptop uređaja.
  • HTTP Browsing - Statička stranica (testiranje brzine učitavanja i otvaranja referentne ETSI Kepler web stranice na mobilnom telefonu).
  • HTTP Browsing - Live stranice (testiranje brzine učitavanja i otvaranja live web stranica na mobilnom telefonu).
  • YouTube (testiranje kvaliteta live video strima).
  • Ping (merenje kašnjenja između slanja i prijema paketa u mreži).

Kako bi se oponašao prosečan korisnik mobilnog interneta u Srbiji, na osnovu popularnosti među korisnicima, izabrane su sledeće internet stranice za testiranje:

https://www.google.rs
https://www.facebook.com
https://m.kupujemprodajem.com
https://www.kupindo.com

Kvalitet YouTube video strima izmeren je korišćenjem J.343.1 algoritma (VMOS – Video Mean Opinion Score).

Za testiranje radio parametara mobilnih mreža korišćen je skener (PCtel MX). Za obradu podataka i kreiranje izveštaja korišćen je SwissQual NQDI softverski paket. Dodatno, za analizu i skladištenje podataka tokom obrade korišćeni su sistemski resursi (Data warehouse) kompanije Systemics-PAB.