Metodologija bodovanja Glavne izazove prilikom razvijanja metodologije predstavlja selekcija ključnih indikatora performansi (KPI – Key Performance Indicator) koji će verno odražavati korisničko iskustvo, kao i razvoj algoritma sa jedinstvenom metrikom kvaliteta – skorom (score), za svakog operatora. Prema metodologiji koju koristi Systemics–PAB, skor reflektuje korisničko iskustvo i probleme u mreži koji dovode do nezadovljstva korisnika.
Skoring metodologija koristi najmanje dve metrike za ocenu svakog servisa koji se testira.
Raspoloživost servisa se procenjuje kroz procenat uspešno realizovanih poziva ili sesija prenosa podataka (CSR – Call Success Rate za uslugu prenosa govora, SSR – Session Success Rate za servise prenosa podataka). Parametri CSR/SSR su indikatori koji se testiraju za sve tipove servisa i definišu se kao odnos uspešnih testova (uspešna uspostava i ispravna terminacija) i svih generisanih testova. Izračunavaju se prema sledećoj formuli:
| CSR/ SSR = | Ukupan broj generisanih testova – broj neuspešnih pokušaja – broj prekinutih konekcija |
| Ukupan broj generisanih testova |
Druga metrika se odnosi na kvalitet samog servisa i zavisi od tipa testa koji se sprovodi. Govorni servis ocenjuje se kroz kvalitet govornog signala, a usluga prenosa podataka kroz brzinu prenosa podataka, vreme trajanja sesije ili kvalitet video stream-a za testiranje YouTube videa. Za servise kod kojih je bitno da postoji konzistentan kvalitet servisa, raspoloživost servisa se dodatno ocenjuje merenjem broja odbiraka koji imaju loš kvalitet (govorni odbirci sa vrednostima MOS<2,3 za testiranje govornih servisa, brzina prenosa podataka ispod minimalno očekivanje vrednosti u slučaju testiranja servisa prenosa podataka). Ovim se generalno procenjuje kako mreža održava konzistentnost kvaliteta (distribucija kvaliteta servisa trebalo bi da se kreće oko prosečne vrednosti).
MOS (Mean Opinion Score) služi za merenje kvaliteta govornih signala. Njime se meri subjektivni osećaj koji slušalac ima o kvalitetu govornog signala. Vrednosti se kreću na skali od 1 do 5, gde 5 predstavlja najbolju vrednost.
Za svaki od ključnih indikatora performansi (KPI) definisan je prag - minimalno potrebna vrednost da bi se osvojili bodovi. Prag je definisan na osnovu stepena tehnološkog razvoja (minimalno potrebna brzina prenosa podataka za implementaciju 3G/4G tehnologije), kvaliteta servisa (MOS pragovi ispod kojih se signal tretira kao loš), dostupnosti servisa i sl.
Ključni indikatori performansi (KPI) takođe imaju maksimalnu vrednost koja se koristi za bodovanje, što se interpretira kao granica iznad koje korisnici ne razaznaju razliku u kvalitetu servisa, te nema razlike u korisničkoj percepciji. Operatori ne dobijaju dodatne poene ako prekorače definisane maksimalne vrednosti.
Za svaki KPI se koristi linearna funkcija za izračunavanje osvojenih poena (unutar min – max opsega). Ako je veća KPI vrednost bolja (npr. kvalitet govora ili brzina prenosa podataka), onda se proporcionalno izračunava broj osvojenih poena, a ako je manja vrednost bolja (npr. vreme uspostave poziva), broj osvojenih poena se izračunava obrnuto proporcionalno.
Na osnovu podataka prikupljenih tokom benchmarking testiranja vrši se rangiranje mobilnih operatora za servise prenosa govora i podataka.
Za izračunavanje konačnog rezultata, težinski faktor za uslugu prenosa govora iznosi 40%, a za usluge prenosa podataka 60%.
Prvi korak u izračunavanju konačnog rezultata je izračunavanje rezultata po različitim kategorijama:
Za ove kategorije izračunavanje se vrši odvojeno, korišćenjem definisanih težinskih faktora i pragova za različite tipove servisa. U ukupnom skoru, sve kategorije su obuhvaćene prema unapred definisanim težinskim faktorima za različite kategorije, i to: Veliki gradovi - 40%, Mali gradovi - 30% i Putevi - 30%.
Ukupan skor, isto kao i poeni za pojedinačne kategorije, izražava se u procentima i definiše se kao nivo postignutog kvaliteta u odnosu na maksimalno mogući kvalitet. Samim tim, uzimaju se vrednosti od 1 do 100. Dijagram izračunavanja konačnog skora dat je na Slici 1.
Sl. 1 Izračunavanje konačnog rezultata (skora)
