Metodologija bodovanja Glavne izazove prilikom razvijanja metodologije predstavlja selekcija parametara kvaliteta (KPI – Key Performance Indicator) koji će verno odražavati korisničko iskustvo, kao i razvoj algoritma sa jedinstvenom metrikom kvaliteta – skorom (score), za svakog operatora. Prema metodologiji koju koristi Systemics–PAB, skor reflektuje korisničko iskustvo i probleme u mreži koji dovode do nezadovljstva korisnika.
Skoring metodologija koristi najmanje dve metrike za ocenu svake usluge koja se testira.
Raspoloživost usluge se procenjuje kroz procenat uspešno realizovanih poziva ili sesija prenosa podataka (CSR – Call Success Rate za uslugu prenosa govora, SSR – Session Success Rate za usluge prenosa podataka). Parametri CSR/SSR su indikatori koji se testiraju za sve tipove usluga i definišu se kao odnos uspešnih testova (uspešna uspostava i ispravna terminacija) i svih generisanih testova. Izračunavaju se prema sledećoj formuli:
| CSR/ SSR = | Ukupan broj generisanih testova – broj neuspešnih pokušaja – broj prekinutih konekcija |
| Ukupan broj generisanih testova |
Druga metrika se odnosi na kvalitet same usluge i zavisi od tipa testa koji se sprovodi. Govorna usluga ocenjuje se kroz kvalitet govornog signala, a usluga prenosa podataka kroz brzinu prenosa podataka, vreme trajanja sesije ili kvalitet video stream-a za testiranje YouTube videa. Za usluge kod kojih je bitno da postoji konzistentan kvalitet usluge, raspoloživost usluge se dodatno ocenjuje merenjem broja odbiraka koji imaju loš kvalitet (govorni odbirci sa vrednostima MOS<2,3 za testiranje govorne usluge, brzina prenosa podataka ispod minimalno očekivanje vrednosti u slučaju testiranja usluga prenosa podataka). Ovim se generalno procenjuje kako mreža održava konzistentnost kvaliteta (distribucija kvaliteta usluge trebalo bi da se kreće oko prosečne vrednosti).
MOS (Mean Opinion Score) služi za merenje kvaliteta govornih signala. Njime se meri subjektivni osećaj koji slušalac ima o kvalitetu govornog signala. Vrednosti se kreću na skali od 1 do 5, gde 5 predstavlja najbolju vrednost.
Za svaki od parametara kvaliteta (KPI) definisan je prag - minimalno potrebna vrednost da bi se osvojili bodovi. Prag je definisan na osnovu stepena tehnološkog razvoja (minimalno potrebna brzina prenosa podataka za implementaciju 3G/4G tehnologije), kvaliteta usluge (MOS pragovi ispod kojih se signal tretira kao loš), dostupnosti usluge i sl.
Parametri kvaliteta (KPI) takođe imaju maksimalnu vrednost koja se koristi za bodovanje, što se interpretira kao granica iznad koje korisnici ne razaznaju razliku u kvalitetu usluge, te nema razlike u korisničkoj percepciji. Operatori ne dobijaju dodatne poene ako prekorače definisane maksimalne vrednosti.
Za svaki KPI se koristi linearna funkcija za izračunavanje osvojenih poena (unutar min – max opsega). Ako je veća KPI vrednost bolja (npr. kvalitet govora ili brzina prenosa podataka), onda se proporcionalno izračunava broj osvojenih poena, a ako je manja vrednost bolja (npr. vreme uspostave poziva), broj osvojenih poena se izračunava obrnuto proporcionalno.
Na osnovu podataka prikupljenih tokom benchmarking testiranja vrši se rangiranje mobilnih operatora za usluge prenosa govora i podataka.
Za izračunavanje konačnog rezultata, težinski faktor za govornu uslugu iznosi 40%, a za usluge prenosa podataka 60%.
Prvi korak u izračunavanju konačnog rezultata je izračunavanje rezultata po različitim kategorijama:
Za ove kategorije izračunavanje se vrši odvojeno, korišćenjem definisanih težinskih faktora i pragova za različite tipove usluga. U ukupnom skoru, sve kategorije su obuhvaćene prema unapred definisanim težinskim faktorima za različite kategorije, i to: Veliki gradovi - 40%, Mali gradovi - 30% i Putevi - 30%.
Ukupan skor, isto kao i poeni za pojedinačne kategorije, izražava se u procentima i definiše se kao nivo postignutog kvaliteta u odnosu na maksimalno mogući kvalitet. Samim tim, uzimaju se vrednosti od 0 do 100. Dijagram izračunavanja konačnog skora dat je na Slici 1.
Sl. 1 Izračunavanje konačnog rezultata (skora)
