Методологија бодовања Главне изазове, приликом развијања методологије, представљају селекција параметара квалитета (КPI - Key Performance Indicator) који ће верно одражавати корисничко искуство, као и развој алгоритма са јединственом метриком квалитета – скором (score), за сваког оператора. Према методологији коју користи Systemics-PAB, скор рефлектује корисничко искуство и проблеме у мрежи који доводе до незадовљства корисника.
Скоринг методологија користи најмање две метрике за оцену сваке услуге која се тестира.
Расположивост услуге се процењује кроз проценат успешно реализованих позива или сесија преноса података (CSR – Call Success Rate за услугу преноса говора, SSR – Session Success Rate за услуге преноса података). Параметри CSR/SSR су индикатори који се тестирају за све типове услуга и дефинишу се као однос успешних тестова (успешна успостава и исправна терминација) и свих генерисаних тестова. Израчунавају се према следећој формули:
| CSR/ SSR = | Укупан број генерисаних тестова – број неуспешних покушаја – број прекинутих конекција |
| Укупан број генерисаних тестова |
Друга метрика се односи на квалитет саме услуге и зависи од типа теста који се спроводи. Говорна услуга оцењује се кроз квалитет говорног сигнала, а услуга преноса података кроз брзину преноса података, време трајања сесије или квалитет видео stream-а за тестирање YouTube видеа. За услуге код којих је битно да постоји конзистентан квалитет услуге, расположивост услуге се додатно оцењује мерењем броја одбирака који имају лош квалитет (говорни одбирци са вредностима MOS<2,3 за тестирање говорне услуге, брзина преноса података испод минимално очекиване вредности у случају тестирања услуге преноса података). Овим се генерално процењује како мрежа одржава конзистентност квалитета (дистрибуција квалитета услуге требало би да се креће око просечне вредности).
MOS (Меan Opinion Score) служи за мерење квалитета говорних сигнала. Њиме се мери субјективни осећај слушаоца о квалитету говорног сигнала. Вредности се крећу на скали од 1 до 5, где 5 представља најбољу вредност.
За сваки од параметара квалитета (КPI) дефинисан је праг - минимално потребна вредност да би се освојили бодови. Праг је дефинисан на основу степена технолошког развоја (минимално потребна брзина преноса података за имплементацију 3G/4G технологије), квалитета услуге (MOS прагови испод којих се сигнал третира као лош), доступности услуге и сл.
Параметри квалитета (КPI) такође имају максималну вредност која се користи за бодовање, што се интерпретира као граница изнад које корисници не разазнају разлику у квалитету услуге, и нема разлике у корисничкој перцепцији. Оператори не добијају додатне поене ако прекораче дефинисане максималне вредности.
За сваки KPI се користи линеарна функција за израчунавање освојених поена (унутар min – max опсега). Ако је већа KPI вредност боља (нпр. квалитет говора или брзина преноса података) онда се пропорционално израчунава број освојених поена, а ако је мања вредност боља (нпр. време успоставе позива), број освојених поена се израчунава обрнуто пропорционално.
На основу података прикупљених током benchmarking тестирања врши се рангирање мобилних оператора за услуге преноса говора и података.
За израчунавање коначног резултата, тежински фактор за говорну услугу износи 40%, а за услуге преноса података 60%.
Први корак у израчунавању коначног резултата је израчунавање резултата по различитим категоријама:
За ове категорије израчунавање се врши одвојено, коришћењем дефинисаних тежинских фактора и прагова за различите типове услуга. У укупном скору, све категорије су обухваћене према унапред дефинисаним тежинским факторима за различите категорије, и то: Велики градови - 40%, Мали градови - 30% и Путеви - 30%.
Укупан скор, исто као и поени за појединачне категорије, изражава се у процентима и дефинише се као ниво постигнутог квалитета у односу на максимално могући квалитет. Самим тим, узимају се вредности од 0 до 100. Дијаграм израчунавања коначног скора дат је на Слици 1.
Сл. 1 Израчунавање коначног резултата (скора)
