Методологија бодовања

Главне изазове, приликом развијања методологије, представљају селекција кључних индикатора перформанси (КPI - Key Performance Indicator) који ће верно одражавати корисничко искуство, као и развој алгоритма са јединственом метриком квалитета – скором (score), за сваког оператора. Према методологији коју користи Systemics-PAB, скор рефлектује корисничко искуство и проблеме у мрежи који доводе до незадовљства корисника.

Скоринг методологија користи најмање две метрике за оцену сваког сервиса који се тестира.

Расположивост сервиса се процењује кроз проценат успешно реализованих позива или сесија преноса података (CSR – Call Success Rate за услугу преноса говора, SSR – Session Success Rate за сервисе преноса података). Параметри CSR/SSR су индикатори који се тестирају за све типове сервиса и дефинишу се као однос успешних тестова (успешна успостава и исправна терминација) и свих генерисаних тестова. Израчунавају се према следећој формули:

Друга метрика се односи на квалитет самог сервиса и зависи од типа теста који се спроводи. Говорни сервис оцењује се кроз квалитет говорног сигнала, а услуга преноса података кроз брзину преноса података, време трајања сесије или квалитет видео stream-а за тестирање YouTube видеа. За сервисе код којих је битно да постоји конзистентан квалитет сервиса, расположивост сервиса се додатно оцењује мерењем броја одбирака који имају лош квалитет (говорни одбирци са вредностима MOS < 2,3 за тестирање говорних сервиса, брзина преноса података испод минимално очекивање вредности у случају тестирања сервиса преноса података). Овим се генерално процењује како мрежа одржава конзистентност квалитета (дистрибуција квалитета сервиса требало би да се креће око просечне вредности).

MOS (Меan Opinion Score) служи за мерење квалитета говорних сигнала. Њиме се мери субјективни осећај слушаоца о квалитету говорног сигнала. Вредности се крећу на скали од 1 до 5, где 5 представља најбољу вредност.

За сваки од кључних индикатора перформанси (КPI) дефинисан је праг - минимално потребна вредност да би се освојили бодови. Праг је дефинисан на основу степена технолошког развоја (минимално потребна брзина преноса података за имплементацију 3G/4G технологије), квалитета сервиса (MOS прагови испод којих се сигнал третира као лош), доступности сервиса и сл.

Кључни индикатори перформанси (КPI) такође имају максималну вредност која се користи за бодовање, што се интерпретира као граница изнад које корисници не разазнају разлику у квалитету сервиса, и нема разлике у корисничкој перцепцији. Оператори не добијају додатне поене ако прекораче дефинисане максималне вредности.

За сваки KPI се користи линеарна функција за израчунавање освојених поена (унутар min – max опсега). Ако је већа KPI вредност боља (нпр. квалитет говора или брзина преноса података) онда се пропорционално израчунава број освојених поена, а ако је мања вредност боља (нпр. време успоставе позива), број освојених поена се израчунава обрнуто пропорционално.

На основу података прикупљених током benchmarking тестирања врши се рангирање мобилних оператора за сервисе преноса говора и података.

За израчунавање коначног резултата, тежински фактор за услугу преноса говора износи 40%, а за услуге преноса података 60%.

Први корак у израчунавању коначног резултата је израчунавање резултата по различитим категоријама:

• Велики градови
• Мали градови
• Путеви

За ове категорије израчунавање се врши одвојено, коришћењем дефинисаних тежинских фактора и прагова за различите типове сервиса. У укупном скору, све категорије су обухваћене према унапред дефинисаним тежинским факторима за различите категорије, и то: Велики градови - 40%, Мали градови - 30% и Путеви - 30%.

Укупан скор, исто као и поени за појединачне категорије, изражава се у процентима и дефинише се као ниво постигнутог квалитета у односу на максимално могући квалитет. Самим тим, узимају се вредности од 1 до 100. Дијаграм израчунавања коначног скора дат је на Слици 1.

Сл. 1 Израчунавање коначног резултата (скора)