Анализа тренда Напомена: Како би се разликовали резултати постигнути у benchmarking кампањама спроведеним у 2017. и 2018. години, коришћене су различите нијансе боја. Боја светлије нијансе представља резултате benchmarking кампање из 2017. године, а тамније нијансе benchmarking кампање из 2018. године. Пример је дат на Слици 1.
Сл. 1. Нијансе које означавају резултате по годинама
Сл. 2. Поређење коначних резултата
Telenor је имао најбољи укупни резултат у benchmarking кампањи спроведеној 2018. године, највише захваљујући унапређењу квалитета говорне услуге. Telekom Srbija је постигао највећи напредак у поређењу са резултатима из 2017. године, због значајног унапређења квалитета услуга преноса података. Vip mobile је остварио незнатно мањи укупни резултат у односу на 2017. годину, услед слабијих перформанси на путевима.
Анализа тренда резултата за квалитет говорне услуге и услуге преноса података приказана је на Слици 3 и Слици 4, респективно. Напомена: Коначни резултат је збир резултата остварених за говорну услугу и услугу преноса података.
Сл. 3.Поређење коначних резултата за говорну услугу
Сви оператори су унапредили квалитет говорне услуге у односу на 2017. годину. Telenor је остварио најбољи резултат у свим категоријама. Telekom Srbija је остварио највећи напредак у свим категоријама.
Сл. 4.Поређење коначних резултата за услуге преноса података
Telekom Srbija је једини оператор који је унапредио квалитет услуга преноса података, у односу на 2017. годину. Telenor и Vip mobile су остварили незнатно слабији резултат у односу на 2017. годину, углавном због лошијих перформанси на путевима.
Анализа тренда остварених резултата у категоријама Велики градови, Мали градови и Путеви приказана је на Сликама 5, 6 и 7, респективно. Напомена: Коначни резултат је збир остварених резултата у великим градовима, малим градовима и на путевима.
Сл. 5.Поређење коначних резултата у Великим градовима
Сви мобилни оператори су унапредили квалитет услуга у великим градовима. Telenor је остварио најбољи резултат захваљујући унапређењу већине параметара квалитета (KPI) услуга преноса података. Највећи напредак је видљив у Telekom Srbija мрежи, са много бољим квалитетом говорне услуге у односу на претходну benchmarking кампању реализовану 2017. године.
Сл. 6.Поређење коначних резултата у Малим градовима
Сви оператори су унапредили квалитет услуга у малим градовима. Telenor је остварио најбољи резултат, због бољег квалитета говорне услуге у односу на конкуренцију. Telekom Srbija је имао највећи напредак, са већом вредношћу свих параметера квалитета (KPI), за све спроведене тестове.
Сл. 7.Поређење коначних резултата на Путевима
Telekom Srbija је једини оператор који је унапредио квалитет услуга на путевима, у односу на 2017. годину. Напредак је остварен за већину параметара квалитета (KPI). И поред слабијег резултата у односу на претходну кампању, Telenor је у 2018. години остварио најбољи резултат на путевима, захваљући бољем квалитету услуга преноса података у односу на конкуренцију.
Говор
Сл. 8.Резултати тестирања говорне услуге – параметри квалитета (KPI)
Проценат успешно реализованих позива: Telekom Srbija и Telenor су повећали проценат успешно реализованих позива у градовима за око 3%, а за њима следи Vip mobile који је остварио сличан резултат као 2017. године. Сви оператори су незнатно унапредили своје перформансе на путевима.
Просечно време успоставе везе: Најприметнија разлика у резултатима, у односу на 2017. годину, присутна је код Telekom-a Srbija, који је значајно унапредио просечно време успоставе везе. Telekom Srbija је надмашио конкуренцију у свим категоријама. Друга два оператора су у свим категоријама имала резултате на нивоу из 2017. године.
Просечан MOS: Резултати за просечан MOS су унапређени за 0,2-0,3 у односу на 2017. годину код свих оператора, у свим категоријама.
MOS<2.3 [%]: Број лоших одбирака са вредностима MOS испод 2,3 је значајно унапређен у великим градовима у Telenor и Vip mobile мрежама. У малим градовима, сви оператори су остварили боље резултате за око 2-3% у односу на 2017. годину. На путевима, Telekom Srbija је унапредио резултате за 2%, слично као и Vip mobile. Telenor је незнатно поправио своје перформансе из 2017. године.
FDTT HTTP DL
Сл. 9.Резултати тестирања услуге FDTT HTTP преноса података (DL 400 MB)
Проценат успешно реализованих сесија пружа информацију о поузданости интернет конекције коју мобилни оператор пружа својим корисницима. Током benchmarking кампање из 2017.године, сви оператори су остварили одличан резултат (>99%) у великим и малим градовима. И током benchmarking кампање у 2018. години, одржан је ниво квалитета услуга у великим и малим градовима, док је незнатно унапређен на путевима.
Просечна брзина преноса података је унапређена код свих оператора у односу на 2017. годину, и то за 5-6 Mb/s у великим градовима, те за 7-10 Mb/s у малим градовима. Telekom Srbija је унапредио свој резултат на путевима за 3 Mb/s, а Vip mobile за 6 Mb/s. Telenor је остварио слабији резултат у односу на 2017. годину, за 2 Mb/s. Резултати остварени током 2018. године омогућавају корисницима да несметано користе чак и захтевне сервисе, попут видео streaming-а.
Проценат одбирака са просечном брзином преноса података испод 4 Mb/s је метрика којом се квантификује проценат мерних одбирака који не испуњавају минималне критеријуме за задовољство корисника. Уколико је просечна брзина преноса података испод 4 Mb/s, корисници могу да се сусретну са проблемима када користе захтевне сервисе попут видео streaming-а, или преузимања велике количине података са мреже. У поређењу са 2017. годином, Telekom Srbija је постигао напредак у свим категоријама. Vip mobile је унапредио своје резултате у великим градовима, док је у малим градовима и на путевима боље резултате постигао 2017. године. Telenor је остварио слабије резултате у свим категоријама, у односу на 2017. годину. И поред ове чињенице, сви оператори су имали задовољавајући број одбирака са просечном брзином преноса података већом од 4 Mb/s. На путевима, Vip mobile је имао преко 96% таквих одбирака, што је уједно представљало и најбољи резултат међу свим операторима.
FDTT HTTP UL
Сл. 10.Резултати тестирања услуге FDTT HTTP преноса података (UL 400 MB)
Проценат успешно реализованих сесија даје информацију о поузданости интернет конекције коју мобилни оператор пружа својим корисницима. Сви оператори су демонстрирали одличан проценат успешно реализованих сесија, као и 2017.године. Telenor је имао незнатно боље резултате у односу на конкуренцију, али та разлика је неприметна за кориснике.
Просечна брзина преноса података измерена током benchmarking кампање 2018. gодине, је код Telekom-a Srbija била већа у великим и малим градовима за 6 Mb/s у односу на 2017. годину. Код Telenor-a су резултати унапређени за 4 Mb/s (велики градови) и 2 Mb/s (мали градови). Vip mobile је одржао ниво од прошле године, уз незнатно слабије резултате у великим градовима (за 1 Mb/s) и побољшане за мале градове (за 1 Mb/s). На путевима, сви оператори су остварили сличне резултате, са највећом просечном брзином оствареном у Vip mobile мрежи.
Проценат одбирака са просечном брзином преноса података испод 2 Mb/s је метрика којом се квантификује проценат мерних одбирака који не испуњавају минималне критеријуме за задовољство корисника. Уколико је просечна брзина преноса података испод 2 Mb/s, корисници могу да се сусретну са проблемима када користе захтевне сервисе попут видео streaming-стриминга, друштвених мрежа, upload-a велике количине података и сл. Telenor и Vip mobile су показали тренд повећања процента одбирака са просечном брзином преноса података мањом од 2 Mb/s. Са друге стране, Telekom Srbija је имао значајно смањење тог процента – 6% у великим градовима, 7% у малим градовима и 17% на путевима. И поред ових тенденција, Telenor и Vip mobile су имали предност у односу на Telekom SrbijaТелеком Србија. Док су перформансе код свих оператора на задовољавајућем нивоу у великим и малим градовима, перформансе на путевима могу довести до незадовољавајућег нивоа квалитета услуга и требало би их унапредити.
HTTP Transfer DL
Сл.11. Тестирање услуге HTTP преноса података (DL 3 MB)
Проценат успешно реализованих сесија даје информацију о поузданости интернет конекције коју мобилни оператор пружа својим корисницима. Перформансе свих оператора су остале на одличном нивоу, као и 2017. године. Разлике међу операторима су незнатне и корисници их не примећују.
Просечно време трајања сесије и просечна брзина преноса података су комплементарне метрике које би требало анализирати заједно, јер дају индикацију о флексибилности мреже у пружању тренутне брзине преноса података. Током ових тестова, процењује се ефикасност механизама TCP proxy-ја заједно са перформансама радио мреже. У поређењу са 2017. годином, сви оператори су имали боље перформансе. Код Telenor-a је просечно време трајања сесије унапређено за 0,2-0,4 секунде, а код Telekom Srbija и Vip mobile за 0,4-1,15 секунди. Vip mobile је имао најкраће просечно време трајања сесије, док је Telekom Srbija имао највећу просечну брзину преноса података. То наводи на закључак да је Vip mobile имао велику ефикасност коришћених платформи на TCP nivou, јер просечно време трајања сесије указује на пренос података, као и на успостављање и терминацију TCP конекције. Приликом download-а више фајлова мале величине, најбоље перформансе би остварили корисници Vip mobile мреже.
Проценат одбирака са просечном брзином преноса података испод 4 Mb/s је метрика којом се квантификује проценат мерних одбирака који не испуњава минималне критеријуме за задовољство корисника. Током benchmarking кампање 2018. године, Telekom Srbija je показао знатан напредак у свим категоријама, Telenor је деградирао перформансе у градовима и унапредио их на путевима. Vip mobile je поправио резултате у великим градовима, а деградирао је у малим градовима и на путевима. Као закључак, Vip mobile корисници имају најбољу перцепцију квалитета сервиса у свакој категорији, док Telenor (као и 2017. године) има највише простора за напредак, нарочито на путевима.
HTTP Transfer UL
Сл. 12.Резултати тестирања услуге HTTP преноса података (UL 1 MB)
Проценат успешно реализованих сесија даје информацију о поузданости интернет конекције коју мобилни оператор пружа својим корисницима. Сви оператори су остварили одличне резултате у великим и малим градовима. Путеви су остали највећи изазов за uplink пренос података, јер су мобилни терминали ограничени предајном снагом и удаљеношћу базне станице. Telenor је имао најбољи резултат на путевима, са малим унапређењем у односу на 2017. годину. Vip mobile је, и поред унапређења од 1,6%, остао на другом месту. Telekom Srbija је имао највећи напредак у односу на 2017. годину (2,5%). Постигнути резултати на путевима указују на јасно постојање ограничења конекције на интернет мрежу, што корисници могу лако да примете. Стога су у овој категорији неопходна унапређења у мрежама свих оператора.
Просечно време трајања сесије и просечна брзина преноса података су комплементарне метрике које би требало анализирати заједно, јер дају индикацију о флексибилности мреже у пружању тренутне брзине преноса података. Током ових тестова, процењује се ефикасност механизама TCP proxy-ja заједно са перфомансама радио мреже. У поређењу са 2017. годином, сви оператори су имали боље перформансе. Највећи напредак је видљив у мрежи Telekom-a Srbija, који је имао најкраће просечно време трајања сесије, незнатно боље него у Vip mobile мрежи.
Проценат одбирака са просечном брзином преноса података испод 2 Mb/s је метрика којом се квантификује проценат мерних одбирака који не испуњавају минималне критеријуме за задовољство корисника. Током benchmarking кампање 2017. године, Telenor је имао најмањи проценат таквих одбирака у градовима, а Vip mobile на путевима. Током овогодишње кампање, најмањи проценат таквих одбирака у великим градовима имао је Telekom Srbija, а у малим градовима и на путевима Telenor. Укупне разлике између оператора су мање него што су биле у кампањи 2017. године. Путеви су и даље категорија са преко 10% лоших одбирака, што има утицај на перцепцију корисника о квалитету услуге (нпр. upload фајлова мале величине се пролонгира, погоршан је квалитет видео позива и сл.).
Browsing
Сл. 13. Резултати тестирања browsing сервиса
Проценат успешно реализованих сесија browsing live странице најприближније рефлектује перцепцију квалитета корисника web browsing сервиса. Током benchmarking кампање 2018. године, сви оператори су имали скоро идентичне перформансе у великим и малим градовима, са разликама које корисник не може да примети. На путевима, Telenor је имао најбоље резултате, потом следе Vip mobile и Telekom Srbija. Иако ни те разлике нису велике, ипак на путевима корисници могу да примете разлику у квалитету услуге. Разлике у резултатима између 2018. и 2017. године нису само последица перфоманси мрежа оператора, већ су и последица промене садржаја и структуре live страница.
Просечно време трајања сесије се разликује у кампањама 2018. и 2017. године због унапређења мрежа, као и због промене садржаја и структуре live странице. Сви оператори су имали перформансе на сличном нивоу, с тим да је Telekom Srbija имао најбоље резултате у свим категоријама.
Проценат успешно реализованих сесија browsing референтне странице током овогодишње кампање је унапређен у Telekom Srbija мрежи, а деградиран у Telenor и Vip mobile мрежама. Из корисничког угла, разлике је тешко приметити у великим и малим градовима. На путевима, корисници Telekom Srbija и Vip mobile мрежа могу да примете слабији квалитет услуге у односу на кориснике Telenor мреже.
Просечно време трајања сесије browsing референтне странице је унапређено код свих оператора. Највеће унапређење је у мрежи Vip mobile (1,2 секунде за велике градове, 0,64 секунде за мале градове и 0,68 секунди на путевима). Разлике у градовима су неприметне за кориснике ове услуге. На путевима, разлике су значајне, па корисници Telenor мреже имају деградиран квалитет услуге у односу на кориснике конкурентских мрежа.
YouTube
Сл. 14. Резултати тестирања YouTube видео сервиса
Проценат успешно реализованих сесија је смањен у градовима за око 3% код свих оператора. Разлике међу операторима нису присутне у толикој мери да би корисници могли да их препознају. На путевима, резултати су остали на сличном нивоу, при чему је Telenor имао најбоље резултате. . На путевима, корисници могу да примете разлике у перофрмансама мобилних мрежа, приликом коришћења YouTube видео сервиса.
Проценат непрекинутих видеа је унапређен код свих оператора током овогодишње кампање. У великим градовима, Vip mobile је имао напредак од 3,28%, чиме је заузео прву позицију, испед Telenor-a. У малим градовима, Тelekom Srbija је остао на истом нивоу, док су Telenor и Vip mobile незнатно деградирали своје перформансе, што за последицу има скоро идентичне резултате сва три оператора. На путевима, Telekom Srbija је остварио највећи напредак од 7,15%, док је Telenor напредовао за 6%, а Vip mobile зa 3%. И поред тога, Vip mobile је задржао прву позицију, са незнатном предношћу у односу на конкуренцију.
YouTube VMOS је комплексна метрика којом се рефлектују сви аспекти квалитета видео сигнала (резолуција, прекиди, јасноћа видеа, итд.). Упоређујући резултате из 2018. године са 2017. годином, видљива је деградација од 0,4 поена за VMOS код свих оператора. Ово је последица коришћења другачијег YouTube player-a. Наиме, мерења у 2017. години су спроведена користећи YouTube App v11.49.55, који започиње емитовање у резолуцији 1080p. Са новом верзијом апликације, модификовано је и понашање YouTube aplikacije. За потребе benchmarking кампање 2018.године, коришћен је YouTube App v13.10.55, који започиње емитовање мањом резолуцијом, па се постепено резолуција повећава на 1080p. Vip mobile је имао најбоље резултате са константном предношћу од 0,04 – 0,09 VMOS поена, зависно од категорије. Овако малу разлику корисник тешко може да перципира.
Покривеност радио сигналом
Код 2G/GSM технологије, једина разлика у односу на претходну benchmarking кампању је мала деградација (2-3% одбирака) у покривености радио сигналом у Telenor и Vip mobile мрежама. И ове године, Тelekom Srbija је имао најбоље резултате у покривености GSM сигналом.
Код 3G/UMTS технологије, сва три оператора имају 10% одбирака са мањим нивоом радио сигнала у односу на претходну годину. И поред тога, покривеност радио сигналом је врло добра код свих оператора, при чему је Telenor имао најбоље резултате у покривености UMTS сигналом. .
Telekom Srbija је, у односу на 2017. годину, имао више од 15% одбирака са најјачим нивоом радио сигнала. У односу на претходну годину, Telenor је имао 10% мање одбирака са најјачим нивоом радио сигнала, а Vip mobile 2% више одбирака са најјачим нивоом радио сигнала.
