Mobile networks benchmark Мерење и методологија

Мерења су спроведена на начин који је статистички валидан, поновљив, технички конзистентан и који обезбеђује упоредивост кључних индикатора перформанси мобилних мрежа и мрежних технологија. Сви мерени КPI дефинисани су у ЕTSI стандардима и ITU препорукама.

Кампањом је покривено 35 градова и 10.000 км путева у Србији. Мерења су обухватала три категорије: Велике градове, Мале градове и Путеве. С обзиром на број мерних одбирака прикупљених током drive тест мерења (преко 6000 тестова говорног сервиса и око 3500 тестова услуге преноса података обављено је у мрежи сваког од оператора), сматра се да је стандардна грешка мања од 3% и да је ниво поузданости већи од 95% за добијене резултате мерења.

Велики градови:
  • Београд
  • Чачак
  • Крагујевац
  • Ниш
  • Нови Сад
  • Панчево
  • Суботица
  • Зрењанин
Мали градови:
  • Бачка Паланка
  • Бор
  • Горњи Милановац
  • Јагодина
  • Кикинда
  • Краљево
  • Крушевац
  • Лесковац
  • Лозница
  • Неготин
  • Нови Пазар
  • Обреновац
  • Параћин
  • Пирот
  • Пожаревац
  • Прокупље
  • Рума
  • Шабац
  • Смедерево
  • Смедеревска Паланка
  • Сомбор
  • Сремска Митровица
  • Ужице
  • Ваљево
  • Врање
  • Вршац
  • Зајечар

Drive тест руте коришћене за мерења приказане су на Слици 1.

Drive тест руте
Сл. 1 Drive тест руте

Мерења су обављена у drive тест форми, што значи да је мерна опрема била инсталирана у возилима која се крећу унапред дефинисаним рутама. Мерна опрема прикупља податке о мрежи спроводећи тестове преноса говора и података и користећи скенер за прикупљање радио параметара. Све три мобилне мреже тестиране су у истом тренутку, на истим рутама, коришћењем истих мерних терминала - паметних телефона, Samsung Galaxy S4 за тестирање говорне услуге и Samsung Galaxy Note 4 за тестирање услуга преноса података. Samsung Galaxy Note 4 је мобилни уређај категорије 6 (Cаt. 6), што значи да подржава 4G (LTE) брзине преноса података до 300Mb/s за пријем података, односно 50Mb/s за слање података. Сви паметни телефони, коришћени за мерење, су радили у режиму аутоматског одабирања технологије. Како би се омогућило свеобухватно тестирање мрежа и коришћење расположивих сервиса са максималним могућностима које мрежа пружа, за тестирање свих мобилних мрежа су се користиле SIM картице са комерцијалним тарифним пакетима који пружају максималне могућности крајњим корисницима (највећа брзина протока података, највећи број минута, највећа количина података).

Мобилни тарифни пакети који су се користили за тестирање мобилних мрежа приказани су у Табели 1.

Оператор Тарифни пакет за тестирање говорне услуге Тарифни пакет за тестирање услуга преноса података
Telekom Srbija BIZNET 300 (200 MB) BIZNET 300 (30 GB)
Telenor PREMIUM+ SURF+50
Vip mobile NEO10 Vip Online 48

Табела 1. Мобилни тарифни пакети

Мерни систем се састојао од два мерна возила опремљена идентичним мерним уређајима (SwissQual Diversity Benchmarker II), који су омогућавали тестирање свих технологија и сервиса истовремено, са великом тачношћу. За потребе тестирања говорног сервиса, Samsung Galaxy S4 телефони су непрекидно позивали један другог унутар исте мреже. У великим градовима, тестирања су се обављала тако што су се ти телефони налазили у различитим возилима, док су у малим градовима и на путевима телефони били у истом возилу. Овакав специфичан приступ за велике градове омогућио је ефикасно прикупљање релевантних података, без превеликог оптерећивања мреже у зонама где се иначе очекује велика количина саобраћаја у мобилној мрежи. Овим тестовима процењује се доступност говорног сервиса, одрживост везе и квалитет говорног сигнала. За потребе benchmarking-а тестирани су позиви у трајању од 85 секунди.

Мерна опрема инсталирана у колима приказана је на Слици 2.

Мерна опрема инсталирана у колима pic-1
Мерна опрема инсталирана у колима pic-2
Мерна опрема инсталирана у колима pic-3
Мерна опрема инсталирана у колима pic-4

Сл. 2 Мерна опрема инсталирана у колима

Примање и слање додатних пакета података током обављања говорних позива је додато мерном сценарију, како би се опонашао просечан корисник мобилне мреже, за кога је типично одвијање сесије преноса података у позадини, током трајања позива. За сваки позив, квалитет говорног сигнала (МОS – Mean Opinion Score) мерен је помоћу POLQA P.863 алгоритма.

Тестирање сервиса преноса података обављено је помоћу Samsung Galaxy Note 4 мобилних телефона и коришћењем наменског сервера смештеног у компанији SоX (Serbian open eXchange) у Београду, како би се обезбедили идентични услови за пренос података ка свим мобилним мрежама. Оваквим тестовима процењује се расположивост мреже, стабилност, типичне перформансе и граничне могућности сервиса. Benchmarking је обухватио тестирање најчешће коришћених сервиса преноса података и то:

  • HTTP Пренос података - Download (брзина преноса података величине 3MB преко HTTP протокола од мерног сервера до мобилног телефона). Овакав тест дизајниран је за мерење одзива мреже и симулирање корисника који прима са мреже податке мале величине, попут слике, mp3 фајла или еmail-а.
  • HTTP Пренос података - Upload (брзина преноса података величине 1MB преко HTTP протокола од мобилног телефона ка мерном серверу). Овакав тест је креиран за мерење одзива мреже и симулирање корисника који шаље на мрежу фајл мале величине, попут слике, mp3 фајла или еmail-а.
  • FDTT HTTP Тест капацитета - Download (брзина преноса података величине 400MB путем HTTP протокола од мерног сервера до мобилног телефона током фиксног временског интервала од 10 секунди). Овај тест је дизајниран за тестирање капацитета мреже која треба да обезбеди највећу континуирану брзину преноса података, што је важно за кориснике који преузимају велике фајлове са мреже – типично за кориснике који за приступ интернету користе мобилну мрежу са својих PC/лаптоп уређаја.
  • FDTT HTTP Тест капацитета - Upload (брзина преноса података величине 400MB путем HTTP протокола од мобилног телефона до мерног сервера током фиксног временског интервала од 10 секунди). Овај тест је дизајниран за тестирање капацитета мреже која треба да обезбеди највећу континуирану брзину преноса података, што је важно за кориснике који шаљу велике фајлове на мрежу - типично за кориснике који за приступ интернету користе мобилну мрежу са својих PC/лаптоп уређаја.
  • HTTP Browsing - Статичка страница (тестирање брзине учитавања и отварања референтне ЕТSI Кepler wеb странице на мобилном телефону).
  • HTTP Browsing - Live странице (тестирање брзине учитавања и отварања live web страница на мобилном телефону).
  • YouTube (тестирање квалитета live видео стрима).
  • Ping (мерење кашњења између слања и пријема пакета у мрежи).

Како би се опонашао просечан корисник мобилног интернета у Србији, на основу популарности међу корисницима, изабране су следеће интернет странице за тестирање:

https://www.google.rs
https://www.facebook.com
https://m.kupujemprodajem.com
https://www.kupindo.com

Квалитет YouTube видео стрима (VMOS – Video Mean Opinion Score) измерен је коришћењем Ј.343.1 алгоритма.

За тестирање радио параметара мобилних мрежа коришћен је скенер (PCtel MX). За обраду података и креирање извештаја коришћен је SwissQual NQDI софтверски пакет. Додатно, за анализу и складиштење података током обраде, коришћени су системски ресурси (Data warehouse) компаније Systemics-PAB.