Лебедев Юрий Вениаминович Заместитель начальника управления обеспечения технического контроля

1. Технический контроль за качеством телекоммуникационных услуг при осуществлении мероприятий государственного надзора за рынком телекоммуникаций 2010 Лебедев Юрий Вениаминович Заместитель начальника управления обеспечения технического контроля Государственной инспекции связи

2. Статья 32. Потребители во время заказа и / или получения телекоммуникационных услуг имеют право на своевременное и качественное получение телекоммуникационных услуг Закон Украины "О телекоммуникациях" Статья 39. Операторы телекоммуникаций обязаны: предоставлять телекоммуникационные услуги по установленным показателям качества

3. Закон Украины "О телекоммуникациях" • Статья 18. Национальная комиссия по вопросам регулирования связи Украины осуществляет контроль за качеством телекоммуникационных услуг • Статья 19. Государственная инспекция связи осуществляет государственный надзор за рынком телекоммуникаций путем: • контроля качества телекоммуникационных услуг; • проверки соблюдения лицензионных условий операторами, провайдерами телекоммуникаций; • контроля за соблюдением субъектами рынка телекоммуникаций законодательства, стандартов, других нормативных актов в сфере телекоммуникаций.

4. Директива 2002/22/ЕС ЕВРОПЕЙСКОГО ПАРЛАМЕНТА И СОВЕТА от 7 марта 2002 об универсальных услугах и правах пользователей относительно электронных сетей связи и услуг (Директива об универсальных услугах) Статья 11. Качество предоставляемой услуги назначенными предприятиями • Национальные регулирующие органы обеспечивают, чтобы все назначенные предприятия, на которые возложены обязательства публиковали адекватную и обновленную информацию о своей эффективности, достигнутой в ходе предоставления универсальной услуги, основанной на качестве параметров услуги, определения и методов измерения, установленных в Приложении III Директивы. • Опубликованная информация также представляется национальным регулирующим органам. Государства-участники обеспечивают национальным регулирующим органам возможность осуществлять мониторинг соблюдения назначенными предприятиями этих целей эффективности. • Длительное невыполнение предприятием целей эффективности может привести к применению в соответствии с Директивой 2002/20/ЕС Европейского Парламента и Совета от 7 марта 2002 об авторизации электронных коммуникационных сетей и услуг (Директива об авторизации), особых мероприятий. • Национальные регулирующие органы могут давать распоряжение о проведении независимых аудиторских проверок или подобных оценок данных об эффективности, за которые платит соответствующее предприятие, с целью обеспечения точности и сопоставимости данных, предоставляемых предприятиями с обязательствами относительно универсальной услуги.

5. Закон Украины "О телекоммуникациях" Статья 15. Полномочия центрального органа исполнительной власти в области связи (т.е. Mинистерства транспорта и связи Украины): 4) определяет требования к уровню качества телекоммуникационных услуг

6. ПОКАЗАТЕЛИ КАЧЕСТВА услуг фиксированной телефонной связи и их предельные нормированные уровни Приказ Министерства транспорта и связи Украины 22.02.2010 № 91 Зарегистрирован в Министерстве юстиции Украины 15.03.2010 за № 220/17515 Показатели (параметры) качества универсального доступа к телекоммуникационной сети Показатели (параметры) качества услуг голосовой телефонии

7. ПОКАЗАТЕЛИ КАЧЕСТВА услуг мобильной связи.Приказ Министерства транспорта и связи Украины "Об установлении уровней качества услуг мобильной связи" 19.03.2010 N 147. Зарегистрирован в Министерстве юстиции Украины 6 апреля 2010 за N 277/17572 Показатели и параметры качества основных услуг Показатели и параметры качества дополнительных услуг Показатели и параметры качества обслуживания потребителей

8. MИHИCTEPCTBО ТРАНСПОРТА И СВЯЗИ УКРАИНЫ Приказы об утверждении и введении в действие стандартов по контролю качества телекоммуникационных услуг                 № 1053 от 12.10.2009   • СОУ 64.2 – 00017584 – 001:2009 "Телекоммуникационные сети фиксированной телефонной связи общего пользования. СИСТЕМА ПОКАЗАТЕЛЕЙ КАЧЕСТВА УСЛУГ ТЕЛЕФОННОЙ СВЯЗИ Общие положения"; • СОУ 64.2 – 00017584 – 002:2009 "Телекоммуникационные сети фиксированной телефонной связи общего пользования. ТЕЛЕКОММУНИКАЦИОННЫЕ УСЛУГИ Показатели качества. Методы испытаний". •                  № 1261 от 07.12.2009    • СОУ 64.2 – 00017584 – 005:2009 "Телекоммуникационные сети мобильной связи общего пользования . Система показателей качества услуг мобильной связи. Общие положения". • СОУ 64.2 – 00017584 – 006:2009 "Телекоммуникационные сети мобильной связи общего пользования. ТЕЛЕКОММУНИКАЦИОННЫЕ УСЛУГИ Показатели качества. Методы испытаний".

9. Проекты стандартов по контролю за качеством телекоммуникационных услуг • СОУ "Телекоммуникационные сети передачи данных общего пользования. СИСТЕМА ПОКАЗАТЕЛЕЙ КАЧЕСТВА УСЛУГ ПЕРЕДАЧИ ДАННЫХ И ДОСТУПА К ИНТЕРНЕТУ Общие положения" • СОУ "Телекоммуникационные сети передачи данных общего пользования ТЕЛЕКОММУНИКАЦИОННЫЕ УСЛУГИ Показатели качества. Методы испытания и оценки"

10. Национальная комиссия по вопросам регулирования связи Украины Положение о качестве телекоммуникационных услуг Утверждено решением НКРС от 15.04.2010 № 174

11. Украинские стандарты по вопросам контроля качества телекоммуникационных услуг СОУ 64.2 – 00017584 – 001:2009 СОУ 64.2 – 00017584 – 002:2009 СОУ 64.2 – 00017584 – 005:2009 СОУ 64.2 – 00017584 – 006:2009 Разработаны в соответствии с требованиями стандартов ETSI: ETSI EG 202 057-1 V1.3.1 (2008-07), Transmission and Quality Aspects (STQ); User related QoS parameter definitions and measurements; Part 1: General ETSI EG 202 057-2 V1.2.1 (2005-10) Speech Processing, Transmission and Quality Aspects (STQ); User related QoS parameter definitions and measurements; Part 2: Voice telephony, Group 3 fax, modem data services and SMS ETSI EG 202 057-3 V1.1.1 (2005-04) Speech Processing, Transmission and Quality Aspects (STQ); User related QoS parameter definitions and measurements; Part 3: QoS parameters specific to Public Land Mobile Networks (PLMN) ETSI TS 102 250-1 V1.2.1 (2007-03) Speech Processing, Transmission and Quality Aspects (STQ); QoS aspects for popular services in GSM and 3G networks; Part 1: Identification of Quality of Service criteria ETSI TS 102 250-2 V1.6.2 (2008-09) Speech Processing, Transmission and Quality Aspects (STQ); QoS aspects for popular services in GSM and 3G networks; Part 2: Definition of Quality of Service parameters and their computation ETSI TS 102 250-3 V1.4.1 (2008-12) Speech and multimedia Transmission Quality (STQ); QoS aspects for popular services in GSM and 3G networks; Part 3: Typical procedures for Quality of Service measurement equipment ETSI TS 102 250-4 V1.3.1 (2009-03) Speech and multimedia Transmission Quality (STQ); QoS aspects for popular services in GSM and 3G networks; Part 4: Requirements for Quality of Service measurement equipment ETSI TS 102 250-5 V1.5.1 (2008-05) Speech Processing, Transmission and Quality Aspects (STQ); QoS aspects for popular services in GSM and 3G networks; Part 5: Definition of typical measurement profiles ETSI TS 102 250-6 V1.2.1 (2004-10) Speech Processing, Transmission and Quality Aspects (STQ); QoS aspects for popular services in GSM and 3G networks; Part 6: Post processing and statistical methods

12. Контроль за качеством телекоммуникационных услуг базируется на принципах (в соответствии с ETSI ETR 138, ETSI EG 202 057-1, ETSI EG 202 057-2, ETSI EG 202 057-3, ETSI EG 202 057-4): • Принцип 1 Параметры должны быть понятными для потребителей услуг, полезными и важными для них. • Принцип 2 Измерение параметров должны контролироваться при подключении к телекоммуникационной сети. Измерения должны осуществляться в процессе предоставления услуг. Чтобы быть реалистичными, насколько это возможно, реальный трафик, а не тестовые вызовы должны использоваться при проведении измерений. • Принцип 3 Параметры должны контролироваться независимыми организациями. Контроль может быть осуществлен путем непосредственных измерений или аудиторской проверки. • Принцип 4 Точность оценки зависит от методов измерения. Методы должны быть простыми и не затратными. • Принцип 5 Параметры качества определяются на основе простых статистических оценок. Требования к статистическим оценкам, в том числе относительно определения объема выборочных совокупностей должны быть стандартизированы.

13. Какими техническими методами может пользоваться Государственная инспекция связи при проведении контроля за качеством телекоммуникационных услуг ? СОУ 64.2 – 00017584 – 002:2009 Измерения на всем реальном трафике или измерений на реальном трафике для исходящих вызовов в репрезентативной совокупности местных телефонных станций к репрезентативной совокупности адресатов , или тестовых вызовов в репрезентативной совокупности местных автоматических телефонных станций (АТС) или телекоммуникационных сетей общего пользования к репрезентативной совокупности назначений; или комбинации приведенных выше вариантов. ETSI EG 202 057-2 V1.2.1 The statistics should be calculated from:a) measurements on all real traffic; orb) measurements on real traffic for outgoing calls in a representative population of local exchanges to arepresentative set of destinations; orc) test calls in a representative population of local exchanges or NTPs to a representative set of destinations; ord) a combination of the above. Испытания • на реальном трафике • с использованием тестовых вызовов • комбинации приведенных выше вариантов

14. Особенности контроля качества телекоммуникационных услуг операторами (провайдерами) телекоммуникаций и Государственной инспекцией связи Государственная инспекция связи Оператор Измерения должны быть спланированы так, чтобы точно отражать вариации трафика по часам за день, дней недели и месяцев в течение года ETSI EG 201 769 V1.1.2 (2000-10) ETSI EG 202 057-2 V1.3.1 (2009-02) ETSI EG 202 057-3 V1.1.1 (2005-04) • Качество обслуживания может быть разной по отношению к местоположению • География сети должна быть принята во внимание при измерениях, особенно если выбор осуществляется не по данным мониторинга всех участков сети п. 7.1 ETSI EG 202 009-1 V1.2.1 (2007-01) Контроль проводится при осуществлении мероприятий государственного надзора (Законодательством не предусмотрена возможность проведения постоянного мониторинга телекоммуникационных сетей в течение года) Постоянный контроль в течение года Время проведения планового мероприятия не может превышать 15 рабочих дней, а для субъектов малого предпринимательства - 5 рабочих дней, если иное не предусмотрено законом. Время проведения внепланового мероприятия не может превышать 10 рабочих дней, а относительно субъектов малого предпринимательства - 2 рабочих дней, если иное не предусмотрено законом. (из Закона Украины "Об основных принципах государственного надзора (контроля) в сфере хозяйственной деятельности" ) При проведении мероприятий государственного надзора необходимо собрать статистические данные (количество вызовов, количество установленных соединений, количество SMS и т.д.) в зависимости от выбранной точности оценки Объем испытаний не зависит напрямую от количества потребителей услуги, но зависит от ожидаемого результата, то есть от установленного значения параметра качества услуги

15. Проблемные вопросы контроля качества телекоммуникационных услуг: • Какие технические параметры контролировать непосредственно при осуществлении мероприятий государственного надзора? • Какую статистику можно собрать во время, определяемом законодательством? • Какие технические средства использовать при проведении контроля ГИС? • Какие показатели невозможно определить (рассчитать) во время осуществления мероприятий государственного надзора?

16. Особенности контроля качества телекоммуникационных услуг операторами (провайдерами) телекоммуникаций и Государственной инспекцией связи ETSI EG 202 009-1 V1.2.1 (2007-01) п.7.1 UserGroup; Qualityoftelecomservices; Part 1: MethodologyforidentificationofparametersrelevanttotheUsers (Часть 1: Методология для определения параметров, имеющих отношение к потребителям) Компромисс должен быть найден между желанием контролировать всё, затратами времени и возможной избыточности для обеспечения контроля. Для оптимизации измерений, возможно, сосредоточить внимание на некоторых ключевых точках сети или осуществлять измерение в часы наибольшей нагрузки в течение дня или недели.

17. Базовые показатели качества телекоммуникационных услуг (вариант) Фиксированная связь: • Процент заявок о подключении конечного оборудования потребителей к сети местной телефонной связи, выполненных за нормированное время • Процент неуспешных вызовов • Процент вызовов, которые соответствуют нормам по времени завершения вызова • Процент соединений, соответствующих нормам по качеству передачи речевой информации • Процент вызовов, которые соответствуют нормам по времени ответа системами информационно-справочными службами оператора • Процент исправных таксофонов • Количество заявлений о повреждении телекоммуникационной сети в расчете на одну линию доступа за год • Процент заявлений о повреждении телекоммуникационной сети, выполненных за нормированный время • Процент счетов, на которые были получены обращения от потребителей относительно их некорректности • Процент обращений относительно организационных аспектов обслуживания • Процент обращений относительно технических аспектов обслуживания Мобильная связь • Процент неуспешных вызовов • Процент вызовов, которые соответствуют нормам по времени завершения вызова • Процент соединений, соответствующих нормам по качеству передачи речевой информации • Процент установленных соединений, которые закончились преждевременным разъединением не по инициативе абонента • Процент недоставленных сообщений SMS • Процент заявлений о повреждениях сети, выполненных за нормативное время • Процент счетов, на которые были получены обращения от потребителей относительно их некорректности (неправильности) • Процент обращений на организационные аспекты обслуживания, которые поступили в службу работы с потребителями • Процент обращений на технические аспекты обслуживания, которые поступили к технической службы и т.п. В соответствии с пунктом 3.2.Положения о качестве телекоммуникационных услуг перечень показателей качества телекоммуникационных услуг, уровни которых подлежат обязательному обнародованию определяются решением НКРС в соответствии с приказами центрального органа исполнительной власти в отрасли связи. Такое решение принимается НКРС до начала отчетного года.

18. ВЗАИМОСВЯЬ МЕЖДУ ТОЧНОСТЬЮ ОЦЕНКИ ПРОЦЕНТА НЕУСПЕШНЫХ ВЫЗОВОВ И КОЛИЧЕСТВОМ ВЫЗОВОВ, НЕОБХОДИМЫХ ДЛЯ НАБЛЮДЕНИЯ Если наблюдались k неуспешных вызовов из n вызовов, тогда истинное значение коэффициента неуспешных вызовов лежит между k/n - ∆ та k/n + ∆ с уровнем доверия 1-α, доверительный интервал для оцениваемого показателя (∆) аппроксимируют (для большого значення n) и вычисляют по формуле: где p – ожидаемый коеффициент неуспешных вызов; - є процентиль нормального распределения с средним значением «0» и стандартным отклонением 1 (0,1). Если уровень доверия , тогда . Количество вызовов для наблюдения вычисляют по формуле: Какой объем статистики необходимо собрать во время проведения мероприятий государственного надзора? де– относительная точность оценки параметра, или величина доверительного интервала () , отнесенная к значению величины, которая оцениваеться. Количество вызовов для наблюдений (n) в зависимости от выбранной точности оценки вычисляют по формуле:

19. Определение количества вызовов в зависимости от относительной точности оценки Практика показывает, что на сетях больших и средних операторов необходимую статистику можно собрать во время проведения мероприятий госнадзора

20. Использование тестового трафика ETSI EG 202 057-2 Speech Processing, Transmission and Quality Aspects (STQ); User related QoS parameter definitions and measurements; Part 2: Voice telephony, Group 3 fax, modem data services and SMS 5.1 Unsuccessful call ratiob) is not required to exceed a test call rate of 1 in 1 000. ETSI EG 201 769 V1.1.2 (2000-10) ETSI Guide Speech Processing, Transmission & Quality Aspects (STQ); QoS parameter definitions and measurements; Parameters for voice telephony service required under the ONP Voice Telephony Directive 98/10/EC 5.4 Unsuccessful call ratio Notwithstanding the accuracy objectives given above, the number of test calls is not required to exceed 1 in 1 000. СОУ 64.2 – 00017584 – 002:2009 "Телекомунікаційні мережі фіксованого телефонного зв’язку загального користування. ТЕЛЕКОМУНІКАЦІЙНІ ПОСЛУГИ. Показники якості. Методи випробування". Раздел 7 б): не использовать превышение соотношения тестовых вызовов 1 к 1000. СОУ 64.2 – 00017584 – 006:2009 "Телекомунікаційні мережі рухомого (мобільного) зв'язку загального користування. ТЕЛЕКОМУНІКАЦІЙНІ ПОСЛУГИ. Показники якості. Методи випробування". Раздел 7 б): не использовать превышение соотношения тестовых вызовов 1 к 1000. Например, проведение 7300 тестовых вызовов должно подтверждаться прохождением не менее, чем 7 млн. 300 тыс. вызовов на реальном трафике Возможно ли набрать такую статистику во время проведения мероприятий госнадзора ?

21. Испытания качества телекоммуникационных услуг осуществляются в соответствии с методиками ETSI EG 202 057-3 V1.1.1 (2005-04) Speech Processing, Transmission and Quality Aspects (STQ); User related QoS parameter definitions and measurements; Part 3: QoS parameters specific toPublic Land Mobile Networks (PLMN) 4.9 Comparability of measurements Results should be compared only where the same measurement methods are used. For example, measurements made with drive round tests on one network may be compared with measurements made with drive round tests on another network but not with measurements made with network element counters. Результаты должны быть сопоставлены только там, где используются те же методы измерения. Например, измерения, проведенные с использованием драйв-тестов на одной сети могут быть сопоставлены с аналогичными измерениями при проведении драйв-тестов на другой сети, но не с измерениями, связанными с счетчиками сетевых элементов. Методики должны базироваться на стандартизированных статистических методах испытаний параметров, показателей качества телекоммуникационных услуг и обслуживания потребителей Для обеспечения возможности сопоставимости результатов контроля должны быть разработаны единые методики для их использования операторами и Государственной инспекцией связи Державна інспекція зв'язку Оператор

22. Схема подключения измерительных средств

23. Телекоммуникационная сеть оператора телекоммуникаций стандарта CDMA. Схема подключения измерительных средств для выполнения измерений / испытаний.

24. ЛПМ ЛПМ ЛПМ Копоративна мережа ЛПМ МОНИТОРИНГ ЦИФРОВЫХ СЕТЕЙ АСТС Транзитний пункт сигналізації Пункт сигналізації Измерительный прибор типа АСТС. Производитель- ИВП «ИННОВИН», г. Винница, Украина

25. Информация на экране монитора измерительного средства

26. Информация на экране монитора измерительного средства

27. Методы оценки качества передачи речевой информации Субъективный метод средней экспертной оценки (Mean Opinion Score - MOS),определенный в Рекомендации ITU-T Р.800 и Р.830. Рассчитываются после прослушивания группой людей тестового тракта передачи речевой информации по пятибалльной шкале. Оценки 3,5 баллов и выше соответствуют стандартной и высокому качеству телефонного соединения, 3,0-3,5 - приемлемом, 2,5-3,0 - синтезированном звука. Для передачи речевой информации с хорошим качеством целесообразно ориентироваться на MOS не ниже 3,5 баллов. Объективный метод оценки с использованием единиц рейтинга R (Quality Rating) по стобальной шкале (Е-модель). Как база для оценки принята Рекомендация ITU-T G.107 Автоматизированный метод измерения качества передачи речи PЕSQ (Perceptual Evaluation of Speech Quality). Рекомендация ITU-T Р.862 Метод основан на сравнении эталонного речевого сигнала и сигнала, поступившего из кодека или IP-сети.

28. Базовые технические показатели качества телекоммуникационных услуг и методы контроля (вариант) Фиксированная связь Мобильная связь

29. Благодарю за внимание! Лебедев Юрий Вениаминович Заместитель начальника управления обеспечения технического контроля Государственной инспекции связи