Departamento de Ingeniería de Sistemas Telemáticos Universidad Politécnica de Madrid

1. CONTRIBUCIÓN A LOS MODELOS Y METODOLOGÍAS PARA LA ESTIMACIÓN DE LA CALIDAD PERCIBIDAPOR LOS USUARIOS (QoE)A PARTIR DE PARÁMETROSDE CALIDAD DE RED/SERVICIO (QoS)EN SERVICIOS CONVERGENTES MULTIMEDIA(TRIPLE-PLAY) Departamento de Ingeniería de Sistemas Telemáticos Universidad Politécnica de Madrid AUTOR: PEDRO DE LA CRUZ RAMOS (UPM) DIRECTORES: FRANCISCO GONZÁLEZ VIDAL (UPM) RAQUEL PÉREZ LEAL (UC3M)

2. CONTENIDO • Introducción y Objetivos • Modelo General de Calidad • Servicio de Difusión de TV sobre IP (IPTV) • Modelo de Calidad de Vídeo • Servicio de Llamadas de Voz sobre IP (VoIP) • Servicio de Acceso a Internet • Calidad del Servicio Global (3P) • Conclusiones y Líneas Futuras

3. ¡CONTRIBUCIÓN! INTRODUCCIÓN Contexto: • Servicios Triple-Play (3P): Datos+Voz+Vídeo • Convergentes: Desplegados sobre la misma Red de Transporte IP • Gestionada por un único operador como Sistema Autónomo Objetivo: • Estimación de la Calidad de Experiencia (QoE) • En tiempo casi-real • A partir de parámetros de Calidad de Servicio (QoS) y rendimiento de la red Problema: • No existen modelos de estimación adecuados para Servicios 3P completos Propuesta: • Modelo de estimación para Servicios 3P convergentes completos Utilidad: • Para operadores, usuarios, reguladores y evaluadores

4. CONCEPTO DE CALIDAD Calidad (en general): ITU-T E.802: La totalidad de las características de una entidad que determinan su capacidad para satisfacer necesidades explícitas o implícitas. Calidad de Servicio (QoS): ITU-T E.802: Efecto colectivo del rendimiento del servicio, que determina el grado de satisfacción de los usuarios. Calidad de Experiencia (QoE): ITU-T G.100/P.10: Aceptabilidad general de una aplicación o servicio, percibida subjetivamente por los usuarios finales. ITU-T E.800: Dos componentes: Cuantitativo: Calidad de funcionamiento de la red Cualitativo: Expectativas de los usuarios

5. MODELO GENERAL DE CALIDAD

6. ESTRUCTURA MATRICIAL Servicio 1 Servicio N • Servicios • Percepciones • Agentes • Capacidades • Puntos de Cruce • Indicadores de Rendimiento • Elementales (IRE) • Locales (IRL) • Globales (IRG) Perception 1 Perception 3 Perception 2 Perception 1 Perception 2 Perception 3 CAPACIDAD1 X X Agente N CAPACIDADi X CAPACIDADn X X CAPACIDAD1 X X Agente 1 CAPACIDADi X CAPACIDADn X X X [Liberal 2005]

7. ELEMENTOS DEL MODELO • Usuarios: Residenciales, SOHO, Empresariales • Servicios: Global, Finales, Básicos, de Soporte ADSL DNS DHCP • Percepciones → Factores Globales de Valoración (FGV) • Agentes → Parámetros de Funcionamiento Interno (PFI)

8. PROCESO DE EVALUACIÓN • Procesos de Ponderación/Agregación: • Local (PPL): IRE → IRL • Matriz de Ponderación Local (MPL) • Global (PAG): IRL → IRG • Métricas • Proceso de Evaluación Global: AHP • Matrices de Importancia • Índices de Consistencia • Pesos de Ponderación

9. ¡CONTRIBUCIÓN! APLICACIÓN A TRIPLE-PLAY (I)

10. APLICACIÓN A TRIPLE-PLAY (II) Agentes

11. APLICACIÓN A TRIPLE-PLAY (III)

12. SERVICIO DEDIFUSIÓN DE TELEVISIÓNSOBRE IP(IPTV)

13. CALIDAD DE EXPERIENCIA EN IPTV ¡CONTRIBUCIÓN! • Depende de múltiples factores: • Calidad Audiovisual: • Calidad de Vídeo • Calidad de Audio • Sincronización Audio-Vídeo (Lip Sync) • Tiempo de Cambio de Canal(zapping) • Disponibilidad y Fiabilidaddel servicio • Condiciones de visionado (tamaño de pantalla, distancia, …) • Condiciones ambientales (iluminación, ruido, …) • Accesibilidad y facilidad de uso (ergonomía) • Servicio de Atención al Cliente • Nos centramos en 1,2 y (posteriormente) 3. QIPTV QAV QTav QTcc QVIDEO QAUDIO

14. CALIDAD DE VÍDEO • Múltiples medidas: MPQM, PDM, VQM • Medidas RC, RR, SR • Medida elegida: VQM (ITS/NTIA): • RC / RR • Estándar (ITU-T J.144) • Muy buena correlación con MOS (VQEG FR-TV2) • SW Público • Depende de: • Tipo de Códec (MPEG-2/4, H.264) • Tasa de Codificación de Vídeo (VCR) • Fracción de Paquetes Perdidos (PLR) • Formato (SD/HD, 525@60Hz, 625@50Hz) • Tipo de Vídeo (entrelazado, progresivo, ‘pull-down’, …) • Tipo de Secuencia (Natural, Artificial, Atípica) • Contenido de Información (Espacial y Temporal)

15. MODELOS DE ESTIMACIÓN • ¿Por qué no nos sirven? • Tipo de aplicación • No estiman VQM • No tienen en cuenta el contenido • Forma de variación Modelo Propio

16. MODELO DE CALIDAD DE VÍDEO Efectos de la Codificación y las Pérdidas Modelo: ¡CONTRIBUCIÓN! VQMC = VQMREF(VCR/VCRREF)-Kc VQMP = (1-VQMC)(PLR/PLR1)Kp VQMT = VQMC + VQMP VQMT si VQMT≤ 1 1,5VQMT/(VQMT+0,5) si VQMT > 1 VQM = • PLR1, KP dependen de VCR: • F(VCR) = A + B·VCR·(1+C·e-(VCR/D)K) • Para cada PLR, existe un VCR óptimo que minimiza VQM (maximiza QoE)

17. CONTENIDO DE INFORMACIÓN Los coeficientes del modelo dependen del contenido de información ITU-T P.910 Información Espacial: SI = MAXT { STDS{Sobel(Fn)} } Información Temporal: TI = MAXT { STDS{∆(Fn,Fn-1)} } Inconveniente: Demasiado sensibles a valores extraordinarios Redefinición: SI/TI Promedio: ASI = AVGT { STDS{Sobel(Fn)} } ATI = AVGT { STDS{|∆(Fn,Fn-1)|} } ¿ Cómo calcular los coeficientes del modelo a partir de ASI/ATI ?

18. TABLAS DE COMPLEJIDAD • Interpolación en Tablas de Complejidad precalculadas • Entre 3 valores próximos Fuera de servicio En servicio • Tablas diferentes para cada Tipo de Secuencia

19. INFLUENCIA DE ASI/ATI Secuencias con valores similares de ASI/ATI pueden tener coeficientes de valores muy distintos Factores que influyen: Formato de vídeo (525/625 líneas) Frecuencia de imágenes (50/60Hz) Tipo de vídeo (entrelazado, progresivo, 'pull-down') Tipo de secuencia: natural o artificial Tamaño y estructura del GOP, etc. Clasificación de las secuencias: Forma de variación: Compleja (picos, crestas y valles) Justifica el cálculo por interpolación

20. BANCO DE MEDIDAS [Alvarez Villacé 2011] Arquitectura Funcional Prevención/Corrección de Pérdidas de Tramas Medición de ASI/ATI: STIX Parámetros de Codificación y QoS Casos: Medidas: 6.200 en total

21. ANÁLISIS ESTADÍSTICO Parámetros: Coeficiente de Correlación de Pearson (R) Error Medio (E) Raiz del Error Cuadrático Medio (RMSE) Resultados:

22. CALIDAD DE AUDIO • Métodos de medida: • NMR, PAQM, PERCEVAL, POM, DIX, OASE, ... • PEAQ [ITU-R BS.1387-1] • Métodos RC • Modelos de estimación: • Redes Neuronales [Mohamed et al 2004] • Modelo T-V [Garcia et al 2009,2011]: Basado en Modelo-E • Q = Q0 – Ic – It • Ic = a1∙ea2∙ACR + a3 • It = (b0-Ic)*(FLR/(b1+FLR)) • MOS = Modelo-E(Q) • ai,bi dependen del códec y las caracterísiticas de las secuencias

23. CALIDAD AUDIOVISUAL Modelo de Calidad para Servicios Multimedia [ITU-T J.148] Calidad de Audio Calidad de Vídeo Interacción A-V Sincronización A-V Algunos estudios: Aq Fuente de Audio Calidad Auditiva Aq(Vq) Función de Integración de la Calidad Multimedia Retardo Diferencial Calidad Multimedia Fuente de Vídeo Vq(Aq) Calidad Visual Vq Tarea

24. CALIDAD AUDIOVISUALPARA FLUJOS SINCRONIZADOS • Modelo General: • QAV = K0 + KAQA + KVQV + KAVQAQV • Aproximaciones: • Modelo Lineal: QAV = K0 + KAQA + KVQV • Modelo Multiplicativo: QAV = K0 + KAVQAQV • Algunos modelos: • Tipo, coeficientes: • dependen del tipo • de aplicación

25. MODELO ELEGIDO • Modelo T-V [Garcia et al 2009,2011] • Más reciente • Específico para IPTV • Influencia del contenido • HD: QAV = K0 + KV∙QV + KAV∙QA∙QV (general) • SD: QAV = K0 + KAV∙QA∙QV (multiplicativo) • MOS = Modelo-E(QAV) • QA se utiliza directamente • QV = Modelo-E-1(MOSV) • Coeficientes: Dependen del tipo de contenido

26. SINCRONIZACIÓN AUDIO-VÍDEO • Dos alternativas: • Variación logarítmica entre umbrales [ITU-R BT.1359-1] • 1 T ≤ -90ms • 26.97-13.29 log(-T) -90ms < T < -45ms • MOS = 5 -45ms ≤ T ≤ +125ms • 54.26-23.49 log T +125ms < T < +185ms • 1 T ≥ +185ms • Factor de Degradación [ITU-T G.1070] (adaptado) • QTav = max (m10+MS,1) • min (m12+m11∙TAV,0) si TAV > 0 • MS = 0 si TAV = 0 • min (m14-m13∙TAV,0) si TAV < 0

27. TIEMPO DE CAMBIO DE CANAL Factores que influyen: • Señalización IGMP (Unión/Abandono Grupo) TJ/TL • Adquisición de Claves (Acceso Condicional,DRM) TK • Decodificación de Vídeo TV • Adquisición de Información de Programa (PSI,PAT,PMT) TD • Adquisición de Primera Trama Clave TF • Amortiguación (VBR→CBR,Anti-Jitter) TB • Reordenación de Tramas TR • Retardo en los enlaces de acceso y en la red TN • Recuperación y Corrección de Errores (FEC/RET) TE • Procesamiento (STB,Monitor) TP

28. MODELO DE ESTIMACIÓN PARA TCC [Kooij et al 2006] [Brunsström 2008] { 5 si TCC < 0,1seg MOS = { 2,65-1,02*ln(TCC) si 0,1seg ≤ TCC≤ 5seg { 1 si TCC > 5seg TCC = TL + TJ + TN + TK + TD + TF + TR + TE + TP + TB + TV TCC≈ TK + TD + TF + TE + TB TCC≈ TF + TB

29. CALIDAD GLOBAL DEL SERVICIO DE IPTV QIPTV QTav QTcc Dos alternativas: • Modelo Lineal: QIPTV = KIPTV + KAV∙QAV + KTAV∙QTAV + KTCC∙QTCC • Modelo No Lineal: QIPTV = KIPTV + KAV∙QAV + KTAV∙QTAV + KTCC∙QTCC + KAVTAV∙QAV∙QTAV + KAVTCC∙QAV∙QTCC + KTAVTCC∙QTAV∙QTCC Coeficientes: AHP QAV

30. SERVICIO DELLAMADAS DE VOZSOBRE IP(VoIP)

31. CALIDAD DE EXPERIENCIA EN VoIP ¡CONTRIBUCIÓN! • Depende de múltiples factores: • Calidad de Voz • Tiempos de Respuesta: • Tiempo de Espera para Marcación • Tiempo de Establecimiento de Llamada • Disponibilidad y Fiabilidaddel servicio • Condiciones ambientales (ruido, …) • Accesibilidad y facilidad de uso (ergonomía) • Servicio de Atención al Cliente • Nos centramos en 1,2 y (posteriormente) 3. QVoIP QTM QTS QV

32. CALIDAD DE VOZ • Medida: MOS-LQO [ITU-T P.800] • Métodos de Medida: • PSQM [ITU-T P.861] • PESQ [ITU-T P.862] • Depende de: • Tipo de Códec • Tasa de Codificación de Voz (ACR) • Fracción de Paquetes Perdidos (PLR) • Retardo, Jitter, … • Eco, Ruido, Diafonía, …

33. MODELOS DE ESTIMACIÓN • Modelo-E [ITU-T G.107] R = R0 – Is – Id – Ie + A 1 R < 0 MOS = 1+0,035∙R+R∙(R-60)∙(100-R)∙7∙10-6 0 ≤ R ≤ 100 4,5 R > 100 • Modelo-E para VoIP [Werner 2003] [Sun et al 2004] [Fernández et al 2006] R = R0 – Id – Ie 0,024∙d d < 177,3 0,134∙d – 19,503 d ≥ 177,3 Id = • Ie = a∙ln(1+b∙ρ)+c • El efecto del ‘jitter’ se incluye en las pérdidas • a,b,c dependen del códec

34. TIEMPO DE ESPERA PARA MARCACIÓN • Desde que se descuelga • Hasta que se recibe el tono de Invitación a Marcar • Modelo Propuesto: • Basado en el usado para TCC en IPTV [Kooij et al 2006] [Brunsström 2008] • Valores Límite: ITU-T E.721 5 TE < 0,18 seg MOS = 2,15 - 1,66∙ln(TE) 0,18 seg ≤ TE≤ 2 seg 1 TE > 2 seg

35. TIEMPO DE ESTABLECIMIENTO • Desde que se termina de marcar • Hasta que se recibe tono de llamada, ocupado o respuesta • Modelo Propuesto: • Basado en el usado para TCC en IPTV [Kooij et al 2006] [Brunsström 2008] • Valores Límite: ITU-T E.721 5 TS < TMIN MOS = K1 – K2∙ln(TE) TMIN≤ TS≤ TMAX 1 TS > TMAX • K1,K2,TMIN ,TMAX dependen del tipo de llamada

36. MODELO DE ESTIMACIÓN PARA TEST • Basado en resultados de [IETF 1999] [Eyers et al 2000] sobre tiempos de establecimiento de llamada en VoIP TEST = Σi(Ni∙TRPi+TPi) + Σj(TCj) + TRT i nº de agentes/servidores j nº de conmutadores Ni nº de interacciones con el agente i TRPi Retardo de Propagación hasta el agente i TPi Tiempo de Proceso en el agente i TCj Retardo de Encolamiento en el conmutador j TRT Tiempo de Espera debido a las Retrasmisiones

37. CALIDAD GLOBAL DEL SERVICIO DE VoIP QVoIP • Dos alternativas: • Modelo Lineal: • QVoIP = KVoIP + KV∙QV + KTM∙QTS + KTS∙QTS • Modelo No Lineal: • QVoIP = KVoIP + KV∙QV + KTM∙QTM + KTS∙QTS • + KVTM∙QV∙QTM + KVTS∙QV∙QTS + KTMTS∙QTM∙QTS • Coeficientes: AHP QTM QTS QV

38. SERVICIO DEACCESO A INTERNET

39. CALIDAD DE EXPERIENCIA EN INTERNET Depende de múltiples factores: Calidad de los servicios componentes: Navegación (Web Browsing) Correo Electrónico (E-Mail) Transferencia de Archivos (FTP) Compartición de Archivos (P2P) Otros: Juegos interactivos, Redes Sociales, etc. Disponibilidad y Fiabilidad del/los servicio(s) Condiciones subjetivas: tarea, propósito, etc. Accesibilidad y facilidad de uso de los servicios (ergonomía) Servicio de Atención al Cliente Nos centramos en 1 y (posteriormente) 2 ¡CONTRIBUCIÓN! QINTERNET QFTP QP2P QWEB QEmail

40. SERVICIO DE ACCESO A INTERNET Servicio Final Servicios Básicos Percepciones/FGVs comunes Tiempo de Arranque Velocidad de Transferencia Sostenida Factores de Eficiencia [Charzinski 2001] Modelo de Estimación [Van der Mei 2004] MOS = max ( 1 , 5+log2 Φ ) Ancho de Banda Sostenible (99%) [ADTRAN 2009] Ancho de Banda Sostenido RL = 1/RTT∙√3/(2∙b∙PLR) QINTERNET QFTP QP2P QWEB QEmail Φ TD RL

41. SERVICIO DE NAVEGACIÓN (WWW) Φ4 = min ( 1 , (dt+BL/rt)/TT ) TT = TD + TL TD = TDNS + 2∙RTT TL = TMAIN + Σi(Si)/RL ≈ (N+1) ∙S/ RL dt Tiempo de Respuesta Objetivo BL Tamaño de página rt Ancho de Banda Sostenible

42. SERVICIO DE CORREO ELECTRÓNICO (Email) Φ4 = min ( 1 , (dt+NMAIL∙SMAIL/rt)/TT ) TT = TRESP + TTRF TSNMP = TDNS+TSYN+TGREET+TCMD+TDATA+TMAIL+TMOK TPOP3/IMAP = TDNS+TSYN+TGREET+TCMD+TRETR+TMAIL TT = TCMD + TMAIL + TSERV TT ≈ NCMD*∙TCMD* + NMAIL*∙SMAIL*/RL + TSERV*

43. SERVICIO DE TRANSFERENCIA DE ARCHIVOS(FTP) Φ1 = KG∙G + KTTP∙TTP G ≈ G0 - k∙PLR TTP ≈ TTP0∙min(1,e-k∙(PLR-PLR0)) G,TTP: [Beuran et al 2003,2004]

44. SERVICIO DE COMPARTICIÓN DE ARCHIVOS(P2P) Dos regímenes: Φ4 = min ( 1 , (dt+L/rt)/(TD+TL) rt = min(rs,RC) = min(n∙RS,RC) Reg.Transitorio: TL = 1/(m∙β)∙ln(m∙q/d) [Yang et al 2004] Reg.Permanente: TL = L/RC RC = L∙l/n [Carlsson,Dan 2009] RC = μS∙(n+y/x) [Yang et al 2004]

45. CALIDAD GLOBAL DEL SERVICIODE ACCESO A INTERNET Dos alternativas: Combinación Lineal de Valoraciones de Calidad QAI1 = KAI + KWEB·QWEB + KMAIL·QMAIL + KFTP·QFTP + KP2P·QP2P Combinación Lineal de Factores de Eficiencia ΦAI1 = κAI + κWEB· ΦWEB + κMAIL· ΦMAIL + κFTP· ΦFTP + κP2P· ΦP2P Coeficientes: AHP

46. CALIDAD DEL SERVICIO GLOBAL(3P)

47. CALIDAD GLOBAL EN SERVICIOS 3P Proceso de Valoración Global: Servicios Elementales/Finales → 'Calidad Básica' Efecto de la Fiabilidad y Disponibilidad Ponderación de los Servicios Básicos Ponderación de los Servicios Finales Proceso de Ponderación Local Proceso de Agregación Global ¡CONTRIBUCIÓN! QS QD QF QBS FGV1 FGVn Q3P QINTERNET QIPTV QToIP ∙∙∙ QWWW QP2P

48. DISPONIBILIDAD Y FIABILIDAD • FGV = Fracción de 'conexiones' fallidas/interrumpidas • Modelo de Valoración: • 1 p < pmax • Qi = (log p - log pmin)/(log pmax - log pmin) pmax ≤ p ≤ pmin • 0 p > pmin • MOSi = 1 + 4·Qi • Modelo de Ponderación: • Lineal: • MOSS = KB·MOSB + KD·MOSD + KF·MOSF • Multiplicativo: • QS = QB · QD · QF • Qi = (MOSi-1)/4

49. PONDERACIÓN DE LOS SERVICIOS FINALES • Importancia relativa (Usuarios Residenciales) → A partir de estadísticas de uso [INE 2011] Peso = %Hogares / ΣS(%HogaresS)

50. PROCESO DE PONDERACIÓN LOCAL • Matriz de Ponderación Local: • Depende de los Flujos de Información considerados • Flujo único: no precisa ponderación • Múltiples flujos: 'Peso' de cada Capacidad depende de: • Participación en cada flujo • Importancia de cada flujo • Proceso de cálculo: • Capacidades Relevantes • Porcentajes de flujos • Pesos