Contadores Kpis, Qos

Taller de la UIT sobre Supervisin y
referenciacin
de la calidad de servicio (QoS) y la calidad
percibida (QoE) de los servicios
multimedios en las redes mviles
(Buenos Aires, Argentina, 24-25 de julio de
2014)
Marco de la QoS mvil: Contadores,

KPI, KQI
Joachim Pomy
Consultant@joachimpomy.de
OPTICOM, Alemania
Version : 11 December 2008
[Contenido]
ITRs: Setting the stage for

a connected world
Marco de la QoS Mvil: Contadores, KPI,

KQI
Nuevo trabajo del UIT-T sobre QoS mvil

Enfoque segmentado Seleccin de los
parmetros de QoS mvil percibidos por el
usuario
Escenarios de prueba y Puntos de activacin
Evaluacin de la calidad de voz Conduccin de
las pruebas
Estadsticas Presentacin de los resultados
Contadores, KPI, KQI
Buenos Aires - Argentina - 24 - 25 de julio de 2014
Trabajo del UIT-T sobre la QoS mvil (1)

KPIs mviles
centrados en el equipo/la infraestructura
agregacin de contadores de redes propietarias
no estandarizados

Borrador de la nueva Recomendacin E.MQoS
Aspectos de la QoS para los servicios populares en las redes
mviles
Borrador de un nuevo Documento Complementario de la serie

de Recomendaciones E.800
Lineamientos sobre los aspectos regulatorios de la QoS
Otras Recomendaciones del UIT-T sobre QoS abarcan:

Aspectos de los requisitos de los terminales
Aspectos de la calidad extremo a extremo
Aspectos de las percepciones de los usuarios
[Contenido]

a connected world

KQI

usuario
las pruebas
Segmentos de la QoS mvil

El modelo de QoS para el servicio mvil tiene cuatro
segmentos.
El primer segmento es la Disponibilidad de la Red
Define la QoS ms bien desde el punto de vista del
proveedor de servicios que desde el usuario del servicio
El segundo segmento es el Acceso a la Red

Desde el punto de vista del usuario es el requerimiento
bsico para todos los dems aspectos y parmetros de la
QoS
El tercer segmento contiene otros aspectos de la QoS

Acceso al Servicio, Integridad del Servicio y Capacidad de
Retencin del Servicio
En el cuarto segmento se ubican diferentes servicios

Su resultado son los parmetros de QoS segn los perciben
los usuarios
Aspectos de la QoS del Servicio Mvil

N e tw o rk
A v a ila b ilit y
Layer 1
N e tw o rk
A c c e s s ib ility
Layer 2
c ir c u it
s w it c h e d
S e rv ic e
A c c e s s ib ility
packet
s w it c h e d
S e rv ic e
In te g r ity
S e rv ic e
R e ta in a b ility
E - M a il
F ile
T ra n s fe r
M M S
M o b ile
B ro a d c a s t
P in g
PoC
SM S
S t r e a m in g
T e le p h o n y
V id e o
T e le p h o n y
Layer 3
Layer 4
W eb
B r o w s in g
La QoS mvil en segmentos (1)
Si seguimos un enfoque
segmentado
centrndonos en los eventos que
puede percibir el usuario
centrndonos en los principales
Telefona
Video Telefona
servicios del mercado
SMS
MMS
Video Streaming
Navegacin por
Internet
Segmento 1
Indisponibilidad de la red
radioelctrica [%]
Segmento 2
Relacin de fallas en el Registro y la
Seleccin de la Red [%]
La QoS mvil en segmentos(3)
Segmento Telefona 3
Inaccesibilidad al servicio de telefona[%]
Segmento Telefona 4
Tiempo[s] de establecimiento de telefona
Relacin de corte de llamadas de
telefona[%]
Segmento SMS 3
Inaccesibilidad al Servicio de SMS [%]
Segmento SMS 4
Tiempo[s] de entrega extremo a extremo
de SMS
Relacin de fallas de SMS completados
[%]
10
Segmento MMS 3
Relacin de fallas en el envo de MMS [%]
Segmento MMS 4
Tiempo[s] de entrega extremo a extremo
Relacin de fallas extremo a extremo de
MMS [%]
11
Segmento Video Telefona 3

Inaccesibilidad del Servicio VT [%]
Segmento Video Telefona 4

Tiempo[s]de establecimiento de
Audio/Video VT
Relacin de corte de llamadas VT [%]
12
La QoS mvil en segmentos(7)
Segmento Streaming de Video 3

Inaccesibilidad del Servicio de Streaming [%]
Segmento 4:
Tiempo[s]de Acceso al Servicio de Streaming
Relacin de corte de la Reproduccin de
Streaming [%]
Buenos Aires - Argentina - 24 25 de julio de 2014
13
Segmento de navegacin por Internet

(HTTP) 3
Inaccesibilidad del servicio HTTP [%]
Segmento de navegacin por Internet

(HTTP) 4
Tiempo[s] de establecimiento HTTP
Relacin fallas de Sesin HTTP [%]
Relacin corte de transferencia de datos
HTTP [%]
14
Este enfoque nos hara terminar con >

20 parmetros QoS
Todos se relacionan con eventos de
percepcin de los usuarios
Pero esto es slo parmetros de extremo
a extremo
Hay muchos ms parmetros definidos
para los eventos relacionados con los
segmentos de red, traspaso, etc.
15
[Contenido]

a connected world

KQI

usuario
las pruebas
16
Escenarios de prueba
Escenarios de prueba necesarios para

distinguir los siguientes casos principales
de usuarios
Servicios usuario-usuario (generalmente
telefona)
Servicios de guardado y reenvo (por ej., SMS)
Servicios de informacin (por ej., acceder a
Internet o bajar FTP)
Servicios Push (transferencia iniciada por el
remitente)
17
Consideraciones sobre los puntos de

activacin
Podemos suponer que
cualquier equipo de prueba viable contendr algn tipo de
terminal de comunicacin (UE) que puede ser un tipo especial
(por ejemplo, un telfono de seguimiento)
o un UE estndar
Tambin, se puede suponer que cada uno de tales
dispositivos proporcionar informacin de diferentes

segmentos de la comunicacin
desde el Segmento de la Aplicacin (cercana a la interfaz del
usuario)
hacia los segmentos ms bajos, por ej., eventos del sistema
operativo, segmento TCP/IP, o Segmento 3 informacin de
sealizacin, que es utilizada como punto de activacin para
procesar los PARMETROS de la QOS
En general los comandos AT pueden utilizarse en la mayora de
los casos
La accin es en general disparada por

una accin del usuario emulada
causar alguna accin en la interfaz de aire
18
Consideraciones sobre los puntos de

activacin
El proceso de propagacin de eventos es determinante
permite una especie de mapeo entre segmentos
est asociado con la demora y el procesamiento de las comunicaciones en cada
etapa.
Eleccin del segmento para el punto de activacin de la recuperacin de

informacin
determina el punto de vista expresado en un PARMETRO de QoS

Elegir eventos de los niveles inferiores (Segmento 3) brinda un punto de vista ms
centrado en la red
los eventos de los niveles superiores brindan puntos de vista ms relacionados con
los usuarios
para los mismos PARMETROS de QoS, el segmento de origen para los eventos
utilizados como puntos de activacin debera ser el mismo
En referenciacin, para todas las redes abarcadas por la prueba

usar el mismo tipo de UE y de PARMETROS de QoS
usar puntos de activacin desde el mismo segmento.
Al cambiar el segmento de origen para un determinado punto de activacin

se deberan esperar cambios en los PARMETROS de QoS
se requieren medidas de calibracin
para evaluar la influencia sobre los PARMETROS de QoS tanto cuantitativa como
cualitativamente.
19
[Contenido]

a connected world

KQI

usuario
las pruebas
20
Mediciones de telefona en la red (1)
Definicin de transaccin y tipos de

transaccin
La transaccin bsica para las pruebas de telefona es
equivalente a una sola llamada a la extensin de una
contraparte. Se supone que la contraparte a la que se llama
es en general una extensin de tipo red-fija para evitar
incertidumbres relacionadas con una segunda conexin
mvil.
El tipo puede ser Originada en la red mvil (MO) o
Terminada en la red mvil (MT).
Se supone que una vez establecida la conexin, para
efectuar otras mediciones no tiene importancia que lado
activ la llamada. Por lo tanto, el parmetro del flujo de
datos de audio no estar lgicamente relacionado con el
tipo de llamada.
21
Calidad de los contenidos

Los datos de la evaluacin de la calidad del
contenido se generan en el extremo receptor
Para el enlace descendente el almacenamiento
de los datos del contenido es directo
Para el contenido del enlace ascendente, los
resultados deben integrarse en algn punto del
tiempo
Para evaluar la calidad del contenido de una
muestra completa de transmisin de voz, son
posibles al menos los siguientes mtodos:
22
Calidad de los contenidos (cont.)

Evaluacin en tiempo real
modo streaming
el algoritmo de evaluacin de la calidad de voz
determina el tiempo real de MOS-LQO
Evaluacin Offline
el contenido es previamente grabado
para ser procesado ms tarde
El procesamiento de los datos debe

garantizar que slo se procesan los datos de
calidad de los contenidos vlidos
dentro de la ventana de tiempo "conexin activa
23
Verificacin de conexiones
bidireccionales utilizables
Slo las llamadas con una conexin de
datos bidireccional extremo a extremo
vlidas sern consideradas en la
evaluacin de la calidad del contenido
(llamadas vlidas).
Las llamadas no vlidas sern tratadas
como llamadas perdidas
con un indicador para este caso en particular
24
Tema candente:
POLQA - Rec. P.863 (1)
25
Nuevo estndar POLQA ganador de una

rigurosa competencia tcnica
Llevada a cabo por el UIT-T para definir la

actualizacin tecnolgica del PESQ/P.862
PESQ era el estndar de punta en la mayora de
los servicios de telecomunicaciones a nivel
mundial
POLQA - Perceptual Objective Listening Quality
Assessment (Evaluacin de la calidad de la
escucha percibida objetiva)- ofrece un nuevo nivel
de capacidad de referenciacin
para determinar la calidad de voz de los servicios de la
red mvil
26

Limitaciones de los estndares existentes que son ahora
abordados por el POLQA
CDMA
3G TD-SCDMA chino
POLQA tambin ofrecer un fuerte apoyo inmediato para

probar las nuevas redes de banda ancha 4G/LTE que
proveen servicios de voz de alta calidad (HD)
Las pruebas llevadas a cabo durante la evaluacin del
POLQA incluyeron tecnologas futuras, tales como
Comunicaciones unificadas
Redes de prxima generacin
4G/LTE
Voz HD, por ej., wide-band (banda amplia) y "super-wideband (banda super amplia)
Ver POLQA: The Next Generation in Voice Quality Testing

http://www.polqa.info
27
Evolucin de las Recomendaciones del UIT-T para las Pruebas de Calidad

de Voz (P.86x Referencia completa MOS-LQO)
28
Validacin del
comportamiento
La UIT ha validado el POLQA en:
47000 pares de archivos

64 experimentos
subjetivos
Idiomas incluidos
en la validacin del POLQA :
Ingls americano e
Ingls britnico
Chino (Mandarn),
Checo,
Holands,
Francs,
Alemn
Alemn suizo
Italiano,
Japons,
Sueco
29
POLQA Introduction - (c) OPTICOM GmbH 2010
29
[Contenido]

a connected world

KQI

usuario
las pruebas
30
Intervalos de confianza para diferentes tamaos de

muestras (1)
Efectos de los diferentes tamaos de muestras en

una campaa de medicin
basados en las frmulas de Pearson-Clopper para calcular

los intervalos de confianza
vlidos de forma genrica e incluso para muestras de
pequeo tamao
para muestras de cantidades mayores, se puede aplicar el
clculo de los intervalos de confianza en base a la
aproximacin de una distribucin normal
se muestran tres grficos diferentes: Los tamaos de las
muestras dentro del rango de:
entre 100 y 1 100 muestras;
entre 1 100 y 2 100 muestras; y
entre 1 000 y 11 000 muestras.
31
30

Width of confidence interval
for fixed sample(2)
size (Pearson-Clopper)
muestras
10
15
20
100 Samples
300 Samples
500 Samples
700 Samples
900 Samples
1100 Samples
x
+
o
x
+
0
x
x xx
xxx x
xx xxx xxx xxx xxx xx
x xx
xx
xx
+++
+++
+++
+
+
+
+
x
+
+
+
+
+
+
x
+
+
x
+ + + o o o o o oo o o o oo o o o o o + + + + + x x x
+
x
+
+ + o o o o o ox ox x x x x x x x x x x x x x x x x x ox ox o o o o o + + + x
x
x x x x oo + x
x +++
x x x + + + ++ + ++ +++ ++ + ++ + + + + +
o ox x x +
o
x x x oo+ + x
++ ++
x +++ ++ +
x + + o ox x +
x xo o +
++ +
o
+
x
x xo+ x
++
ox +
x ++
x+
++
xo
o
+
x
x+
+
+
o
o
x+
x
+
+
x
xx
Width of confidence interval in percent
25
o
x
+
o
x
+
20
40
60
80
100
Estimated rate in percent
x
+
o
x
+
32
xx xxx xxx x
xx x
xx
xx
xx
x
+ +++ +++ +
+
x
x
+
+
+
+
x
+
+
x
+
+ xx
x + + o o o o oo ooo oo o o o o + + x
x + o
x x x x x x x x x o o o ++ x x
x ++o o o x x x x x x +
+
+
x + o x x ++ + +++ +++ ++ x x x x o o + x
+
+
o
+
x
+
+
x
x o x +
++ xo o ++ x
++ x x o x
x ++o x x ++ +
+ + xo+ x
x + o ox x + +
+
+ x ox +
x+o x +
+ o+ x
+ xo+
ox+
x+
+ xo x
x+
o
+
+x+
+x
o
1100
Samples
xo +
+ ox x
x
++
x 1300 Samples
++
o
ox
xx
1500
Samples
x
+
+
+
+
+
ox
o 1700 Samples
ox
+
+x
x 1900 Samples
x
+
+
ox
ox
2100 Samples
+
+
+

muestras (3)
Width of confidence interval for fixed sample size (Pearson-Clopper)
xx
+
o
+
x
+
o
x
+
20
40
60
80
100
33
1000 Samples
3000 Samples
5000 Samples
7000 Samples
9000 Samples
11000 Samples
o
x
+
o
x
+
xxx x
xx xxx xxx xxx xxx xx
x xx
xx
xx
+++++
+++
++
+++ ++
+
+
xx
+
+
+ +++
x
++ +
+
x
000
00
00
+
0
0
00
+
00
x +++ 0 0 0 0 0 0 x x x x x x x x x x x 0 0 0 0 0 0 +++ x x
x
x x x x x x x0 00 + x
x +
x x ++++
0 0x x x x x +
++++ +++ ++
+
+ + ++ + + x x x 0 0 0 + + x
x + + 0 0 0x 0x x +
x x x0 + x
+ +++
x + + + + + ++
x + + 0 0x +
x+
+ ++
x 0x 0 +
x+
x+
x 0x + x
0x 0
++
x+
+
0
+
+0
x
x0
++
+
+
0
x
x
+
+
x
xx
10

muestras
(4)
Width of confidence
interval for fixed sample
size (Pearson-Clopper)
x
x xx
0xx
+
0
0xx
+
20
40
60
80
100
34
Informe de los resultados (1)
Qu tipo de informacin se debe dar al
lector cuando se genera un informe de la

prueba?
Cuando se utilizan valores cuantiles, se debera
tener en mente que el cmputo de cuantiles
separa un bajo porcentaje de datos atpicos de
los datos restantes. Esto significa:
Si los valores ms bajos representan un resultado
mejor desde la perspectiva del cliente, un pequeo
porcentaje que contenga los valores ms altos podra
ser separado calculando un cuantil al 95 % o un
cuantil al 90 %. Este es el caso por ejemplo para los
valores de duracin.
35
Informe de los resultados (2)

Si los valores ms altos representan un mejor
resultado desde la perspectiva del cliente, un
porcentaje pequeo que contenga los valores
ms bajos podra ser separado calculando un
cuantil al 5% o un cuantil al 10%. Este es el caso
por ejemplo para valores de produccin.
Con relacin a la calidad del contenido, el
clculo del cuantil apropiado se orienta en la
escala de los resultados de las pruebas
determinadas. En la prctica, algunos algoritmos
definen un valor de 0 en una escala de 0 a 5
como la mejor calidad, mientras que otros
definen el valor 5 como la mejor calidad posible.
36
[Contenido]

a connected world

KQI

usuario
las pruebas
37
KPIs (Indicadores Claves de Desempeo)

basados en los Contadores de las Redes
Especficos de un distribuidor = KPIs internos de la
red
diferentes estrategias
cmo contar los eventos de la red
qu eventos estn incluidos en qu contador(es)
Requieren conocimiento de un sistema especfico

especialistas con conocimiento detallado del sistema
probar los contadores
la documentacin puede ser incorrecta
el enfoque con respecto al contador cambia con la
actualizacin del sistema
Los operadores mviles luchan con esto

la mayora de los operadores est en un entorno de mltiples
distribuidores
los contadores de diferentes distribuidores no se pueden
comparar en forma directa
requiere una estrategia y una atencin continua
38
KPIs desde la perspectiva de los usuarios =

KQIs
Indicadores Claves de Calidad(KQIs) =

indicadores externos
se pueden evaluar en el campo
Para monitoreo, regulacin, etc..

se puede seleccionar una subserie
aplicable a todos los distribuidores y
operadores
no limitada al servicio mvil, sino buena
tambin para la banda ancha
39
KPIs versus KQIs

A veces se los confunde
KPIs = indicadores internos
son parte del desempeo de la red
se basan en los contadores de las redes
son esenciales para la operacin, el mantenimiento, el modelo
comercial
se pueden informar, auditar, etc.
sin embargo, no tienen ningn sentido cuando estn fuera de
contexto
KQIs = indicadores externos

sirven de base para evaluar la QoS segn la percibe el usuario
independientes de los distribuidores
Independientes de los operadores
ideales para comparar diferentes operadores sobre una base
estadstica
no pueden ser informados desde el propio sistema
requieren algn tipo de prueba en el campo, conduciendo,
caminando, etc..
40
Alguna pregunta?
Contacto:
Consultant@joachimpomy.de
41

Contadores Kpis, Qos

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Contadores Kpis, Qos

Hochgeladen von

Copyright:

Verfügbare Formate

Taller de la UIT sobre Supervisin y

Marco de la QoS mvil: Contadores,

Version : 11 December 2008

ITRs: Setting the stage for

Marco de la QoS Mvil: Contadores, KPI,

Nuevo trabajo del UIT-T sobre QoS mvil

Buenos Aires - Argentina - 24 - 25 de julio de 2014

Trabajo del UIT-T sobre la QoS mvil (1)

Nuevo trabajo del UIT-T sobre QoS mvil

Borrador de un nuevo Documento Complementario de la serie

Otras Recomendaciones del UIT-T sobre QoS abarcan:

Buenos Aires - Argentina - 24 - 25 de julio de 2014

ITRs: Setting the stage for

Marco de la QoS Mvil: Contadores, KPI,

Nuevo trabajo del UIT-T sobre QoS mvil

Buenos Aires - Argentina - 24 - 25 de julio de 2014

Segmentos de la QoS mvil

El segundo segmento es el Acceso a la Red

El tercer segmento contiene otros aspectos de la QoS

En el cuarto segmento se ubican diferentes servicios

Buenos Aires - Argentina - 24 - 25 de julio de 2014

Aspectos de la QoS del Servicio Mvil

Buenos Aires - Argentina - 24 - 25 de julio de 2014

La QoS mvil en segmentos (1)

Buenos Aires - Argentina - 24 - 25 de julio de 2014

La QoS mvil en segmentos (2)

Buenos Aires - Argentina - 24 - 25 de julio de 2014

La QoS mvil en segmentos(3)

Buenos Aires - Argentina - 24 - 25 de julio de 2014

La QoS mvil en segmentos (4)

Buenos Aires - Argentina - 24 - 25 de julio de 2014

La QoS mvil en segmentos (5)

Buenos Aires - Argentina - 24 - 25 de julio de 2014

La QoS mvil en segmentos (6)

Segmento Video Telefona 3

Segmento Video Telefona 4

Buenos Aires - Argentina - 24 - 25 de julio de 2014

La QoS mvil en segmentos(7)

Segmento Streaming de Video 3

Buenos Aires - Argentina - 24 25 de julio de 2014

La QoS mvil en segmentos (8)

Segmento de navegacin por Internet

Segmento de navegacin por Internet

La QoS mvil en segmentos (9)

Este enfoque nos hara terminar con >

Buenos Aires - Argentina - 24 - 25 de julio de 2014

ITRs: Setting the stage for

Marco de la QoS Mvil: Contadores, KPI,

Nuevo trabajo del UIT-T sobre QoS mvil

Buenos Aires - Argentina - 24 - 25 de julio de 2014

Escenarios de prueba necesarios para

Buenos Aires - Argentina - 24 - 25 de julio de 2014

Consideraciones sobre los puntos de

Tambin, se puede suponer que cada uno de tales

dispositivos proporcionar informacin de diferentes

La accin es en general disparada por

Consideraciones sobre los puntos de

Eleccin del segmento para el punto de activacin de la recuperacin de

determina el punto de vista expresado en un PARMETRO de QoS

En referenciacin, para todas las redes abarcadas por la prueba

Al cambiar el segmento de origen para un determinado punto de activacin

Buenos Aires - Argentina - 24 - 25 de julio de 2014

ITRs: Setting the stage for