Recomendacin UIT-R BT.

500-12
(09/2009)

Metodologa para la evaluacin subjetiva de la calidad de las imgenes de televisin

Serie BT Servicio de radiodifusin (televisin)

ii

Rec. UIT-R BT.500-1

Prlogo
El Sector de Radiocomunicaciones tiene como cometido garantizar la utilizacin racional, equitativa, eficaz y econmica del espectro de frecuencias radioelctricas por todos los servicios de radiocomunicaciones, incluidos los servicios por satlite, y realizar, sin limitacin de gamas de frecuencias, estudios que sirvan de base para la adopcin de las Recomendaciones UIT-R. Las Conferencias Mundiales y Regionales de Radiocomunicaciones y las Asambleas de Radiocomunicaciones, con la colaboracin de las Comisiones de Estudio, cumplen las funciones reglamentarias y polticas del Sector de Radiocomunicaciones.

Poltica sobre Derechos de Propiedad Intelectual (IPR)

La poltica del UIT-R sobre Derechos de Propiedad Intelectual se describe en la Poltica Comn de Patentes UIT-T/UIT-R/ISO/CEI a la que se hace referencia en el Anexo 1 a la Resolucin UIT-R 1. Los formularios que deben utilizarse en la declaracin sobre patentes y utilizacin de patentes por los titulares de las mismas figuran en la direccin web http://www.itu.int/ITU-R/go/patents/es, donde tambin aparecen las Directrices para la implementacin de la Poltica Comn de Patentes UIT-T/UIT-R/ISO/CEI y la base de datos sobre informacin de patentes del UIT-R sobre este asunto.

Series de las Recomendaciones UIT-R

(Tambin disponible en lnea en

http://www.itu.int/publ/R-REC/es)
Ttulo

Series BO BR BS BT F M P RA RS S SA SF SM SNG TF V

Distribucin por satlite Registro para produccin, archivo y reproduccin; pelculas en televisin Servicio de radiodifusin sonora Servicio de radiodifusin (televisin) Servicio fijo Servicios mviles, de radiodeterminacin, de aficionados y otros servicios por satlite conexos Propagacin de las ondas radioelctricas Radio astronoma Sistemas de deteccin a distancia Servicio fijo por satlite Aplicaciones espaciales y meteorologa Comparticin de frecuencias y coordinacin entre los sistemas del servicio fijo por satlite y del servicio fijo Gestin del espectro Periodismo electrnico por satlite Emisiones de frecuencias patrn y seales horarias Vocabulario y cuestiones afines

Nota: Esta Recomendacin UIT-R fue aprobada en ingls conforme al procedimiento detallado en la Resolucin UIT-R 1. Publicacin electrnica Ginebra, 2009 UIT 2009
Reservados todos los derechos. Ninguna parte de esta publicacin puede reproducirse por ningn procedimiento sin previa autorizacin escrita por parte de la UIT.

Rec. UIT-R BT.500-1

RECOMENDACIN UIT-R BT.500-12 Metodologa para la evaluacin subjetiva de la calidad de las imgenes de televisin
(Cuestin UIT-R 81/6) (1974-1978-1982-1986-1990-1992-1994-1995-1998-1998-2000-2002-2009)

Cometido En la presente Recomendacin se describen metodologas para la evaluacin de la calidad de la imagen, incluidos mtodos generales de prueba, escalas de apreciacin y condiciones de observacin. Se recomiendan en ella el mtodo de escala de degradacin con doble estmulo (DSIS) y el mtodo de escala de calidad continua de doble estmulo (DSCQS), as como otros mtodos de evaluacin, entre ellos los mtodos de estmulo nico, los mtodos de comparacin de estmulos, los mtodos de evaluacin de calidad continua de estmulo nico (SSCQE) y los mtodos de doble estmulo simultneo para evaluacin continua (SDSCE).

La Asamblea de Radiocomunicaciones de la UIT, considerando a) que se poseen numerosos datos acerca de los mtodos empleados en diversos laboratorios para evaluar la calidad de las imgenes; b) que el anlisis de estos mtodos demuestra que existe una gran concordancia entre los diferentes laboratorios acerca de diversos aspectos de estas pruebas; c) que la adopcin de mtodos normalizados reviste importancia para el intercambio de informacin entre laboratorios; d) que en las evaluaciones, rutinarias o no, de la calidad y/o degradacin de la imagen, realizadas por ciertos tcnicos supervisores durante las tareas especiales o de rutina, utilizando escalas de cinco notas, pueden utilizarse tambin ciertos aspectos de los mtodos recomendados para la evaluacin en laboratorio; e) que la introduccin de nuevos mtodos de procesamiento de seales de televisin (como la codificacin digital y la reduccin de la velocidad binaria), nuevos tipos de seales de televisin que utilizan componentes multiplexados en el tiempo y, posiblemente, nuevos servicios (como la televisin de definicin mejorada (TVDM) y la TVAD) podran requerir cambios de los mtodos de evaluacin subjetiva; f) que la introduccin de dicho procesamiento, seales y servicios aumentar la probabilidad de que la calidad del funcionamiento de cada seccin en la cadena de la seal venga condicionada por procesos realizados en partes anteriores de la cadena, recomienda 1 que los mtodos generales de prueba, las escalas de apreciacin y las condiciones de observacin para la evaluacin de la calidad de las imgenes descritas en los Anexos se utilicen para las experiencias de laboratorio y, siempre que sea posible, para las evaluaciones prcticas;

Rec. UIT-R BT.500-1

2 que, en un futuro prximo y a pesar de la existencia de otros mtodos y del desarrollo de nuevos mtodos, deberan utilizarse, cuando fuera posible, los que se describen en los 4 y 5 del Anexo 1 a esta Recomendacin; 3 que, dada la importancia que tiene establecer la base de las evaluaciones subjetivas, todos los informes de pruebas deberan suministrar las descripciones ms completas posibles de las configuraciones y materiales de prueba, de los observadores y de los mtodos; 4 que, para facilitar el intercambio de informacin entre los distintos laboratorios, los datos recopilados se procesen de acuerdo con las tcnicas estadsticas indicadas en el Anexo 2 a la presente Recomendacin. NOTA 1 En el Anexo 1 figura informacin relativa a los mtodos de evaluacin subjetiva para determinar la calidad de funcionamiento de los sistemas de televisin. NOTA 2 El Anexo 2 contiene una descripcin de las tcnicas estadsticas empleadas en el procesamiento de los datos recopilados durante las pruebas subjetivas.

ANEXO 1 Descripcin de los mtodos de evaluacin

1 Introduccin

Se utilizan mtodos de evaluacin subjetiva para determinar la calidad de funcionamiento de los sistemas de televisin a travs de mediciones que anticipan de manera ms directa las reacciones de quienes podran ver los sistemas probados. En este aspecto, se comprende que no sera posible caracterizar totalmente la calidad de funcionamiento del sistema por medios objetivos; en consecuencia, es necesario complementar las mediciones objetivas con mediciones subjetivas. En general, existen dos clases de evaluaciones subjetivas. En primer lugar, hay evaluaciones que determinan la calidad de funcionamiento de sistemas bajo condiciones ptimas, las que tpicamente se denominan evaluaciones de calidad. En segundo lugar, hay evaluaciones que determinan la capacidad de los sistemas de mantener la calidad en condiciones no ptimas que se relacionan con la transmisin o emisin. stas se denominan tpicamente evaluaciones de degradacin. Para efectuar evaluaciones subjetivas adecuadas, en primer lugar es necesario seleccionar entre las distintas opciones disponibles aqulla que se adapte mejor a los objetivos y circunstancias del problema de evaluacin inmediato. Para ayudar en esta tarea, el 2 presenta las caractersticas generales y en el 3 aparece informacin sobre los problemas de evaluacin considerados por cada mtodo. A continuacin, se detalla en los 4 y 5 los dos mtodos principalmente recomendados. Por ltimo, en el 6 figura informacin general sobre mtodos alternativos que estn siendo sometidos a estudio. El objeto del presente Anexo se limita a una descripcin detallada de los mtodos de evaluacin. No obstante, la eleccin del mtodo ms adecuado depende de los objetivos del servicio que debe prestar el sistema sometido a prueba. En consecuencia, los procedimientos de evaluacin completa de las aplicaciones especficas figuran en otras Recomendaciones UIT-R.

Rec. UIT-R BT.500-1 2 Caractersticas comunes

Se indican las condiciones generales de observacin para las evaluaciones subjetivas. Las condiciones especficas de observacin para evaluaciones subjetivas de sistemas concretos figuran en las Recomendaciones conexas. 2.1 Condiciones generales de observacin

Se describen distintos entornos con diferentes condiciones de observacin. El entorno de observacin de laboratorio tiene por objeto proporcionar condiciones crticas para comprobar el funcionamiento de los sistemas. En el 2.1.1 se indican las condiciones generales de observacin para efectuar evaluaciones subjetivas en el entorno del laboratorio. El entorno de observacin domstico tiene por objeto proporcionar los medios para evaluar la calidad en el lado de usuario de toda la cadena de transmisin de televisin. Las condiciones generales de observacin sealadas en el 2.1.2 reproducen un entorno prximo al domstico. Estos parmetros se han seleccionado para definir un entorno ligeramente ms crtico que las situaciones normales de observacin en los hogares. Se discuten algunos aspectos relativos a la resolucin y el contraste de los monitores. 2.1.1 2.1.1.1 Entorno de laboratorio Condiciones generales de observacin para efectuar evaluaciones subjetivas en el entorno de laboratorio

Las condiciones de observacin de los evaluadores deben organizarse como sigue: a) Relacin entre la luminancia de pantalla inactiva y el valor de cresta de la luminancia: 0,02 b) Relacin entre la luminancia de la pantalla, cuando slo se muestra el nivel del negro en una sala completamente oscura,y la correspondiente al blanco ms intenso: 0,01 c) Brillo y contraste de la imagen: Establecido va PLUGE (vanse las Recomendaciones UIT-R BT.814 y UIT-R BT.815) d) ngulo mximo de observacin con respecto al normal (este valor se aplica a las pantallas de tubo de rayos catdicos (TRC), para otro tipo de pantallas se estn estudiando los valores adecuados): 30 e) Relacin entre la luminancia de fondo detrs del receptor de imgenes y el valor de cresta de luminancia de la imagen: 0,15 f) Cromaticidad del fondo: D65 g) Otra iluminacin de la sala: Dbil 2.1.2 2.1.2.1 a) Entorno domstico Condiciones generales de observacin para efectuar evaluaciones subjetivas en el entorno domstico Relacin entre la luminancia de pantalla inactiva y el valor de cresta de luminancia: 0,02 (vase el 2.1.4)

4 b)

Rec. UIT-R BT.500-1 Brillo y contraste de la imagen: Establecido va PLUGE (vanse las Recomendaciones UIT-R BT.818 y UIT-R BT.815)

c)

d)

ngulo mximo de observacin con respecto al normal (este nmero se aplica a las pantallas de TRC, para otro tipo de pantallas se estn estudiando los valores adecuados): Tamao de pantalla para un formato de imagen 4/3:

e)

Tamao de pantalla para un formato de imagen 16/9:

f) g) h) i)

Procesamiento en el monitor: Resolucin del monitor: Valor de cresta de la luminancia: Luminancia del medio ambiente en la pantalla (Luz incidente del entorno proyectada sobre la pantalla; debe medirse perpendicularmente a la misma):

30 Este tamao de pantalla debe satisfacer las reglas de la distancia de observacin preferida (PVD, preferred viewing distance) Este tamao de pantalla debe satisfacer las reglas de la PVD Sin procesamiento digital Vase el 2.1.3 200 cd/m2

200 lux

La distancia de observacin y los tamaos de pantalla deben elegirse de manera que se satisfaga la PVD. En el Cuadro y el Grfico siguientes aparecen los valores de la PVD (en funcin de los tamaos de pantalla). Las cifras son vlidas tanto para televisin de definicin convencional (TVDC) como para la TVAD, pues las diferencias encontradas son muy pequeas.
Diagonal de la pantalla (pulgadas) Formato 4/3 12 15 20 29 60 > 100 Formato 16/9 15 18 24 36 73 > 120 Altura de la pantalla (H ) (m) 0,18 0,23 0,30 0,45 0,91 > 1,53

PVD (H) 9 8 7 6 5 3-4

Rec. UIT-R BT.500-1

PVD para imgenes en movimiento 15 14 PVD (H) Relacin entre la distancia de observacin (m) y la altura de imagen (m) 13 12 11 10 9 8 7 6 5 4 3 2 1 0 0 0,5 1 Altura de la pantalla (m) 0500-00 1,5 2

Este Cuadro y este Grfico ofrecen informacin sobre la PVD y los tamaos de pantalla correspondientes que deben adoptarse en las Recomendaciones para aplicaciones especficas. 2.1.3 Resolucin del monitor

La resolucin de los monitores profesionales, equipados con TRC profesionales, normalmente satisface las normas requeridas para realizar evaluaciones subjetivas en su gama de funcionamiento de luminancia. No todos los monitores pueden alcanzar un valor de cresta de la luminancia de 200 cd/m2. Para verificar y constatar las resoluciones mxima y mnima (en el centro y en las esquinas de la pantalla) puede sugerirse el empleo de un valor de luminancia determinado. Si para efectuar las evaluaciones subjetivas se utilizan aparatos de televisin domsticos con TRC convencionales la resolucin podra ser inadecuada, dependiendo del valor de la luminancia. En este caso se recomienda encarecidamente verificar y constatar las resoluciones mxima y mnima (en el centro y en las esquinas de la pantalla) para el valor de luminancia utilizado. Actualmente, la mayora de los sistemas prcticos disponibles para efectuar evaluaciones subjetivas, a fin de comprobar la resolucin de los monitores o de los aparatos de televisin domsticos, utilizan un diagrama de prueba de barrido generado electrnicamente. Un anlisis visual permite verificar la resolucin. Se considera que el umbral visual est comprendido entre 12 y 20 dB. El inconveniente principal de este sistema es el repliegue del espectro creado por la mscara que hace difcil la evaluacin visual pero, por otro lado, la presencia de repliegue del espectro indica que la seal de videofrecuencia rebasa los lmites indicados por la mscara, con muestras de la seal de vdeo. Es conveniente realizar ms estudios sobre pruebas para la definicin de los TRC. 2.1.4 Contraste del monitor

El contraste puede venir fuertemente influenciado por la luminancia del entorno.

Rec. UIT-R BT.500-1

Los TRC de los monitores profesionales raramente hacen uso de tecnologas para mejorar su contraste en un entorno de alta luminancia, por lo tanto es posible que no cumplan la norma de contraste necesaria si se utilizan en entornos de alta luminancia. Los TRC domsticos emplean tecnologas para conseguir un mejor contraste en un entorno de alta luminancia. Para calcular el contraste de un TRC determinado, es necesario conocer el coeficiente de reflexin de pantalla, K, de dicho tubo. En el mejor caso, el coeficiente de reflexin de pantalla es aproximadamente K = 6%. Con un entorno difuso de luminancia I de 200 lux y un valor de K = 6%, se ha calculado una reflexin de luminancia de 3,82 cd/m2 en las zonas de pantalla inactivas mediante la siguiente frmula:

L reflejada =

I K

Con los valores indicados, la luminancia reflejada (cd/m2) supone casi el 2% de la luminancia incidente (lux). Se considera que el TRC no presenta reflexiones especulares en el vidrio frontal, cuya influencia exacta sobre el contraste es difcil de cuantificar porque depende en gran medida de las condiciones de iluminacin. En los 2.1.1 y 2.1.2 se expresa la relacin de contraste, RC, de la forma siguiente: RC = Lmn / Lmx siendo: Lmn : Lmx : luminancia de zonas inactivas en condiciones de iluminacin ambiente (cd/m2) (con los valores indicados: Lmn = Lzonas inactivas + Lreflejada = 3,82 cd/m2) luminancia de zonas blancas en condiciones de iluminacin ambiente (cd/m2) (con los valores indicados: Lmx = Lblanco + Lreflejado = 200 + 3,82 cd/m2).

Con esos valores se determina una RC = 0,018, muy prxima al valor de 0,02 indicado en a) de los 2.1.1.1 y 2.1.2.1.
2.2 Seales fuente

La seal fuente proporciona directamente la imagen de referencia, y la entrada para el sistema sometido a prueba. Deber ser de calidad ptima para la norma de televisin utilizada. La ausencia de defectos en la parte de referencia del par presentado es esencial para obtener resultados estables. Las imgenes y secuencias almacenadas digitalmente son las seales fuente ms reproducibles, y son por consiguiente las preferidas. Pueden intercambiarse entre laboratorios, para dar mayor significado a las comparaciones de sistemas. Se pueden utilizar formatos de cintas de computador o vdeo. A corto plazo, los analizadores de diapositivas de 35 mm son la fuente preferida de imgenes fijas, ya que su resolucin es adecuada para la evaluacin de televisin convencional. La colorimetra y las dems caractersticas de las pelculas pueden dar una apariencia subjetiva distinta de las imgenes de cmara de estudio. Si esto afecta a los resultados, deben utilizarse tambin fuentes de estudio directas, aunque a menudo sean mucho menos convenientes. Por regla general, los analizadores de diapositivas deberan ajustarse, imagen por imagen, para obtener la mejor calidad subjetiva posible de imagen, ya que esa situacin es la que se dara en la prctica.

Rec. UIT-R BT.500-1

Las evaluaciones de la capacidad de procesamiento hacia el lado emisin se hacen a menudo con incrustacin cromtica. En las filmaciones en estudio, la incrustacin cromtica es muy sensible a la iluminacin. Las evaluaciones deberan, pues, usar preferiblemente un par de diapositivas de incrustacin cromtica especiales, que dieran siempre resultados de alta calidad. En caso necesario, puede introducirse movimiento en la diapositiva de primer plano. Frecuentemente ser necesario tener en cuenta la forma en que pueden afectar a la calidad de funcionamiento del sistema sometido a prueba los efectos de cualquier procesamiento realizado en una etapa anterior de la seal. En consecuencia, es conveniente que siempre que se lleven a cabo pruebas en secciones de la cadena que puedan dar lugar a distorsiones de procesamiento, aunque no sean visibles, la seal resultante debe ser grabada de forma transparente y a continuacin debe dejarse disponible para pruebas posteriores, cuando se desea determinar cmo pueden acumularse a lo largo de la cadena las degradaciones debidas a un procesamiento en cascada. Dichas grabaciones deben almacenarse en la biblioteca del material de prueba, para futura utilizacin si es preciso, y deben incluir una indicacin detallada de los precedentes de la seal grabada.
2.3 Seleccin del material de prueba

Se han tomado una serie de planteamientos para establecer las clases de material de prueba requeridos en las evaluaciones de imgenes de televisin. Sin embargo, en la prctica se deben emplear determinadas clases de materiales de prueba para abordar problemas de evaluacin especficos. En el Cuadro 1 se describen los problemas de evaluacin y de materiales de prueba tpicos utilizados para abordar esos problemas. CUADRO 1
Seleccin del material de prueba*
Problema de evaluacin Calidad de funcionamiento global con material de uso habitual Capacidad, aplicaciones crticas (por ejemplo, contribucin, postprocesamiento, etc.) Calidad de funcionamiento de sistemas adaptables Identificar puntos dbiles y posibles mejoras Identificar factores en los que se aprecia variacin en los sistemas Conversin entre diferentes normas * Material utilizado General, crtico pero no en exceso Diverso, incluido el material muy crtico para la aplicacin probada Material muy crtico para el esquema adaptable utilizado Crtico, material con propiedades especficas Amplia gama de material muy abundante Crtico por diferencias (por ejemplo, frecuencia de trama)

Se sobreentiende que todos los materiales de prueba deberan poder formar parte de los programas de televisin. En los Apndices 1 y 2 al Anexo 1 se pueden obtener mayores directrices para la seleccin de materiales de prueba.

Ciertos parmetros pueden dar lugar a un orden similar de degradaciones para la mayora de las imgenes o secuencias. En esos casos, los resultados obtenidos con un nmero muy reducido de imgenes o secuencias (por ejemplo dos) pueden dar sin embargo una evaluacin significativa. Sin embargo, los nuevos sistemas a menudo tienen un impacto que depende mucho del contenido de la escena o de la secuencia. En esos casos, habr una distribucin estadstica de la probabilidad de degradacin y del contenido de la imagen o de la secuencia, para la totalidad de las horas de programa. Si, como es normal, no se conoce la forma de esa distribucin, la seleccin de material de prueba y la interpretacin de los resultados deben hacerse con sumo cuidado. En general, es esencial incluir material crtico, porque se puede tener esto en cuenta cuando se interpretan los resultados, pero no es posible extrapolar a partir de material no crtico. En los casos en que el contenido de la escena o de la secuencia afecte a los resultados, deber elegirse material

Rec. UIT-R BT.500-1

que sea crtico pero no indebidamente crtico para el sistema sometido a prueba. La expresin no indebidamente crtico implica que las imgenes puedan formar parte, presumiblemente, de las horas normales de programacin. En esos casos, deberan utilizarse por lo menos cuatro elementos, de los que la mitad sean absolutamente crticos, y la mitad moderadamente crticos. Varias organizaciones han desarrollado imgenes fijas y secuencias de prueba. En el futuro se espera tratarlas en el marco del UIT-R. En la Recomendacin relativa a la evaluacin de las aplicaciones se propone material de imgenes especfico. En los Apndices 1 y 2 al Anexo 1 se presentan otras ideas sobre la seleccin de materiales de prueba.
2.4 Gama de condiciones y anclaje

Dado que la mayora de los mtodos de evaluacin son sensibles a las variaciones de la gama y de la distribucin de las condiciones observadas, las sesiones de evaluacin deberan incluir las gamas completas de los factores sometidos a variacin. Sin embargo, puede hacerse una aproximacin con una gama ms restringida, presentando tambin ciertas condiciones que se situaran en los extremos de las escalas. Podran representarse esas condiciones como ejemplo, e identificarlas como las ms extremas (anclaje directo), o distribuirlas en la sesin y no identificarlas como ms extremas (anclaje indirecto).
2.5 Observadores

En las pruebas deben participar al menos 15 observadores. No deben ser expertos, en el sentido de que no estn directamente familiarizados con la calidad de imagen de televisin en su trabajo normal, ni tampoco deben ser evaluadores experimentados (vase la Nota 1). Antes de una sesin, debe examinarse a los observadores para determinar su agudeza visual normal (o corregida) mediante los grficos de Snellen o Landolt y su visin normal de los colores, utilizando grficos elegidos especialmente (por ejemplo, los de Ishihara). El nmero de asesores necesarios depende de la sensibilidad y la fiabilidad del procedimiento de prueba adoptado y del tamao previsto del efecto que se busca.
NOTA 1 Las conclusiones preliminares sugieren que, utilizando tecnologas de presentacin y de calidad de transmisin ms elevadas, los observadores no experimentados podran dar lugar a resultados ms crticos.

Segn un estudio de la coherencia entre los resultados de los diferentes laboratorios de prueba, se pueden producir diferencias sistemticas entre los resultados obtenidos por los distintos laboratorios. Tales diferencias sern particularmente importantes si se pretende agregar los resultados de diversos laboratorios para mejorar la sensibilidad y la fiabilidad de un experimento. La explicacin de las diferencias entre los diversos laboratorios podra hallarse quizs en los distintos niveles de destreza de los diferentes grupos de evaluadores especializados. Es preciso seguir investigando para saber hasta qu punto es cierta esta hiptesis y, si se demuestra que lo es, cuantificar las variaciones imputables a ese factor. Mientras tanto, los experimentadores debern incluir el mayor nmero de detalles posible sobre las caractersticas de sus equipos de evaluacin, para facilitar la investigacin a propsito del referido factor. Entre los datos que podran proporcionarse figuran los de categora laboral (por ejemplo, empleado de organizacin radiodifusora, estudiante de universidad, empleado de oficina, ...), sexo y edad.
2.6 Instrucciones para la evaluacin

Debe familiarizarse detenidamente a los evaluadores con el mtodo de evaluacin, el factor de calidad, los tipos de degradaciones que probablemente se produzcan, la escala de apreciaciones, la secuencia y la temporizacin. Las secuencias de entrenamiento que demuestran la gama y el tipo de

Rec. UIT-R BT.500-1

degradaciones que van a evaluarse deben emplearse con imgenes ilustrativas distintas a las utilizadas en las pruebas, pero de sensibilidad comparable. En el caso de evaluaciones de la calidad, puede definirse sta como un conjunto de atributos perceptuales especficos.
2.7 Sesin de evaluacin

Una sesin debe durar al menos media hora. Al principio de la primera sesin, deben realizarse unas cinco presentaciones fingidas para estabilizar la opinin de los observadores. Los datos obtenidos de estas presentaciones no deben tenerse en cuenta en los resultados de la prueba. Si se necesitan varias sesiones, slo es preciso realizar tres presentaciones fingidas al principio de la siguiente sesin. Deber utilizarse un orden aleatorio para las presentaciones (derivado, por ejemplo, de cuadrados grecolatinos); pero el orden de las condiciones de prueba debera disponerse de manera que los efectos sobre las evaluaciones del cansancio o de la adaptacin se equilibren de una sesin a otra. Pueden repetirse algunas de las presentaciones en varias sesiones para comprobar su coherencia.
FIGURA 1 Estructura de presentacin de la sesin de prueba

Secuencia(s) de entrenamiento

Secuencia(s) de estabilizacin (los resultados de estas pruebas no se procesan)

Parte principal de la sesin de prueba

Interrupcin (para responder a las preguntas de los observadores) 0500-01

2.8

Presentacin de los resultados

Como varan con la gama, es inadecuado interpretar las apreciaciones a partir de la mayora de los mtodos de evaluacin en trminos absolutos (por ejemplo, la calidad de una imagen o secuencia de imgenes). Para cada parmetro de prueba debe darse la media y el intervalo de confianza del 95% de la distribucin estadstica de los grados de evaluacin. Si lo que se evala es el cambio de degradacin con un valor de parmetro variable, deben utilizarse tcnicas de ajuste de curvas. El ajuste de curvas logstico y el eje logartmico permitirn hacer una representacin en lnea recta, que es la forma de presentacin preferida. En el Anexo 2 a la presente Recomendacin aparece ms informacin sobre procesamiento de datos. Los resultados deben darse junto con la informacin siguiente: detalles de la configuracin del experimento, detalles de los materiales de evaluacin, tipo de la imagen fuente y de los monitores (vase la Nota 1), nmero y tipo de evaluadores (vase la Nota 2), sistemas de referencias utilizados,

10

Rec. UIT-R BT.500-1

nota media global del experimento, notas media original y ajustada, e intervalo de confianza del 95% si se ha eliminado uno o ms observadores de acuerdo con un procedimiento.

NOTA 1 Puesto que existe cierta evidencia en el sentido de que el tamao de la pantalla puede influir en los resultados de los evaluadores subjetivos, se pide a los experimentadores que notifiquen de manera explcita las dimensiones de la pantalla, as como la marca y el nmero de modelo de los dispositivos de presentacin visual utilizados en cualquier experimento. NOTA 2 Se ha comprobado que las variaciones en el grado de destreza de los equipos de observadores (incluso entre equipos de no especializados pueden influir en los resultados de las evaluaciones de observacin subjetivas. Para facilitar un ulterior estudio de este factor, se pide a los experimentadores que comuniquen el mayor nmero posible de las caractersticas de sus equipos de observacin. Podran ser factores de inters los siguientes: la composicin, en cuanto a edad y sexo, del equipo o bien su nivel educativo o categora laboral.

Seleccin del mtodo de prueba

En la evaluacin de las imgenes de televisin se ha utilizado una amplia variedad de mtodos de prueba bsicos. Sin embargo, en la prctica se deben emplear mtodos especficos para abordar determinados problemas de evaluacin. En el Cuadro 2 se describen los problemas de evaluacin caractersticos y los mtodos utilizados para abordar dichos problemas. CUADRO 2
Seleccin del mtodo de prueba
Problema de evaluacin Medir la calidad de los sistemas con respecto a una referencia Medir la robustez de los sistemas (es decir, caractersticas de fallo) Cuantificar la calidad de los sistemas (cuando no se dispone de referencias) Comparar la calidad de sistemas alternativos (cuando no se dispone de referencias) Identificar factores en los que se observa que los sistemas difieren y medir su influencia perceptual Establecer el punto en el cual una degradacin se hace visible Determinar si se perciben diferencias en los sistemas Medir la calidad de la codificacin de imagen estereoscpica Medir la fidelidad entre dos secuencias vdeo degradadas Comparar diferentes instrumentos de elasticidad a errores
(1)

Mtodo utilizado Mtodo de escala de calidad continua de doble estmulo (DSCQS)(1) Mtodo de escala de degradacin con doble estmulo (DSIS)(1) Mtodo de valoracin cuantitativa(2) o valoracin categrica (en estudio) Mtodo de comparacin directa mtodo de valoracin cuantitativa(2) o valoracin categrica (en estudio) En estudio

Descripcin Rec. UIT-R BT.500, 5 Rec. UIT-R BT.500, 4 Informe UIT-R BT.1082 Informe UIT-R BT.1082

Informe UIT-R BT.1082

Estimacin del umbral por el mtodo de eleccin forzada o mtodo de ajuste (en estudio) Mtodo de eleccin forzada (en estudio) Mtodo de escala de calidad continua de doble estmulo (DSCQS)(3) Mtodo de doble estmulo simultneo para evaluacin continua (SDSCE) Mtodo de doble estmulo simultneo para evaluacin continua (SDSCE)

Informe UIT-R BT.1082

Informe UIT-R BT.1082 Rec. UIT-R BT.500, 5 Rec. UIT-R BT.500, 6.4 Rec. UIT-R BT.500, 6.4

Se han llevado a cabo algunos estudios sobre efectos contextuales para el mtodo DSCQS y el mtodo DSIS. Se ha determinado que los resultados del mtodo DSIS presentan tendencias sistemticas en un cierto grado debido a los efectos contextuales. En el Apndice 3 al Anexo 1, aparecen mayores detalles al respecto. Algunos estudios sealan que este mtodo es ms estable cuando se dispone de una gama de calidad completa. Debido a la posibilidad de que aparezca una intensa fatiga cuando se evalan imgenes estereoscpicas, la duracin total de la sesin de evaluacin debe ser inferior a 30 min.

(2) (3)

Rec. UIT-R BT.500-1 4 4.1 Mtodo de escala de degradacin con doble estmulo (DSIS) (mtodo UER) Descripcin general

11

Una apreciacin tpica puede ser aplicable a la evaluacin de un nuevo sistema, o del efecto de la degradacin debida al trayecto de transmisin. El organizador de la prueba debera empezar por seleccionar material de prueba suficiente para poder hacer una evaluacin significativa y determinar las condiciones de prueba. Si se trata de determinar el efecto de la variacin de los parmetros, debe elegirse un conjunto de valores de parmetros que abarque la gama de notas de degradacin en un pequeo nmero de etapas prcticamente iguales. Si se evala un nuevo sistema, para el que los valores de los parmetros no pueden variar de esa manera, debe aadirse entonces degradaciones adicionales, pero subjetivamente similares, o utilizarse otro mtodo (como el del 5). El mtodo de doble estmulo (mtodo UER) es cclico en la medida en que se muestra al evaluador una imagen de referencia no degradada, y despus la misma imagen degradada. A continuacin, se le pide que opine sobre la segunda, con la primera en mente. En sesiones, que duran hasta media hora, se muestra al evaluador una serie de imgenes o secuencias en orden aleatorio y con degradaciones aleatorias que abarcan todas las combinaciones requeridas. La imagen no degradada se incluye en las imgenes o secuencias que deben evaluarse. Al final de la serie de sesiones, se calcula la nota media para cada condicin de prueba y para cada imagen de prueba. Este mtodo utiliza la escala de degradacin, cuyos resultados se suelen considerar ms estables para degradaciones pequeas que para degradaciones considerables. Si bien algunas veces se ha utilizado el mtodo con una escala de degradaciones limitada, es ms conveniente utilizarlo con una gama completa de degradaciones.
4.2 Disposicin general

En el 2 se indica la forma de definir o seleccionar las condiciones de observacin, las seales fuente, el material de prueba y los observadores as como la presentacin de los resultados. La disposicin general del sistema de prueba debera ser la que se indica en la Fig. 2.
FIGURA 2 Disposicin general de los sistemas de prueba para el mtodo de DSIS

Nivel de gris

Seal fuente (por ejemplo, explorador de diapositivas) Sistema sometido a prueba Monitor de visin previa

Interruptor con temporizacin

Pantalla de evaluacin

0500-02

12

Rec. UIT-R BT.500-1

Los evaluadores examinan una imagen de evaluacin suministrada por una seal a travs de un interruptor con temporizacin. El trayecto de la seal hacia el interruptor con temporizacin puede llegar directamente de la seal fuente, o indirectamente a travs del sistema sometido a prueba. Los evaluadores examinan una serie de imgenes o de secuencias de prueba. Estn dispuestas por pares, de forma que la primera imagen procede directamente de la fuente, y la segunda es la misma imagen encaminada por el sistema sometido a prueba.
4.3 Presentacin del material de prueba

Una sesin de prueba consta de varias presentaciones. Hay dos variantes de la estructura de las presentaciones, la I y la II que se indican a continuacin: Variante I: La imagen o secuencia de referencia y la imagen o secuencia de prueba se presentan slo una vez, como muestra la Fig. 3a). Variante II: La imagen o secuencia de referencia y la imagen o secuencia de prueba se presentan dos veces, como muestra la Fig. 3b). La variante II, que tiene una mayor duracin que la variante I, puede aplicarse si es necesario discriminar entre degradaciones muy pequeas o se estn sometiendo a prueba secuencias en movimiento.
4.4 Escalas de apreciacin

Debe utilizarse la escala de apreciacin de cinco notas: 5 imperceptible 4 perceptible, pero no molesta 3 ligeramente molesta 2 molesta 1 muy molesta Los evaluadores deben utilizar un formulario que indique muy claramente la escala, y que cuente con cuadros numerados u otro medio para registrar las notas.
4.5 Introduccin a las evaluaciones

Al principio de cada sesin, se darn explicaciones a los observadores sobre el tipo de evaluacin, la escala de apreciacin, la secuencia y la temporizacin (imagen de referencia, gris, imagen de evaluacin, periodo de votacin). La gama y el tipo de las degradaciones que van a evaluarse deber ilustrarse con imgenes distintas de las utilizadas en las pruebas, pero de sensibilidad comparable. No debe darse a entender que la peor calidad observada corresponde necesariamente a la nota subjetiva ms baja. Debe pedirse a los observadores que basen su apreciacin en la impresin global que les da la imagen y que expresen esas apreciaciones en los mismos trminos que se utilizan para definir la escala subjetiva. Debe pedirse a los observadores que observen la imagen durante los periodos T1 y T3. La votacin debe autorizarse nicamente durante T4.

Rec. UIT-R BT.500-1

FIGURA 3 Estructura de presentacin del material de prueba

13

T1 T2 T3

T4

Voto

a) Variante I

T1 T2 T3 T2 T1 T2 T3

T4

Voto

b) Variante II

Fases de presentacin: T1 = T2 = T3 = 10 s 3s 10 s Imagen de referencia Gris mediano producido por un nivel vdeo de unos 200 mV Condicin a evaluar Gris mediano

T4 = 5-11 s

La experiencia sugiere que prolongar los periodos T1 y T3 ms all de 10 s no mejora la capacidad del evaluador para juzgar las imgenes o las secuencias. 0500-03

4.6

La sesin de prueba

Las imgenes y degradaciones deberan presentarse en una secuencia seudoaleatoria y, preferentemente, en secuencias distintas para cada sesin. En cualquier caso, la misma imagen o secuencia de prueba no debe nunca presentarse en dos ocasiones sucesivas con los mismos niveles de degradacin, o con niveles distintos. La gama de degradaciones debera elegirse de manera que la mayora de los observadores utilicen todas las notas; debera tratarse de obtener una nota media total (promedio de todas las apreciaciones emitidas durante el experimento) cercana a 3. Una sesin no debe durar ms de media hora aproximadamente, incluidas las explicaciones y los preliminares; asimismo la secuencia de prueba podra iniciarse con varias imgenes que indicasen la gama de degradaciones y las apreciaciones de esas imgenes no se tendran en cuenta en los resultados finales.

14

Rec. UIT-R BT.500-1

En el Apndice 2 al Anexo 1 se presentan otras ideas sobre la seleccin de niveles de degradaciones.

5 5.1 El mtodo de escala de calidad continua de doble estmulo (DSCQS) Descripcin general

Una evaluacin tpica puede ser aplicable a la evaluacin de un nuevo sistema o de los efectos de los trayectos de transmisin sobre la calidad. Se considera que el mtodo de doble estmulo es especialmente til cuando no se pueden proporcionar estmulos de prueba que abarquen toda la gama de calidad. El mtodo es cclico puesto que se pide al evaluador que observe un par de imgenes, ambas de la misma fuente, pero habindose transmitido una por el sistema que se evala, y la otra directamente desde la fuente. Se le pide que evale la calidad de ambas. En sesiones que duran hasta media hora, se presenta al evaluador una serie de pares (aleatorios) de imgenes en orden aleatorio, y con degradaciones aleatorias que abarcan todas las combinaciones requeridas. Al final de las sesiones, se calculan las notas medias para cada condicin de prueba y para cada imagen de prueba.
5.2 Disposicin general

En el 2 se indica la forma de definir o seleccionar las condiciones de observacin, las seales fuente, el material de prueba, los observadores y la introduccin a la evaluacin. La sesin de prueba se describe en el 4.6. La disposicin general del sistema de prueba debera ser la que se indica en la Fig. 4.
5.3 Presentacin del material de prueba

Una sesin de prueba consta de varias presentaciones. En la variante I, que tiene un solo observador, el evaluador puede conmutar libremente entre las seales A y B para cada presentacin, hasta que tenga la medida mental de la calidad asociada con cada seal. Puede, por ejemplo, decidir hacerlo en dos o tres veces por periodos de hasta 10 s. En la variante II, que utiliza simultneamente varios observadores, antes de registrar los resultados, se muestra el par de condiciones una o ms veces durante un lapso de tiempo similar, para permitir al evaluador adquirir la medida mental de las calidades asociadas con stas; a continuacin, cada par de condiciones se presenta nuevamente una o ms veces, mientras se registran los resultados. El nmero de repeticiones depende de la duracin de las secuencias de prueba. Para las imgenes fijas, puede ser apropiada una secuencia de 3-4 s y cinco repeticiones (votndose en las dos ltimas). Para imgenes en movimiento con efectos secundarios variables en el tiempo, parece adecuada una secuencia de 10 s, con dos repeticiones (votndose en la segunda). La estructura de las presentaciones se muestra en la Fig. 5. Cuando consideraciones de ndole prctica limitan la duracin de las secuencias disponibles a menos de 10 s, pueden efectuarse composiciones utilizando estas secuencias ms breves como segmentos, para ampliar el tiempo de exhibicin a 10 s. Con el objeto de reducir a un mnimo la discontinuidad en los empalmes, los segmentos de secuencias sucesivas pueden ser invertidos en el tiempo (lo que se denomina, a veces exhibicin palindrmica). Conviene asegurarse de que las condiciones de prueba exhibidas como segmentos invertidos en el tiempo representen procesos causales, es decir, deben ser obtenidos haciendo pasar la seal fuente invertida en el tiempo a travs del sistema que se est probando.

Rec. UIT-R BT.500-1

FIGURA 4 Disposicin general del sistema de prueba para el mtodo DSCQS

15

Conmutadores controlados por el experimentador

Seal fuente (por ejemplo, explorador de diapositivas) Sistema sometido a prueba

A B

Pantalla de evaluacin

Conmutadores controlados por el evaluador

Monitor de visin previa

A continuacin se indican dos variantes, I y II de este mtodo. Variante I: El evaluador, que suele estar solo, puede conmutar entre las dos condiciones A y B hasta que est convencido de que se ha hecho una opinin de cada una. Las lneas A y B reciben la imagen directa de referencia, o la imagen transmitidas por el sistema sometido a prueba, pero la transmisin por una lnea u otra vara aleatoriamente entre una condicin de prueba y la siguiente, el experimentador anota ese dato, pero no lo anuncia.

Variante II: Los evaluadores observan sucesivamente las imgenes de las lneas A y B, para hacerse una opinin de cada una. Las lneas A y B se alimentan para cada presentacin de la misma manera que anteriormente I. Todava se est investigando la estabilidad de los resultados de esta variante con una gama limitada de calidad. 0500-04

5.4

Escala de apreciacin

El mtodo requiere la evaluacin de dos versiones de cada imagen de prueba. Una de las imgenes de prueba de cada par est degradada mientras que la otra puede o no contener una degradacin. La imagen no degradada se incluye como referencia, pero no se dice a los observadores cul es la imagen de referencia. En las series de pruebas, se cambia la posicin de la imagen de referencia, de manera seudoaleatoria. Se pide simplemente a los observadores que evalen la calidad global de imagen de cada presentacin haciendo una marca en una escala vertical. Las escalas verticales se imprimen por pares para respetar la presentacin doble de cada imagen de prueba. Las escalas ofrecen un sistema de evaluacin continuo para evitar errores de cuantificacin, pero estn divididas en cinco segmentos de igual longitud que corresponden a la escala de calidad normal de cinco notas del UIT-R. Los trminos asociados que distinguen los distintos niveles son los mismos que se utilizan normalmente, pero en este caso se incluyen como indicacin, y se imprimen solamente en el lado izquierdo de la primera escala de cada lnea de diez columnas dobles en la hoja de resultados. En la Fig. 6 se muestra una seccin de una hoja tpica de resultados. Las posibilidades de confusin entre las divisiones de la escala y los resultados de prueba se evitan imprimiendo las escalas en azul y registrando los resultados en negro.

16

Rec. UIT-R BT.500-1

FIGURA 5 Estructura de presentacin del material de prueba

T1 T2 T3 T2 T1 T2 T3

T4

Voto

Fases de presentacin:

T1 = T2 = T3 =

10 s 3s 10 s

Secuencia de prueba A Gris mediano producido por un nivel vdeo de unos 200 mV Secuencia de prueba B Gris mediano 0500-05

T4 = 5-11 s

FIGURA 6 Parte de una hoja de evaluacin de calidad en que se utilizan escalas continuas*

27 A B Excelente Buena Aceptable

28 A B

29 A B

30 A B

31 A B

Mediocre

Mala

* Al planificar la disposicin de los elementos de prueba en una sesin de evaluacin para el mtodo DSCQS conviene que el experimentador incluya verificaciones para asegurar que el experimento carece de errores sistemticos. Sin embargo, el mtodo para llevar a cabo estas verificaciones an es objeto de investigacin. 0500-06

Rec. UIT-R BT.500-1 5.5 Anlisis de los resultados

17

Los pares de evaluaciones (de referencia y de prueba) correspondientes a cada condicin de prueba se convierten de mediciones de longitud en la hoja de resultados a resultados normalizados en la escala de 0 a 100. A continuacin se calculan las diferencias entre la evaluacin de la condicin de referencia y la de prueba. En el Anexo 2 se describen otros procedimientos. La experiencia ha mostrado que los resultados obtenidos para diferentes secuencias de prueba dependen de la criticidad del material de prueba utilizado. Se puede conseguir una interpretacin ms completa de la calidad de funcionamiento del cdec presentando los resultados de diferentes secuencias de prueba de manera separada, en vez de presentarlos simplemente como medias acumuladas de todas las secuencias de prueba utilizadas en la evaluacin. Si los resultados de las secuencias de prueba se disponen en una clasificacin por categora de criticidad de la secuencia de prueba en un eje de abscisas, es posible presentar una descripcin grfica aproximada de la caracterstica de fallo de la imagen segn el contenido del sistema sometido a prueba. Sin embargo, esta forma de presentacin slo describe la calidad de funcionamiento del cdec, no proporciona ninguna indicacin de la probabilidad de que se produzcan secuencias con un grado determinado de criticidad (vase el Apndice 1 al Anexo 1). Es preciso seguir estudiando la criticidad de las secuencias de prueba y la probabilidad de que se produzcan secuencias con un determinado nivel de criticidad antes de que se pueda obtener esta imagen ms completa del funcionamiento del sistema.
5.6 Interpretacin de los resultados

Cuando se utiliza este mtodo DSCQS, podra ser arriesgado e incluso errneo deducir conclusiones a propsito de la calidad de las condiciones de prueba asociando valores de DSCQS numricos a adjetivos procedentes de otros protocolos de prueba (por ejemplo, imperceptible, perceptible, pero no molesta, ... tomados del mtodo DSIS). Se seala que los resultados obtenidos por el mtodo DSCQS no debern tratarse como resultados absolutos sino como diferencias de resultados entre una condicin de referencia y una condicin de prueba. As pues, es errneo asociar los resultados a un solo trmino de descripcin de calidad, incluso con los que proceden del propio protocolo DSCQS (por ejemplo, excelente, buena, aceptable, ...). En cualquier procedimiento de prueba es importante establecer criterios de aceptabilidad antes de comenzar la evaluacin. Esto tiene una importancia especial cuando se utiliza el mtodo de DSCQS debido a la tendencia de los usuarios poco expertos a interpretar errneamente el significado de los valores de la escala de calidades producidos por el mtodo.
6 Otros mtodos de evaluacin

En circunstancias apropiadas se deberan utilizar los mtodos de estmulo nico y de comparacin de estmulos.
6.1 Mtodos de estmulo nico

En los mtodos de estmulo nico, se presenta un sola imagen o secuencia de imgenes y el evaluador da un ndice de toda la presentacin. El material de prueba podra consistir nicamente en secuencias de prueba o en secuencias de prueba con sus correspondientes secuencias de referencia. En este ltimo caso, la secuencia de referencia se presenta como estmulo independiente para generar ndices como cualquier otro estmulo de prueba.

18 6.1.1 Disposicin general

Rec. UIT-R BT.500-1

En el 2 se indica la forma de definir o seleccionar las condiciones de observacin, las seales fuente, la gama de condiciones y anclaje, los observadores, la introduccin a la evaluacin y la presentacin de los resultados.
6.1.2 Seleccin del material de prueba

Para las pruebas de laboratorio debe seleccionarse el contenido de las imgenes de prueba como se describe en el 2.3. Una vez seleccionado el contenido, las imgenes de prueba se preparan para que reflejen las opciones de diseo estudiadas por la gama o gamas de uno o ms factores. Cuando se examinan dos o ms factores, las imgenes pueden prepararse de dos maneras: en la primera, cada imagen representa solamente un nivel de un factor, y en la segunda, cada imagen representa un nivel de cada factor examinado pero a lo largo de las imgenes se observa el nivel de cada factor con cada nivel de todos los dems factores. Ambos mtodos permiten atribuir claramente resultados a efectos especficos. El segundo mtodo permite tambin detectar las interacciones entre factores (es decir, los efectos no aditivos).
6.1.3 Sesin de prueba

La sesin de prueba consiste en una serie de pruebas de evaluacin, que deberan presentarse segn un orden aleatorio y, preferiblemente, en una secuencia aleatoria distinta para cada observador. Cuando se utiliza un orden aleatorio nico de secuencias, hay dos variantes de la estructura de las presentaciones: I (estmulo nico) y II (estmulo nico con repeticin mltiple) como se indica a continuacin: a) Las imgenes o secuencias de prueba se presentan solamente una vez en la sesin de prueba; al comienzo de las primeras sesiones debern introducirse algunas secuencias fingidas (descritas en el 2.7). El experimentador se asegura normalmente de que la misma imagen se presente dos veces seguidas con el mismo nivel de degradacin. Una prueba de evaluacin tpica consiste en tres presentaciones: un campo de adaptacin en gris medio, un estmulo y un campo de post-exposicin en gris medio. Las duraciones de esas presentaciones varan segn la tarea del observador, los materiales y las opiniones o factores examinados, no obstante duraciones de 3, 10 y 10 s respectivamente son bastante frecuentes. El ndice o los ndices del observador pueden recogerse durante la presentacin del estmulo o del campo de post-exposicin. b) Las imgenes o secuencias de prueba se presentan tres veces organizando la sesin de prueba en tres presentaciones, cada una de las cuales incluye todas las imgenes de secuencias que se han de probar solamente una vez; el comienzo de cada presentacin se anuncia mediante un mensaje en el monitor (por ejemplo, Presentacin 1). La primera presentacin se utiliza para estabilizar la opinin del observador; los datos generados por esta presentacin no se deben tener en cuenta en los resultados de la prueba; las notas asignadas a las imgenes o secuencias se obtienen promediando los datos generados por las presentaciones segunda y tercera. El experimentador se asegura normalmente de que se aplican las siguientes limitaciones al orden aleatorio de las imgenes o secuencias dentro de cada presentacin: una determinada imagen o secuencia no est en la misma posicin en las dems Presentaciones; una determinada imagen o secuencia no est situada inmediatamente antes de la misma imagen o secuencia en las dems Presentaciones.

Rec. UIT-R BT.500-1

19

Una prueba de evaluacin tpica consiste en dos presentaciones: un estmulo y un campo de post-exposicin en gris medio. Las duraciones de esas presentaciones pueden variar segn la tarea del observador, los materiales y las opiniones o factores examinados, no obstante se sugieren duraciones de 10 y 5 s respectivamente. El ndice o los ndices del observador pueden recogerse durante la presentacin del campo de post-exposicin nicamente. La variante II (estmulo nico con repeticin mltiple) introduce claramente una tara en el tiempo requerido para efectuar una sesin de prueba (45 s frente a 23 s para cada imagen o secuencia que se prueba); no obstante, disminuye la fuerte dependencia de los resultados de la variante I con respecto al orden de las imgenes o secuencias dentro de una sesin. Adems, los resultados de los experimentos muestran que la variante II permite un margen de fluctuacin en torno al 20% dentro de la gama de los votos.
6.1.4 Tipos de mtodos de estmulo nico

En general, se han utilizado tres tipos de mtodos de estmulo nico en las evaluaciones de televisin.
6.1.4.1 Mtodos de apreciacin por categoras de adjetivos

En las apreciaciones por categoras de adjetivos, los observadores asignan una imagen o secuencia de imgenes a una categora elegida entre un conjunto de categoras que, por lo general, se definen en trminos semnticos. Las categoras pueden reflejar apreciaciones, o si se detecta o no un atributo (por ejemplo, para establecer el umbral de degradacin). Las escalas de categoras que evalan la calidad de imagen y la degradacin de imagen, son las que se han utilizado ms a menudo; las escalas del UIT-R se dan en el Cuadro 3. En controles operacionales se utilizan a veces medias notas. Las escalas que evalan la legibilidad del texto, el esfuerzo de lectura, y la utilidad de la imagen se han utilizado en casos especiales. CUADRO 3
Escalas de calidad y degradacin del UIT-R
Escala de cinco notas Calidad 5 4 3 2 1 Excelente Buena Aceptable Mediocre Mala 5 4 3 2 1 Degradacin Imperceptible Perceptible, pero no molesta Ligeramente molesta Molesta Muy molesta

Este mtodo permite distribuir las apreciaciones en una escala de categoras para cada condicin. El anlisis de las respuestas depende de la apreciacin (deteccin, etc.) y de la informacin buscada (umbral de deteccin, rangos o tendencia media de las condiciones, diferencias psicolgicas entre condiciones). Se dispone de numerosos mtodos de anlisis.
6.1.4.2 Mtodos de apreciacin por categoras numricas

Se ha estudiado un procedimiento de estmulo nico que utiliza una escala de categora numrica de once notas (SSNCS) y se ha comparado con las escalas grficas y cuantitativas. Este estudio, descrito en el Informe UIT-R BT.1082, seala una clara preferencia por el mtodo SSNCS, en trminos de sensibilidad y estabilidad, cuando no se dispone de referencia.

20 6.1.4.3

Rec. UIT-R BT.500-1 Mtodos que no utilizan una escala de evaluacin por categoras

Cuando las apreciaciones no se hacen por categoras, los observadores asignan un valor a cada imagen o secuencia de imagen mostrada. Este mtodo puede revestir las dos formas siguientes: En la apreciacin por escala continua, variante del mtodo por categoras, el evaluador asigna cada imagen o secuencia de imagen a un punto de una lnea trazada entre dos niveles semnticos (por ejemplo, los valores extremos de una escala de categoras como la del Cuadro 3). La escala puede incluir rangos adicionales en puntos intermedios para fines de referencia. La distancia con respecto a un extremo de la escala se toma como ndice para cada condicin. En la distribucin por escala numrica, el evaluador asigna a cada imagen o secuencia de imgenes un nmero que refleja su nivel estimado en una dimensin especificada (por ejemplo, nitidez de la imagen). La escala de nmeros utilizada puede ser restringida (por ejemplo, 0 a 100) o no. A veces, el nmero asignado describe el nivel juzgado en trminos absolutos (sin ninguna relacin directa con el nivel de cualquier otra imagen o secuencia de imgenes, como en ciertas formas de estimaciones de magnitud). En otros casos, el nmero describe el nivel juzgado en relacin al de un estndar visto anteriormente (por ejemplo, estimacin de magnitud, fraccionamiento, y estimacin de relacin). Con ambas formas se obtiene una distribucin de nmeros para cada condicin. El mtodo de anlisis utilizado depende de la naturaleza de la apreciacin y de informacin requerida (por ejemplo, rangos, tendencia media, diferencias psicolgicas).
6.1.4.4 Mtodos de realizacin

Ciertos aspectos de la observacin normal pueden expresarse como realizacin de tareas concretas (hallar una informacin determinada, leer un texto, identificar objetos, etc.). As pues, como ndice de la imagen o secuencia de imgenes puede utilizarse una medida de realizacin (por ejemplo, la precisin o velocidad con que se realizan esas tareas). Los mtodos de realizacin llevan a distribuciones de notas de precisin o de velocidad para cada condicin. El anlisis trata sobre todo de establecer relaciones entre las condiciones de la tendencia media (y dispersin) de las notas, y a menudo utiliza el anlisis de varianza o una tcnica similar.
6.2 Mtodos de comparacin de estmulos

En los mtodos de comparacin de estmulos, se presentan en pantalla dos imgenes o secuencias de imgenes y el observador da un ndice de la relacin entre las dos presentaciones.
6.2.1 Disposicin general

En el 2 se indica la forma de definir o seleccionar las condiciones de observacin, las seales de origen, la gama de condiciones y anclaje, los observadores, la introduccin a la evaluacin y la presentacin de los resultados.
6.2.2 Seleccin del material de prueba

Las imgenes o secuencias de imgenes utilizadas se generan de la misma manera que en los mtodos de estmulo nico. Las imgenes o secuencias de imgenes resultantes se combinan entonces para constituir los pares que se utilizan en las pruebas de evaluacin.
6.2.3 Sesin de prueba

En la prueba de evaluacin se utilizar un monitor, o bien dos monitores debidamente sincronizados, y se proceder en general como en los casos de estmulos nicos. Con un solo monitor, se utilizarn dos campos de estmulos idnticos. En ese caso, conviene que, en las distintas

Rec. UIT-R BT.500-1

21

pruebas, ambos miembros de un par aparezcan el mismo nmero de veces en primera y en segunda posicin. Si se utilizan dos monitores, los campos de estmulos se muestran simultneamente. Los mtodos de comparacin de estmulos determinan ms completamente las relaciones entre condiciones cuando en las apreciaciones se comparan todos los pares posibles de condiciones. Sin embargo, si esto requiere un nmero excesivo de observaciones, stas podran dividirse entre los evaluadores, o podra utilizarse una muestra de todos los pares posibles.
6.2.4 Tipos de mtodos de comparacin de estmulos

En las evaluaciones de televisin se han utilizado los tres tipos de mtodos de comparacin de estmulos.
6.2.4.1 Mtodos de apreciacin por categoras de adjetivos

En los mtodos de apreciacin por categoras de adjetivos, los observadores asignan la relacin entre miembros de un par a una categora elegida entre un conjunto de categoras que, normalmente, se definen en trminos semnticos. Esas categoras pueden indicar la existencia de diferencias perceptibles (por ejemplo, IGUAL, DIFERENTE), la existencia y direccin de diferencias perceptibles (por ejemplo, MENOS, IGUAL, MS), o apreciaciones de amplitud y direccin. La escala de comparacin del UIT-R se indica en el Cuadro 4. CUADRO 4
Escala de comparacin
3 2 1 0 +1 +2 +3 Mucho peor Peor Ligeramente peor Igual Ligeramente mejor Mejor Mucho mejor

Este mtodo proporciona una distribucin de las apreciaciones en categoras de escalas para cada par de condiciones. La manera en que se analizan las respuestas depende de la apreciacin (por ejemplo, diferencia) y de la informacin requerida (por ejemplo, diferencias apenas perceptibles, rangos de condiciones, diferencias entre condiciones, etc.).
6.2.4.2 Mtodos que no utilizan una escala de apreciacin por categoras

Cuando las apreciaciones no se hacen por categoras, los observadores asignan un valor a la relacin entre los elementos de un par de evaluacin. Este mtodo puede revestir dos formas: En la apreciacin con escala continua, el evaluador asigna cada relacin a un punto de una lnea trazada entre dos notas (por ejemplo, IGUAL-DIFERENTE, o los extremos de una escala por categoras como en el Cuadro 4). Las escalas pueden incluir marcas de referencia adicionales en puntos intermedios. La distancia con respecto a un extremo de la lnea se toma como valor para cada par de condiciones. En la segunda forma, el evaluador asigna a cada relacin un nmero que refleja el nivel estimado en una dimensin especificada (por ejemplo, diferencia de calidad). La gama de nmeros utilizada puede ser limitada o no. El nmero asignado puede describir la relacin en trminos absolutos o en trminos de la relacin en un par estndar. Con ambas formas se obtiene una distribucin de valores para cada par de condiciones. El mtodo de anlisis depende de la naturaleza de la apreciacin y de la informacin requerida.

22 6.2.4.3 Mtodos de realizacin

Rec. UIT-R BT.500-1

En algunos casos, las mediciones de realizacin pueden derivarse de procedimientos de comparacin de estmulos. En el mtodo de eleccin forzada, el par se dispone para que un elemento contenga un nivel particular de un atributo (por ejemplo, degradacin), mientras que el otro contiene un nivel diferente o ninguno de ese atributo. Se pide al observador que decida qu elemento contiene el mayor o menor nivel del atributo o cul contiene algo del atributo; la precisin y la velocidad de la realizacin se toman como ndices de la relacin entre los miembros del par.
6.3 Evaluacin de calidad continua de estmulo nico (SSCQE)

La introduccin de la compresin en la televisin digital provocar degradaciones de la calidad de la imagen dependientes de la escena y variables con el tiempo. Incluso dentro de breves muestras de vdeo codificado digitalmente, la calidad puede variar mucho dependiendo del contenido de la escena y las degradaciones pueden ser de muy corta duracin. Las metodologas convencionales del UIT-R no bastan por s solas para evaluar este tipo de material. Adems, el mtodo del doble estmulo de prueba de laboratorio no reproduce las condiciones de observacin domstica de estmulo nico. Por ello, se ha considerado conveniente que la calidad subjetiva del vdeo codificado digitalmente se mida de manera continua, observando los sujetos participantes el material una sola vez, sin una referencia fuente. Como resultado de lo anterior, se ha elaborado y probado la siguiente tcnica nueva SSCQE.
6.3.1 Evaluacin continua de la calidad global

6.3.1.1 Dispositivo de registro y configuracin Se ha de utilizar un sistema de registro electrnico conectado a un computador para registrar la evaluacin de calidad continua por parte de los participantes. Este dispositivo deber tener las caractersticas siguientes: su mecanismo deslizante no ha de tener ninguna posicin armada, la distancia de desplazamiento lineal ha de ser de 10 cm, fijo o montado en consola, las muestras se han de registrar dos veces por segundo. 6.3.1.2 Formato general del protocolo de prueba A los participantes se les presentarn sesiones de prueba con el siguiente formato: Segmento de programa: un segmento de programa corresponde a un tipo de programa (por ejemplo, deportes, noticias, teatro) procesado de acuerdo con uno de los parmetros de calidad objeto de evaluacin (por ejemplo, la velocidad binaria); cada segmento de programa debe durar por lo menos 5 min; Sesin de prueba: una sesin de prueba es una serie de una o ms combinaciones diferentes de segmento de programa/parmetro de calidad sin separacin y dispuestas en orden seudoaleatorio. Cada sesin de prueba contiene por lo menos una vez todos los segmentos de programa y parmetros de calidad, pero no necesariamente todas las combinaciones segmento de programa/parmetro de calidad; cada sesin de prueba deber durar entre 30 y 60 min; Presentacin de prueba: una presentacin de prueba representa la realizacin completa de una prueba. Se puede dividir una presentacin de prueba en sesin de prueba para cumplir con los requisitos de duracin mxima y para evaluar la calidad con todos los pares de segmentos de programa/parmetros de calidad. Si el nmero de pares segmento de programa/parmetro de calidad es limitado, se puede hacer una presentacin de prueba repitiendo la misma sesin de prueba, para que la prueba dure un periodo de tiempo suficientemente largo.

Rec. UIT-R BT.500-1

23

Se puede introducir audio a efectos de evaluacin de la calidad del servicio. En este caso, la seleccin del material audio de acompaamiento deber efectuarse atribuyndole la misma importancia que a la seleccin del material vdeo, antes de realizar la prueba. En el formato de prueba ms sencillo se utilizara un solo segmento de programa y se tendra en cuenta un solo parmetro de calidad.
6.3.1.3 Parmetros de observacin

Las condiciones de observacin debern ser las especificadas actualmente en las Recomendaciones UIT-R BT.500, UIT-R BT.1128, UIT-R BT.1129 y UIT-R BT.710.
6.3.1.4 Escalas de apreciacin

Al dar las instrucciones de la prueba a los participantes, deber quedar claro que la distancia de desplazamiento del mecanismo deslizante del microtelfono corresponde a la escala de calidad continua descrita en el 5.4.
6.3.1.5 Observadores Debern participar al menos 15 observadores, no especializados, con las caractersticas que actualmente se recomiendan en el 2.5. 6.3.1.6 Instrucciones a los observadores Si se evala la calidad de servicio (con audio de acompaamiento), deber indicarse a los observadores que tengan en cuenta la calidad global, en vez de fijarse en la calidad vdeo solamente. 6.3.1.7 Presentacin de datos y procesamiento y presentacin de resultados Debern recogerse datos de todas las sesiones de prueba. De esta manera ser posible obtener un grfico nico del ndice de calidad media en funcin del tiempo, q(t), como media de las apreciaciones de la calidad de todos los observadores por segmento de programa, parmetro de calidad o sesin de prueba completa (vase el ejemplo de la Fig. 7).
FIGURA 7 Condicin de prueba: cdex X/segmento de programa Z 100 90 80 Resultado 70 60 50 40 30 20 10 0 0 3 6 9 12 15 18 21 24 27 28 Tiempo (min) 0500-07

Sin embargo, la variabilidad del tiempo de respuesta de los diferentes observadores puede influir en los resultados de la estimacin si el promedio se calcula solamente en un segmento de programa. Se

24

Rec. UIT-R BT.500-1

estn llevando a cabo estudios para evaluar la influencia del tiempo de respuesta de los diferentes observadores en la apreciacin de calidad resultante. Los datos anteriores pueden convertirse a un histograma de probabilidad de la ocurrencia del nivel de calidad q, P(q) (vase el ejemplo de la Fig. 8).
6.3.2 Calibracin de los resultados de calidad continuos y obtencin de un nico ndice de calidad

Aunque existen pruebas de que pueden producirse sesgos basados en la memoria, en sesiones largas de evaluacin de un nico ndice de calidad de vdeo codificado digitalmente por el mtodo DSCQS, recientemente se ha comprobado que tal efecto no es significativo si las evaluaciones DSCQS se efectan con muestras de vdeo de 10 s. En consecuencia, una posible segunda etapa del proceso SSCQE, actualmente en estudio, consistira en calibrar el histograma de calidad utilizando el mtodo DSCQS existente en muestras de 10 s representativas, extradas de los datos del histograma. Las metodologas convencionales del UIT-R, empleadas en el pasado, han servido para generar ndices de calidad nicos de secuencias de televisin. Se han llevado a cabo experimentos en los que se ha examinado la relacin entre la evaluacin continua de una secuencia de vdeo codificada y un ndice de calidad global nico del mismo segmento. Ya se ha visto que los efectos de la memoria humana pueden distorsionar los ndices de calidad si se producen degradaciones notables en aproximadamente los ltimos 10 a 15 s de la secuencia. Sin embargo, tambin se ha visto que dichos efectos podran modelarse como una funcin de ponderacin exponencial descendente. De aqu la posibilidad de una tercera etapa en la metodologa SSCQE, que consistira en procesar los resultados de esas evaluaciones de calidad continuas para obtener una medicin de calidad nica equivalente. Se trata de algo que est siendo objeto de estudio actualmente.
FIGURA 8 Media de los resultados de las secuencias de votacin sobre el segmento de programa Z 100 90 80 70 Porcentaje 60 50 40 30 20 10 0 0 10 20 30 40 50 60 70 80 90

Fuente Codec W Anlogo 1 Codex X Anlogo 2 Codex Y 0500-08

Rec. UIT-R BT.500-1 6.4 Mtodo de doble estmulo simultneo para evaluacin continua (SDSCE)

25

La idea de una evaluacin continua surgi en el UIT-R porque los mtodos anteriores presentaban algunas deficiencias para la medicin de la calidad del vdeo de esquemas de compresin digital. Las principales desventajas de los mtodos normalizados anteriores estn vinculadas a la ocurrencia de artefactos relacionados con el contexto en las imgenes digitales visualizadas. En los protocolos anteriores, la duracin del tiempo de observacin de las secuencias vdeo en evaluacin est limitado generalmente a 10 s, lo que obviamente no es suficiente para que el observador tenga un juicio representativo de lo que pudo suceder en el servicio real. Los artefactos digitales dependen en gran medida del contenido espacial y temporal de la imagen fuente. Esto es vlido para los esquemas de compresin pero tambin en relacin con el comportamiento de la elasticidad a los errores de los sistemas de transmisin digital. Con los anteriores mtodos normalizados era muy difcil elegir secuencias vdeo representativas, o por lo menos evaluar su representatividad. Por este motivo, el UIT-R introdujo el mtodo SSCQE, que es capaz de medir la calidad vdeo en secuencias ms largas, representativas del contenido vdeo y de la estadstica de errores. Para reproducir las condiciones de observacin que estn lo ms prximas posibles a las situaciones reales, en el SSCQE no se utilizan referencias. Cuando hay que evaluar la fidelidad, se han de introducir condiciones de referencia. El SDSCE ha sido elaborado a partir del SSCQE, con ligeras diferencias en cuanto a la manera de presentar las imgenes a los sujetos y con respecto a la escala de apreciacin. El mtodo fue propuesto a MPEG para evaluar la solidez contra los errores a velocidades binarias muy bajas, pero puede ser aplicado adecuadamente a todos los casos en los que hay que evaluar la fidelidad de la informacin visual afectada por la degradacin que vara en funcin del tiempo. Como resultado, se ha elaborado y probado la siguiente nueva tcnica SDSCE.
6.4.1 Procedimiento de prueba

El grupo de sujetos observa dos secuencias al mismo tiempo: una es la referencia, la otra es la condicin de prueba. Si el formato de las secuencias es de formato de imagen normalizado (SIF) o ms pequeo, las dos secuencias pueden ser visualizadas juntas en el mismo monitor; en los dems casos se debe utilizar dos monitores alineados (vase la Fig. 9).
FIGURA 9 Ejemplo de formato de visualizacin

Referencia

Condicin de prueba

Sin errores

Con errores

0500-09

26

Rec. UIT-R BT.500-1

Se pide a los sujetos que comprueben las diferencias entre las dos secuencias y juzguen la fidelidad de la informacin vdeo moviendo el cursor de un dispositivo de voto manual. Cuando la fidelidad es perfecta, el cursor debe estar en la parte superior de la escala (codificada 100), cuando la fidelidad es nula, el cursor debe estar en la parte inferior de la escala (codificada 0). Los sujetos conocen cul es la referencia y se les pide que expongan su opinin, durante todo el tiempo que estn observando las secuencias.
6.4.2 Diferentes fases

La fase de entrenamiento es una parte esencial de este mtodo de prueba, porque los sujetos podran comprender mal su tarea. Se deben proporcionar instrucciones escritas para estar seguros de que todos los sujetos reciben exactamente la misma informacin. Las instrucciones deben incluir la explicacin sobre lo que los sujetos van a ver, lo que tienen que evaluar (es decir, la diferencia de calidad) y cmo tienen que exponer su opinin. Todas las preguntas de los sujetos deben ser respondidas para evitar en la mayor medida posible todo prejuicio de opinin del administrador de la prueba. Despus de las instrucciones, se debe efectuar una sesin de demostracin. De esta manera los sujetos se familiarizan con los procedimientos de voto y la clase de degradaciones. Por ltimo, se debe efectuar una prueba simulada, en la cual se muestran varias condiciones representativas. Las secuencias deben ser diferentes de las utilizadas en la prueba y deben ser presentadas una despus de otra sin interrupcin. Cuando termina la prueba simulada, el experimentador debe comprobar principalmente que en caso de que las condiciones de prueba sean iguales a las referencias, las evaluaciones estn prximas al ciento (es decir, no se ha visto diferencia); si en cambio los sujetos declaran ver algunas diferencias, el experimentador debe repetir la explicacin y la prueba simulada.
6.4.3 Caractersticas del protocolo de prueba

Las siguientes definiciones se aplican a la descripcin del protocolo de prueba: Segmento vdeo: un segmento vdeo corresponde a una secuencia vdeo. Condicin de prueba: una condicin de prueba puede ser un proceso vdeo especfico, una condicin de transmisin, o ambos. Cada segmento vdeo debe ser procesado de acuerdo con una condicin de prueba por lo menos. Adems, se deben aadir referencias a la lista de condicin de prueba, con el fin de hacer pares de referencia/referencia que se han de evaluar. Sesin: una sesin es una serie de diferentes segmentos vdeo/condiciones de prueba pares sin separacin y arregladas en un orden pseudoaleatorio. Cada sesin contiene por lo menos una vez todos los segmentos vdeo y condiciones de prueba pero no necesariamente todas las combinaciones de segmento vdeo/condicin de prueba. Presentacin de prueba: una presentacin de prueba es una serie de sesiones para abarcar todas las combinaciones de segmento vdeo/condicin de prueba. Todas las combinaciones de segmento vdeo/condicin de prueba deben ser votadas por el mismo nmero de observadores (pero no necesariamente los mismos observadores). Periodo de votacin: se pide a cada observador que vote continuamente durante una sesin. Segmento de votos: un segmento de 10 s de votos; todos los segmentos de votos se obtienen utilizando grupos de 20 votos consecutivos (equivalentes a 10 s) sin ninguna superposicin.

Rec. UIT-R BT.500-1 6.4.4 Procesamiento de datos

27

Una vez efectuada la prueba, uno (o ms) ficheros de datos estn disponibles con todos los votos de las diferentes sesiones (S) que representan todo el material de voto de la presentacin de prueba (TP). Se puede efectuar una primera comprobacin de la validez de los datos verificando que cada par de segmentos vdeo/condiciones de prueba ha sido presentado y que un nmero equivalente de votos ha sido asignado a cada uno de ellos. Los datos recopilados durante la ejecucin de las pruebas realizadas de acuerdo con este protocolo pueden ser procesados de tres maneras diferentes: Anlisis estadstico de cada segmento vdeo separado. Anlisis estadstico de cada condicin de prueba separada. Anlisis estadstico global de todos los segmentos vdeo/condiciones de prueba pares. En cada caso se requiere un anlisis de mltiples pasos: Se calculan los valores medios y las desviaciones tpicas para cada voto por acumulacin de los observadores. Se calcula el promedio y la desviacin tpica para cada segmento de votos, como se ilustra en la Fig. 10. Los resultados de este paso pueden ser representados en un diagrama temporal, como se muestra en la Fig. 11. Se analiza la distribucin estadstica de los valores medios calculados en el paso anterior (es decir, correspondiente a cada segmento de votos), y su frecuencia de aparicin. Para evitar el efecto de novedad debido a las anteriores combinaciones de segmentos vdeo condiciones de prueba, se rechazan los primeros 10 s de votos para cada muestra de segmento vdeo condicin de prueba. La caracterstica global de molestia se calcula acumulando las frecuencias de ocurrencia. En este clculo se deben tener en cuenta los intervalos de confianza, como se muestra en la Fig. 12. Una caracterstica global de molestia corresponde a esta funcin de distribucin estadstica acumulada mostrando la relacin entre los valores medios para cada segmento de votacin y su frecuencia de aparicin acumulada.

28

Rec. UIT-R BT.500-1

FIGURA 10 Procesamiento de datos

a) Clculo de la nota media, V, y la desviacin tpica, SD, por instante de voto de los observadores para cada secuencia de votacin de cada combinacin segmento de vdeo (VS) condicin de prueba (TC) v1,1 + + vn, 1 vn, v2,1 Observador 2 v1,20 Observador 1

20

Observador n (al menos 8) V1 sd1 V20 sd20

Media: Mi Desviacin tpica: SD i

b) Clculo de M y SD por secuencia de votacin de 1 s para cada combinacin VS TC M1 SD1 M2 SD2 1s Mv SDv

Rechazo de los primeros 10 s

Por lo menos 2 min para una combinacin VSi TCk

0500-10

6.4.5

Fiabilidad de los sujetos

La fiabilidad de los sujetos puede ser evaluada cualitativamente comprobando su comportamiento cuando se muestran los pares de referencia/referencia. En estos casos, se espera que los sujetos den evaluaciones muy prximas a 100. Esto prueba que por lo menos han comprendido su tarea y que sus votos no son aleatorios. Adems, la fiabilidad de los sujetos puede ser comprobada utilizando procedimientos que estn prximos al descrito en el 2.3.2 del Anexo 2 para el mtodo SSCQE. En el procedimiento SDSCE, la fiabilidad de los votos depende de los dos parmetros siguientes: Desviacin sistemtica: durante una prueba, un observador puede ser demasiado optimista o demasiado pesimista, o puede incluso haber entendido mal los procedimientos de votacin (por ejemplo, el significado de la escala de votacin). Esto puede conducir a una serie de votos con desviacin sistemtica con respecto a la serie media, si no completamente fuera de gama. Inversiones locales: como en otros procedimientos de prueba muy conocidos, algunas veces los observadores votan sin preocuparse mucho de observar y seguir cuidadosamente la calidad de la secuencia visualizada. En este caso, la curva global de voto puede estar relativamente dentro de la gama media. Sin embargo, es posible observar las inversiones locales. Estos dos efectos indeseables (comportamiento atpico e inversiones) podran evitarse. Naturalmente, el entrenamiento de los participantes es muy importante, pero debe ser posible utilizar un instrumento que permita detectar y, si es necesario, descartar a los observadores

Rec. UIT-R BT.500-1

29

incoherentes. En esta Recomendacin se describe una propuesta de un proceso de dos pasos que permite efectuar este filtrado.
FIGURA 11 Diagrama temporal

100 90 80 70 60 Notas 50 40 30 20 10 0
01:15:10:12 01:15:27:12 01:15:44:12 01:16:01:12 01:16:18:12 01:16:35:12 01:16:52:12 01:17:09:12 01:17:26:12 01:17:43:12 01:17:43:12

Cdigo temporal Media Desviacin tpica

FIGURA 12 Caractersticas globales de molestia calculadas a partir de las distribuciones estadsticas e incluido el intervalo de confianza 100 90 80 70 Porcentaje 60 50 40 30 20 10 0 0 5 10 15 20 25 30 35 40 45 50 55 60 65 70 75 80 85 90 95 Media de las notas de las secuencias de votacin Crtico Sin error Tpico

0500-11

0500-12

30 6.5 Otros mtodos

Rec. UIT-R BT.500-1

En el Informe UIT-R BT.1082 se describen otras tcnicas, tales como los mtodos con escalas multidimensionales y los mtodos de variables mltiples, que an son objeto de estudio. Todos los mtodos descritos hasta ahora tienen sus ventajas y sus limitaciones, y todava no es posible recomendar uno preferentemente con carcter definitivo. Por consiguiente, la seleccin del mtodo ms apropiado a las circunstancias se deja al buen criterio del investigador. Las limitaciones de los diversos mtodos sugieren que podra no ser acertado dar demasiada importancia a un solo mtodo, por lo que convendra estudiar planteamientos ms completos como la utilizacin de varios mtodos o un planteamiento multidimensional.

Apndice 1 al Anexo 1 Caracterstica de fallo de la imagen segn su contenido

1 Introduccin

Tras su implantacin, un sistema estar sujeto a una gama potencialmente amplia de material de programa, alguno del cual podra no hallar el modo de tener cabida sin prdida de calidad. Al considerar la aptitud de un sistema es necesario conocer la proporcin de material de programa que resultar crtico para el sistema y la prdida de calidad que se aguarda en tales casos. En efecto, es necesario disponer de la caracterstica de fallo de la imagen segn su contenido para el sistema en estudio. Dicha caracterstica de fallo es particularmente importante para sistemas cuya calidad de funcionamiento puede no degradarse uniformemente a medida que el material se torna cada vez ms crtico. Por ejemplo, ciertos sistemas digitales y adaptables pueden mantener un alto grado de calidad sobre una amplia gama de material de programa, pero se degradan fuera de sta.
2 Obtencin de la caracterstica de fallo

En trminos conceptuales, una caracterstica de la imagen segn su contenido determina la proporcin de material para la que a largo plazo es probable que el sistema alcance niveles particulares de calidad. Este concepto se ilustra en la Fig. 13. Una caracterstica de fallo de la imagen segn su contenido puede obtenerse en cuatro pasos: Paso 1: determinacin de una medida algortmica de criticidad que fuera capaz de clasificar un nmero de secuencias de imagen que han estado sometidas a distorsin proveniente del sistema o clases de sistemas afectados, de manera tal que la categora de clasificacin corresponda a la que se obtendra si la tarea se hubiera efectuado por medio de observadores. Esta medida de criticidad puede implicar aspectos de modelado visual. Paso 2: obtencin, por aplicacin de la medida de criticidad a un gran nmero de muestras tomadas de la televisin tpica, de una distribucin que estima la probabilidad de ocurrencia de material que proporciona distintos niveles de criticidad para el sistema, o clases de sistemas en estudio. En la Fig. 14 se ilustra un ejemplo de dicha distribucin.

Rec. UIT-R BT.500-1

31

Paso 3: obtencin, por medios empricos, de la capacidad del sistema para mantener la calidad a medida que aumenta el nivel de criticidad. En la prctica, esto requiere la evaluacin subjetiva de la calidad alcanzada por el sistema con material seleccionado para muestrear el margen de criticidad identificado en el Paso 2. Esto da por resultado una funcin que relaciona la calidad alcanzada por el sistema y el nivel de criticidad en material de programa. En la Fig. 15 se ilustra un ejemplo de dicha funcin. Paso 4: conlleva la informacin de los Pasos 2 y 3 a fin de obtener una caracterstica de fallo de la imagen segn su contenido de la forma indicada en la Fig. 13.

FIGURA 13 Representacin grfica de una caracterstica posible de fallo de la imagen segn su contenido

Probabilidad (es decir, proporcin de material de programa tpico)

Alta

Baja

Alta Calidad de imagen

Baja 0500-13

FIGURA 14 Probabilidad de aparicin de material de programa con niveles de criticidad diferentes

Probabilidad (es decir, proporcin de material de programa tpico)

Baja

Alta Alto ndice de criticidad 0500-14 Bajo

32

Rec. UIT-R BT.500-1

FIGURA 15 Funcin que relaciona la calidad con la criticidad del material de programa

Alta Calidad Baja

Bajo ndice de criticidad

Alto 0500-15

Utilizacin de la caracterstica de fallo

La caracterstica de fallo, que proporciona una imagen de la calidad de funcionamiento que probablemente se obtenga a travs de la gama de material de programa posible, constituye un instrumento importante para considerar la adaptabilidad de los sistemas. La caracterstica de fallo se puede utilizar de tres maneras: para optimizar parmetros (por ejemplo, resolucin de la fuente, velocidad binaria, anchura de banda) de un sistema en la etapa de diseo, para adaptarlo ms estrechamente a las necesidades de un servicio; para estudiar la adecuacin de un sistema (es decir, anticipar la incidencia y gravedad del fallo durante la operacin); para evaluar las adecuaciones relativas de sistemas de alternativa (es decir, comparar las caractersticas de fallo y determinar qu sistema sera ms adecuado para el uso). Cabe sealar que, mientras que los sistemas de alternativa de tipo semejante pueden utilizar el mismo ndice de criticidad, es posible que los sistemas de tipo no semejante puedan tener distintos ndices de criticidad. Sin embargo, como la caracterstica de fallo slo expresa la probabilidad de que en la prctica se vean diferentes niveles de calidad, las caractersticas se pueden comparar directamente aun cuando provengan de ndices de criticidad de sistemas especficos diferentes. Si bien el mtodo descrito en la presente Recomendacin proporciona un medio para medir la caracterstica de fallo de la imagen segn su contenido de un sistema, no podra utilizarse para predecir totalmente la aceptabilidad del sistema por el espectador de un servicio de televisin. Para obtener esta informacin puede ser necesario que una cantidad de telespectadores vean programas codificados con el sistema de inters, y estudiar luego sus comentarios. En el Anexo 1 a la Recomendacin UIT-R BT.1129 se da un ejemplo de caracterstica de fallo de la imagen segn su contenido para televisin digital.

Rec. UIT-R BT.500-1

33

Apndice 2 al Anexo 1 Mtodo para determinar una caracterstica de fallo compuesta para contenido de programa y condiciones de transmisin
1 Introduccin

Una caracterstica de fallo compuesta relaciona la calidad de imagen percibida con la probabilidad de ocurrencia en la prctica de una forma tal que considere explcitamente el contenido de programa y las condiciones de transmisin. En principio, dicha caracterstica se podra obtener por medio de un estudio subjetivo que exige una cantidad suficiente de observaciones, momentos de prueba y puntos de recepcin para producir una muestra que represente la poblacin de contenido de programa y condiciones de transmisin posibles. Sin embargo, en la prctica, un experimento de este tipo sera irrealizable. En el presente Apndice se describe un procedimiento alternativo, ms fcilmente realizable, para determinar las caractersticas de fallo compuestas. Este mtodo consta de tres etapas: anlisis del contenido de programa; anlisis del canal de transmisin; obtencin de las caractersticas de fallo compuestas.
2 Anlisis del contenido de programa

Esta etapa exige dos operaciones: primero, se obtiene una medida apropiada del contenido del programa; y, segundo, se estiman las probabilidades con las que los valores de esta medicin ocurren en la prctica. La medicin del contenido de programa es una estadstica que recoge aspectos del contenido de programa que acentan la capacidad del sistema(s) en estudio para proporcionar reproducciones fieles de material de programa desde el punto de vista perceptivo. Evidentemente, sera ventajoso que estuviera basada en un modelo de percepcin apropiado. Sin embargo, en ausencia de tal modelo, podra ser suficiente una medicin que recogiera algn aspecto de la diversidad espacial sobre tramas/cuadros de vdeo, siempre que esta medicin presente una relacin aproximadamente montona con la calidad de la imagen percibida. Podra ser necesario utilizar diferentes mediciones para sistemas (o clases de sistemas) que emplean planteamientos fundamentalmente distintos para la representacin de la imagen. Una vez escogida la medicin apropiada, es necesario estimar las probabilidades con las que los posibles valores de esta estadstica ocurren. Esto se puede efectuar en una de las dos maneras siguientes: con el procedimiento emprico, en el que se realiza una muestra tomada al azar de unos 200 segmentos de programa de 10 s en un formato de estudio adecuado en resolucin, frecuencia de cuadro, y relacin dimensional de la imagen al sistema(s) considerado. El anlisis de esta muestra revela que para valores de la estadstica que en la prctica se toman como estimaciones de probabilidad de ocurrencia se producen relativas frecuencias de ocurrencia; o con el mtodo terico, por el que se utiliza un modelo terico para estimar las probabilidades. Se hace notar que, aunque se prefiere el mtodo emprico, puede ser necesario en determinados casos emplear el mtodo terico (por ejemplo, cuando no se

34

Rec. UIT-R BT.500-1

dispone de suficiente informacin sobre el contenido de programa, tal como la aparicin de nuevas tecnologas de produccin). Los anlisis precedentes darn por resultado una distribucin de probabilidad para valores de la estadstica de contenido (vase tambin el Apndice 1 al Anexo 1). Esto se combinar con los resultados del anlisis de las condiciones de transmisin para preparar la etapa final del proceso.
3 Anlisis del canal de transmisin

Esta etapa tambin exige dos operaciones: primero, se obtiene una medicin de la calidad de funcionamiento del canal de transmisin; y, segundo, se estiman las probabilidades con las que los valores de esta medicin ocurren en la prctica. La medicin de un canal de transmisin es una estadstica que recoge aspectos de la calidad de funcionamiento de un canal que influencia la capacidad del sistema(s) en estudio para proporcionar reproducciones fieles de material fuente desde el punto de vista perceptivo. Evidentemente, sera ventajoso que esta medida se basara en un modelo de percepcin apropiado. Sin embargo, en ausencia de tal modelo, sera suficiente una medida que recoja en cierto grado el stress impuesto por el canal, siempre que esta medida presente una relacin aproximadamente montona con la calidad de la imagen percibida. Puede ser necesario utilizar diferentes medidas para sistemas (o clases de sistemas) que emplean enfoques esencialmente distintos para la codificacin del canal. Una vez seleccionada la medida apropiada, es necesario estimar las probabilidades con las que los valores posibles de esta estadstica ocurren. Esto puede efectuarse en una de las dos maneras siguientes: con el procedimiento emprico, en el que se mide la calidad de funcionamiento del canal en unos 200 momentos y puntos de recepcin seleccionados al azar. El anlisis de esta muestra revela funciones de ocurrencia relativas para valores de la estadstica que se toman como estimacin de probabilidad de ocurrencia en la prctica; o con el mtodo terico, en el que se utiliza un modelo terico para estimar las probabilidades. Se hace notar que, aunque se prefiere el mtodo emprico, puede ser necesario en determinados casos emplear el mtodo terico (por ejemplo, cuando no se dispone de suficiente informacin acerca de la calidad de funcionamiento del canal, tal como la aparicin de nuevas tecnologas de transmisin). Los anlisis precedentes darn por resultado una distribucin de probabilidad para valores de la estadstica de canal. Esto se combinar con los resultados del anlisis de contenido de programa para preparar la etapa final del proceso.
4 Obtencin de las caractersticas de fallo compuestas

Esta etapa incluye un experimento subjetivo en el cual el contenido de programa y las condiciones de transmisin se varan conjuntamente de acuerdo con las probabilidades establecidas en las primeras dos etapas. El mtodo bsico utilizado es el procedimiento de doble estmulo con escala de calidad continua y, en particular, la versin recomendada de 10 s para secuencias en movimiento (vase el 5 del Anexo 1). Aqu, la referencia es una imagen con calidad de estudio en un formato apropiado (por ejemplo, un formato con resolucin, frecuencia de trama, formato de imagen apropiado al sistema(s) en estudio). En contraste, la prueba presenta la misma imagen como si hubiera sido recibida por el sistema(s) en estudio bajo condiciones de canal seleccionado.

Rec. UIT-R BT.500-1

35

El material de prueba y las condiciones de canal se seleccionan de acuerdo con las probabilidades establecidas en las primeras dos etapas del presente mtodo. Los segmentos del material de prueba, analizados cada uno de ellos para determinar su valor predominante de acuerdo con la estadstica de contenido, incluyen un fondo comn de seleccin. El material se muestra entonces a partir de este formato comn de modo tal que abarca la gama de valores posibles de la estadstica, escasamente en niveles menos crticos y ms densamente en niveles ms crticos. Los valores posibles de la estadstica de canal se seleccionan en forma similar. Luego, estas dos fuentes de influencia independientes se combinan al azar para producir condiciones de canal contenido combinado de probabilidad conocida. Los resultados de tales estudios, que relacionan la calidad de la imagen percibida con la probabilidad de ocurrencia en la prctica, se utilizan entonces para estudiar la adecuacin de un sistema o comparar sistemas en trminos de adecuacin.

Apndice 3 al Anexo 1 Efecto contextual

Los efectos contextuales aparecen cuando la calificacin subjetiva de una imagen viene influenciada por el orden y la severidad de las degradaciones presentes. Por ejemplo, si se presenta una imagen muy degradada despus de un conjunto de imgenes ligeramente degradadas, los observadores pueden calificar inadvertidamente esta imagen con una nota ms baja de lo que lo haran normalmente. Un grupo de cuatro laboratorios de distintos pases han investigado los posibles efectos contextuales asociados a los resultados de tres mtodos (mtodo DSCQS, mtodo DSIS, variante II y un mtodo de comparacin) utilizados para evaluar la calidad de imagen. El material de prueba se obtuvo mediante codificacin MPEG (ML@MP) junto con reduccin de la resolucin horizontal. A cada serie de pruebas, una de ellas sobre degradaciones contextuales dbiles y la otra sobre degradaciones intensas, se le aplicaron cuatro condiciones de prueba bsicas (B1, B2, B3, B4) y seis condiciones de prueba contextuales. Se aplicaron los tres mtodos de prueba a ambas series de pruebas. Los efectos contextuales son la diferencia entre los resultados de la prueba con degradaciones predominantemente dbiles y la prueba con fundamentalmente degradaciones predominantemente intensas. Las condiciones de prueba bsicas B2 y B3 se utilizaron para determinar los efectos contextuales. Los resultados combinados de los laboratorios indican que no hay efectos contextuales para el mtodo DSCQS. Para los mtodos DSIS y de comparacin los efectos contextuales fueron evidentes y el efecto ms intenso apareci para el mtodo DSIS, variante II. Los resultados indican que las degradaciones predominantemente dbiles pueden provocar calificaciones ms bajas de una imagen y las degradaciones predominantemente fuertes pueden provocar calificaciones ms elevadas. Los resultados de la investigacin sugieren que el mtodo DSCQS es el ms adecuado para minimizar los efectos contextuales en la evaluacin subjetiva de la calidad de imagen recomendada por el UIT-R. En el Informe UIT-R BT.1082 aparece ms informacin sobre este tema.

36

Rec. UIT-R BT.500-1

Anexo 2 Anlisis y presentacin de los resultados

1 Introduccin

En el transcurso de un experimento subjetivo para evaluar la calidad de funcionamiento de un sistema de televisin, se recopila un gran volumen de datos. Estos datos, en forma de hojas de evaluacin de los observadores, o su equivalente electrnico, deben condensarse mediante tcnicas estadsticas para ofrecer resultados de manera grfica y/o numrica/ formulada/algortmica en los que se resume la calidad de funcionamiento del sistema sometido a prueba. El siguiente anlisis es aplicable a los resultados de los mtodos de un solo estmulo del mtodo DSIS y del mtodo DSCQS para la evaluacin de la calidad de imgenes de televisin (vanse los 4, 5 y 6 del Anexo 1) y a otros mtodos alternativos que utilizan escalas numricas. En el primer y segundo caso, se evala la degradacin en una escala de cinco notas o multinota. En el ltimo caso, se utilizan escalas de evaluacin continua y los resultados (diferencias entre la evaluacin de la imagen de referencia y la imagen real sometida a prueba) se normalizan a valores enteros comprendidos entre 0 y 100.
2 Mtodos comunes de anlisis

Las pruebas realizadas de acuerdo con los principios de los mtodos descritos en el Anexo 1 producirn una distribucin de valores enteros comprendidos, por ejemplo, entre 1 y 5 o entre 0 y 100. Habr variaciones en estas distribuciones debido a las diferencias de apreciacin entre observadores y al efecto de diversas condiciones asociadas al experimento, por ejemplo, la utilizacin de varias imgenes o de secuencias. Una prueba constar de varias presentaciones, L. Cada presentacin de prueba ser una de entre varias condiciones de prueba, J, aplicada a una de entre varias secuencias de prueba/imgenes de prueba, K. En algunos casos, podr repetirse un cierto nmero de veces, R, cada una de las combinaciones de secuencia de prueba/imagen de prueba y condicin de prueba.
2.1 Clculo de notas medias

El primer paso para analizar los resultados consiste en calcular la nota media, u jkr , correspondiente a cada una de las presentaciones:
u jkr = donde: uijkr : N: 1 N u N i = 1 ijkr (1)

nota del observador i para la condicin de prueba j, secuencia/imagen k, repeticin r nmero de observadores.

De manera similar, podran calcularse las notas medias globales, u j y uk , correspondientes a cada condicin de prueba y secuencia/imagen de prueba.

Rec. UIT-R BT.500-1 2.2 2.2.1 Clculo del intervalo de confianza Procesamiento de datos brutos (no compensados y/o no aproximados)

37

Cuando se presenten los resultados de una prueba, todas las notas medias debern tener un intervalo de confianza asociado que se obtiene a partir de la desviacin tpica y el tamao de cada muestra. Se propone utilizar un intervalo de confianza del 95%, que viene dado por:

[u jkr jkr , u jkr + jkr ]

donde:
jkr = 1,96 S jkr N

(2)

La desviacin tpica de cada presentacin, Sjkr, viene dada por:

S jkr =

i =1

( u jkr uijkr ) 2 ( N 1)

(3)

Con una probabilidad del 95%, el valor absoluto de la diferencia entre la nota media experimental y la nota media verdadera (para un nmero de observadores muy elevado) es menor que el intervalo de confianza del 95%, siempre que la distribucin de las notas individuales cumpla ciertos requisitos. De manera similar, podra calcularse la desviacin tpica, Sj, correspondiente a cada condicin de prueba. Se seala no obstante que, cuando se utilice un nmero muy reducido de secuencias de prueba/imgenes de prueba, esta desviacin tpica se ver influida ms por las diferencias entre las secuencias de prueba empleadas que por las variaciones entre los observadores participantes en la evaluacin.
2.2.2 Procesamiento de datos compensados y/o aproximados

Para los datos cuyos efectos de degradacin/mejora y efectos frontera residuales de la escala de evaluacin hayan sido compensados, o los datos presentados en forma de ley de respuesta o adicin de degradaciones despus de la aproximacin, debido a la dependencia de las notas medias experimentales de calidad con respecto a estas distorsiones, el intervalo de confianza deber calcularse utilizando transformaciones de variables estadsticas teniendo en cuenta la dispersin de la variable correspondiente. Si los resultados de la evaluacin se presentan a modo de respuesta de degradaciones (es decir, como una curva experimental), los lmites inferior y superior del intervalo de confianza sern funcin de los valores experimentales. Para calcular esos lmites de confianza se ha de calcular la desviacin tpica y se ha de evaluar una aproximacin de su dependencia para cada valor experimental de la respuesta de degradaciones original.
2.3 2.3.1 Seleccin de los observadores Seleccin para los mtodos DSIS, DSCQS y alternativos, salvo el mtodo SSCQE

En primer lugar, se debe examinar si la distribucin de las notas para cada presentacin es normal o no lo es utilizando la prueba 2 (por el clculo del coeficiente de curtosis de la funcin, es decir, la razn entre el momento de cuarto orden y el cuadrado del momento de segundo orden). Si 2 est comprendido entre 2 y 4, la distribucin puede considerarse normal. Para cada presentacin, las notas uijkr de cada observador deben compararse con el valor medio asociado, u jkr , ms dos veces la desviacin tpica asociada, Sjkr (si es normal) o 20 veces (si no es normal) Pjkr, y el valor medio

38

Rec. UIT-R BT.500-1

asociado menos dos veces la misma desviacin tpica o 20 veces Qjkr. Cada vez que una nota del observador sea superior a Pjkr se incrementa un contador asociado a cada observador, Pi. De manera similar, cada vez que una nota del observador sea inferior a Qjkr, se incrementa un contador asociado a cada observador, Qi. Por ltimo, se deben calcular las dos relaciones siguientes: Pi + Qi dividido por el nmero total de notas de cada observador durante la sesin entera, y Pi Qi dividido por Pi + Qi como valor absoluto. Si la primera relacin es mayor del 5% y la segunda relacin es menor del 30%, se debe rechazar al observador i (vase la Nota 1).
NOTA 1 Este procedimiento no debe aplicarse ms de una vez a los resultados de un experimento determinado. Adems, el empleo del procedimiento ha de estar limitado a los casos en los que haya relativamente pocos observadores (por ejemplo, menos de 20), todos ellos no especializados.

Este procedimiento es el que se recomienda para el mtodo UER (DSIS); tambin se ha aplicado con xito al mtodo DSCQS y a mtodos alternativos. El proceso anterior puede expresarse matemticamente de la forma siguiente: Para cada presentacin de prueba, se calcula la media, u jkr , la desviacin tpica, Sjkr, y el coeficiente de curtosis, 2jkr. Este coeficiente viene dado por:

2 jkr =

m4 (m2 )

con

mx = i =1

(uijkr uijkr ) x
N (4)

Para cada observador, i, se obtiene Pi y Qi, es decir: Para j, k, r = 1, 1, 1 a J, K, R Si 2 2jkr 4, entonces: si uijkr ujkr + 2 Sjkr si uijkr ujkr 2 Sjkr o bien: si uijkr ujkr + 20 Sjkr
si uijkr ujkr 20 Sjkr entonces Pi = Pi + 1

entonces Pi = Pi + 1 entonces Qi = Qi + 1

entonces Qi = Qi + 1 se rechaza al observador i

Si siendo:

Pi + Qi > 0,05 J K R N: J: K: R: L:

Pi Qi < 0,3 Pi + Qi

nmero de observadores nmero de condiciones de prueba incluida la de referencia nmero de imgenes o secuencias de prueba nmero de repeticiones nmero de presentaciones de prueba (en la mayora de los casos, el nmero de presentaciones ser igual a J K R; no obstante, se seala que algunas evaluaciones pueden llevarse a cabo con nmeros distintos de secuencias para cada condicin de prueba).

Rec. UIT-R BT.500-1 2.3.2 Seleccin para el mtodo SSCQE

39

Para la seleccin de observadores especficos cuando se utiliza el procedimiento de prueba SSCQE, el dominio de aplicacin ya no es una de las configuraciones de prueba (combinacin de una condicin de prueba y una secuencia de prueba) sino una ventana de tiempo (por ejemplo, un segmento de voto de 10 s) de una configuracin de prueba. Se efecta un filtrado de los participantes en dos pasos, el primero se emplea para detectar y descartar observadores que presenten una discrepancia muy acusada en sus votos en comparacin con el comportamiento medio y el segundo se realiza para detectar y seleccionar observadores incoherentes, sin consideracin alguna a la discrepancia sistemtica en las apreciaciones. Paso 1: Deteccin de las inversiones de voto local En este caso tambin debe examinarse en primer lugar si la distribucin de notas para cada ventana de tiempo de cada configuracin de prueba es normal o no utilizando la prueba 2. Si 2 se encuentra entre 2 y 4, la distribucin puede considerarse normal. En ese caso se aplica el proceso para cada ventana de prueba de cada configuracin de prueba como se expresa matemticamente a continuacin. Para cada ventana de tiempo de cada una de las configuraciones de prueba y utilizando los votos uijkr de cada observador, se calcula la media ujklr , la desviacin tpica, Sjklr y el coeficiente, 2jklr. Este coeficiente viene dado por la expresin:

2 jklr =

m4 ( m2 )

con

mx = n =1

(unjklr u ) x
N

Para cada observador, i, se determinan Pi y Qi, es decir: Para j, k, l, r = 1, 1, 1, 1, a J, K, L, R Si 2 2jklr 4, entonces: si unjklr ujklr + 2 Sjklr si unjklr ujklr + 2 Sjklr o bien: si unjklr ujklr + 20 Sjklr si unjklr ujklr 20 Sjklr Si siendo: N: J: K: L: R: nmero de observadores nmero de ventanas de tiempo en una combinacin de prueba de condicin y secuencias de prueba nmero de condiciones de prueba nmero de secuencias nmero de repeticiones.
Pi > X% J K LR

entonces Pi = Pi + 1 entonces Qi = Qi + 1

entonces Pi = Pi + 1 entonces Qi = Qi + 1 se rechaza al observador i

Qi > X% J K LR

40

Rec. UIT-R BT.500-1

Este proceso permite eliminar observadores que han emitido votos muy distantes de las notas medias. En la Fig. 17 aparecen dos ejemplos (las dos curvas de los extremos presentan discrepancias importantes). No obstante, este criterio de eliminacin no permite detectar posibles inversiones que es otra fuente importante de deformaciones sistemticas en las apreciaciones. Por esa razn se propone un segundo paso. Paso 2: Deteccin de inversiones del voto local En este Paso 2 la deteccin tambin se basa en las frmulas de seleccin indicadas en el Anexo 2 a la presente Recomendacin. Se introduce una ligera modificacin relativa al dominio de aplicacin. El conjunto de datos de entrada lo constituye de nuevo las notas de todas las ventanas de tiempo (por ejemplo 10 s) de todas las configuraciones de prueba. Pero en este caso, las notas se centran previamente en torno a una media general a fin de minimizar el efecto de discrepancias que ya se ha tratado en la primera etapa del proceso. A continuacin se aplica el proceso habitual. En primer lugar debe examinarse si esta distribucin de notas para cada ventana de tiempo de cada configuracin de prueba es normal o no, utilizando la prueba 2. Si 2 se encuentra entre 2 y 4 la distribucin puede considerarse normal. A continuacin se aplica el proceso para cada ventana de tiempo de cada configuracin de prueba como se expresa matemticamente a continuacin. El primer paso del proceso es el clculo de las notas centradas para cada ventana de tiempo y cada observador. La nota media, uklr , para cada configuracin de prueba se define de la forma siguiente: uklr = 1 1 N J unjklr N J n =1 j =1 1 J unjklr J j =1

De forma similar, la nota media para cada configuracin de prueba y cada observador se define as: u nklr =

y unjklr corresponde a la nota del observador i para la ventana de tiempo j, la condicin de tiempo k, la secuencia l y la repeticin r. Para cada observador, las notas centradas u*njklr se calculan de la forma siguiente:
u *njklr = unjklr unklr + uklr

Para cada ventana de tiempo de cada configuracin de prueba, se calcula la media, u *jklr , la desviacin tpica, S*jklr y el coeficiente 2*jklr, que viene dado por:

2* jklr =

m4 (m2 )

con

mx = n =1

(u *njklr ) x
N

Para cada observador i, se determinan P*i y Q*i, es decir: Para j, k, l, r = 1, 1, 1, 1, a J, K, L, R Si 2 2*jklr 4, entonces: si u *njklr u *jklr + 2 S *jklr si u *njklr u *jklr 2 S *jklr entonces P*i = P* i + 1 entonces Q*i = Q*i + 1

Rec. UIT-R BT.500-1

41

o bien: si u *njklr u *jklr + 20 S *jklr si u *njklr u *jklr 20 S *jklr Si siendo: N: J: K: L: R: nmero de observadores nmero de ventanas de tiempo en una combinacin de prueba de condicin y secuencias de prueba nmero de condiciones de prueba nmero de secuencias nmero de repeticiones.
P *i + Q *i >Y J K LR

entonces P*i = P*i + 1 entonces Q*i = Q*i + 1 se rechaza al observador i

P *i Q *i <Z P *i + Q *i

Los valores propuestos para los parmetros (X, Y, Z) experimentados y adaptados a este mtodo son: 0,2, 0,1, 0,3.
3 Procesamiento para encontrar una relacin entre la nota media y la medicin objetiva de la distorsin de imagen

Si las pruebas subjetivas se han realizado para determinar la relacin entre la medicin objetiva de una distorsin y las notas medias u ( u calculado de acuerdo con el 2.1), puede ser til el siguiente proceso que consiste en encontrar una relacin continua sencilla entre u y el parmetro de degradacin.
3.1 Aproximacin por una funcin logstica simtrica

La aproximacin de esta relacin experimental por una funcin logstica ofrece particular inters. Las operaciones a que se someten los datos relativos a u pueden efectuarse de la manera siguiente: La escala de valores de u se normaliza tomando una variable continua p, tal que:
p = ( u umn) / (umx umn)

(5)

siendo:
umn : umx :

nota mnima disponible en la escala u para la peor calidad nota mxima disponible en la escala u para la mejor calidad.

La representacin grfica de la relacin entre p y D muestra que la curva tiende a presentar una forma sigmoide antisimtrica, siempre que los lmites naturales de los valores de D, fuera de la regin en que u vara rpidamente, sean lo suficientemente amplios. La funcin p = f (D) puede aproximarse entonces utilizando una funcin logstica convenientemente elegida, tal como la que viene dada por la relacin general siguiente:
p = 1 / [1 + exp ( D DM ) G ]

(6)

donde DM y G son constantes y G puede ser positivo o negativo. El valor p, obtenido mediante la aproximacin de la funcin logstica ptima, se utiliza para hallar un valor numrico I tal que: I = (1/p 1) (7)

42

Rec. UIT-R BT.500-1

Los valores de DM y G pueden obtenerse a partir de datos experimentales mediante la siguiente transformacin:
I = exp ( D DM ) G

(8) (9)

Utilizando una escala logartmica para I se obtiene la relacin lineal: loge I = ( D DM ) G La interpolacin de una lnea recta es sencilla y en algunos casos su precisin permite considerar que dicha lnea recta representa la degradacin debida al efecto medido por D. La pendiente de la caracterstica se expresa entonces mediante: D D 1 S = M = G log e I que proporciona el valor ptimo de G. DM es el valor de D para I = 1.

(10)

La lnea recta puede designarse por la caracterstica de degradacin asociada a la degradacin especfica que se considera. Se observar que la lnea recta puede definirse por los valores caractersticos DM y G de la funcin logstica.
3.2 3.2.1 Aproximacin por una funcin no simtrica Descripcin de la funcin

La aproximacin de la relacin entre las notas experimentales y la medicin objetiva de una distorsin de imagen por una funcin logstica simtrica tiene ms xito cuando el parmetro de distorsin D puede medirse en una unidad relacionada, por ejemplo la relacin S/N (dB). Si el parmetro de distorsin se midi en una unidad fsica d, por ejemplo un retardo de tiempo (ms), la relacin (8) debe sustituirse por la siguiente: I = ( d / dM )1/G y, por consiguiente, la relacin (6) pasa a ser: p = 1 1 + ( d / d M )1 / G (11)

(12)

Esta funcin aproxima la funcin logstica de una forma no simtrica.

3.2.2 Estimacin de los parmetros de la aproximacin

La estimacin de los parmetros ptimos de la funcin que proporciona los errores mnimos residuales entre los datos reales y la funcin se puede obtener con cualquier algoritmo de estimacin recurrente. La Fig. 16 muestra un ejemplo del uso de la funcin no simtrica para representar datos subjetivos reales. Esta representacin permite estimar mediciones objetivas especficas correspondientes a un valor subjetivo interesante: 4,5 en la escala de cinco notas, por ejemplo.

Rec. UIT-R BT.500-1

FIGURA 16 Aproximacin no simtrica 5

43

3 p(d ) 2 1 0 d 0500-16

3.3

Correccin de la degradacin/mejora residual y de los efectos de lmite de escala

En la prctica, la utilizacin de una funcin logstica a veces no puede evitar algunas diferencias entre los datos experimentales y la aproximacin. Estas discrepancias pueden ser debidas a los efectos de fin de escala o a la presencia simultnea de varias degradaciones en la prueba que pueden repercutir en el modelo estadstico y deformar la funcin logstica terica. Se ha identificado un tipo de efecto de lmite de escala en el cual los observadores tienden a no utilizar los valores extremos de la escala de juicios, en particular para las notas de alta calidad. Ello puede deberse a un cierto nmero de factores, incluida la resistencia de tipo psicolgico a realizar juicios extremos. Adems, la utilizacin de la media aritmtica de los juicios de acuerdo con la ecuacin (1) cerca de los lmites de la escala puede provocar resultados sesgados debido a la distribucin no gaussiana de los votos en estas zonas. Frecuentemente se indica en las pruebas una degradacin residual (incluso en las imgenes de referencia la nota media alcanza nicamente un valor u0 < umx ) . Existen algunos mecanismos tiles para corregir los datos en bruto obtenidos de las evaluaciones a fin de lograr conclusiones vlidas (vase el Cuadro 5). La correccin de los efectos de lmite, en caso de que existan en los datos experimentales, constituye una parte muy importante del procesamiento de datos. Por consiguiente, la eleccin del procedimiento debe efectuarse con un gran cuidado. Obsrvese que estos procedimientos de correccin suponen hiptesis especiales y, por consiguiente, es preciso tener precaucin al utilizarlos; en la presentacin de los resultados debe informarse que se han empleado dichos procedimientos.

44

Rec. UIT-R BT.500-1

CUADRO 5
Comparacin de mtodos de correccin de los efectos de lmite de escala
Mtodos de compensacin de los efectos de lmites Compensacin de la degradacin residual Sin compensacin Transformacin de escala lineal Transformacin de escala no lineal(1) Mtodo basado en la adicin de degradaciones Mtodo multiplicativo
(1)

Caractersticas Compensacin de la mejora residual No Puede ser un error significativo S No No Deriva en el centro de la escala No No No S S

No S S S S

De acuerdo con la transformacin de escala no lineal deben calcularse los datos corregidos:

u corr = C (u umid ) + umid C= siendo: ucorr : u : umn , umx : umid : u0 mn, u0 mx : nota corregida nota experimental sin corregir lmites de la escala de votacin mitad de la escala de votacin lmites inferior y superior de la tendencia de las notas experimentales. u u 0 mn u mx u mid
+

u0

mx

u
mn

u mn u mid u0
mn

u 0 mx u 0 mn u 0 mx u mid

u 0 mx u 0

u mid

3.4

Incorporacin de los aspectos de fiabilidad a los grficos

A partir de las notas medias de cada degradacin sometida a prueba y del intervalo de confianza del 95% asociado, se elaboran tres series de notas: serie de notas mnimas (medias intervalos de confianza); serie de notas medias; serie de notas mximas (medias + intervalos de confianza). Se procede a continuacin a una estimacin de los parmetros independientemente para las tres series. Esto permite representar las tres funciones obtenidas en el mismo grfico: las dos funciones derivadas de las series de notas mximas y mnimas en lneas de trazos, la estimacin media en lnea continua. Se sealan tambin en el grfico los valores experimentales (vase la Fig. 17). Se obtiene as una estimacin de la zona de confianza continua del 95%. Con respecto a la nota 4,5 (umbral de visibilidad asociado al mtodo), se obtiene directamente por lectura del grfico un intervalo de confianza estimado del 95% que puede servir para determinar una gama de tolerancia. La separacin entre las curvas de mximas y mnimas no es un intervalo del 95%, sino una estimacin media de ste. Al menos el 95% de los valores experimentales debera estar incluido dentro de la zona de confianza; en caso contrario, podra pensarse que se ha producido un problema en la realizacin de la prueba o que el modelo de funcin elegido no es el ptimo.

Rec. UIT-R BT.500-1

45

FIGURA 17 Caso de una caracterstica de degradacin no simtrica 5

p(d ) q(d ) r(d )

d p(d): q(d): r(d): d:

series de notas medias series de notas mnimas series de notas mximas medida objetiva de la degradacin

0500-17

Conclusiones

Se ha descrito un procedimiento para la evaluacin de los intervalos de confianza, es decir, la precisin de un conjunto de pruebas de evaluacin subjetiva. El procedimiento permite tambin la estimacin de magnitudes generales medias, que son aplicables no solamente al experimento particular que se est realizando, sino tambin a otros llevados a cabo segn la misma metodologa. Por tanto, se pueden utilizar dichas magnitudes para dibujar diagramas del comportamiento del intervalo de confianza, que constituyen una ayuda tanto para las evaluaciones subjetivas como para la planificacin de pruebas futuras.

46

Rec. UIT-R BT.500-1

Anexo 3 Descripcin de un formato comn para el intercambio de fichero

La finalidad de un formato comn para el intercambio de fichero es facilitar el intercambio de datos entre laboratorios que participen en una campaa de evaluacin subjetiva internacional en colaboracin. Una evaluacin subjetiva se desarrolla en cinco fases sucesivas y dependientes entre s: preparacin de la prueba, realizacin de la prueba, procesamiento de los datos, presentacin de los resultados e interpretacin de los mismos. En grandes campaas internacionales, el trabajo se suele distribuir entre los diferentes laboratorios participantes: Un laboratorio se ocupa de la configuracin de la prueba, en colaboracin con otros participantes, identificando los parmetros de calidad que se han de evaluar, el material de la prueba que se ha de utilizar (en la actualidad, crtico pero no indebidamente crtico), el marco de la prueba (por ejemplo, metodologa, distancia de observacin, disposicin de la sesin, secuencia de presentacin de elementos de prueba) y el entorno de la prueba (por ejemplo, condiciones de observacin, alocucin introductoria). Se pide a los laboratorios que colaboran voluntariamente que proporcionen el material de prueba procesado de acuerdo con las tcnicas adecuadas representativas del parmetro de calidad que se ha de evaluar (por simulacin o en base a equipos fsicos). Otro participante se encarga del montaje de la cinta de prueba. Diversos laboratorios colaboradores efectan la prueba utilizando la cinta montada preliminar. La prueba puede ser una prueba ciega. En este caso, el laboratorio la llevar a cabo recogiendo los votos de los evaluadores sin tener que conocer necesariamente los parmetros de calidad objeto de evaluacin. A otro participante se le pide generalmente que coordine la recogida de los datos brutos resultantes para procesamiento y publicacin de los resultados, lo que tambin puede hacerse de manera ciega. Por ltimo, se interpretan los resultados de un texto/cuadro o representacin grfica y se publica el informe final. El formato propuesto permite reunir los resultados entregados de acuerdo con los procedimientos de prueba definidos durante la fase de definicin de la prueba. Este formato es conforme a los mtodos de evaluacin descritos en la Recomendacin UIT-R BT.500. Est constituido por ficheros de texto con la estructura que se muestra en los Cuadros 6 y 7. Su sintaxis se basa en etiquetas y campos y en un conjunto limitado de smbolos reservados (por ejemplo, [, ], , y =). No existe ninguna limitacin intrnseca por lo que se refiere a capacidad (por ejemplo, el nmero de laboratorios participantes, observadores, secuencias de prueba y parmetros de calidad, lmites de la escala de votacin o tipo de perifrico de votacin).

Rec. UIT-R BT.500-1

47

CUADRO 6
Formato del fichero de texto Resultados de identificacin
Formato y sintaxis del fichero de identificacin Comentarios

[Marco de la prueba] Tipo = DSCQS o DSIS I, DSIS II, etc. Nmero de sesiones = 1 entero x Mnimo de la escala = entero Mximo de la escala = entero Tamao del monitor = entero Marca y modelo del monitor = cadena de caracteres [RESULTADOS] Nmero de resultados = 1 entero y Resultado(j).Nombre de fichero(s) = cadena de caracteres.DAT ... Resultado(j).Nombre = cadena de caracteres Resultado(j).Laboratorio = cadena de caracteres Resultado(j).Nmero de observadores = 1 entero N Resultado(j).Entrenamiento = S o No [Resultado(j).Sesin (i).Observadores] O(k).Nombre = cadena de caracteres O(k).Apellido = cadena de caracteres O(k).Sexo = M o F O(k).Edad = entero O(k).Ocupacin = cadena de caracteres O(k).Distancia = entero
(1)

[Identificador de seccin] Identificacin del mtodo de la Recomendacin UIT-R BT.500 utilizado Nmero de sesiones(1) en las que se ha distribuido una prueba Definicin de la escala (vanse los requisitos especficos del mtodo, si existen) Diagonal de la pantalla (pulgadas) [Identificador de seccin] Nmero de ficheros Resultados(1) que se consideran Nombre del fichero Completo.DAT (vase el Cuadro 7) incluyendo el trayecto Nombre del fichero Resultados del cliente Identificacin del laboratorio que efecta la prueba Nmero total de observadores Indica si los votos recogidos durante el entrenamiento se incluyen en el fichero DAT adjunto [Identificador de seccin] Identificacin del observador Opcional Opcional Principales grupos socioeconmicos (por ejemplo, trabajador, estudiante) Distancia de observacin en alturas de la pantalla (por ejemplo, 3 H, 4 H, 6 H)

Sesin: Una prueba se puede dividir en varias secciones diferentes para cumplir el requisito de duracin de prueba mxima. El mismo observador u observadores diferentes pueden participar en distintas sesiones durante las cuales se les pedir que evalen configuraciones diferentes. Reuniendo los votos recogidos durante las distintas sesiones se obtiene un conjunto completo de Resultados (nmero de presentaciones nmero de votos por presentacin) de la prueba. Se puede adjuntar Resultados a los diversos ficheros .DAT que se entregarn por cada realizacin de prueba.

CUADRO 7
Formato del fichero de texto de datos brutos Resultados.DAT
Formato y sintaxis del fichero nombre de fichero .DAT Comentarios

entero entero entero....... entero entero entero....... entero entero entero....... .....
(1)

Un fichero de datos brutos DAT se compone de valores de votos separados por un espacio. Se ha de utilizar una lnea por observador Los datos brutos se almacenan segn su orden de entrada Los datos se pueden distribuir en diferentes ficheros DAT identificados en el Cuadro 6 por Resultado(j). Nombre de fichero(s)(1)

Vase la llamada (1) del Cuadro 6.