Mtricas e Indicadores: Dos Conceptos Claves para Medicin y Evaluacin

Contenido
Introduccin Teora de Mtricas Teora de Indicadores Conclusiones/Avances

Esquema

Introduccin Teora de Mtricas Teora de Indicadores Conclusiones

Introduccin
Beneficios de la Medicin/Evaluacin
Analizar, Comprender (los atributos de un ente) Controlar (la calidad del producto, ) Predecir (el tiempo y costo de un proyecto) Mejorar (la calidad de un producto, proceso )

Conceptos Medibles (Factores)

Calidad, Calidad en Uso, Productividad, Costo

Fases del Ciclo de Vida del Software

Exploracin, Desarrollo, Mantenimiento.

Introduccin
Requerimientos de Medicin/Evaluacin
Metas, Restricciones (Seguridad, Disponibilidad, etc.) Especificacin de Requisitos, Definicin de Criterios, Tcnicas, Mtricas, Indicadores

Captura de Datos
Recoleccin de Datos
Automtica, Semiautomtica, Manual

Anlisis
Tcnicas Estadsticas, Visualizacin Grfica, Tablas, etc. Interpretacin de los datos.

Recomendaciones
Doc. de Conclusiones, Propuestas de Mejora

Clases de Mtodos de Evaluacin

Categoras de Mtodos Testing Inspeccin Consulta (Inquiry) Modelado Analtico Simulacin Los Mtodos y Tcnicas a Aplicar pueden ser:
Cuantitativos versus Cualitativos Automticos, Semiautomticos o Manuales Desde Fcil a Difcil de Usar y Aprender

Taxonoma de Mtodos
Clase de Mtodo
-- Testing -- Inspeccin -- Consulta, ...

Tipo de Mtodo

Taxonoma de Mtodos de Evaluacin

-- Anlisis de Log Files -- Evaluacin de Car acter sticas y Atr ibutos

Tipo de Automatizacin
-- Manual -- Semi-Automtico -- Automtico

Fase
-- Requer imientos -- Captur a -- Anlisis -- Recomendaciones

Nivel de Esfuer zo
-- Fcil de Usar , Apr ender -- Efectivo, Pr eciso -- Rango de Aplicabilidad

Hacia una Ontologa de M&I

Diversos Estndares (principalmente ISO) tratan sobre
el modelo de calidad de software (ISO 9126), el proceso de medicin (ISO 15939), el proceso de evaluacin (ISO 14598) otros

Con frecuencia, no existe un claro consenso entre los mismos trminos en diferentes documentos o, a veces, trminos ausentes Necesidad de una Ontologa para el dominio de Mtricas e Indicadores
Ontologas para el Proceso de Medicin y Evaluacin

Esquema

Introduccin Teora de Mtricas Teora de Indicadores Conclusiones

Introduccin a Mtricas
ENTIDAD ATRIBUTO CONCEPTO MEDIBLE (Calidad, Productiv...) MODELO DE CONCEPTO METRICA (Directa e Indirecta) MEDICION, MEDIDA METODO (Medicin, Clculo) ESCALA / TIPO DE ESCALA UNIDAD ...

Introduccin a Mtricas
ENTIDAD
Un objeto que va a ser caracterizado mediante una medici n de sus atributos [ISO-15939]. Una entidad puede ser fsica tangible (p.ej. una computadora) o abstracta -intangible (p.ej. un programa software) Objetos de inters para el dominio de software son:
Recurso, Proceso, Producto, Producto en uso?, Proyecto, Servicio

Introduccin a Mtricas
ATRIBUTO
Una propiedad mensurable, fsica o abstracta, de una entidad [ISO 14598-1:1999]. el atributo puede ser interno o externo
Tamao de cdigo fuente (atributo interno), precio (atributo externo).

el atributo se puede medir (cuantificar) por medio de una mtrica directa o indirecta.

Introduccin a Mtricas
CONCEPTO MEDIBLE
Es una relacin abstracta entre atributos de una o ms entidades, y una necesidad de informacin [ISO15939]. Evaluar o predecir dicho concepto, desde una perspectiva de usuario. Ejemplos de conceptos medibles son: Calidad, Costo, Accesibilidad, Calidad en Uso, Confiabilidad. Ejemplos de perspectivas de usuario son: Gerente, Desarrollador, Usuario final, etc.

Introduccin a Mtricas
MODELO de CONCEPTO
El conjunto de subconceptos y las relaciones entre ellos, que sirven de base para una ulterior evaluacin o estimacin. Ej. Caractersticas y/o subcaractersticas y sus relaciones que proveen las bases para modelar Calidad. Una caracterstica puede estar conformada por subcaractersticas y atributos. El modelo puede ser fijo (estndar, como ISO 9126-1), propio o mixto.

Modelos de Calidad (Boehm - 1978)

Pr im ar y uses I nter m ediate constr uctor s Pr im itive constr uctor s Device Independence Completeness Portability Reliability Efficiency General utility Human engineering Communicativeness Testability Maintainability Understandability Structuredness Self descriptiveness Conciseness Legibility Augmentability Accuracy Consistency Device efficiency Acessibility Metrics

As is utility

Modifiablility

Caractersticas y Subcaractersticas
Usabilidad Comprensin Global del Sitio Ayuda y Retroalimentacin Aspectos de Interface Aspectos Estticos Funcionalidad Bsqueda y Recuperacin Navegacin y Exploracin Funciones y Contenido Especficos del Dominio (E-commerce, Museos, Universidades ...) Confiabilidad Enlaces Pginas Compatibilidad de Navegadores Eficiencia Performance Accesibilidad

Caractersticas y Atributos
Confiabilidad
Enlaces
Enlaces Rotos Enlaces Invlidos Enlaces no Implementados

Pginas
Pginas Muertas Pginas bajo Construccin Errores de Ortografia

Introduccin a Mtricas
METRICA
El m todo de medici n definido y la escala de medicin [ISO 14598-1:1999]. MEDICION
Actividad que usa la definicin de la mtrica para producir el valor de una medida.

MEDIDA
Nmero o categora asignada a un atributo de una entidad mediante una medici n [ISO 145981:1999]

Introduccin a Mtricas
METODO (de MEDICION, CALCULO)
Secuencia lgica de operaciones y potenciales heursticas, expresadas de forma genrica, que permite la realizacin de una descripcin de actividad. El tipo de m todo de medicin va a depender de la naturaleza de las operaciones utilizadas para cuantificar el atributo. Pueden distinguirse dos tipos:
Subjetivo: Cuando la cuantificacin supone un juicio realizado por un ser humano. Objetivo: Cuando la cuantificacin est basada en mtodos numricos.

Introduccin a Mtricas
Escala
Un conjunto de valores con propiedades definidas [ISO 14598-1]. Escala Numrica (Continua o Discreta) Escala Categrica Tipos de Escala (Nominal, Ordinal, Intervalo...)

Introduccin a Mtricas
METRICA Es la correspondencia de un dominio emprico (mundo real) a
un mundo formal, matemtico. La medida incluye al valor numrico o nominal asignado al atributo de un ente por medio de dicha correspondencia. [Fenton]

Juan es ms alto que Mara s y slo s M (Juan)>M (Mara)

Introduccin a Mtricas
METRICA DIRECTA
Una mtrica de un atributo que no depende de ninguna m trica de otro atributo.

METRICA INDIRECTA
Una m trica de un atributo que se deriva de una o ms mtricas de otros atributos.
Se formaliza por medio de una Funcin de Medicin (Frmula, Ecuacin). Funci n de Medici n : Un algoritmo o clculo que permite combinar dos o ms m tricas .

Ejemplos de Mtricas Directas

Longitud del Texto del Cuerpo de una Pgina Medido por cantidad de palabras, etc. Cantidad de Enlaces Rotos Internos
Medidos por la presencia de errores del tipo 404, (410 ?)

Cantidad de Imgenes con Texto Alternativo

Medido por la presencia de la etiqueta ALT (con texto no

nulo) en cada una de las imgenes vinculadas a las pginas de un sitio Web

Ejemplos de Mtricas Indirectas

Porcentaje de Enlaces Rotos de un Sitio

CantidadEnlacesRotosInternos + CantidadEnlacesRotosExternos CantidadTotalEnlaces

PorcentajeEnlacesRotos =

100

Porcentaje de Presencia de la propiedad ALT.

CantidadIm genesALT Porcentaje PresenciaA = LT 100 CantidadTo talImgene s

Introduccin a Mtricas
INSTRUMENTO (Herramienta) Instrumento (o herramienta) que automatiza parcial o totalmente a un mtodo de medicin o clculo.
Nota: un instrumento software (de medicin o clculo) es un caso particular de un instrumento (de medicin o clculo). Por ejemplo, un termmetro es un instrumento de medicin.

Herramientas de Automatizacin Mtricas Web

Bobby : CAST [http://www.cast.org/bobby/] ; web-based on-line y offline, con ranking; Analizador Accesibilidad (WAI conformance), de Errores y Fallas, Compatibilidad de Browsers. Doctor HTML : Imagiware [http://www2.imagiware.com/RxHTML]; webbased y off-line; Analizador de Errores y Fallas, HTML tags, Performance, etc. LIFT: UsableNet.com [http://www.usablenet.com/lift_onsite/]; webbased y off-line, con ranking; Analizador de Errores y Fallas, HTML tags, Imgenes, Performance, test de Accesibilidad, etc. LinkBot: WatchFire [http://www.watchfire.com/solutions/linkbot.asp]; off-line, con ranking; Analizador de Errores y Fallas, Performance, HTTP cdigos de estado, etc. Herramienta de reparacin.

Introduccin a Mtricas
ESCALA / TIPOS DE ESCALA
Un conjunto de valores con propiedades definidas [ISO 14598-1]. Una escala puede ser clasificada de acuerdo a los siguientes Tipos de Escala: Nominal, Ordinal restringida, Ordinal no restringida, Intervalo, Proporcin, Absoluta. Cada tipo de escala determina las transformaciones admisibles, el tipo de operaciones matemticas, y los anlisis estadsticos que pueden aplicarse sobre el conjunto de valores de la escala.

Introduccin a Mtricas
UNIDAD (para escalas numricas) Una cantidad particular, definida y adoptada por convencin, con la que se pueden comparar otras cantidades de la misma clase para expresar sus magnitudes respecto a esa cantidad particular [ISO-15939]
Ejemplos: LOC, bytes, palabras, links ...

Introduccin a Mtricas: Tipos de Escala

Tipo de Escala Nominal
En un tipo de escala nominal el sistema relacional emprico consta slo de categoras diferentes. Cualquier nmero o smbolo distinto para cada categoria es una medida aceptable, pero no existe orden o nocin de magnitud asociado a cada nmero o smbolo. Ejemplo: mido las fallas de software si estn en Especifacin, Diseo o Codificacin y puedo asignar 1, 2 y 3 para las fallas que se encontraron en cada tarea respectivamente, o simplemete A, B y C.
Esta clasificacin no nos permite determinar si un tipo de falla es ms importante o no que otra.

La transformacin admisible para el tipo de escala nominal es el conjunto de todos los mapeos 1 a 1.

Introduccin a Mtricas: Tipos de Escala

Tipo de Escala Ordinal
Le agrega orden a las categoras del tipo de escala nominal. El sistema relacional emprico est formado por categoras ordenadas con respecto a un atriburo. Cualquier mapeo que preserve el orden es aceptable. No tiene sentido ninguna operacin aritmtica sobre las categoras. Ejemplo: Complejidad de Software. Si defino trivial, simple, normal, complejo e inentendible, hay una relacion de orden implicito , mas complejo que el mapeo a nmeros debe preservar este orden, podra ser 1, 2, 3, 4 y 5 o .5, 55,100, 101 y 240, cualquier mapeo que preserve el orden en el sistema numrico es valido.

Introduccin a Mtricas: Tipos de Escala

Tipo de Escala Intervalo
Toma informacin acerca del tamao de los intervalos que separan las categoras (escala o salto de una categora a otra) Preserva el orden de las categoras Preserva la diferencia entre dos categoras pero no puedo hacer algunas operaciones sobre las mismas; es decir puedo sumar y restar pero no multiplicar o dividir. Ejemplo: medir la temperatura del aire en Fahrenheit . Puedo decir

que hace 40 grados en NY y 80 en Miami. La diferencia tiene sentido, 40 grados, tambin si aumenta un grado en NY y Miami pero NO puedo decir que la temperatura en Miami es el doble que en NY, o que en NY es la mitad.

El tipo de transformacin admisible es de la forma: M= a * M + b.

Introduccin a Mtricas: Tipos de Escala

Tipo de Escala de Proporcin
Es el tipo de escala ms usado. Podemos hacer anlisis con operadores de multiplicacin y divisin, porcentajes, entre otros. Todas las operaciones aritmticas tienen sentido sobre las categorias.
Ejemplo: La altura de una persona (Dos veces ms alto que)

Se preserva el orden, el tamao de intervalo y la proporcin de las categoras. Hay un elemento cero, que representa la falta total de un atributo. Las categoras mapeadas deben comenzar en cero e incrementarse a intervalos regulares llamados unidades. El tipo de transformacin admisible es de la forma: M= a * M.

Introduccin a Mtricas: Tipos de Escala

Tipo de Escala Absoluta
Es la mas restriciva. La nica transformacin admisible es la identidad. Es decir, slo hay un mapeo posible M = M. La medida es hecha (generalmente) contando elementos del conjunto de un atributo de una entidad El atributo tiene siempre la forma Nmero de ocurrencias del atributo X en la entidad E Todo anlisis aritmtico tiene sentido. Ejemplo: Cantidad de Enlaces Rotos.

Ejemplo de Atributos/Mtricas
Necesidad de Infor macin: Evaluate the link reliability for static pages of a website Entidad: Producto (web site) Concepto Medible: link reliability (Confiabilidad de Enlaces) Modelo par a Confiabilidad de Enlaces (link reliability ) 1. Link Reliability // Atributos
1.1 Internal Broken Links (IBL) 1.2 External Broken Links (EBL) 1.3 Invalid Links (IL)

Ejemplo de Atributos/Mtricas
1. Link Reliability // Atributos 1.1 Internal Broken Links (IBL) // Dos Posibles Mtricas para 1.1 a) #IBL Unidad: Enlace; Escala: Numrica, Enteros Tipo de Escala: Absoluta Tipo de Mtodo de Medicin: Objetivo b) %IBL = (#IBL / #TL) * 100; Unidad: Normalizada a Porcentaje; Escala: Numrica, Reales Tipo de Escala: Absoluta

Para Resaltar
Las mtricas NO pueden interpretar por s solas un concepto medible Necesidad de INDICADORES

Esquema

Aseguramiento de Calidad Teora de Mtricas Teora de Indicadores Conclusiones

Introduccin a Indicadores
INDICADOR (ELEMENTAL, GLOBAL) CONCEPTO MEDIBLE (Calidad, Productiv...) MODELO DE CONCEPTO MODELO ELEMENTAL, GLOBAL CRITERIO DE DECISION CALCULO, VALOR INDICADOR ESCALA / TIPO DE ESCALA UNIDAD ...

Introduccin a Indicadores
INDICADOR
El m todo de c lculo y la escala definidos, adems del modelo y criterios de decisi n con el fin de proveer una evaluacin o estimacin de un concepto medible con respecto a una necesidad de informaci n . Indicador Elemental
Preferencia de Enlaces Rotos Internos (IBL_P)

Indicador Global
Preferencia en Confiabilidad de Enlaces (LR_P)

Introduccin a Indicadores
MODELO ELEMENTAL
Algoritmo o funcin asociados a criterios de decisin que modela a un indicador elemental. Ejemplo para Preferencia de Enlaces Rotos Internos (IBL_P)
IBL_P = 100% if %IBL = 0; IBL_P = 0% if %IBL >= X max ; otherwise IBL_P =( (X max %IBL) / X max ) * 100 if 0 < %IBL < X max where X max is some agreed upper threshold such as 3

Introduccin a Indicadores
MODELO GLOBAL
Algoritmo o funcin asociados a criterios de decisin que modela a un indicador global. Ejemplo para Preferencia de Confiabilidad de Enlaces (LR_P)
GI1 = (W1.1 EI1.1 + W1.2 EI1.2 + W1.3 EI1.3); (W1 + W2 + .. + Wm ) = 1; if Wi > 0 ; para i = 1 .. m (m = 3, en nuestro ejemplo).

Introduccin a Indicadores
CRITERIO DE DECISION
Thresholds, targets, or patterns used to determine the need for action or further investigation, or to describe the level of confidence in a given results [ISO 15939]. Ejemplo

The decision criteria that a model of an indicator have to have are the agreed acceptability levels in the given scale; for instance, it is unsatisfactory if the range is 0 to 40; marginal, if it is greater than 40 and less or equal than 60; otherwise, satisfactory

Esquema

Aseguramiento de Calidad Teora de Mtricas Teora de Indicadores Conclusiones/Avances

Conclusiones
Metrics are welcome when they are clearly needed and easy to collect and understand Pfleeger Utilidad de las Mtricas Medicin objetiva antes que subjetiva Especificar en el mundo formal, la correspondencia de un atributo del mundo emprico Operacionalizar Heursticas Servir de base a Mtodos Cuantitativos de Evaluacin o Prediccin. La mtrica NO puede interpretar por s sola un concepto medible (Necesidad de INDICADORES)

Conclusiones
Indicators are ultimately the foundation for interpretation of information needs and decision-making. Utilidad de los Indicadores Servir de base para cuantificar Conceptos Medibles para una Necesidad de Informacin Servir de base a Mtodos Cuantitativos de Evaluacin o Prediccin Los indicadores ofrecen informacin para la toma de decisiones