Asignatura: Evaluacin Sistemas Informticos

Tcnicas de evaluacin Mtricas del desempeo

Octubre, 2013
Evaluacin Sistemas Informticos

Seleccin de indicadores de desempeo

Para cada estudio de rendimiento, un conjunto de criterios de rendimiento o mtricas deben ser elegidos. Una forma de preparar este conjunto es la lista de los servicios ofrecidos por el sistema. Para cada solicitud de servicio realizado en el sistema, hay varios posibles resultados. En general, estos resultados se pueden clasificar en tres categoras :

Velocidad

fiabilidad

disponibilidad.
(Tiempo medio hasta el fallo)

Evaluacin Sistemas Informticos

Mtricas

Seleccin de indicadores de desempeo

El sistema puede llevar a cabo el servicio correctamente, incorrectamente, o negarse a prestar el servicio. Ejemplo 1: Una puerta de enlace en una red ofrece el servicio de reenvo de paquetes a los destinos especificados en redes heterogneas. Cuando se presenta un paquete, puede enviar el paquete correctamente, puede remitirlo al destino equivocado, o puede estar abajo, en cuyo caso no se lo transmitir a todos. Ejemplo 2: Una base de datos ofrece el servicio de responder a las consultas. Cuando se presenta con una consulta, puede responder correctamente, puede dar respuesta incorrecta, o puede estar abajo y no responder.

Evaluacin Sistemas Informticos

Seleccin de indicadores de desempeo

Los tres indicadores relacionados con un desempeo exitoso se llaman tambin tiempo de respuesta, productividad y utilizacin. Ejemplo: El tiempo de respuesta de una entrada de la red se mide por su respuesta (intervalo de tiempo entre la llegada de un paquete y su entrega con xito). La productividad de la puerta de enlace se mide por su rendimiento o productividad, el nmero de paquetes remitidos por unidad de tiempo. La utilizacin da una indicacin del porcentaje de tiempo que los recursos de la puerta de enlace estn ocupados para el nivel de carga propuesto. El recurso de mayor utilizacin se llama el cuello de botella. Optimizaciones de rendimiento en este recurso ofrece la rentabilidad ms alta.

Evaluacin Sistemas Informticos

Seleccin de indicadores de desempeo

Si el sistema realiza el servicio de forma incorrecta, se dice que se ha producido un error. Es til clasificar los errores y para determinar las probabilidades de cada clase de errores. Por ejemplo, en el caso de la puerta de entrada, se puede querer encontrar la probabilidad de errores de un bit, los errores de dos bits, y as sucesivamente. Es posible que tambin se desea encontrar la probabilidad de que parte de un paquete (fragmento) sea entregado. Si el sistema no funciona, se dice que el servicio est abajo, no pudo, o no est disponible. Una vez ms, es til para clasificar los modos de fallo y para determinar las probabilidades de cada clase.

Por ejemplo, la puerta de enlace no puede estar disponible 0,01% de las veces debido a un fallo del procesador y el 0,03% debido a un fallo de software.

Evaluacin Sistemas Informticos

Seleccin de indicadores de desempeo

Las mtricas asociadas a los tres resultados: servicio exitoso, error y no disponibilidad, tambin se conocen como velocidad, fiabilidad y disponibilidad. Es obvio que para cada servicio ofrecido por el sistema, hay una serie de indicadores de velocidad, una serie de mtricas de fiabilidad, y una serie de mtricas de disponibilidad. La mayora de sistemas ofrecen ms de un servicio, y por lo tanto crece el nmero de indicadores proporcionalmente.

Evaluacin Sistemas Informticos

Mtricas de desempeo mas usadas

Algunas de las mtricas de desempeo de uso comn, son las que se enumeran a continuacin:

Tiempo de respuesta Productividad (throughput ) Utilizacin Fiabilidad Disponibilidad

Evaluacin Sistemas Informticos

Mtricas de desempeo mas usadas

Tiempo de respuesta: se define como el intervalo entre la peticin de un usuario y la respuesta del sistema. Esta definicin, sin embargo, es simplista ya que las solicitudes as como las respuestas no son instantneas. Los usuarios pasan el tiempo escribiendo la solicitud y el sistema de toma tiempo hacer salir la respuesta. Hay dos posibles definiciones del tiempo de respuesta en este caso. Se puede definir como el intervalo entre el final de una solicitud de presentacin y el comienzo de la respuesta correspondiente del sistema o como el intervalo entre el final de una solicitud y presentacin final de la correspondiente respuesta del sistema.

Evaluacin Sistemas Informticos

PREGUNTA
Explique si alguna de las siguientes mtricas corresponde al tiempo de respuesta i. ii. iii. Tiempo entre una peticin de usuario y la respuesta del sistema. Volumen de informacin procesado por el sistema por unidad de tiempo. Fraccin de tiempo que un recurso est ocupado sirviendo peticiones.

Evaluacin Sistemas Informticos

Mtricas de desempeo mas usadas

Productividad (throughput ): se define como la tasa (las solicitudes por unidad de tiempo) en que las solicitudes pueden ser atendidas por el del sistema. Para sistemas batch, el rendimiento se mide en jobs por segundo. En los sistemas interactivos, la el rendimiento se mide en solicitudes por segundo. Para CPU, el rendimiento se mide en millones de Instrucciones por Segundo (MIPS), o millones de operaciones de punto flotante por segundo (MFLOPS). Para redes, el rendimiento se mide en paquetes por segundo (pps) o bits por segundo (bps). Para las transacciones sistemas de procesamiento, el rendimiento se mide en las transacciones por segundo (TPS).

Evaluacin Sistemas Informticos

Mtricas de desempeo mas usadas

Productividad (throughput ): la productividad general de un sistema aumenta a medida que la carga sobre el sistema aumenta inicialmente. Despus de una cierta carga, el rendimiento deja de aumentar, en la mayora de los casos, puede incluso comenzar a disminuir. El rendimiento mximo alcanzable en condiciones ideales de trabajo se llama la capacidad nominal del sistema. La relacin entre el rendimiento mximo alcanzable (utilizable de capacidad) a la capacidad nominal se denomina la eficiencia.

Throughput: requests per unit time: MIPS, MFLOPS, Mb/s, TPS Nominal capacity: theoretical maximum: bandwidth Knee capacity: where things go bad Usable capacity: where response time hits a specified limit Efficiency: ratio of usable to nominal capacity

Evaluacin Sistemas Informticos

PREGUNTA

Las peticiones a un sistema informtico son atendidas por el procesador y la memoria. Si se duplica la velocidad del procesador, se duplica el rendimiento?

Evaluacin Sistemas Informticos

Mtricas de desempeo mas usadas

Utilizacin: se mide como la fraccin de tiempo que el recurso est ocupado atendiendo solicitudes de servicio. Esto es la proporcin de tiempo ocupado y el tiempo total transcurrido en un perodo determinado. El perodo durante el cual un recurso es no se utiliza se llama el tiempo de inactividad. Administradores de sistemas se han interesado en el equilibrio de la carga para que un recurso no sea utilizado ms que otros. Esto no siempre es posible.

Fiabilidad: se mide por la probabilidad de errores o por el tiempo medio entre errores. Esta ltima es a menudo se le llama segundos sin errores.
Disponibilidad: se define como la fraccin de tiempo que el sistema est disponible para atender solicitudes de los usuarios. El tiempo durante el cual el sistema no est disponible se llama tiempo de inactividad, el tiempo durante el cual el sistema est disponible se llama tiempo de actividad. A menudo, el tiempo de actividad media, ms conocido como el tiempo medio hasta el fallo (MTTF), es un mejor indicador desde que un pequeo tiempo de inactividad y una combinacin de tiempo de actividad del pequeo puede dar lugar a una medida de alta disponibilidad, pero los usuarios no puede ser capaz de obtener cualquier servicio, si el tiempo de actividad es menor que el tiempo necesario para completar un servicio.

Evaluacin Sistemas Informticos

Clasificacin de Mtricas de desempeo

Higher is better HB

Lower is better LB

Nominal is better NB

Evaluacin Sistemas Informticos

Clasificacin de Mtricas de desempeo

Dependiendo de la funcin de utilidad de una mtrica de desempeo, se pueden clasificar en tres clases: Mayor es mejor (Higher is better HB): los usuarios del sistema y los administradores de sistemas prefieren los valores ms altos de tales parmetros. Ejemplo: throughput

Menor es mejor (Lower is better LB): Los usuarios del sistema y los administradores de sistemas prefieren ms valores pequeos de tales parmetros. Ejemplo: tiempo de respuesta.
Nominal es mejor (Nominal is better NB): Ambos valores, altos y bajos no son deseables. Un valor particular, en el intervalo es considerado el mejor. La utilizacin es un ejemplo de una caracterstica NB. Muy alta utilizacin es considerado malo por los usuarios porque los tiempos de respuesta son altos. Muy baja utilizacin se considera malo por los administradores de sistema, ya que los recursos del sistema no se estn utilizando. Algn valor en el rango de 50 a 75% puede ser considerado el mejor por los usuarios y administradores de sistemas.

Evaluacin Sistemas Informticos