Evaluaci

Evaluaci

n de los Sistemas de
n de los Sistemas de
Informaci
Informaci

n. Una Perspectiva del Usuario

n. Una Perspectiva del Usuario
Final
Final
Dr. Jos Dr. Jos Melchor Medina Quintero Melchor Medina Quintero
( (jmedinaq@uat.edu.mx jmedinaq@uat.edu.mx) )
Abril de 2007
Conjunto de componentes interrelacionados
que incluyen
hardware, software y
hardware, software y
orgware
orgware
que capturan, almacenan, procesan y
distribuyen la informacin para apoyar la toma
de decisiones, el control, anlisis y visin en
una institucin.
Sistema de Informaci
Sistema de Informaci

n (SI)
n (SI)
Resolver un problema
Nuevos requerimientos
Implementacin de una nueva idea/tecnologa o tcnica
Mejoramiento general del sistema: se realiza con el propsito
de encontrar formas nuevas de concebir mejor las cosas.
Cambios en el ambiente de negocios
Los directivos siempre han buscado medir el desempeo de
los SI (en usuarios, productividad, calidad, ventaja competitiva)
Alineacin de planes de negocio y metas organizacionales
con los de SI

Por qu
Por qu

Evaluar un SI?. Razones B
Evaluar un SI?. Razones B

sicas:
sicas:
Evaluar:
Evaluar: estimar, apreciar, calcular el valor de algo
Las evidencias indican que el pobre desempeo de la
funcin de SI es un inhibidor serio para el buen
desenvolvimiento del negocio
Las personas como elemento ms importante en la
evaluacin de sistemas
Crecimiento, Integracin y Uso de base de datos
Fallas en los SI

Por qu
Por qu

Evaluar un SI?. Razones B
Evaluar un SI?. Razones B

sicas:
sicas:
El SI no es aceptado por el Usuario
El SI no es aceptado por el Usuario
El SI no es aceptado por el Usuario
Antecedentes
Antecedentes
S.I.
S.I
S.I
.
.
Apoyo
Tcnico
Apoyo
Tcnico
Ventaja
Competitiva,
Productividad
Ventaja
Competitiva,
Productividad
Medio-
ambiente
Medio-
ambiente
Estrategia
Estructura Organizativa
Soluciones
de Negocio
Soluciones
de Negocio
Aplicar estratgicamente
la informacin ventaja
Aplicar estratgicamente
la informacin ventaja
Uso efectivo de compu-
tadorasproductividad
Uso efectivo de compu-
tadorasproductividad
Entender el por qu
las personas aceptan
o rechazan los SI
Entender el por qu Entender el por qu
las personas aceptan las personas aceptan
o rechazan los SI o rechazan los SI
Medidas no confiables
Medidas cualitativas y cuantitativas
Ambiente catico
Sin modelos claros
Pobres en Metodologa y Tcnicas
Fundamentales para
las organizaciones
Ms datos por recoger
Admn. e Inversin
Factores Crticos (no
establecidos formalm.)
Cambio de rol
Evaluacin
de los
SI
Evaluaci
Evaluaci

n
n
de los
de los
SI
SI
Sin fundamentacin terica
xito de los
SI

xito de los
xito de los
SI
SI
Usuarios
Usuarios
Usuarios
Organi-
zacin
Organi
Organi
-
-
zaci
zaci

n
n
Proyectos
de SI
Proyectos
de SI
Proyectos de Sistemas de Informaci
Proyectos de Sistemas de Informaci

n
n
Crticos para
las organizaciones
Crticos para
las organizaciones
Pobre
entendimiento
de procesos
Mayor capacidad procesamiento
Control
Comunicacin
Costos
Ventaja Competitiva
Productividad Paradoja
Fallas
frecuentes
Fallas
frecuentes
Recurso
Humano
Sin
planeacin
Variable(s)
Dependiente
Variable(s)
Dependiente
Necesidades
de Usuarios
Necesidades
de Usuarios
Metodologa
Metodologa
Constructo
Multidimensional
Constructo
Multidimensional
Flexible
Flexible
Adaptable
Adaptable
Factores xito
Factores xito
Informacin econmica
Cumplimiento objetivos
Entregas a tiempo
Desempeo tcnico
Usuarios mltiples
Cambio
Experiencia del equipo
Riesgos asociados
Planeacin estratgica
Requerimientos
Nivel de servicio
Costo - Beneficio
Calidad
Organizacin de SI
Metodologa de desarrollo
Recursos humanos
Disponibilidad del SI
Post-implantacin
Medidas de
Medidas de

xito
xito
Apoyo de Directivos
Patrocinador
Cultura
Participacin de Usuarios
Admn. de Proyectos
Recursos
Habilidades de Programadores
Infraestructura Tecnolgica
Fuente de Datos
Satisfaccin del Usuario
Toma de Decisiones
Uso / Utilidad
Medidas de
Medidas de

xito
xito
(Factores de
(Factores de

xito m
xito m

s Estudiados)
s Estudiados)
Datos del Standish Group
Datos del Standish Group
Costo
Costo
1
8
9
%
1
8
9
%
4
5
%
4
5
%
Funciones
Funciones
Cubiertas
Cubiertas
6
1
%
6
1
%
6
7
%
6
7
%
Proyectos
Proyectos
Exitosos
Exitosos
1
6
%
1
6
%
2
8
%
2
8
%
Tiempo
Tiempo
2
2
2
%
2
2
2
%
6
3
%
6
3
%
1994 1994
2000 2000
Actividades
Propias
65%
Otras
Actividades
10%
Actividad
Admva.
25%
Tiempo de Dedicaci
Tiempo de Dedicaci

n de
n de
las Personas
las Personas
Motivos de la Mejor
Motivos de la Mejor

a
a
Las nuevas herramientas para los proyectos
(CASE, .net, etc.)
Mejores habilidades de los jefes de proyectos
Mejor manejo de los procesos y recursos
Planeaci
Planeaci

n
n
Involucramiento y Participaci
Involucramiento y Participaci

n del Usuario
n del Usuario
Apoyo de Directivos
Apoyo de Directivos

xitos y Fallas en un SI
xitos y Fallas en un SI

xito
xito
Falla
Falla
Planeacin apropiada Incompetencia tecnolgica
Involucramiento del usuario Falta de entrada de usuarios
Apoyo de directivos Falta de apoyo de los
directivos
Clara definicin de
requerimientos
Cambios en los requerimientos
y especificaciones
Expectativas realistas Requerimientos y
especificaciones incompletas
Satisfaccin con
la Informtica del
Usuario Final
Satisfaccin con
la Informtica del
Usuario Final
Satisfaccin con
la Informtica del
Usuario Final
Involucramiento
Involucramiento
Involucramiento
+
0 o -
-
:
:
:
EQUILIBRIO Y PRIVACION MODERADA
El deseo de involucramiento es igual
o solo moderadamente excede el
involucramiento percibido
SATURACION
El deseo de involucramiento es menor
que el involucramiento percibido
ALTA PRIVACION
El deseo de involucramiento es
substancialmente ms grande que el
involucramiento percibido
Satisfaccin con
la Informtica del
Usuario Final
Satisfaccin con
la Informtica del
Usuario Final
Satisfaccin con
la Informtica del
Usuario Final
Involucramiento
Involucramiento
Involucramiento
+
0 o -
-
:
:
:
EQUILIBRIO Y PRIVACION MODERADA
El deseo de involucramiento es igual
o solo moderadamente excede el
involucramiento percibido
SATURACION
El deseo de involucramiento es menor
que el involucramiento percibido
ALTA PRIVACION
El deseo de involucramiento es
substancialmente ms grande que el
involucramiento percibido
Involucramiento y Participci
Involucramiento y Participci

n del Usuario
n del Usuario
Evaluacin del Desempeo de SI (Saunders y Jones, 1992)
Implementacin de SI (Lucas, 1994)
3a. Dimensin del xito de los SI (Ballantine et al., 1996)
Task Technology Fit (Goodhue, 1995)
Evaluacin de Calidad y Productividad (Myers et al., 1997)
Modelo de xito de SI (Seddon, 1997)
Estructurado de la Evalaucin de SI (Kanungo et al., 1999)
xito de los Sistemas (Hwang et al., 2000)
Basado en Contingencias de Estrategias y Riesgos (Jiang et
al., 2001)
Scott
Scott
-
-
Morton (1991) y
Morton (1991) y
DeLone y McLean (1992, 2003)
DeLone y McLean (1992, 2003)
Modelos de Evaluaci
Modelos de Evaluaci

n
n
Algunas Desventajas:
Algunas Desventajas:
Son metodologas
No existe un modelo genrico (son de facto)
Exclusin del elemento humano
No cubren todas las contingencias
Generalmente requieren ms validacin
Modelos de Evaluaci
Modelos de Evaluaci

n
n
Etapa
5.
C
A
L
I
D
A
D
1. PLANIFICACION
F a c t o r H u m a n o
2. SI/TI
1.A
Negocios
A. Anlisis
Organizacional
2.A
Infraestructura
Tecnolgica
3.A
Aplicacin y
Evaluacin
1.F
Definicin / Anlisis
F.Metodologa de
Desarrollo
2.F
Desarrollo
3.F
Implantacin
4.
C
O
N
T
R
O
L
C. Usuario
1.C
Necesidades de
Informacin
2.C
Cultura
3.C
Aceptacin
B. Directivo
Analistas
1.B
Planeacin/
Anlisis Integral
2.B
Integracin
3.B
Monitoreo
E. Factibilidad
1.E
Econmica
2.E
Tcnica/Legal
3.E
Operativa
Retroalimentacin para nuevos proyectos de desarrollo
A
n

l
i
s
i
s

d
e
l

n
e
g
o
c
i
o
A
n

l
i
s
i
s

t

c
n
i
c
o
s
D. Programador
1.D
Requerimientos
2.D
Programacin
Informtica
3.D
Soporte
3. DISTRIBUCION
Y USO
6.
R
I
E
S
G
O
Modelo en Red de Evaluaci
Modelo en Red de Evaluaci

n de SI
n de SI
Estructura
Procesos de
Direccin
Personas y
Roles
Tecnologa Estrategia
Ambiente
Tecnolgico
Externo
Ambiente
Socioeconmico
Externo
Lmite
organizacional
Modelo de Scott
Modelo de Scott
-
-
Morton
Morton
Calidad de la
Informacin
Calidad de la
Informacin
Calidad del
Sistema
Calidad del
Sistema
Calidad de los
Servicios
Calidad de los
Servicios
Satisfaccin
del Usuario
Satisfaccin
del Usuario
Beneficios
Netos
Beneficios
Netos
U
s
o
Intencin
de Uso
Modelo de DeLone y McLean (2003)
Modelo de DeLone y McLean (2003)
Calidad de la Informaci
Calidad de la Informaci

n
n
Grado en el cual los reportes obtenidos del SI
cumplen con las necesidades de informacin de los
usuarios en virtud de ciertas cualidades esperadas.
Exacta
Exacta
Oportuna
Oportuna
Completa
Completa
Relevante
Relevante
Precisa
Precisa
La cadena Dato-Informacin-Conocimiento-Sabidura
Datos Informacin Sabidura Conocimiento
Proceso
Anlisis
Valoracin
Gestin
Razonamiento
Ordenacin
Retroalimentacin
Factores internos
Factores externos
Aplicacin
Experiencia
Intuicin
Juicio
Valores
Creatividad
La cadena Dato
La cadena Dato
-
-
Informaci
Informaci

n
n
-
-
Conocimiento
Conocimiento
-
-
Sabidur
Sabidur

a
a
Calidad del Sistema
Calidad del Sistema
Grado en el cual un sistema (hardware y software)
cumple con el propsito por el que fue planeado y
desarrollado.
Flexible
Flexible
Confiable
Confiable
Funcional
Funcional
Uso
Uso
Portable
Portable
Integraci
Integraci

n
n
Importancia
Importancia
Herramientas de Calidad del Sistema
Herramientas de Calidad del Sistema
Software
Software
Quality Assurance
Quality Assurance
(SQA):
(SQA): Calidad del Diseo,
Calidad del Desempeo y Calidad de Adaptacin
ISO 9000:
ISO 9000: ISO 9003, ISO 9004-2 (QM & QS)
Capability Maturity Model
Capability Maturity Model
(CMM):
(CMM): Niveles I. Inicial; II.
Repetible (admn. proyectos); III. Definicin (ingeniera y
apoyo org.); IV. Manejo Cuantitativo (calidad de procesos y
productos); y V. Optimizacin (mejora de los procesos
continuos).
European Fundation for Quality Management
European Fundation for Quality Management
(EFQM):
(EFQM):
Agentes facilitadores (personas, poltica, recursos)
Resultados (en usuarios, sociedad)Resultados Claves
Calidad de los Servicios
Calidad de los Servicios
Actitud general del staff de SI al proporcionar los
elementos y servicios provedos a los usuarios. Son
intangibles, no se mantienen en stock, difciles de
medir.
Empat
Empat

a
a
Confianza
Confianza
Responsabilidad
Responsabilidad
Confiabilidad
Confiabilidad
Tangibles
Tangibles
Toma de Decisiones: seleccin de un curso de
accin entre alternativas en base a la informacin
propocrionada con el SI.
Satisfaccin del Usuario: orientacin positiva que
un individuo tiene hacia un SI. Un estado psicolgico
en el cual una persona cree que un sistema tiene dos
caractersticas:
importancia y relevancia personal
importancia y relevancia personal.
Desempe
Desempe

o Individual del Usuario

o Individual del Usuario
Uso y Utilidad
Uso: nmero de veces que se utiliza un SI.
Utilidad: un producto que puede ser usado por
usuarios especficos para
lograr metas espec
lograr metas espec

ficas
ficas con
efectividad, eficiencia y satisfaccin en un
determinado contexto.
Desempe
Desempe

o Individual del Usuario

o Individual del Usuario
Resultados / Conclusiones
Resultados / Conclusiones
Planeaci
Planeaci

n
n
Factibilidad, personas, recursos
(hw, sw, tiempo), estndares,
regulaciones, procesos de negocio,
metodologas
Factor Humano
Factor Humano
Niveles operativos, tcticos y estratgicos.
Integracin en las actividades
Satisfacci
Satisfacci

n
n
Confianza, informacin
adecuada, eficiente,
efectivo, satisfaccin en
general
Calidad de la
Calidad de la
Informaci
Informaci

n
n
til, fcil de interpretar,
exacta, oportuna, completa,
confiable, relevante, precisa
Impacto Organizacional
Evaluacin en SI emergentes: e-commerce,
e-learning, intranets
L
L

neas Futuras de Investigaci

neas Futuras de Investigaci

n
n