Sie sind auf Seite 1von 67

Agrupamiento dinmico con lgica difusa

Fernando Alexis Crespo Romero








Memoria para optar al Ttulo
de
Ingeniero Civil Industrial


Santiago de Chile
Abril, 2001

Resumen del Informe Final para optar al Ttulo de
Ingeniero Civil Industrial.
Por: Fernando A. Crespo Romero
Fecha: 16 de Abril de 2001
Prof. Gua: Sr. Richard Weber.

2
Agrupamiento dinmico con lgica difusa

Una de las herramientas utilizadas ampliamente en campos como reconocimiento de
patrones, Data Mining, estadstica aplicada, segmentacin de clientes y otros campos, lo constituye
la aplicacin de algoritmos de agrupamiento, que permiten identificar las clases que residen en los
datos.
Las clases obtenidas mediante cualquier algoritmo de agrupamiento son estticas, es
decir, corresponden a la fotografa obtenida en un instante de tiempo para los valores de los objetos.
Sin embargo, en casos como la segmentacin de clientes, la informacin de los objetos (clientes) se
actualiza a travs del tiempo (esto da el carcter de dinmico al problema), y por lo tanto, es
necesario actualizar el agrupamiento de clases, de ah, la necesidad de tener un algoritmo de
agrupamiento dinmico. Pero est actualizacin debe aprovechar el conocimiento ya obtenido en la
segmentacin realizada generalmente con una gran cantidad de trabajo.
El objetivo de esta memoria se transform en construir una estrategia, de uso general para
algoritmos de agrupamiento, que permita introducir la actualizacin de los datos en la estructura de
clases, y tambin, utilice el agrupamiento realizado con anterioridad a la actualizacin de los datos.
Para lograr el objetivo hubo una identificacin de las caractersticas de los datos, es decir,
si posee o no un identificador y sus tipos de variables, y a su vez, hubo una identificacin de los
estados posibles de cambio, que son: mantener el nmero de clases, eliminar clases, crear nuevas
clases.
Por razones de tiempo, la investigacin se centr en el desarrollo una estrategia global
para el caso sin identificador que abarc todos los estados posibles de cambio .
La estrategia diseada consta de cinco etapas fundamentales: Etapa I: Identificacin de
objetos que presentan cambio, Etapa II: Reconocimiento del estado de posible cambio, Etapa III:
Decisin sobre las opciones a considerar frente al reconocimiento del estado de posibles cambio,
Etapa IV: Identificacin de trayectorias, y Etapa V: Eliminacin de clases no actualizadas. Cada una
de ellas consta de su propia dinmica, y se trat de definir a cada etapa de la forma ms general
posible.
La estrategia global fue montada sobre el algoritmo de agrupamiento fuzzy c-means.
La estrategia fue aplicada sobre datos simulados y reales, obtenindose excelentes
resultados para el primero. Los datos reales estn constituidos por un conjunto pequeo de clientes
obtenidos desde una base de datos bancaria, la aplicacin de la estrategia global considerando las
restricciones anteriores tambin dio buenos resultados.
Dada la naturaleza del problema, an quedan bastantes reas donde seguir desarrollando
tanto con nuevas estrategias como sobre las etapas identificadas para este caso.


3
Dedicatoria y Agradecimientos

A la memoria de mi abuelo Hiplito S. Crespo Soto y mi padrino Pbto. Diego A.
Sandoval S., Q. E. P. D.

A mis padres, Patricio y Alicia.

A m polola Brbara Nastenka, que me incentiv constantemente a terminar este
proyecto, agradecido de su amor y cario, esperando que sea una flamante obstetra.

A mi hermana Paty, y para quin deseo que termine su especialidad de neurociruga.

A mi Profesor Gua por su paciencia.

A la Sra. Nancy Lacourly por apoyarme nuevamente en este proyecto.

A todos los que han formado un grupo de personas maravillosas en la U, mis amigos
del MCU y mis amigos del taller de tango de IDIEM.

A Miguel Fuentes y Mara Rosa, por ser ambos una pareja maravillosa conmigo y
Brbara.
4
INDICE

1. INTRODUCCIN __________________________________________________ 7
1.1. mbito de desarrollo_____________________________________________________ 7
1.2. Descubrimiento de Conocimientos en Bases de Datos y Data Mining _____________ 8
1.3. Agrupamiento de individuos u objetos: definicin formal y ejemplos ____________ 10
1.4. Cambio en los individuos u objetos ________________________________________ 11
1.5. Agrupamiento dinmico: definicin________________________________________ 15
2. OBJETIVOS______________________________________________________ 16
2.1. Objetivos Generales_____________________________________________________ 16
2.2. Objetivos Especficos ____________________________________________________ 16
3. METODOLOGIA__________________________________________________ 17
4. PLAN DE TRABAJO_______________________________________________ 19
4.1. Revisin bibliogrfica permanente_________________________________________ 19
4.2. Planificacin del trabajo de tesis __________________________________________ 19
5. DEFINICION DE LA ESTRATEGIA GLOBAL PARA ENFRENTAR CAMBIOS
EN OBJETOS SIN IDENTIFICADOR _____________________________________ 21
5.1. Escenarios de cambios en las clases inducidos por los objetos __________________ 21
5.2. Definicin de la estrategia global para el caso sin identificador _________________ 23
6. DESARROLLO DE LA ESTRATEGIA GLOBAL PARA EL CASO SIN
IDENTIFICADOR Y EL AGRUPAMIENTO REALIZADO MEDIANTE EL
ALGORITMO FUZZY C-MEANS _________________________________________ 28
6.1. Etapa I: Identificacin de objetos que presentan cambios______________________ 28
6.1.1. DEFINICION DE CRITERIOS PARA LA DETECCIN DEL CAMBIO __________ 29
6.2. Etapa II: Reconocimiento del estado de posible cambio _______________________ 30
6.3. Etapa III: Decisin sobre las opciones a considerar frente al reconocimiento del
estado de posible cambio ______________________________________________________ 31
6.3.1. OPCIN DE MOVIMIENTO DE CLASES ____________________________________ 31
6.3.2. OPCIN DE CREACIN DE NUEVAS CLASES ______________________________ 33
6.3.3. FUNCIN UTILIDAD O BENEFICIO DE LAS DISTINTAS OPCIONES__________ 34
6.4. Etapa IV: Identificacin de trayectorias ____________________________________ 35
6.5. Etapa V: Eliminacin de clases no actualizadas ______________________________ 36
7. APLICACIONES DE LA ESTRATEGIA GLOBAL PARA EL CASO SIN
IDENTIFICADOR SOBRE EL ALGORITMO FUZZY C-MEANS _______________ 38
7.1. Aplicacin a datos simulados _____________________________________________ 38
7.2. Aplicacin a datos reales _________________________________________________ 43
7.2.1 ORIGEN DE LOS DATOS __________________________________________________ 43
5
7.2.2 APLICACIN DE ESTRATEGIA ___________________________________________ 43
8. CONCLUSIONES _________________________________________________ 47
8.1. Respecto al trabajo _____________________________________________________ 47
8.2. Futuros trabajos________________________________________________________ 48
9. BIBLIOGRAFA __________________________________________________ 49
ANEXO A : ALGORITMOS DE AGRUPAMIENTO DIFUSO ________________ 52
ANEXO B : METODO DE INFERENCIA DE MAXIMA ENTROPIA__________ 60
ANEXO C : GENERACIN DE DATOS TERICOS _______________________ 66
ANEXO D : GLOSARIO DE TRMINOS_________________________________ 67



6
INDICE DE FIGURAS

Figura 1: Ejemplo de la evolucin en el tiempo de las trayectorias identificadas para el caso de objetos sin
identificador (cada color representa en hiptesis las verdaderas clases y la lnea negra las trayectorias
identificadas). __________________________________________________________________________ 13
Figura 2: Ejemplo de desarrollo en el tiempo del caso de objetos con identificador (cada color representa las
verdaderas clases). ______________________________________________________________________ 14
Figura 3: Escenarios de cambio que se pueden producir por efecto de los objetos agregados. __________ 23
Figura 4: Ejemplo de rbol de decisin para una etapa particular de la estrategia. __________________ 24
Figura 5: Flujo de la estrategia global, incluyendo todas las etapas. ______________________________ 27
Figura 6: Resultado primera iteracin con datos simulados. _____________________________________ 40
Figura 7: Resultado segunda iteracin con datos simulados. _____________________________________ 40
Figura 8: Resultado tercera iteracin con datos simulados. ______________________________________ 41
Figura 9: Grficos de evolucin del coeficiente de particin de Bezdek y los centros para las distintas
iteraciones. ____________________________________________________________________________ 42
Figura 10: Evolucin del coeficiente de particin de Bezdek. ____________________________________ 46




7
1. INTRODUCCIN
1.1. mbito de desarrollo

Una de las tareas frecuentes en el rea de Reconocimiento de Patrones ([9], [14]),
Estadstica Aplicada [20] y Data Mining [9] consiste en aplicar algoritmos de
agrupamiento (clustering, en ingls) en tratamiento de datos, con el fin de obtener
caractersticas relevantes o reconocer patrones. En general, por patrones designamos
alguna representacin abstracta de un conjunto de datos ([6], [7]).
Desde un punto de vista abstracto, el problema del anlisis de agrupar (cluster
analysis) se define frecuentemente como el de encontrar grupos naturales. El
agrupamiento es el proceso de asignar un tem, un individuo, un objeto, o una observacin a
su lugar propio, es decir, al lugar natural que debe ocupar. En un sentido ms concreto, el
objetivo es reunir un conjunto de objetos en clases tales que el grado de asociacin
natural para cada individuo es alto con los miembros de su misma clase y bajo con los
miembros de las otras clases. Lo esencial del anlisis de agrupar se enfoca entonces a cmo
asignar un significado a los trminos grupos naturales y asociacin natural, donde
natural usualmente se refiere a estructuras homogneas y bien separadas [14].
Los mtodos de agrupamiento poseen en su gran mayora la limitacin de utilizar
objetos evaluados en un momento determinado del tiempo. Supondremos, de aqu en
adelante, que no se agregan nuevas variables a las que ya definen o caracterizan un
individuo u objeto, dado que el ingreso de stas puede mejorar el poder de separacin entre
dos clases [30]. Ahora, en general, ocurre que estos algoritmos no pueden agregar nuevas
evaluaciones, actualizaciones o el ingreso de nuevos individuos, para generar nuevamente
las clases o grupos naturales utilizando las clases ya construidas. Se tiene que para la gran
mayora de los algoritmos de agrupamiento, una vez realizada la tarea de agrupar los
individuos u objetos, no son capaces de agregar o actualizar los objetos para generar una
nueva estructura de clases a partir de la estructura ya conocida, luego se tiene que los
algoritmos de agrupamiento no permiten regenerar el agrupamiento a lo largo de distintos
momentos o perodos de tiempo donde se produzcan actualizaciones o se incorporen
nuevos objetos.
8
De lo anterior, entenderemos que un algoritmo de agrupamiento tiene carcter
esttico por el hecho que slo puede aplicarse sobre objetos evaluados para un momento
determinado del tiempo, sin incorporar de alguna forma en su estructura algortmica las
actualizaciones o el ingreso de nuevos objetos. En contraste, un algoritmo de agrupamiento,
es dinmico si es capaz de agregar actualizaciones o ingresos de nuevos objetos para
redefinir los grupos naturales o clases, usando como entrada la informacin conocida,
que incluye como solucin bsica, reutilizar la estructura conocida de clases.
La importancia de desarrollar algoritmos de agrupamiento de carcter dinmico,
proviene de que stos tienen la capacidad para enfrentar situaciones derivadas de
actualizaciones o agregacin de nuevos objetos, y segundo que pueden reutilizar las
estructuras de clases y la informacin conocida en el pasado. Este potencial es equivalente
a tener la capacidad de reutilizar nuevamente la informacin de las clases obtenidas en una
etapa anterior en un nuevo agrupamiento sobre actualizaciones de los objetos o individuos
que se agregan, por ejemplo, utilizarlos en aplicaciones de Data Mining que pueden ser
bastante costosas en tiempo de anlisis, refrescndolas con la actualizacin o agregacin de
objetos aprovechando el conocimiento ya obtenido (ambos conceptos, KDD y Data
Mining, son explicados con ms detalle en la seccin siguiente).
1.2. Descubrimiento de Conocimientos en Bases de Datos y Data
Mining

Hoy en da, gracias a las mejoras de software y hardware, es posible almacenar la
informacin de clientes y su comportamiento en grandes bases de datos. Como
consecuencia surge un rea de investigacin y aplicacin en la que se desarrolla estrategias
de marketing fundadas en dichas bases de datos denominada database marketing [31]. rea
que obtiene el conocimiento de las bases de datos mediante el proceso de KDD. El
descubrimiento de conocimiento en bases de datos (KDD) es definido clsicamente como
el proceso no trivial de identificar patrones en datos que sean vlidos, novedosos,
potencialmente tiles y, por ltimo, comprensibles [6].
Lo anterior se define como proceso para indicar que el descubrimiento de
conocimiento a menudo envuelve experimentacin, iteracin, interaccin con usuarios,
diseo de decisiones y elaboracin tendiente a satisfacer a los clientes de dicho
9
conocimiento [6]. Es aqu donde las tareas y algoritmos de Data Mining (DM) encuentran
su utilidad ([5], [6], y [31]). Se adopta por convencin que Data Mining se refiere al acto
de extraer patrones o modelos a partir de los datos (automatizado o asistido por
personas) [6].
La representacin frecuente de un proceso tpico de KDD, contempla los
siguientes nueve pasos bsicos [31]:
1) Desarrollar una compresin del dominio de aplicacin
2) Crear un conjunto de datos objetivo
3) Limpieza y preprocesamiento de datos
4) Reduccin y transformacin de los datos
5) Elegir la tarea de Data Mining
6) Elegir los algoritmos de Data Mining
7) Data Mining
8) Evaluar el resultado de Data Mining
9) Consolidar el conocimiento descubierto
En el paso 2 hay que seleccionar un subconjunto de los datos disponibles que
normalmente estn almacenados en una base de datos o en un Data Warehouse (bodega de
datos) [31].
En muchas aplicaciones reales los datos en una base de datos o tambin Data
Warehouse contienen varia formas de errores, como por ejemplo valores faltantes, valores
fuera del rango del atributo considerado o valores no plausibles. Esta razn hace necesario
el paso 3 de limpieza y preprocesamiento de los datos [31].
En el paso 5 se elige la tarea de Data Mining especfica para un anlisis ms
detallado. Aqu se debe decidir si el propsito es, por ejemplo, la agrupacin de objetos
(como en el presente caso de investigacin), la regresin o el modelaje de dependencia.
Sobre la base de esta decisin, los ms importantes algoritmos de Data Mining deben ser
seleccionados (paso 6), para luego usarse en la bsqueda real de patrones en los datos (paso
7).


10
1.3. Agrupamiento de individuos u objetos: definicin formal y
ejemplos

Para formalizar lo que entendemos por agrupamiento necesitamos establecer dos
conceptos fundamentales, el primero, qu se entiende propiamente por agrupar, y segundo,
qu se entiende por asignar a un grupo, proceso que es denominado en la literatura por
clasificar ([14],[22] y [27]).
En la Seccin 1.1 mbito de desarrollo, se defini desde un punto de vista
abstracto que se entiende por el problema de agrupar (cluster analysis). Una vez
comprendido el mbito de desarrollo, y entendida la nocin de agrupar, es necesario dar
una definicin matemtica formal al concepto de agrupamiento, de manera que sea til para
el objeto de las definiciones y aplicaciones posteriores.
Desde un punto de vista formal, la tarea de un procedimiento de agrupar es asignar
los individuos u objetos del conjunto { }
n
x x X , ,
1
K = a c subconjuntos, denominados
clases o grupos. Cada uno de esos subconjuntos es representado por un prototipo
{ } c i v
i
, , 1K , y se calcula para el caso de agrupamiento con lgica difusa el grado de
pertenencia
ik
del objeto
k
x al grupo
i
c [14].
La particin de X debe cumplir las siguientes propiedades:
Los individuos u objetos similares deben ser incluidos en clases o grupos
similares, esta propiedad se denomina homogeneidad.
Individuos u objetos diferentes deben ser separados en clases o grupos
diferentes, esta propiedad se denomina heterogeneidad.
Entre los mtodos para agrupar se encuentra los mtodos clsicos de la estadstica,
como el mtodo k-means o jerarquizados [22], y otros desarrollados en las reas de
inteligencia artificial, como las redes neuronales, el aprendizaje de mquina, y los mtodos
de agrupamiento difuso [9].
Una de las aplicaciones de agrupamiento es el reconocimiento de patrones, que
identifica caractersticas concretas o abstractas de un conjunto de individuos u objetos [14].
Para ser clasificados, los individuos u objetos necesitan que existan clases y que estas sean
identificadas. Cuando no se conoce a priori las clases, se pueden obtener mediante la
ejecucin de un algoritmo de agrupamiento (consultar [22], [28]). El nmero de patrones es
11
determinado en referencia a la aplicacin particular [14]. Por ejemplo, considrese el
problema de reconocer las letras del alfabeto, que define un problema de 26 clases [14]. En
otros problemas, por ejemplo el caso de segmentacin de clientes de un banco, el nmero
exacto de clases puede no ser conocido inicialmente, y puede ser determinado desde la
observacin de muchos datos para obtener patrones representativos [31]. Entonces cuando
tenemos el nmero c de clases utilizamos algoritmos de agrupamiento, como el k-means
por ejemplo [20]. Si desconocemos el nmero de clases necesitamos descubrir dicha
cantidad antes de proceder al agrupamiento, esto es conocido como el problema de clases
vlidas ( cluster validity problem ).
Las aplicaciones del agrupamiento y clasificacin, como tcnicas de
reconocimiento de patrones [28], existen en muchas reas tales como diagnstico y
tratamiento mdico asistido por computadora, procesamiento de imgenes y anlisis de
textura, prediccin del estado del clima, control de procesos, procesamiento de seales
neurolgicas, anlisis de fotografa area, anlisis de recursos de la tierra, deteccin y
clasificacin en sonar, reconocimiento de huellas dactilares y habla, y ms [14].
1.4. Cambio en los individuos u objetos

En la Seccin 1.1 mbito de desarrollo se preciso el uso del trmino dinmico
en este trabajo, se agrega tambin que se har extensible dicho trmino para describir el
estado generado por cambios en algunas o todas las variables o caractersticas de los
objetos en estudio. Estos cambios son introducidos en los objetos mediante actualizacin o
agregacin sobre los objetos que ya existen. Un ejemplo para entender este uso lo
contempla el conjunto de los clientes de un banco, los cuales cada cierto tiempo informan
de sus cambios de renta, estos cambios de renta representan una caracterstica del objeto
cliente del banco, la cual es actualizada y por tanto es una caracterstica dinmica que es
introducida a la informacin que ya poseemos del cliente. Otras caractersticas podran
actualizarse automticamente como la edad de los clientes, si poseemos la fecha de
nacimiento de stos.
Estableceremos que un individuo u objeto
k
x pertenece a un conjunto de datos
{ }
n
,x , ,x x X K
2 1
= , representado por un vector de caractersticas, definidas cada una de
12
ellas sobre el conjunto , luego
p
k
x . Estas caractersticas tambin podran ser
atributos ordenados como nivel educacional o atributos discretos como ubicacin, el
problema que presentan estos datos es la distancia que se definir sobre ellos, por lo tanto
supondremos de aqu en adelante que utilizaremos atributos representables en . Podemos
suponer que el conjunto X est dotado de clases o grupos que presentan grados de
asociacin natural de acuerdo a la definicin de la seccin anterior.
Sea un objeto
p
j
y , que agregamos al conjunto X , ya sea que este objeto
corresponda a un elemento nuevo o a un vector de actualizacin de algn objeto que ya
existe en X . Para ambas situaciones habr que medir cun distinto es el objeto respecto
de las clases, como tambin resolver el problema de cmo actualizar sobre las clases este
nuevo aporte de informacin, el que es equivalente a resolver el problema de actualizar la
representacin de los patrones.
Para que exista actualizacin y/o agregacin es necesario una propiedad que posea
las caractersticas de memoria de registro, es decir, una direccin nica que permita la
identificacin de los datos (intuitivamente equivalente al concepto de punteros en
programacin o llaves en Bases de Datos). En este caso denominaremos a esta memoria de
registro como el identificador. Entonces, el problema puede dividirse en dos grandes reas:
cuando los objetos tienen un identificador, o cuando los objetos no lo poseen. Ambas reas
tienen subproblemas particulares, que requieren tratamientos distintos [4].
Se denominar a los objetos que se ingresan a la base de datos como objetos
agregados. Los objetos ya existentes los denominaremos por objetos conocidos, ya que en
algn momento fueron sometidos a agrupamiento, y por lo tanto, sabemos a que clase
pertenece.
Los dos casos que consideraremos, desde el punto de vista de existencia de
identificador, son:
1. Suponer que no tenemos identificador, por lo tanto, no tenemos forma de
distinguir si los objetos agregados corresponden a los objetos conocidos, es decir, no
tenemos un registro de memoria para cada objeto particular. Al tener esta limitacin, las
variables y/o caractersticas de un objeto no se actualizan, por lo tanto, no existen
actualizaciones para este caso. Como para cada objeto agregado que ingresa no es posible
identificar si es un objeto conocido entonces no se tiene una trayectoria para el objeto
13
particular, de esta forma no se puede hablar de actualizacin. Del punto de vista conceptual
hay que generar una interpretacin del cambio bajo estas circunstancias, y lograr introducir
un efecto sobre el conocimiento adquirido. Naturalmente, sobre el agrupamiento realizado
slo se agregan objetos. Esto conduce a sesgos de interpretacin asociados a esta forma de
enfrentar el problema, por ejemplo, entre dos distintas etapas secuenciales se reconocer
como dos clases idnticas aquellas que se mueven poco entre s (ver ejemplo grfico en la
Figura 1). Por lo tanto, el mayor impacto de la falencia anteriormente mencionada, est
dado por el hecho que las trayectorias de las clases son slo trayectorias identificadas, es
decir, identificamos para cada clase una trayectoria de acuerdo a su movilidad respecto a
las clases conocidas desde la etapa anterior a la llegada de los objetos agregados. Un
ejemplo de este tipo de datos con objetos sin identificador corresponde a los clientes de un
supermercado, porque para la mayora de ellos no se guarda el nombre del cliente que
compra, por lo tanto, una persona cada vez que ingresa al supermercado a comprar es un
individuo nuevo, que puede comportarse de una nueva manera, y eventualmente puede ser
asociado a otras clases segn su patrn de consumo diario.

Figura 1: Ejemplo de la evolucin en el tiempo de las trayectorias identificadas para el caso de objetos sin
identificador (cada color representa en hiptesis las verdaderas clases y la lnea negra las trayectorias
identificadas).

14
2. Suponer que tenemos identificador, es decir, un registro de memoria para
cada objeto. Entonces los valores de cada objeto se pueden actualizar razn por la que
habra trayectorias reales para observar los movimientos de cada objeto. Entonces,
teniendo identificador se hace imperiosa la tarea de analizar los cambios de los objetos
aprovechando las trayectorias de cada uno de ellos. Adems de la actualizacin de los
objetos conocidos, se tiene la situacin de que se agregan nuevos objetos, y para stos
objetos agregados tambin su influencia debe ser analizada para ver los cambios que
introducen sobre la estructura de clases. Para este caso hay que definir el orden con que se
introducen los objetos agregados respectos de las actualizaciones al conjunto de objetos, ya
que el orden de ingreso va afectar de manera distinta a la estructura conocida de clases. Por
ejemplo, un criterio que se puede adoptar consiste en ingresar primero aquellos valores que
provienen de actualizaciones y despus los objetos agregados, bajo el supuesto que las
actualizaciones lleven en s cambios que deberan ser premonitorios al comportamiento de
los objetos agregados, y que stos, a su vez, deberan estar incluidos en la estructura de
clases que resulte de las actualizaciones. Un ejemplo de este tipo de datos corresponde a los
clientes de un banco, que tienen un nmero de identificacin nico, en el caso de Chile es
el RUT, y donde cada uno de ellos tienen variables que se actualizan, como ingreso y edad.

Figura 2: Ejemplo de desarrollo en el tiempo del caso de objetos con identificador (cada color representa las
verdaderas clases).
15
1.5. Agrupamiento dinmico: definicin

Los mtodos tradicionales de agrupamiento no consideran como dato de entrada
(input) el desarrollo en el tiempo de los objetos, es decir, no permiten agrupar sobre el
comportamiento que stos se presentan a travs del tiempo [10]. A lo ms, para agrupar en
los mtodos tradicionales se consideran en el vector de caractersticas algunos valores del
pasado para ciertas variables o caractersticas. Los mtodos que usan para describir a cada
objeto con un vector de caractersticas invariantes o seleccionado en un momento del
tiempo son llamados estticos. Para denominarse agrupamiento dinmico debe utilizar,
para cada objeto, vectores de caractersticas muestreados u obtenidos a travs del tiempo.
Por lo tanto, el agrupamiento dinmico, como aplicacin, permite extender
significativamente el conocimiento acerca de los datos.
Ejemplos de aplicaciones donde la consideracin de trayectorias ms que de
puntos nicos es deseable [10], son:
monitoreo de pacientes en medicina, especialmente en salas de tratamiento
intensivo, donde la observacin de la condicin de los pacientes y su cambio
en el tiempo es esencial [10];
clasificacin de acciones de la bolsa: la observacin de la trayectoria del precio
y otras caractersticas de las acciones conduce a mejores estimadores que slo
considerando el precio actual de las acciones [10].
En todos estos casos en los cuales un punto de vista dinmico es deseable, la
observacin del valor instantneo del vector de caractersticas puede ser ventajosamente
reemplazado por su trayectoria. Desafortunadamente muchos mtodos de anlisis de datos
no son compatibles con el procesamiento de vectores de caractersticas dinmicos [10].
Entonces, para que exista agrupamiento dinmico, se debe tener la condicin
necesaria que se tienen vectores de caractersticas muestreados u obtenidos a travs del
tiempo, y por lo tanto, se entender por agrupamiento dinmico aquellas herramientas o
algoritmos que permitan construir las trayectorias de caractersticas de las clases, para el
caso sin identificador, y trabajar con dichas trayectorias de caractersticas, para los casos
con y sin identificador, y en consecuencia, transformarse en una herramienta que permita
obtener una representacin de patrones del comportamiento dinmico de los objetos.
16
2. OBJETIVOS
2.1. Objetivos Generales

El objetivo general consiste, por una parte, en desarrollar mtodos y criterios
particulares para enfrentar los cambios que se producen en el tiempo de los valores de los
objetos. Por otra parte, se agrega la tarea de implementar una estrategia que incorpore los
mtodos y criterios desarrollados, para lograr una herramienta que extienda la capacidad de
los algoritmos de agrupamiento esttico y permita trabajar sobre condiciones de cambio en
los valores de los objetos, de manera de actualizar el agrupamiento de clases al ltimo
perodo de actualizacin.
2.2. Objetivos Especficos

Los objetivos especficos, subordinados al objetivo general:
Desarrollar mtodos y criterios para detectar cambios en los valores de los
objetos como en la composicin de las clases.
Programar los mtodos y criterios para detectar cambios en los valores de los
objetos y en la composicin de las clases, que definirn las distintas
estrategias, para analizar su factibilidad de implementacin.
Mostrar los beneficios de la utilizacin de los distintos criterios
desarrollados e implementados.
Probar el comportamiento de la estrategia sobre datos reales y simulados.
Revisar la literatura y presentar el estado actual del arte en el rea que est
circunscrita este proyecto de tesis.


17
3. METODOLOGIA

El objeto de la metodologa consta de entregar los medios mediante el cual se
apoya el desarrollo de los mtodos a desarrollar para que sean capaces de actualizar de
forma automtica la estructura de las clases de los objetos en distintos momentos de
tiempo. La estructura de clases es obtenida mediante el agrupamiento de los datos,
previamente a la prxima actualizacin o agregacin de objetos. La importancia de lograr
estos mtodos automticos a partir de la actualizacin o agregacin de objetos esta dado
porque dichos sucesos suponen cambios sobre la estructura de clases (patrones de los
objetos), ya que pueden ser objetos que tienen un comportamiento diferente a la estructura
conocida (patrones conocidos). Por ello, constituye una tarea relevante detectar
comportamientos dismiles y lograr su actualizacin sobre los patrones conocidos, todo ello
mediante un proceso automtico.
Una de las primeras elecciones para construir los mtodos utilizados en la
estrategia general la constituye la eleccin del algoritmo de agrupamiento que se aplica
sobre los objetos. Enfatizando lo mostrado en la seccin 1.2 hay que recordar que para
escoger el mtodo adecuado de agrupamiento es necesario realizar muchas pruebas de
acuerdo a la naturaleza de los datos. En cambio, para los mtodos desarrollados en este
trabajo, el algoritmo de agrupamiento fue escogido a priori, transformndose en una
restriccin particular del problema. Se escogi el algoritmo de agrupamiento difuso fuzzy c-
means. La eleccin del algoritmo de agrupamiento se justifica en dos aspectos esenciales, el
primero corresponde a que el mtodo de agrupamiento para generar las clases es de tipo no
supervisado, es decir, es un mtodo que no utiliza conocimiento a priori de la pertenencia
de ciertos objetos a ciertas clases para poder construirlas. El segundo est asociado a que
estos mtodos de agrupamiento difuso corresponden a una generalizacin del mtodo
clsico de agrupamiento k-means, asociado a la estadstica [20]. Presentan adems la
ventaja que a cada elemento asocian un grado de pertenencia a las distintas clases, y que
pueden separar formas de clases ms complejas que una esfera, por ejemplo, clases que
estn de alguna manera unas casi contenidas por la otras, a diferencia de los mtodos
18
estadsticos clsicos que requieren que las clases estn separadas por un hiperplano para
tener una buena identificacin [27].
Teniendo conocido el algoritmo de agrupamiento, lo denominaremos por su efecto
como restriccin ncleo o algoritmo ncleo, ya que la programacin de los mtodos
desarrollados en este trabajo queda restringida al algoritmo de agrupamiento.
En la fase de programacin se utiliz Matlab, para el caso del algoritmo de fuzzy
c-means se utilizo las herramientas disponibles, y los dems algoritmos y tareas se
programaron utilizando el lenguaje y las funciones bsicas de Matlab.
Los datos utilizados en las pruebas provienen de dos fuentes, una fuente
constituida por datos simulados, y otra por datos obtenidos desde una base de datos
bancaria. Ambas fuentes sern explicadas con mayor detalle en la seccin 7.


19
4. PLAN DE TRABAJO

El plan de trabajo consta de dos partes, una parte que incluy la revisin
bibliogrfica permanente de publicaciones, y la otra el plan de avance del trabajo en el
tiempo.
4.1. Revisin bibliogrfica permanente

La revisin bibliogrfica permanente, comprende la revisin de las siguientes
publicaciones:
Fuzzy Sets and Systems
Intelligent Data Analysis
IEEE Transactions on Fuzzy Systems
IEEE Transactions on Evolutionary Computation
IEEE Transactions on Pattern Analysis and Machine Intelligence
IEEE Transactions on Systems, Man, and Cybernetics, Part A: Systems and
Humans
IEEE Transactions on Systems, Man, and Cybernetics, Part B: Cybernetics
Estas revistas son las que presentan mayoritariamente los avances en investigacin
terica y aplicada en reas relacionadas con los conceptos y algoritmos que posteriormente
son aplicados en el Data Mining, incluyen conceptos y desarrollos estadsticos, difusos, de
computacin evolucionara, neuronales y otros que se aplican en el reconocimiento de
patrones e inteligencia artificial.
4.2. Planificacin del trabajo de tesis

El plan de avance del trabajo en el tiempo permiti medir el grado de avance de la
memoria. Este plan incluy como tareas principales las siguientes etapas:
Reuniones peridicas con el Profesor Gua Sr. Richard Weber, Profesor de
Ingeniera Industrial.
Definir lo que se entiende por cambios en los valores de los datos, y las
20
situaciones que pueden derivar de ellos.
Definir criterios, mtodos y modelos que permitan identificar cambios en los
individuos u objetos.
Implementar los mtodos mencionados.
Definir criterios, mtodos y modelos que permitan ajustar los cambios en los
individuos u objetos a cambios en la estructura de clases.
Definir una estrategia global utilizando los mtodos anteriores que permitan
lograr la actualizacin de la estructura de las clases.
Aplicar las estrategia global sobre datos simulados.
Aplicar las estrategia global sobre un caso real, para conocer su
comportamiento y postular desarrollos futuros.
Revisiones programadas de los informes parciales de avance.


21
5. DEFINICION DE LA ESTRATEGIA GLOBAL PARA ENFRENTAR
CAMBIOS EN OBJETOS SIN IDENTIFICADOR

Los objetos agregados inducen cambios, y estos cambios hay que reflejarlos sobre
la estructura de clases generada mediante el algoritmo de agrupamiento, por lo tanto, la
tarea de la estrategia desarrollada para enfrentar cambios es hacer evidente los cambios de
los objetos sobre los valores que entrega el algoritmo de agrupamiento, es decir, acarrear el
efecto de los cambios sobre los centros, las pertenencias, y el nmero de clases.
Observando desde otro punto de vista, la tarea consiste en llevar los cambios de patrones
que traen los objetos a la representacin de los patrones ya obtenida.
La estrategia diseada para evidenciar los cambios sobre las clases agrupadas est
constituida de una serie de etapas secuenciales que permitan hacer frente a las distintas
situaciones o escenarios de cambio que se presentan en los objetos. Estas etapas deben estar
constituidas de mtodos que deben ser efectivos, y que a su vez, ayuden a tomar decisiones
de manera automtica en cada etapa.
Para disear cada mtodo de cada etapa necesitamos definir los elementos de
entrada, estos elementos estn sujetos al origen o tipo de datos, la forma en que estos se
representan, y la etapa en la cual estn insertos. Tambin dentro de cada etapa hay que
identificar las distintas opciones posibles apoyadas por los distintos mtodos que ocupan y
con sus respectivas utilidades, de manera de elegir la mejor de todas, como tambin hay
que definir nuevamente el tipo de salida que se tendr para as seguir realizando las
acciones posteriores.
5.1. Escenarios de cambios en las clases inducidos por los objetos

Independiente de las decisiones que se va a implementar y de los mtodos que se
van a ocupar, se debe identificar los escenarios de cambios que pueden presentarse en las
clases inducidos por el comportamiento de los individuos u objetos agregados. Los
escenarios de cambio identificados en las clases son los siguientes (Figura 3):
a) Se mantiene el mismo nmero de clases. Los objetos agregados son
clasificados a alguna de las clases existentes. La tarea a resolver en este escenario
es cmo actualizar la estructura de las clases, es decir, si se va a realizar una
22
actualizacin que utilice de manera hbil la informacin que se puede incorporar
como casos de objetos agregados con o sin cambio, o realizar una actualizacin
que no incorpore informacin adicional.
b) Se crean clases. Esto significa que aparecen nuevas clases adems de las que
ya existen. Por lo tanto, habr objetos agregados que se clasifican a clases
existentes y otros a las nuevas clases. La tarea a resolver es qu momento alterar
la estructura de clases y cmo compatibilizar la informacin provista por la
estructura de clases ya conocida con la nueva estructura de clases.
c) Se eliminan clases. Esto significa que no hay asignacin de objetos agregados
a alguna de las clases conocidas. Una tarea a resolver es determinar el momento
en qu corresponde alterar la estructura de clases eliminando aquellas que no han
recibido objetos agregados, y que hacer posteriormente con la informacin de las
clases que debieran ser eliminadas.
La estrategia a definir considera la ejecucin de etapas secuenciales que permiten
generar un anlisis global de los objetos, de ah el nombre de estrategia global. La
aplicacin de la estrategia comienza en el momento en que se realiza la adicin de objetos.
La deducciones extradas como resultado de la aplicacin de la estrategia global estn
sujetas a la restriccin de que se trata del caso sin identificador.
23

Figura 3: Escenarios de cambio que se pueden producir por efecto de los objetos agregados.
5.2. Definicin de la estrategia global para el caso sin identificador

Para elaborar la estrategia suponemos comprendido los conceptos de identificador,
escenarios posibles de cambio y agrupamiento.
Los esquemas para cada etapa particular de la estrategia global sern representados
por el clsico rbol de decisiones, ilustrado en la Figura 4. En cada etapa, primero se tiene
la entrada de informacin, esta es la informacin que tenemos como dato o restriccin para
procesarla y emplearla en las posibles opciones de decisin, y tambin los valores de la
asignacin de cada objeto a las distintas clases obtenidos mediante la aplicacin del
algoritmo de agrupamiento.
Despus de la entrada de informacin viene la fase en la que corresponde procesar
la informacin de entrada, este procesamiento puede ser tan simple como contar objetos u
ordenar la informacin, como tambin, cosas ms complejas como aplicar alguna tcnica
que procese la informacin de cada objeto.
24
Una vez procesada la informacin surge el abanico de opciones posibles. La
decisin en una etapa es escoger una de las opciones. Para poder elegir cual es la mejor es
necesario una funcin de utilidad o utilidad asociada a cada opcin, y esta utilidad es un
ndice que permite que las opciones sean comparables entre s, de manera que un tomador
de decisiones racional opta por aquella que tenga mxima utilidad.

Figura 4: Ejemplo de rbol de decisin para una etapa particular de la estrategia.
Los elementos que se consideran para aplicar la estrategia de anlisis global para
enfrentar cambios en objetos son planteamos a travs de etapas sucesivas, stos permiten
agregar conocimiento de la situacin y permiten enfrentar en una secuencia los posibles
escenarios de cambio. Esta manera sucesiva de integrar los escenarios de cambios obedece
en gran medida a una mezcla entre el procesamiento de informacin para tomar de
decisiones y la intuicin extrada del comportamiento de los sistemas biolgicos, de forma
que cada etapa haga uso de criterios claros, que sean fcilmente modificables y que
permitan a su vez introducir las modificaciones a la estructura actual, y por lo tanto,
conocida de las clases.
Antes de describir las distintas etapas, se hace hincapi en que esta es una
descripcin del objetivo que contempla cada etapa, por lo tanto, la implementacin cada
una de ellas sobre algoritmos difusos ser expuesta con todo detalle en la seccin 6.



25
Las distintas etapas de la estrategia son:
I Etapa: Identificacin de objetos que presentan cambios. Esta etapa
esencialmente corresponde a la aplicacin de criterios o mtodos sobre los objetos
agregados. Estos criterios permiten decidir para cada objeto agregado si est
cambiando respecto a la estructura de clases vigente, es decir, si se est alejando de
las clases conocidas. Los criterios tienen como entradas los valores de pertenencia,
en caso de que el algoritmo de agrupamiento lo permita, y la clase a la que cada
objeto es asignado. Luego, esta informacin se procesa para identificar los datos que
presentan cambios con respecto a la estructura de clases, o lo que es abstractamente
equivalente, respecto a los patrones conocidos. Se define que un objeto presenta
cambio cuando tiene informacin que cumple los criterios que determinan un
cambio respecto de la estructura.
II Etapa: Reconocimiento del estado de posible cambio. Las entradas son los
objetos conocidos, y los objetos agregados con la informacin adicional de s
presentan o no presentan cambio. Con la informacin provista, se puede contar
objetos agregados que presentan cambio, el total de objetos agregados u otro
conjunto a contar. Una vez contado estos conjuntos, se establece como criterio para
reconocer el estado de posible cambio, por ejemplo, cuntos objetos agregados con
cambio existen respecto del total de objetos agregados, o con respecto al nmero
total de objetos, o variantes de estos casos. Una forma de fundamentar lo anterior es
pensar que se puede considerar irrelevante el cambio cuando son muy pocos los
objetos que lo presentan respecto del conjunto total considerado, entonces se
reconoce que hay cambios sobre la estructura conocida de clases cuando
consideramos que hay un nmero significativo de objetos agregados que presentan
cambios. Esto impulsa a definir, para esta etapa, un umbral de cambio, que permite
que esta etapa funcione como si el nmero de objetos agregados que presenta
cambios respecto de algn conjunto considerado (algn conjunto total) es mayor
que un cierto nmero (el umbral) entonces reconocemos un estado de posible
cambio en la estructura de clases.
III Etapa: Decidir sobre las opciones a considerar frente al reconocimiento del
estado de posible cambio. Una vez reconocida o no el estado de posible cambio hay
26
que tomar la decisin de elegir la mejor opcin para representar los cambios
detectados en los objetos agregados con respecto a la estructura de clases del
perodo anterior a la actualizacin. Las opciones posibles a considerar cuando se
reconoce el estado de posible cambio son: mantener el nmero de clases slo
clasificando los objetos agregados sin hacer modificaciones especiales y
actualizando slo a travs del procedimiento provisto por el algoritmo de
agrupamiento utilizado, lo que podra denominarse una actualizacin mecnica;
otra alternativa es actualizar aprovechando la informacin precedente ms la que
aportan los objetos agregados mediante alguna heurstica exclusiva y particular para
el caso en tratamiento, lo que podra denominarse una actualizacin inteligente,
ambas actualizaciones sern englobadas dentro de la opcin de movimiento de
clases, haciendo alusin al efecto que producen sobre las clases; y tambin la
opcin para crear nuevas clases, que corresponde a la opcin de generar nuevas
clases, procediendo simultneamente a aumentar el nmero de clases y encontrar el
nuevo agrupamiento. Para cada una de las opciones a considerar, su diseo est
restringido a los mtodos que utiliza el algoritmo de agrupamiento, por ejemplo,
para la opcin de crear clases nuevas usando algoritmos de agrupamiento difuso es
necesario tener una versin de ste o un algoritmo que elija automticamente, a
partir de los datos, el nmero de clases y logre encontrar simultneamente las
pertenencias ptimas. Siguiendo el esquema de rbol de decisin, a cada opcin se
debe asignar una funcin de utilidad que nos permita elegir la mejor o ms
conveniente opcin con respecto a las otras, por ejemplo, esta utilidad puede ser el
tiempo de proceso o la calidad del agrupamiento. Por ejemplo, para la aplicacin
implementada en ste trabajo con algoritmos de agrupamiento difuso, se utiliza
como funcin de utilidad la medida de calidad del agrupamiento conocida como el
coeficiente de particin de Bezdek
1
.
IV Etapa: Identificacin de trayectorias. El objetivo de esta etapa es identificar la
nueva estructura de clases con la inmediatamente anterior, de manera que al
identificarlas mediante algn mtodo o criterio se puedan construir trayectorias
identificadas. La identificacin permiten saber que clases han sido o no

1
Este ser explicado en la seccin 6.3.3.
27
actualizadas, es decir, que clases se le han clasificado objetos agregados. En esta
decisin, las entradas la constituyen la nueva estructura de clases junto con la
estructura de clases anterior. El procesamiento de la informacin que permite
construir trayectorias identificadas, desde un punto de vista abstracto, se realiza
mediante la comparacin de las diferencias presentadas entre los patrones existentes
y los anteriores, ambos extrados mediante la utilizacin del algoritmo de
agrupamiento. As tenemos la trayectoria identificada para cada clase y sabemos
cuales son las clases que han sido actualizadas.
V Etapa: Eliminacin de clases no actualizadas. Conociendo las trayectorias
identificadas, se utiliza como criterio para eliminar clases, eliminar aquellas que no
han sido actualizadas despus de cierta cantidad de agregaciones de datos, es decir,
una clase es candidata a eliminarse si no le ha sido clasificado ningn objeto
agregado a ella despus de cierta cantidad de agregaciones de datos.

Figura 5: Flujo de la estrategia global, incluyendo todas las etapas.

28
6. DESARROLLO DE LA ESTRATEGIA GLOBAL PARA EL CASO
SIN IDENTIFICADOR Y EL AGRUPAMIENTO REALIZADO
MEDIANTE EL ALGORITMO FUZZY C-MEANS

Este captulo muestra el desarrollo de la estrategia global sobre el caso particular
de algoritmo de agrupamiento fuzzy c-means, explicado en extenso en el 0.
6.1. Etapa I: Identificacin de objetos que presentan cambios

Un cambio de posicin de un objeto fsico lo detectamos porque ha habido un
desplazamiento de ste respecto de un sistema inercial, que se desplaza a la misma
velocidad que el sistema de referencia del observador. De la misma manera, se puede intuir
que los objetos presentan un estado de cambio cuando se detecta un desplazamiento de
stos respecto a un sistema de referencia idneo para nuestra aplicacin. El sistema de
referencia ser fijado en la estructura de clases conocida antes de incorporar los objetos
agregados. Se identificar que un objeto agregado est en estado de cambio cuando
cumpla simultneamente los criterios definidos para indicar desplazamiento respecto a la
referencia fijada.
Se entiende que los objetos conocidos son los objetos a los cuales ya se les conoce
la estructura de clases, y stos son los datos que se tienen tanto para el momento donde se
produce la primera adicin de datos como para los instantes en que se vuelva a readicionar
datos. Los objetos agregados son los objetos que se adicionan a los objetos ya conocidos.
El conjunto de objetos conocidos tiene tamao
1
n y el conjunto de objetos agregados tiene
tamao
2
n .
Antes de definir los criterios que identifican cambios en los objetos debemos tener
presente las limitaciones del algoritmo fuzzy c-means con respecto a los datos. La primera
limitacin es que necesita que las clases tengan forma esferoidal, y la segunda es que las
clases sean de tamaos similares [19].
Definiremos como X la matriz de los valores de los objetos conocidos, donde
cada fila contiene los valores de los objetos { }
t
n
t
x x
1
, ,
1
K , cuyo agrupamiento en c clases
29
es exacto, en el sentido que para cada objeto tiene un alto grado de pertenencia asociado a
una clase y bajo con respecto a las otras. Por Y se entiende la matriz de objetos agregados,
donde cada fila contiene los valores de los objetos
{ }
t
n
t
y y
2
, ,
1
K
, estos son los objetos que
son agregados al conjunto de datos y adems son los que eventualmente pueden representar
cambios respecto a la estructura existente de clases.
Se calcula { } c j i j i v v d
j i
, , 1 , , ) , ( K , que es la distancia entre los centros
de las clases i y j de los objetos conocidos, y por lo tanto, son los centros generados con
X .
Denotaremos por
ik
al grado de pertenencia del objeto agregado
k
y a la clase i .
Hay que recordar que la estructura conocida de clases es generada con los valores de la
matriz X .
La distancia entre el objeto agregado
k
y y el centro
i
v de los objetos conocidos,
lo denotamos ) , (

i k ik
v y d d = .
Se define la funcin indicatriz
( )

=
cambio presenta 0
cambio presenta no 1
1
i
i
i NPC
y
y
y (1)
para representar si los datos presentan cambios observados.
Tambin denotamos la indicatriz
( )

=
i clase la a asignada es no si y
i clase la a asignada es y
y
j
j
j C
i
0
1
1 (2)
El algoritmo fuzzy c-means aqu utilizado recibe tambin el nombre de algoritmo
ISODATA ([14]).
6.1.1. DEFINICION DE CRITERIOS PARA LA DETECCIN DEL CAMBIO

Definicin 1: Criterio de identificacin de objetos en estado de cambio utilizando el
algoritmo ncleo fuzzy c-means. Recordando que el supuesto del agrupamiento realizado
sobre los objetos conocidos es de buena calidad. Se identificar como objetos que se
identifican con cambio, como aquellos objetos agregados que cumplan simultneamente:
30
{ } { }
{ } { } { } c j i n k v v d d
y c i n k
j i ik
ik
, , 1 , , 1 ) , ( min ) 2 / 1 (

: 2 Condicin
, , 1 , , 1 : 1 Condicin
2
2 2 1
K K
K K
>


donde
2
n es el nmero de objetos agregados, y
2 1
, .
La Condicin 1 para detectar cambios del criterio de la Definicin 1, nace del
hecho que para el caso de dos clases en
2
, un objeto deja de pertenecer a las clases
existentes cuando empieza a tener para las pertenencias valores cercanos a 0.5 para datos
entre centros, y a su vez para objetos muy lejanos los valores de pertenencia empiezan a ser
menores que 0.5. Entonces se pide como primera condicin que los valores de pertenencia
actualizados para objetos agregados estn entre dos umbrales
1
y
2
, elegidos como
2 1
1
0 < <
c
. Un valor umbral es mayor al valor de pertenencia que se obtiene cuando
una particin es totalmente difusa.
La Condicin 2 de la Definicin 1 tiene su origen en la anomala del algoritmo
fuzzy c-means que presenta la limitacin de entregar valores de pertenencia cercanos a 0.5
en
2
para los objetos que se encuentren en la bisectriz perpendicular a la lnea entre
centros aunque estos sigan lo bastante lejos. Por lo tanto, para detectar con seguridad un
alejamiento de la clase no basta con la condicin del valor de pertenencia restringida a un
lmite superior e inferior, entonces se hace necesario la Condicin 2 de la Definicin 1 para
exigir que el punto est lejos de un radio razonable respecto al centro de la clase.
6.2. Etapa II: Reconocimiento del estado de posible cambio

Ardua es la tarea de disear como identificar objetos que presentan el estado de
cambio respecto a la estructura de clases existentes.
El que se identifiquen objetos en estado de cambio no significa que est
informacin sea aadida inmediatamente. Lo lgico es que uno asigne o identifique el
estado de cambio a la estructura de clases cuando el nmero de objetos que presentan
cambio es un porcentaje de los objetos conocidos u objetos agregados. Por lo tanto es
necesario crear la siguiente definicin:
Definicin 2: Reconocimiento del estado de posible cambio. Se reconoce el estado de
posible cambio cuando el nmero de objetos agregados identificados en estado de cambio
31
respecto de otro conjunto total presenta un nmero mayor que un umbral de cambio. Esto
es semejante al nivel de significacin utilizado en estadstica. Una forma matemtica de
expresar esta definicin es mediante la eleccin de uno de los siguientes criterios:
( )
1 0 con ,
1
: 1 Condicin
2
1 i
2
< < >

=

n
y
n
i NPC
,
( )
1 0 con ,
1
: 2 Condicin
2 1
1 i
2
< < >
+

=

n n
y
n
i NPC
.
La Condicin 1 utiliza como total el conjunto de objetos agregados, y la
Condicin 2 utiliza como total el conjunto de objetos conocidos y agregados.
Dependiendo de la aplicacin, para la estrategia global se elige uno de los dos
criterios. Una vez elegido, si cumple la condicin entonces se reconoce que se est frente al
estado de posible cambio.
Esto no significa que automticamente haya que aumentar el nmero de clases, ya
que puede seguir la estructura actual representando bien la informacin sin necesidad de
reagrupar, por ello es necesario pasar a la siguiente etapa.
6.3. Etapa III: Decisin sobre las opciones a considerar frente al
reconocimiento del estado de posible cambio

Esta es la decisin que consiste en elegir la mejor opcin dada la funcin utilidad
que uno asigna a cada opcin.
6.3.1. OPCIN DE MOVIMIENTO DE CLASES

Esta es la opcin por defecto si uno considera que no existe un reconocimiento de
estado de posible cambio.
Dentro de esta opcin se puede optar por una actualizacin mecnica, por
ejemplo, debido a que la estructura de clases no se altera, ya que la cantidad de objetos
agregados es insignificante respecto del total de objetos. Es decir, esta opcin consiste en
asignar cada objeto agregado a la clase que para la cual obtenga mayor pertenencia y al
reclculo del centro de acuerdo al algoritmo de fuzzy c-means sin introducir ninguna
32
informacin relacionada con cambios. Dependiendo de la aplicacin esta opcin se puede
cambiar por otra donde se suponga que todo objeto agregado debe ser inteligentemente
actualizado sobre la estructura conocida de clases sin alterar su nmero, mediante un
mtodo como el que se explicar en el prrafo siguiente.
Un problema que se presenta tiene que ver con el hecho que reconocemos el
estado de posible cambio en los objetos agregados, pero no es necesario ni destruir ni
construir clases nuevas porque el nmero de objetos agregados es pequeo pero suficiente
como para influir en la estructura conocida de clases, de manera que los objetos agregados
estn en condiciones de introducir cambios en las clases. Estos cambios pueden ser
aprovechados con inteligencia, de manera que simultneamente aprovechen las estructuras
de clases conocidas y la informacin que aportan y poseen los objetos agregados en esta
etapa. Esto es lo que entendemos por actualizacin inteligente.
Un supuesto del algoritmos de agrupamiento utilizado es que el centro de la clase
representa la homogeneidad de sta, por lo tanto, surge de manera natural que teniendo
objetos agregados con cambios identificados hay que actualizar los centros de las clases.
La actualizacin inteligente de los centros de las clases, para el caso de fuzzy c-
means, se realiza mediante una combinacin convexa entre el centro formado por los
objetos agregados para cada clase y el centro de los objetos conocidos de la clase.
Para obtener el centro actualizado de la clase se calcula el centro de los objetos
agregados como:
( )( )
( )( )
c i
y
y y
v
n
k
m
ik k NPC
n
k
k
m
ik k NPC
i
=

=
=
1
1
1
2
2
1
1 *

(3),
i
v es el centro conocido, as la actualizacin se realiza de la forma:
*
) 1 (
i i i i i
v v v + = (4).
La actualizacin anterior necesita una eleccin adecuada de
i
. Primero debemos
considerar que una clase que no reciba objetos agregados no debera afectar su centro. Se
proponen los siguientes
i
:
33
( )
2 1
1
2
1
n n
y
n
j
j C
i
i
+
=

=

(5),
( )
2 1
1
2
1
n n
y
n
j
ij j C
i
i
+

=

=

(6),
y
( ) ( ) ( )
( ) ( ) ( ) ( ) ( )


= =
=
+

=
2 1
2
1 1
1
1 1 1
1 1
n
j
ij j NPC j C
n
j
ij j C
n
j
ij j NPC j C
i
y y x
y y
i i
i

(7).
Una forma de interpretar el
i
obtenido mediante (5) corresponde al nmero de
objetos agregados a una clase i versus el total de objetos conocidos y agregados, si se
ocupa este
i
genera una actualizacin brusca de los centros. El
i
obtenido mediante (6)
corresponde a la suma de pertenencias difusas de objetos agregados a una clase i versus el
total de objetos conocidos y agregados, este
i
genera una actualizacin menos brusca que
cuando se calcula mediante (5), y sobre esta presenta la virtud que agrega informacin de
las pertenencias. Otra forma de calcular
i
es mediante (7), este
i
puede ser pensado
como un factor de actualizacin difusa, en l se considera con ms fuerza los objetos
agregados que estn ms cercanos al centro de la clase a la que pertenecen, de manera que
aquellos que estn lejanos sern ms tiles en el futuro por si se detecta un nmero
significativo de objetos agregados con cambios observados en una nueva actualizacin, y
adems tiene la ventaja de formar pertenencias relativas, de manera que si los objetos son
cercanos pero con bajas pertenencias, alterarn poco el desplazamiento del centro.
6.3.2. OPCIN DE CREACIN DE NUEVAS CLASES

Existe el problema que una de las opciones posibles tambin la constituye la
creacin de nuevas clases a partir de objetos agregados cuando se reconoce el estado de
posible cambio. Al generar estas nuevas clases, tenemos que enfrentar simultneamente el
problema de generar los valores de pertenencia a las clases y el nmero ptimo de clases.
Sobre el problema de encontrar el nmero ptimo de clases a partir solamente de los datos
34
se investiga hasta el da de hoy [23]. El problema de escoger el nmero de clases, es
denominado el problema de validez de clases, y consiste en establecer un criterio para
comparar dos agrupamientos con distinto nmero de clases. Enfatizando en el tema, Como
medir el nmero de clases ptimas que deben crearse? Es una pregunta que se encuentra en
plena investigacin, tratando de responderse mediante distintos tipos o modificaciones de
algoritmos y conceptos, siendo an un problema no resuelto, ya que corresponde al
problema de crear el nmero de clases automticamente.
Cuando se est en la opcin de crear clases, deja de tener sentido actualizar los
centros antes de procesar la creacin de clases, ya que el algoritmo a utilizar debe generar
los valores de pertenencia y entregar el nmero de clases.
Para este caso utilizaremos el algoritmo del trabajo de Li y Mukaidono [23],
explicado en el ANEXO B.
La diferencia de la aplicacin de la estrategia global al momento de usar el
algoritmo del Mtodo de Inferencia de Mxima Entropa del ANEXO B respecto de su
formulacin original, est dada porque en esta aplicacin el nmero de partida de clases se
iniciara con el nmero de clases que tienen los objetos conocidos. Entonces la creacin de
clases se realiza mediante la aplicacin del algoritmo del Mtodo de Inferencia de Mxima
Entropa del ANEXO B inicializndolo con el nmero de clases que tienen los objetos
conocidos (c ).
6.3.3. FUNCIN UTILIDAD O BENEFICIO DE LAS DISTINTAS OPCIONES

En nuestro caso para comparar el beneficio de las distintas opciones, explicadas en
detalle en las secciones 6.3.1 y 6.3.2, se definirn dos medidas que entregan la calidad de la
particin:
( ) ( )

= =
=
n
k
c
i
ik e ik PE
n
U v
1 1
log
1
(8)
que corresponde a la entropa de la particin (8) entregada por los valores de pertenencia
([23], [24]) y el coeficiente de particin de Bezdek (9) [24]:
( )

= =
=
n
k
c
i
ik PC
n
U v
1 1
2
1
(9).
De estos ndices los resultados significativos son:
35
( ) ( )
hcn PE PC
M U U v U v = = 0 1
2
,
es decir, el coeficiente de particin es 1 (mximo) y la entropa es 0 (mnima), cuando la
particin es estricta, y tambin,
( ) ( ) ( )

= = =
c
U c U v
c
U v
e PE PC
1
log
1
,
es decir, el coeficiente de particin es
1
c (mnimo) y la entropa es ( ) c
e
log (mxima),
cuando los valores de pertenencia de la particin corresponden a la particin ms difusa
[24].
La decisin consistir en elegir la opcin que maximice el coeficiente de particin
de Bezdek siendo entonces una utilidad que mide la calidad de la particin generada.
6.4. Etapa IV: Identificacin de trayectorias

Para completar la implementacin de la estrategia se aade el problema de
identificar las clases originadas con la adicin de objetos agregados con la estructura de
clases conocida antes de la agregacin de objetos.
Cada vez que se aplica el algoritmo de fuzzy c-means se obtiene la matriz U que
contiene los grados de pertenencia para c clases (filas) por n objetos (columnas). Existe el
inconveniente que la asignacin de valores en la partida es aleatoria, entonces, se tiene que
los valores de pertenencia no se obtienen en el mismo orden (en las mismas filas) que la
matriz de pertenencia resultante de una nueva aplicacin sobre los mismos datos. Esta
situacin plantea como solucionar el problema de identificar las clases obtenidas con las
anteriores, es decir, solucionar el problema de identificacin, que se resolver mediante
fijar un criterio tal que dependa de la distancia entre los centros obtenidos y los anteriores,
por ejemplo como:
1. Fijando i a priori, entonces
) 1 ( + t
i
v es el centro de la clase i en la etapa 1 + t si
cumple que { } { } ( ) ( ) ) 1 ( , , 1 , ) , ( ) , ( min arg
) 1 ( ) ( ) 1 ( ) ( ) 1 (
+ =
+ + +
t c j v v d v v d v
t
j
t
i
t
j
t
i
t
i
K . Donde se
tiene
) (t
i
v es el centro de la clase i en la etapa t ,
) 1 ( + t
j
v es el centro de la clase j en la etapa

2
Este conjunto aparece definido en el 0.
36
1 + t , ( ) 1 + t c es el nmero de clases de la nueva etapa, ( ) t c es el nmero de clases de la
etapa anterior y es un valor pequeo.
2. Fijando i a priori, entonces
) 1 ( + t
i
v es el centro de la clase i en la etapa 1 + t si
cumple que
{ }

=
+
+
+
) , ( min arg
) 1 ( ) (
) 1 ( , , 1
) 1 ( t
j
t
i
t c j
t
i
v v d v
K
, donde el valor de las
variables involucradas es el mismo del caso anterior.
3. Si
{ }
{ } ) , ( min ) , (
) ( ) (
) ( , , 1 ,
) 1 ( ) ( t
g
t
k
t c g k
t
j
t
i
v v d v v d
K
+
, entonces corresponden a los centros de
la misma clase.
4. Es la posibilidad de ofrecer un conocimiento semi-supervisado donde el punto
de inicializacin del algoritmo fuzzy c-means este dado por los valores de pertenencia de la
estructura conocida en vez de partir con un valor aleatorio, as se puede saber en que orden
vienen las clases y se supera lo expuesto en el segundo prrafo.
6.5. Etapa V: Eliminacin de clases no actualizadas

Siempre hay informacin que deja de ser relevante despus de cierto tiempo, u otra
forma de ver esto es que los patrones de comportamiento cambian y dejan de existir los
patrones anteriores. El equivale en el caso de agrupamiento dinmico es eliminar las clases
que no han sido actualizadas cuando hay objetos agregados, despus de sucesivas
agregaciones dentro de un cierto tiempo o perodo.
Este es un caso general, que tiene sentido tanto para los objetos que no tienen
identificador, como los que tienen. El problema que se puede producir en el caso de datos
con identificador es que hay objetos que dejan de existir en la prxima actualizacin, por
obsolescencia o muerte, por ejemplo, en clientes de un banco. El problema que hacer con
estos objetos faltantes hay que pensar como resolverlo, es un tema que queda pendiente
para el desarrollo de investigacin de casos con identificador.
Cundo eliminar una clase? Esta pregunta la podemos contestar a partir de la
observacin de la naturaleza, fuente primaria de la intuicin para abordar conocimientos
derivados de la adaptacin, en que, por ejemplo, algunos animales dejan de observar los
objetos que se mantienen quietos, es decir, no se desplazan del sistema de referencia
despus de cierto perodo de tiempo.
37
Entonces es necesario crear y mantener una memoria simple. Esta memoria
debera guardar informacin de los distintos perodos de asignacin, el nmero de las
clases, y que adems registre por cada clase si hubo objetos agregados asignados a cada
clase durante cada perodo de llegada de datos, suponemos que esta memoria guarda la
informacin en registro donde cada uno de ellos corresponde a la informacin del perodo t.
Formalizando llamaremos F (de flag) a esta memoria simple, definido de la
forma matricial ) , ( i t F , que muestra el estado de la clase i en el perodo de agregacin de
datos t . El estado se registrar con valor 1 cuando hayan objetos agregados asignados a la
clase i , y 0 en caso contrario.
Suponemos para esta etapa que podemos identificar bien las clases.
Adems para eliminar alguna clase, es necesario definir un tiempo umbral de
observacin que consiste en el nmero de perodos a contar del cual no observaremos las
clases que no presentan actualizacin, es decir, en cuntos perodos de tiempo la estrategia
es incapaz de observar un desplazamiento. Este perodo est sujeto al problema y aplicacin
particular, y lo definiremos como
u
T , que es el nmero mximo de perodos que una clase
se mantiene en memoria mientras no reciba objetos agregados.


38
7. APLICACIONES DE LA ESTRATEGIA GLOBAL PARA EL CASO
SIN IDENTIFICADOR SOBRE EL ALGORITMO FUZZY C-MEANS
7.1. Aplicacin a datos simulados

Los datos utilizados a continuacin fueron simulados y generados de acuerdo a la
siguiente dinmica: la partida esta compuesta de cuatro clases (iteracin o momento 0),
donde se agregan objetos para la tres iteraciones siguientes a slo tres de las clases, de
manera que haba una clase que nunca fue actualizada, y en la ltima iteracin se agregara
una cantidad de objetos que permiten crear una nueva clase.
Los parmetros permanentes para cada una de las tres iteraciones son :
- Nmero de clases de partida 4 = c .
- En la Etapa I: Identificacin de objetos que presentan cambios, para la
condicin 1: 0
1
= y 55 . 0
2
= .
- En la Etapa II: Reconocimiento del estado de posible cambio, se reconocer
este estado cuando el nmero de objetos agregados que presenta cambio es
mayor que
2
2 . 0 n , donde
2
n es el tamao del conjunto de objetos agregados.
- En la Etapa IV: Identificacin de trayectorias, usaremos el caso 1 presentado
en la seccin IV Etapa de la pgina 26. En este caso { } ) , ( min
j i
v v d = .
- En la Etapa V: Eliminacin de clases no actualizadas, se usar 3 =
u
T .
A continuacin se presenta la representacin grfica de los resultados, donde las
cruces negras son los centros actualizados, los asteriscos azules son los centros antiguos, en
el caso de observacin del comportamiento de los datos, los objetos conocidos son
amarillos, los objetos agregados son de color rojo y los objetos agregados que presentan
cambios son de color verde.
En las dos primeras iteraciones se opt por mantener el nmero actual de clases,
esto puede deberse para stas iteraciones, en alguna medida, a lo bien separado que se
encuentran las clases para la aplicacin de la estrategia global unido a la cantidad pequea
de dimensiones de los datos (dos dimensiones). En cambio, en la ltima iteracin la
estrategia es capaz de reconocer el estado de posible cambio, y la opcin elegida en esta
39
oportunidad es la de crear nuevas clases, de manera que se ocupa algoritmo del Mtodo de
Inferencia de Mxima Entropa (DSR) del ANEXO B, y por ello, se muestra el grfico de
la funcin de cohesin de la estructura. En esta iteracin se eligi una clase ms, justamente
como se haba simulado.
Al final se presenta un grfico de evolucin que permite ver la variacin de la
calidad del agrupamiento y la trayectoria identificada de las clases.
40

Figura 6: Resultado primera iteracin con datos simulados.

Figura 7: Resultado segunda iteracin con datos simulados.
41


Figura 8: Resultado tercera iteracin con datos simulados.
42

Figura 9: Grficos de evolucin del coeficiente de particin de Bezdek y los centros para las distintas iteraciones.

7.2. Aplicacin a datos reales
7.2.1 ORIGEN DE LOS DATOS

Los datos corresponde a la informacin de 300 clientes de un banco alemn con su
respectivo identificador. Para cada cliente se conocen cinco variables constituidas por:
Edad, Ingreso Mensual, Activos, Lnea de Crdito y Margen de Contribucin Anual. Estos
datos estn constituidos por informacin capturada en un momento determinado del tiempo.
Estos objetos pueden ser agrupados en 5, 6 o 7 clases dependiendo la aplicacin
deseada [31].
7.2.2 APLICACIN DE ESTRATEGIA

En la seccin anterior se hizo mencin a que los individuos u objetos (clientes)
estn constituidos por informacin en un solo momento del tiempo. Por lo tanto, para poder
aplicar la estrategia definida debemos simular una variacin dinmica de los objetos.
La forma mediante la cual se va a realizar la simulacin dinmica consiste primero
en aplicar el algoritmo fuzzy c-means sobre los datos, de manera de identificar las clases y
sus tamaos. En este caso se obtuvo la siguiente informacin de objetos por clase:
Atributos Cantidad
Clase Edad Ingreso Activos Lnea de Crdito Margen de Contribucin Anual de
$/Mes $ $ $/Ao Elementos
1 44.4295 4032.2000 11863.9692 -110258.6453 407.0869 11
2 53.4150 5836.7000 105417.4536 -155.9011 387.7411 6
3 45.7154 3195.9000 7896.6771 -39778.0494 183.1676 16
4 31.2693 1262.7000 2394.8604 -897.4339 -6.0931 162
5 51.7890 2310.7000 15761.1307 -486.2405 133.4328 71
6 59.2990 2686.9000 39460.6852 -813.8296 179.4918 34
Total: 300
Tabla 1: Datos de las clases con sus centros.
Se seleccion las clases ms numerosas para utilizarlas en las distintas iteraciones.
La simulacin sigue los siguientes pasos para cada iteracin: la partida se iniciara con tres
clases, la primera iteracin se actualizan dos clases, en la segunda iteracin se agregan
datos para dos clases, en la tercera iteracin se agrega datos a una clase, y en la cuarta
iteracin se agrega los objetos de una clase que no existe en las iteraciones anteriores. Para
44
las tres primeras iteraciones hay una clase que no es actualizada con objeto de ver si el
algoritmo de la estrategia global es capaz de eliminar dicha clase dado que no ha sido
actualizada.
Los parmetros permanentes para cada una de las cuatro iteraciones son :
- Nmero de clases de partida 3 = c .
- En la Etapa I: Identificacin de objetos que presentan cambios, para la
condicin 1: 0
1
= y 55 . 0
2
= .
- En la Etapa II: Reconocimiento del estado de posible cambio, se reconocer
este estado cuando el nmero de objetos agregados que presenta cambio es
mayor que
2
2 . 0 n , donde
2
n es el tamao del conjunto de objetos agregados.
- En la Etapa III: Se elimin la opcin de actualizacin mecnica, por el motivo
que los centros de las clases estn muy cercanos unos de otros, de manera que
al utilizar dicha opcin hay predisposicin a que est sea la elegida.
- En la Etapa IV: Identificacin de trayectorias, usaremos el caso 1 presentado
en la seccin IV Etapa de la pgina 26. En este caso { } ) , ( min
j i
v v d = .
- En la Etapa V: Eliminacin de clases no actualizadas, se usar 3 =
u
T .
Los resultados numricos de la simulacin son presentados en la Tabla 2.
En las tres primeras iteraciones se realiza actualizacin inteligente, en la tercera
iteracin se elimina una clase, y en la ltima iteracin se realiza un reconocimiento del
estado de posible cambio con la opcin elegida de crear nuevas clases mediante
reagrupamiento ocupando el algoritmo del Mtodo de Inferencia de Mxima Entropa
(DSR) del ANEXO B. Tambin se agrega al final el grfico de la funcin de cohesin de la
estructura.
Al final se presenta un grfico de evolucin que permite ver la variacin de la
calidad del agrupamiento y la trayectoria identificada de las clases.

45
Atributos Objetos
Clase Edad Ingreso Activos Lnea de Crdito Margen de Contribucin Anual conocidos
$/Mes $ $ $/Ao
1 43.3570 4169.8225 13756.0348 -109340.1343 351.7979 11
2 43.0810 1752.5091 3588.7077 -616.0241 -3.2833 21
3 51.9969 2610.2571 18864.1567 -299.7805 167.1194 19
Total: 51
Atributos Objetos Objetos Clase
Clase Edad Ingreso Activos Lnea de Crdito Margen de Contribucin Anual conocidos agregados Actualizada
$/Mes $ $ $/Ao por clase
1 43.3570 4169.8225 13756.0348 -109340.1343 351.7979 11 0 0
2 40.5168 1682.7029 3753.7102 -688.8665 -1.4427 21 23 1
3 51.7857 2426.9074 18664.2695 -205.6283 190.8090 19 17 1
Total: 51 40 2
Atributos Objetos Objetos Clase
Clase Edad Ingreso Activos Lnea de Crdito Margen de Contribucin Anual conocidos agregados Actualizada
$/Mes $ $ $/Ao por clase
1 43.3570 4169.8225 13756.0348 -109340.1343 351.7979 11 0 0
2 35.9059 1665.1285 3881.7791 -817.7927 7.9409 44 26 1
3 51.5365 2366.4112 18372.9264 -229.0938 165.2789 36 15 1
Total: 91 41 2
Objetos Objetos Clase
Clase Edad Ingreso Activos Lnea de Crdito Margen de Contribucin Anual conocidos agregados Actualizada
$/Mes $ $ $/Ao por clase
1 Se elimin 11 0 0
2 34.6186 1573.7990 3548.0880 -894.5011 2.6604 70 20 1
3 51.5365 2366.4112 18372.9264 -229.0938 165.2789 51 0 0
Total: 132 20 1
Atributos Objetos Objetos Clase
Clase Edad Ingreso Activos Lnea de Crdito Margen de Contribucin Anual conocidos agregados Actualizada
$/Mes $ $ $/Ao por clase
1 Se elimin 0 0 0
2 34.0378 1562.3298 3477.3277 -1361.4100 8.1552 90 12 1
3 51.1274 2352.1601 18195.2829 -341.8525 164.9278 51 4 1
Total: 141 16 2
Situacin: No se reconoci cambio, actualizacin mecnica
Situacin: Inicio
Situacin: No se reconoci cambio, actualizacin mecnica
Cuadro Resumen Iteracin 3
Situacin: No se reconoci cambio, actualizacin mecnica y se elimino clase no actualizada
Atributos
Cuadro Resumen Iteracin 4
Cuadro Resumen Iteracin 1
Situacin: No se reconoci cambio, actualizacin mecnica
Cuadro Resumen Iteracin 2

Tabla 2: Datos obtenidos al aplicar la estrategia global sobre las clases y tipo de simulacin seleccionada.

En est aplicacin puede observarse que no se reconoce una nueva clase y esto se
debe a dos motivos, a que el nmero de objetos de la clase nueva es muy pequeo y los
centros de las clases estn lo suficientemente cercanos como para no reconocer una nueva
clase.
46
En la Figura 10 se muestra la evolucin del coeficiente de particin de Bezdek.

Figura 10: Evolucin del coeficiente de particin de Bezdek.



















47
8. CONCLUSIONES
8.1. Respecto al trabajo

Como conclusin del trabajo, primero hay que resaltar que se logr el objetivo
general, ya que se construy una estrategia global para enfrentar cambios en los objetos.
Esta estrategia tiene las suficientes caractersticas de generalidad que le permite ser
utilizada bajo otros algoritmos de agrupamiento, sean stos difusos o no difusos.
Se introdujeron conceptos que se explicaron en detalle, como la importancia del
identificador.
Se desarroll un mtodo que permiten detectar la identificacin de objetos que
presentan cambios mediante el uso de criterios que utilizan los resultados del fuzzy c-
means.
Se introdujo una funcin de utilidad que permite comparar entre las distintas
opciones despus del reconocimiento del estado de posible cambio, est comparacin se
realiza sobre la calidad del agrupamiento de clases.
La estrategia diseada y probada constituye un buen primer intento, pero lo que
resulta un problema difcil an es tener una Etapa I de identificacin de objetos que
presentan cambios sea ms segura de manera que identifique mejor la mayor cantidad de
objetos posibles.
Se prob la estrategia sobre objetos simulados y reales. En los datos simulados
como los objetos estn bien separados y lejanos de 0 se obtuvo un buen resultado dada la
complejidad del problema. En los resultados utilizando valores reales el resultado no fue
del todo malo, slo falto que construyera la nueva clase pero esto no resulto debido a que la
cantidad de datos respecto del total era muy pequeo como para mejorar la calidad de la
particin aumentando el nmero de clases.
Dados los valores obtenidos en ambas aplicaciones, hace falta analizar la
influencia del nmero de dimensiones, y ver de que manera minimizar el efecto cuando los
datos y los valores de pertenencia son cercanos a 0, porque esto conduce a un problema que
influye numricamente e ingresa problemas adicionales a resolver, en gran parte, debido a
evaluaciones de funciones y divisiones usando nmeros cercanos a 0.

48
8.2. Futuros trabajos

Dada la forma que se resolvi cada una de las etapas no resulta de ms aadir que
stas fueron resueltas con la metodologa ms simple para resolver el problema. Pero dada
la naturaleza del trabajo en cada una de las etapas deben surgir nuevas formas de
resolverlas.
Para la Etapa I de identificacin de objetos que presentan cambios, se propone en
el criterio 1 de la Definicin 1 en vez de usar pertenencias entre umbrales fijos es utilizar
conjuntos difusos para caracterizar las pertenencias del fuzzy c-means con respecto a
estados de alejamiento. Otra forma para resolver el problema es entrenar una red neuronal
que clasifique en dos estados, con o sin cambio, y el conjunto de entrenamiento sea
actualizado por etapa, tenindose por objetos sin cambio aquellos que existen antes de la
agregacin de objetos, y entrenar los objetos con cambio sobre objetos simulados a partir
de datos alejados de las clases existentes, stas son formas posibles de resolver el problema.
Implementar en la Etapa III: Decisin sobre las opciones a considerar frente al
reconocimiento del estado de posibles cambio, en la opcin de crear clases, aumentar el
nmero de clases de uno en uno e ir comparando el coeficiente de particin de manera de
escoger el agrupamiento con el mejor ndice de particin de clases.
Otra tarea futura corresponde a desarrollar la estrategia global sobre el algoritmo
de agrupamiento possibilistic c-means.









49
9. BIBLIOGRAFA

[1] Rodolfo Bautista, Harrison Sanclemente, Descubrimiento de Conocimiento en Bases
de Datos Mdicas, XXIV Conferencia Latinoamericana de Informtica, Quito
Ecuador: Volumen 2, 19 al 24 de Octubre de 1998, 1037 - 1048.
[2] M. Barni, V Cappellini, A. Mecocci, Comments on A Possibilistic Approach to
Clustering, IEEE Transactions on Fuzzy Systems, Vol. 4, N 3, Agosto 1996, 393
396.
[3] Control Borroso I. Cuadernos de informtica y automtica, Subprograma VII:
Electrnica e Informtica Aplicadas. Programa Iberoamericano de Ciencia y Tecnologa
para el Desarrollo (CYTED). San J os de Costa Rica, 19-30 de Septiembre de 1994.
[4] Frdric Dazy, J ean-Franois Le Barzic, L Analyse des Donnes volutives, Pars:
ditions Technip, 1996.
[5] Torgeir Dingsyr, Endre M. Lidal, An Evaluation of Data Mining Methods and
Tools, http://www.idi.ntnu.no/~dingsoyr/proyect/report.html.
[6] Usama M. Fayyad, Data Mining and Knowledge Discovery: Making Sense Out of
Data, IEEE Expert, Intelligent Systems & Their Applications, Octubre 1996, 20 - 25.
[7] King Sun Fu (Ed.), Digital Pattern Recognition, Second Corrected and Updated
Edition, Communication and Cybernetics Vol. 10, Berln: 1980.
[8] S. Geman, D. Geman, Stochastic relaxation, Gibbs distributions, and the Bayesian
restoration of image, IEEE trans. Pattern Anal. Machine Intell., vol. PAMI 6, pp.
721-741, 1984.
[9] Anil K. J ain, Robert P. W. Duin, Jianchao Mao, Statistical Pattern Recognition: A
Review, IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 22, N
1, Enero 2000, 4 37.
[10] Arno J oentgen, Lara Mikenina, Richard Weber, H.-J . Zimmermann, Dynamic Data
Analysis: Problem Description and Solution Approaches, W. Brauer (ed.), Fuzzy
Neuro Systems 98 Computational Intelligence. Infix, Sankt Augustin, 282 - 289.
[11] Arno J oentgen, Lara Mikenina, Richard Weber, H.-J . Zimmermann, Dynamic Data
Analysis: Similarity Between Trajectories, W. Brauer (ed.), Fuzzy Neuro Systems
98 Computational Intelligence. Infix, Sankt Augustin, 98 - 105.
50
[12] Arno J oentgen, Lara Mikenina, Richard Weber, H.-J . Zimmermann, Dynamic fuzzy
data analysis based on similarity between functions, Fuzzy Sets and Systems, 105, 1,
1999, 81 - 90.
[13] Arno J oentgen, Lara Mikenina, Richard Weber, H.-J . Zimmermann, Automatic
fault detection in gearboxes by dynamic fuzzy data analysis, Fuzzy Sets and Systems,
105, 1, 1999, 123 - 132.
[14] Abraham Kandel, Fuzzy Techniques in Pattern Recognition, New York: J ohn
Wiley & Sons, 1982.
[15] George Karypis, Eui-Hong (Sam) Han, Vipin Kumar, Chamaleon: Hierarchical
Clustering Using Dynamic Modeling, Computer, Computer Society IEEE, Agosto
1999, 68 75.
[16] George J . Klir, Ute H. St. Clair, Bo Yuan, Fuzzy Set Theory: Foundations and
applications, New J ersey: Prentice Hall, 1997.
[17] K. Krishna, M. Narasimha Murty, Genetic K-Means Algorithm, IEEE
Transactions on Systems, Man and Cybernetics Part B: Cybernetics, Vol. 29, N 3,
J unio 1999, 433 439.
[18] Raghu Krishnapuram, J ames M. Keller, The Possibilistic C-Means Algorithm:
Insights and Recommendations, IEEE Transactions on Fuzzy Systems, Vol. 4, N 3,
Agosto 1996, 385 393.
[19] Raghu Krishnapuram, J ongwoo Kim, A Note on the Gustafson-Kessel and
Adaptive Fuzzy Clustering Algorithms, IEEE Transactions on Fuzzy Systems, Vol. 7,
N 4, Agosto 1999, 453 461.
[20] W. J . Krzanowski, F. H. C. Marriott, Multivariate Analysis. Part 2: Classification,
covariance structures and repeated measurements, Londres: Arnold, 1995.
[21] Institut National de Recherche en Informatique et en Automatique, Unit de
Lorraine, Rapport de Recherche N 2909, Aspects de la Classification, J ean-Franois
Mari et Amedeo napoli diteurs, J uin 1996.
[22] Ludovic Lebart, Alain Morineau, Marie Piron, Statistique Exploratoire
Multidimensionnelle, Pars: Dunod, 1995.
51
[23] Rui-Ping Li, Masao Mukaidono, A Maximun-Entropy Approach to Fuzzy
Clustering, in Proc. Int. J oin Conf. 4
th
IEEE Int. Conf. Fuzzy Syst./2
nd
Int. Fuzzy Eng.
Symp. (FUZZ/IEEE-IFES), Yokohama, J apan, Marzo 1995, 2227 2232.
[24] Kikhil R. Pal, J ames C. Bezdek, On Cluster Validity for the Fuzzy c-Means
Model, IEEE Transactions on Fuzzy Systems, Vol. 3, N 3, Agosto 1995, 370 379.
[25] Naren Ramakrisnan, Ananth Y. Grama, Data Mining: From Serendipity to
Science, Computer, Computer Society IEEE, Agosto 1999, 34 37.
[26] Mina Ryoke, Yoshiteru Nakamori, Kazuyuki Suzuki, Adaptive Fuzzy Clustering
and Fuzzy Prediction Models, in Proc. Int. J oin Conf. 4
th
IEEE Int. Conf. Fuzzy
Syst./2
nd
Int. Fuzzy Eng. Symp. (FUZZ/IEEE-IFES), Yokohama, J apan, Marzo 1995,
2215 - 2220.
[27] Gilbert Saporta, Probabilits, Analyse des Dones et Statistique, Pars: ditions
Technip, 1990.
[28] J ulius T. Tou, Rafael C. Gonzlez, Pattern Recognition Principles,
Massachusetts: Addison-Wesley Publishing Company, 1974.
[29] Li-Xin Wang, A Course in Fuzzy Systems and Control, New J ersey: Prentice-
Hall, 1997.
[30] Philip D. Wasserman, Advanced Methods in Neural Computing, New York: Van
Nostrand Reinhold, 1993.
[31] Richard Weber, Data Mining en la Empresa y en las Finanzas Utilizando
Tecnologas Inteligentes, Revista Ingeniera de Sistemas, Departamento de Ingeniera
Industrial, Universidad de Chile, Volumen XIV, N 1, Junio 2000, 61 - 78.


: ALGORITMOS DE AGRUPAMIENTO DIFUSO

En esta seccin se respeta dos cosas, el nombre utilizado en ingls para denominar
los distintos algoritmos de agrupamiento difuso, y la notacin presente en la literatura
particularmente en Li-Xin Wang [29].
A.1 Particiones c-difusa y duras

Supongamos un conjunto de datos { }
n
,x , ,x x X K
2 1
= , donde
k
x puede ser
cualquier elemento, por ejemplo,
p
k
x . Sea ) (X P el conjunto de partes de X. Una c-
particin dura de X es la familia

= =
=
c j i para , A A y X A que tal c i X P A
j i
c
i
i i
1 1 : ) (
1
I
U
. Cada
i
A es visto
como un clase o grupo (cluster), as { }
c
A A , ,
1
K es particin de X en c clases [29].
La c-particin dura puede ser reformulada a travs de una funcin de pertenencia
de los elementos
k
x en
i
A . Especficamente, se define

=
i k
i k
ik
A x
A x
, 0
, 1
(10)
donde X x
k
, ) (X P A
i
, c i , , 2 , 1 K = y n k , , 2 , 1 K = . Claramente, 1 =
ik
significa que
k
x esta contenido en el grupo
i
A . Dando el valor de
ik
, nosotros podemos determinar una
c-particin dura de X, y viceversa. Los valores de
ik
deberan satisfacer las siguientes tres
condiciones:
{ } n k c i
ik
1 , 1 , 1 , 0 ; (11)
{ } n k
c
i
ik
, , 2 , 1 , 1
1
K =

=

; (12)
{ } c i n
n
k
ik
, , 2 , 1 , 0
1
K < <

=
. (13)
La ecuacin (2) y (3) en conjunto significan que cada X x
k
debe estar contenido
en uno y solo una clase. La ecuacin (4) indica que cada clase deber contener al menos
53
uno y a lo ms 1 n objetos. Juntando los
ik
con c i 1 y n k 1 en una matriz U,
obtenemos la matriz representacin para una c-particin dura, definida como sigue:
Definicin 3: C-particin dura (hard). Sea { }
n
,x , ,x x X K
2 1
= un conjunto
de elementos cualquiera,
cn
V sea el conjunto de matrices [ ] ) ( =
n c ik
M U , y c sea un
entero con n c 2 . El espacio de matrices de la c-particin dura para X es el conjunto:
{ } { }
{ }

< <
=
=


=
=
. , , 2 , 1 , 0
; , , 2 , 1 , 1 ; 1 , 1 , 1 , 0
1
1
c i n
n k n k c i
V U M
n
k
ik
c
i
ik ik
cn hcn
K
K


. (14)
El problema de la c-particin dura es que el espacio
hcn
M es demasiado grande
para buscar una particin ptima. De hecho,
( )

=

=

c
j
n j c
hcn
j
j
c
c
M
1
1
!
1
(15)
es el nmero de distintas formas de particionar X en c clases no vacas.
Definicin 4: C-particin difusa (fuzzy). Sean X,
cn
V , y c como en la Definicin 3.
Luego el espacio de matrices de la c-particin difusa para X es el conjunto:
[ ] { }
{ }

< <
=
=


=
=
. , , 2 , 1 , 0
; , , 2 , 1 , 1 ; 1 , 1 , 1 , 0
1
1
c i n
n k n k c i
V U M
n
k
ik
c
i
ik ik
cn fcn
K
K


(16)
ik
es el grado de pertenencia de
k
x que est contenido en la clase
i
A [24].
A.2 Algoritmos Hard y Fuzzy C-Means
A.2.1 FUNCION OBJETIVO DE AGRUPAMIENTO

Cuando hay funcin objetivo sta mide la distancia de los candidatos para cada
clase obtenidos mediante el agrupamiento, y los mnimos locales de la funcin objetivo
entregan las clases ptimas (para este caso con c fijo). Actualmente hay lneas de
investigacin sobre estos algoritmos con el objeto de obtener ptimos globales [24]. Los
54
mtodos con funcin objetivo permiten una formulacin ms precisa de los criterios de
agrupamiento.
La funcin objetivo ms extensamente estudiada es la suma de errores cuadrticos
intra-grupos, definidos como
( )

= =
=
n
k
c
i
i k ik W
v x V U J
1 1
2
, (17)
donde [ ]
hcn ik
M U = o
fcn
M , ( )
c
v v V , ,
1
K = con
i
v siendo el centro de la clase
i
A
definido por

=
=
=
n
k
ik
n
k
k ik
i
x
v
1
1

. (18)
Claramente,
i
v es el promedio (para la c-particin dura) o el promedio ponderado
(para la c-particin difusa) de todos los objetos en la clase
i
A . Asumimos que
k
x ,
p
i
v ,
y si U es una c-particin dura, entonces ( ) V U J
W
, puede ser escrito como:
( )

=

=
c
i A x
i k W
i k
v x V U J
1
2
,
(19)
lo que explica porque ( ) V U J
W
, es llamado la suma de los errores cuadrticos intra-grupo.
Se tiene que
2
i k ik
v x es el error cuadrado incurrido por representar
k
x con
i
v .
( ) V U J
W
, ser pequeo si los objetos en cada clase
i
A se pegan ajustadamente al centro
i
v
de su propia clase.
Encontrar el par ptimo ( ) V U, para
W
J no es una tarea fcil. La dificultad reside
en el tamao de
hcn
M , y en el hecho que los valores de V deben ser actualizados
simultneamente, de manera que el algoritmo de minimizacin es una heurstica. Uno de
los algoritmos ms populares para encontrar el mnimo aproximado de
W
J sobre
hcn
M , es
el siguiente algoritmo de hard c-means :



55
Flujo del algoritmo Hard c-Means

1. Sea el conjunto de objetos { }
n
,x , ,x x X K
2 1
= , con
p
i
x . Fijamos c,
n c 2 , y inicializamos
hcn
M U
) 0 (
.
2. En cada iteracin l , , , 2 , 1 , 0 K = l calcule los c vectores correspondientes a los
centros de la clase

=
=
=
n
k
l
ik
n
k
l
ik k
l
i
x
v
1
) (
1
) (
) (

, (20)
donde [ ]
) ( ) ( l l
ik
U = , e c i , , 2 , 1 K = .
3. Actualice
) (l
U a [ ]
) 1 ( ) 1 ( + +
=
l
ik
l
U usando
( )
. 1 , 1
0
1
) (
1
) (
) 1 (
n k c i
no si
v x min v x si
l
j k
c j
l
i k l
ik


=

+
(21)
4. Compare
) (l
U con
) 1 ( + l
U : si <
+ ) ( ) 1 ( l l
U U para una constante pequea ,
pare; si no, coloque 1 + = l l y vaya al paso 2.
A.2.2 EL ALGORITMO FUZZY C-MEANS

Para el algoritmo fuzzy c-means, el objetivo es encontrar [ ]
fcn ik
M U = y
( )
c
v v V , ,
1
K = con
p
i
v tal que
( ) ( )

= =
=
n
k
c
i
i k
m
ik m
v x V U J
1 1
2
, (22)
sea minimizado, donde ( ) , 1 m es una constante de peso. Primero se presenta el Teorema
1 que establece la condicin necesaria para que el problema de minimizacin tenga un
ptimo, y luego se propone el algoritmo de fuzzy c-means basado en ste .
Teorema 1: Sea { }
n
,x , ,x x X K
2 1
= ,
p
i
x , un conjunto dado de objetos. Se
fija { } 1 , , 3 , 2 n c K y ( ) , 1 m , y asume que 0
i k
v x n k 1 , c i 1 .
Luego [ ]
ik
U = y ( )
c
v v V , ,
1
K = tiene un mnimo local para ( ) V U J
m
, solo s
56
, 1 , 1 ,
1
1
2
1
n k c i
v x
v x
m
c
j
j k
i k
ik

(23)
y
( )
( )
. 1 ,
1
1
c i
x
v
n
k
m
ik
n
k
k
m
ik
i
=

=
=

(24)
Demostracin: Para demostrar (14), suponemos que los
i
v estn fijos. Luego el
problema se convierte en minimizar
m
J con respecto a
ik
bajo la restriccin (3). Usando
el mtodo de multiplicadores de Lagrange, llegamos a que el problema es equivalente a
minimizar
( ) ( )

= = = =

=
n
k
c
i
ik k
n
k
c
i
i k
m
ik
v x U L
1 1 1 1
2
1 , (25)
sin restricciones. Las condiciones necesarias de este problema es:
( )
( ) [ ] 0
, 2 1
= =


k i k
m
ik
ik
v x m
U L


, (26)
( )
0 1
,
1
= =

=
c
i
ik
k
U L


. (27)
De (17) obtenemos
1
1
2

=
m
i k
k
ik
v x m

. (28)
Sustituyendo (19) en (18), se tiene
1
1
1
2
1
1
1
1

m
c
i
i k
m
k
v x
m

. (29)
Substituyendo (20) en (17), obtenemos (14).
Para demostrar (15), asumamos que los
ik
estn fijos. Luego esto es un problema
de minimizacin sin restricciones y la condicin necesaria es
57
( )
( ) ( ) 0 2
,
1
= =

=
c
i
i i
m
ik
i
m
v x
v
V U J
(30)
desde la cual obtenemos (15).
El algoritmo fuzzy c-means est basado en las ecuaciones (14) y (15).

Flujo del algoritmo Fuzzy c-Means

1. Sea el conjunto de objetos { }
n
,x , ,x x X K
2 1
= con
p
i
x . Fijamos
{ } 1 , , 2 n c K , ( ) , 1 m e inicializamos
fcn
M U
) 0 (
.
2. En cada iteracin l , , , 2 , 1 , 0 K = l calcule los c vectores centros de grupo
( )
( )

=
=
=
n
k
m
l
ik
n
k
k
m
l
ik
l
i
x
v
1
) (
1
) (
) (

(31)
donde [ ]
) ( ) ( l l
ik
U = , y c i , , 2 , 1 K = .
3. Actualice
) (l
U a [ ]
) 1 ( ) 1 ( + +
=
l
ik
l
U usando
. 1 , 1 ,
1
1
2
1
) (
) (
) 1 (
n k c i
v x
v x
m
c
j
l
j k
l
i k
l
ik

=
+

(32)
4. Compare
) (l
U con
) 1 ( + l
U : si <
+ ) ( ) 1 ( l l
U U para una constante pequea ,
pare; si no, coloque 1 + = l l y vaya al paso 2.

Convergencia del algoritmo Fuzzy c-Means

El Teorema 1 muestra que la ecuacin (14) y (15) establece la condicin necesaria
para que ( ) V U, sea un mnimo local de
m
J . En el algoritmo de fuzzy c-means,
i
v y
ik
son
calculados iterativamente de acuerdo a las condiciones necesarias. Por lo tanto, no es claro
cuando el algoritmo converge a un mnimo local de
m
J . De hecho, esto es un problema
bastante complicado. Haremos la demostracin de una propiedad fundamental del
58
algoritmo fuzzy c-means: la funcin objetivo ( ) V U J
m
, decrece o mantiene la igualdad a
travs de las iteraciones; esos es, ( ) ( )
) ( ) ( ) 1 ( ) 1 (
, ,
l l
m
l l
m
V U J V U J
+ +
.
Para probar esta propiedad, primero se demuestra que si V en ( ) V U J
m
, esta fijo,
luego (14) es tambin una condicin suficiente para calcular el mnimo local de
m
J .
Similarmente, si U en ( ) V U J
m
, se fija, luego (15) es tambin una condicin suficiente para
minimizar ( ) V U J
m
, .
Lema 1: Sea ( ) V U J U
m
, ) ( = , donde ( )
c p
M V esta fijo, y 0
i k
v x
n k 1 y c i 1 . Luego [ ]
ik
U = es un mnimo local de ) (U si y slo si U es
calculado va (14).
Demostracin: La parte del slo si fue demostrado en el Teorema 1. Para
demostrar la suficiencia, examinaremos ( ) U H - la matriz de cn cn Hessiana del
Lagrangiano de ) (U evaluado en U con valores dados por(14). De (17), tenemos
( ) ( )

= =
=

=

no si 0
, ) 1 (
) (
2 2
,
k t i s si v x m m U
U h
s t
m
ik
ik ik
ik st

(33)
donde
st
u es calculado desde (14). As, ( ) [ ] U h U H
ik st ,
) ( = es una matriz diagonal. Dado
1 > m y 0
s t
v x n t 1 y c s 1 , tenemos ( ) 0 ) 1 (
2 2
>

s t
m
ik
v x m m . Por
lo tanto, el Hessiano ) (U H es definida positiva y seguidamente (14) es tambin una
condicin suficiente para minimizar ) (U .
Lema 2: Sea ) , ( ) ( V U J V
m
= , donde
fcn
M U esta fijo, 0
i k
v x para
n k 1 y c i 1 , y 1 > m . Luego [ ]
i
v V = es un mnimo local de ) (V si y slo si V
es calculado va (15).
Demostracin: La condicin necesaria fue demostrada en el Teorema 1. Para
mostrar la suficiencia, tenemos de (21) que
( )

=
=


=
no si
i j si
v
V
v
n
k
m
jk
i j
0
2 ) (
1

(34)
59
Por lo tanto, el Hessiano es definido positivo y seguidamente (15) es una condicin
suficiente para minimizar ) (V .
De los Lema 1 y Lema 2, podemos probar nuestro resultado principal:
( ) ( )
) ( ) ( ) 1 ( ) 1 (
, ,
l l
m
l l
m
V U J V U J
+ +
.
Teorema 2: Sea
) (l
i
v ,
) (l
ik
, , , 2 , 1 , 0 K = l sea la secuencia generada desde el
algoritmo fuzzy c-means por (11) y (12). Si 1 > m y 0
) ( ) (

l
i
l
k
v x n k , , 2 , 1 K = ,
c i , , 2 , 1 K = , y K , 2 , 1 , 0 = l , luego tenemos
( ) ( )
) ( ) ( ) 1 ( ) 1 (
, ,
l l
m
l l
m
V U J V U J
+ +
(35)
para K , 2 , 1 , 0 = l
Demostracin: Dado que
) (l
V es calculado desde la (12) para U fijo, del Lema 2
tenemos que
( ) ( )
) ( ) 1 ( ) 1 ( ) 1 (
, ,
l l
m
l l
m
V U J V U J
+ + +
. (36)
Dado que
) 1 ( + l
U es calculado desde (11) para V fijo, del Lema 1 se tiene que
( ) ( )
) ( ) ( ) ( ) 1 (
, ,
l l
m
l l
m
V U J V U J
+
. (37)
Combinando (27) y (28), obtenemos (26).
Sea el conjunto:
( )
( ) ( )
( ) ( )

<

=

* * * *
* * *
* *
, , ,
; , , ,
) ( ,
V V V U J V U J
M U V U J V U J
M M V U
m m
fcn m m
c p fcn
(38).
Fue demostrado por Bezdek, Hathaway, Sabin y Tucker que el algoritmo fuzzy c-
means o termina en un punto en , o existe una subsucesin que converge a un punto en
.


60
ANEXO B : METODO DE INFERENCIA DE MAXIMA ENTROPIA

Este mtodo fue extrado del trabajo de Li y Mukaidono [23].
B.1 Introduccin al mtodo

Este mtodo propone realizar un agrupamiento difuso por medio de un mtodo de
inferencia de mxima entropa (Maximun-entropy inference, MEI). Este mtodo resuelve el
problema de validez de agrupamiento, introduciendo una funcin de cohesin de la
estructura como criterio de agrupamiento, la que es vlida para cualquier asignacin de
pertenencia, por lo tanto es capaz de determinar el nmero plausible de clases de acuerdo al
requisito subjetivo propio del mtodo.
B.2 Inferencia de mxima entropa en agrupamiento difuso

La teora de la informacin (estrictamente hablando, el concepto de cantidad de
informacin de Shannon) provee un mtodo de inferencia insesgado para problemas mal
definidos sobre la base de la informacin dada, llamado Inferencia de Mxima Entropa
(MEI). La estructura de el problema MEI es encontrar una probabilidad de asignacin (o
funcin de pertenencia { }
ik
) sin sesgo, mientras concuerde con cualquier informacin
dada, es decir, cada
ik
esta en [ ] 1 , 0 y que maximice la entropa. Formalmente, este
problema est escrito como:

= =

N
k
c
i
ik ik
max
1 1
) log( (39)
sujeto a:
l
g
g
g
M
2
1

donde
l
g g g , , ,
2 1
L son las l restricciones o la informacin dada.
Observamos que el agrupamiento difuso es solamente uno de los MEI. Primero,
definimos una funcin de prdida (la suma del error cuadrado intra-grupo (WGSS) ) como
sigue:
61

= =
=
N
k
c
i
ik ik
d L
1 1
2
(40)
Donde,
i k ik
x d = y es el producto interno, N es el nmero de datos, c es el
nmero de clases,
k
x denota el vector que representa el simo k objeto,
i
es el vector
que define el centro de la sima i clase (o, el prototipo en el lenguaje del reconocimiento
de patrones) y
ik
denota el grado de pertenencia del simo k objeto en la sima i
clase, y satisface las siguientes condiciones:
; , 1 0 k i
ik
(41)
; 1 0
1
i
N
k
ik

=
(42)
. 1
1
k
c
i
ik
=

=
(43)
Por lo tanto, vemos que con la inferencia de mxima entropa, el problema de
agrupamiento difuso consiste en encontrar un conjunto de prototipos que minimizan a (40)
y una asignacin de pertenencia que satisface la restriccin (43). Como veremos abajo, las
soluciones que satisfacen la restriccin (43) tambin satisface las restricciones (41) y (42).
Para maximizar (39) sujeto a las restricciones (40) y (43), usamos el mtodo de
multiplicadores de Lagrange y obtener las siguientes soluciones:
; ,
1
2
2
2
2
2
2
k i
e
e
c
j
d
d
ik
jk
ik
=

(44)
Donde el parmetro es el multiplicador de Lagrange determinado por (40), llamado el
radio de error admisible. Es reconocido que
2
2 es llamada la temperatura en fsica
estadstica.
Obviamente, la ecuacin (44) resultante son soluciones que satisfacen (40) slo
cuando los centros { }
i
se asumen que son vectores constantes. Como los { }
ik
son fijos,
se usar una demostracin similar que en 0, y se obtienen las siguientes soluciones las que
minimizan (40).
62
.
1
1
i
x
N
k
ik
N
k
k ik
i
=

=
=

(45)
Esto significa que
i
es slo el centro de la sima i clase.
Se resumen los resultados de esta seccin como una proposicin.
Proposicin 1. Se asume que son dados N objetos no etiquetados y c es fijo.
1. Si las pertenencias asignadas { }
ik
son fijas, luego los vectores de los centros
{ }
i
son soluciones que minimizan localmente (40) si y slo si
.
1
1
i
x
N
k
ik
N
k
k ik
i
=

=
=

(46)
2. Si los centros { }
i
son fijos, luego las pertenencias asignadas { }
ik
que
satisfacen (40) son slo distribuciones Gausianas como sigue
. ,
1
2
2
2
2
2
2
k i
e
e
c
j
d
d
ik
jk
ik
=

(47)
Dem: Similar a la demostracin del Teorema 1 del 0.
B.3 Cohesin de la estructura y un algoritmo de reconocimiento de
estructura en los datos

Hasta el momento se ha discutido el caso en que el nmero de clases c es fijo,
pero no se menciona como comparar dos divisiones con diferente nmero de clases. Este
problema es llamado el problema de validez de clases ( cluster validity problem ). Entre los
criterios propuestos, el coeficiente de particin, la entropa de la particin, y el mtodo
aqu incorporado sern utilizados. Todos estos criterios dependen estrictamente de
parmetro m, esos sern invlidos cuando el grado de difusividad (o, m) es grande o
pequeo (usualmente, 0 . 3 5 . 1 < < m ).
Para este nuevo mtodo se introduce un nuevo concepto, llamado cohesin de la
estructura ( structure strength ). La existencia de estructura en los datos significa que el
63
conocimiento de una parte nos permite suponer fcilmente la estructura del resto. As, el
proceso de reconocimiento de la estructura produce un proceso de extraccin de
conocimiento. Por lo tanto la cohesin de la estructura de un sistema ser ms natural
expresarla por la siguiente frmula
n). aproximaci la de exactitud (la in) clasificac la de d efectivida (la
estructura la de Cohesin
+ =
= S
(48)
Por el momento, el nmero de los datos de entrada es N , y el nmero de clases es
c y el promedio total de la prdida es ) (c L , luego la cohesin ser
( )
( ) .
) (
) 1 (
log - 1 log
- 1 E ) (

=
+ =
c L
L
c
n
A c S


(49)
Donde ) 1 ( L es la varianza de los datos entrantes, i. e., el valor de comienzo para la
funcin de prdida con 1 = c , y [ ] 1 , 0 presenta el peso de la efectividad de la
clasificacin. En el caso de estimacin insesgada, tomamos 5 . 0 = . El primer trmino (o
tambin llamado razn de compresin de la informacin) decrece con el nmero de clases
c , pero el segundo trmino se incrementa, porque ) (c L decrece monotamente a cero con
c . Por otro lado, el agrupamiento, como una aproximacin del reconocimiento de la
estructura, su objetivo es encontrar la estructura que ms se ajusta. Para la validez de clases,
consideramos la maximizacin de ) (c S como criterio de agrupamiento.
{ }
{ }. ) (
, , 1
c S max
C c K

La razn del porque la cohesin de la estructura es definida por una funcin
logartmica es porque la cohesin es aditiva. En este sentido, si la transicin es desde
0
M M = ( N M =
0
denota el nmero de objetos) a
k
M c = es hecho a travs de pasos
sucesivos:
k
M M M M K
2 1 0
, tenemos
( )
( )
( )

=
=

=

i
i
i
i
i
k
i
i
M L
M L
M
M
S
S S
1 1
1
log 1 log
(50)
pero ) 1 ( ) ( L N L , porque tenemos la siguiente condicin de restriccin: N c << 2 .
64
Por lo tanto, este mtodo es llamado el reconocimiento de la estructura de los
datos (Data Structure Recognition, DSR). El algoritmo DSR esta compuesto de dos pasos:
Paso 1, calcular la funcin de prdida ) (c L para c fijo. Es por lo tanto necesario
encontrar la minimizacin global de (40).
Paso 2, determinar el nmero plausible de clases variando c .
En orden a realizar la minimizacin requerida en el Paso 1, el algoritmo DSR est
basado en la Proposicin 1, i.e., usar (46) y (47) repetidamente hasta un criterio de
terminacin. Por otro lado, Geman y Geman [8] han demostrado que, en teora, la
minimizacin de (40) puede ser alcanzado si la temperatura es inversamente proporcional a
una funcin logartmica del tiempo. Por lo tanto, si es necesario, para c fijo, una eleccin
ptima de puede ser hecho en trminos de simulaciones. Pero, tales programaciones son
muy bajas e irreales en muchas aplicaciones. Afortunadamente ) (c L es estrictamente
dependiente del nmero de clases c cuando el radio de error admisible es pequeo.
Cuando es ms pequeo, las funciones de pertenencia son menos difusas. Cuando
0 = , conduce a un problema de agrupamiento estricto. Cuando , cada objeto es
igualmente asignado a todas las clases, y as obtenemos una nica clase. Por lo tanto, no
slo determina el valor de la funcin de prdida L , sino tambin el nmero de clases c . En
este sentido, tiene propiedades similares a m . Pero tiene un significado fsico ms
claro que m, y una eleccin ptima en trmino de simulaciones, mientras m no tiene.
Dado que L depende de c , el Paso 2 es necesario, encontrando la maximizacin
de ) (c S variando c para determinar el nmero plausible de clases. Se resume el algoritmo
DSR como sigue:









65
Algoritmo DSR:

1. Calcule ) 1 ( L . Fije 0 > , 0 > , , C , T y 0 . 0 ) 1 ( = S .
2. Para C c , , 2 K = . Inicializamos con [ ] 1 , 0
ik
aleatorio para cada
k i, . Para T t , , 2 , 1 K = .
3. Calcular ( ) { } t
i
usando (45) y { }
ik
.
4. Se actualiza ( ) { } t
ik
usando (46) y { }
i
.
5. IF > ) 1 ( ) ( max t t
ik ik
prximo t ; ELSE calcular ) (c S usando (49).
6. IF ) 1 ( ) ( < c S c S para; ELSE prximo c .




















66
ANEXO C : GENERACIN DE DATOS TERICOS

Sea c el nmero de clases, y
p j
i
x , el elemento i de la clase j , con un tamao
l para cada clase, generado de la forma:
j
i j
j
i
z x + =
con
p
j
, y donde
j
i
z , es un valor aleatorio con distribucin normal de media 0 y
varianza
2
j
, es decir:
( )
2
, 0 ~
j
j
i
N z .
Ahora, los objetos agregados con cambios son generados de la forma:
j
i j
j
i
z x + =
)
~

donde
j
i
z es el mismo, pero
p
j

)
es nuevo, esta situacin corresponde a un cambio de
movimiento, suponiendo clases separadas, de manera que las nubes de objetos de cada
clase no se intersecten entre ellas.
De la forma anterior generamos clases con cambios.









67
ANEXO D : GLOSARIO DE TRMINOS


Palabra o sigla Nombre en ingls Significado
Agrupamiento Clustering Referirse a Pgina 7.
Cohesin de la estructura Structure strength Referirse a ANEXO B.
DM Data Mining Minera de Datos.
DW Data Warehouse Bodega de Datos.
DSR

Data Structure Recognition Reconocimiento de la
estructura de los datos.
KDD Knowledge Discovery in
Databases
Descubrimiento de
conocimiento en bases de
datos.
MEI Maximun-entropy inference
method
Mtodo de inferencia de
mxima entropa (ANEXO
B).
Problema de validez de
clases
Cluster validity problem Referirse a Pgina 33.