Apuntes Redes Neuronales

1
REDES NEURONALES
Las redes neuronales constituyen una poderosa

herramienta para modelar sistemas, especialmente no
lineales, sean dinmicos o estticos.
El cerebro humano es una sistema muy complejo formado
por muchas clulas llamadas neuronas; se estima que
existen entre 1010 y 1011 de clulas en el cerebro. Las
redes neuronales artificiales emulan la arquitectura y
capacidades de sistemas neuronales biolgicos.
Una esquema simplificado de una neurona se muestra en
la siguiente figura.
Cuerpo celular
Dendrita
Axn
Sinapsis
D. Sez, EL650 (2007). ControlNeuronal1: Fundamentos de Redes Neuronales. Dpto. Ing. Elctrica, U.
Chile.
En el cuerpo celular se realizan la mayora de las

funciones lgicas de la neurona. El axn es el canal de
salida final de la neurona. Las dentritas reciben las seales
de entrada de los axones de otras neuronas y se conectan
al cuerpo celular por medio de las sinapsis.
Chile.
Chile.
REPRESENTACION MATEMATICA
DE UNA NEURONA
En la siguiente figura se observa la estructura de una

neurona artificial con mltiples entradas.
x1
x2
w1
w2
x3 w3
wk
xk
wn
xn
En esta estructura, se tiene

n
u = w i xi
i =1
donde wi son los pesos de la neurona (sinpsis)

xi son las entradas a la neurona
n es el nmero de entradas a la neurona
Chile.
y = f ( u ) = f w i xi
i =1
donde y es la salida de la neurona (axn)

f es la funcin de activacin, correspondiente, en
general, a una funcin no lineal (cuerpo celular)
es el sesgo
En general, se utilizan las siguientes funciones de
activacin:
1
x
f
1
-1
-1
Limitador duro
Hiperblica
b
-1
Sigmoidal
Chile.
Chile.
Las redes neuronales son estructuras de procesamiento

formadas por una gran cantidad de neuronas, que operan
en paralelo.
Adems, los distintos tipos de redes neuronales se generan
a partir de la interconexin de neuronas.
Las principales redes neuronales que se utilizan para
modelacin no lineal son:
Redes perceptrn multicapa
Redes recurrentes
Redes de funciones de base radiales (RBFN)
Chile.
VENTAJAS DE LAS REDES NEURONALES
Las redes neuronales deben su capacidad de

procesamiento de informacin a su estructura distribuida y
paralela, a su capacidad de apredizaje y por tanto de
generalizacin.
Tareas
-
Reconocimiento de patrones
Memorias asociativas
Aproximacin funcional
Etc.
Propiedades
- No linealidad. Las neuronas son elementos de proceso
generalmente no lineales. La interconexin de estos
elementos genera estructuras dde transformacin de
datas donde este carcter no lineal queda distribuido a
lo largo y ancho de la red.
- Modelado de relaciones de entrada/salida.
Chile.
- Adaptibilidad. Las redes neuronales son por definicin

estructuras adaptivas capaces de ajustar sus pesos, y por
tanto su funcin de transferencia, a cambios en su
entorno.
- Tolerancia ante fallos. Una red neuronal tiene la
capacidad de seguir respondiendo de forma no
catastrfica cuando parte de su estructura no est
daada. Esto es debido al tratamiento distribuido de la
informacin y a la redundancia implcita en su
estructura.
Chile.
10
PERCEPTRN MULTICAPA
El perceptrn multicapa es una estructura jerrquica que

consiste en varias capas de neuronas totalmente
interconectadas, que admiten como entradas las salidas de
los elementos de proceso (neuronas) de la capa anterior.
x1
y
capa 3
x2
capa 1
capa 2
En las redes perceptrn multicapa se distinguen tres tipos

de capas:
Capa de entrada. Esta formada por n unidades (siendo n
el nmero de entradas externas) que se limitan a
distribuir las seales de entrada a la capa siguiente.
Chile.
11
Capas ocultas. Estn formadas por neuronas que no

tienen contacto fsico con el exterior. El nmero de
capas ocultas es variable, pudiendo incluso ser nulo.
Capa de salida. Est formado por m neuronas (siendo m
el nmero de salidas externas) cuyas salidas constituyen
el vector de salidas externas del perceptrn multicapa.
Los modelos dinmicos neuronales estn dados por:
y( t ) = N( y( t 1),, y( t ny), u ( t 1),, u ( t nu ))
donde N es la red neuronal que puede ser un perceptrn

multicapa, como se muestra en la siguiente figura.
Chile.
12
y(t-1)
.
.
.
y(t-ny)
y(t)
u(t-1)
..
.
u(t-nu)
Chile.
13
Aplicaciones
-
Aproximacin funcional
Reconocimiento de patrones
Filtrado de seales
Eliminacin de ruido
Segmentacin de imgenes y seales
Control adaptivo
Compresin de datos
Etc.
Ventajas
- Capacidad de representacin funcional universal. Gran
rapidez
de
procesamiento.
Genera
buenas
representaciones internas de las caractersticas de los
datos de entrada. Ampliamente estudiada. Es la red
neuronal ms aplicada en la prctica
Desventajas
- Tiempo de aprendizaje elevado para estructuras
complejas
Chile.
14
Ejemplo Modelacin de la qumica del agua de una

central trmica utilizando redes neuronales.
Se considera la central trmica a carbn Anllares (350
MW), propiedad de la empresa Unin Elctrica Fenosa
(UEFSA), Espaa. Esta central tiene en operacin un
sistema experto denominado SEQA que permite adquirir
variables relacionadas con las propiedades qumicas de los
siguientes flujos del ciclo agua-vapor: vapor condensado,
agua de alimentacin, vapor saturado, vapor
sobrecalentado y vapor recalentado.
Vapor
Sobrecalentado
Condensador
Turbinas
Vapor
Saturado
Vapor
Recalentado
Vapor
Condensado
Caldera
Agua de
Alimentacin
Chile.
15
Las propiedades qumicas analizadas para los flujos

considerados son: la conductividad catinica, la
conductividad especfica, el pH y el porcentaje de O2. La
utilizacin de modelos predictivos para estas propiedades
qumicas, en el sistema experto SEQA, permite controlar
los problemas de corrosin de componentes presentes en
la produccin de energa elctrica. Especialmente, es
importante la modelacin de la conductividad catinica
del ciclo agua-vapor, debido a que esta propiedad es muy
representativa de las impurezas del agua.
Como ejemplo de la modelacin neuronal de las
propiedades qumicas del agua, se presentan los resultados
obtenidos para la modelacin de la conductividad
catinica del agua de alimentacin (CCaa). Las variables
de entrada al modelo son: la potencia generada de la
central (P) y la conductividad catinica del condensado
(CCcond, flujo precedente). Los datos son adquiridos con
un perodo de muestreo de 15 minutos.
El modelo neuronal para la conductividad catinica del
agua de alimentacin est dada por:
CC aa ( k ) = N (CC aa ( k 1), P( k 1), P( k 2 ),
CC cond ( k ), CC cond ( k 1))
Chile.
16
donde N es un perceptrn multicapa con una capa oculta

de neuronas de funciones de activacin tangente
hiperblica y una capa de salida lineal.
Chile.
17
REDES RECURRENTES
Estos modelos son capaces de representar sistemas

realimentados dinmicos no lineales (Narendra, 1990).
x1(t+1)
x1(t)
x2(t)
x2(t+1)
.
..
.
..
xn(t)
xn(t+1)
z-1
z-1
z-1
Chile.
18
Adems, se debe mencionar que existen diversos modelos

neuronales que son combinaciones de las redes perceptrn
multicapa y redes recurrentes.
Chile.
19
REDES DE FUNCIONES
DE BASE RADIALES (RBFN)
Las redes de funciones de base radiales (RBFN Radial

Basis Function Networks) consisten en dos capas (Jang,
1993). Los modelos dinmicos basados en las redes
RBFN estn dados por:
y( t ) = N( y( t 1), , y( t ny), u( t 1), , u( t nu ))
donde N es una red neuronal como se muestra en la

siguiente figura con n = ny + nu.
a1
y(t-1)
..
.
y(t-ny)
u(t-1)
..
.
u(t-nu)
any
v1
vny
y(t)
vn
an
Chile.
20
La capa oculta esta compuesta por n unidades radiales

totalmente conectadas al vector de entrada. Las funciones
de transferencia de la capa oculta son similares a una
funcin de densidad gaussiana, es decir:
x ri
a i = exp
i2
donde x = [ y( t 1), , y( t ny), u( t 1), u( t nu )] es el vector

de entradas de la red, ri son los centros de las unidades
radiales, i representan los anchos.
La salida de la red est dada por:
n
y( t ) = v i a i
i =1
donde vi son los pesos de las unidades radiales.
Chile.
21
Ejemplo Modelacin neuronal basada en RBFN para un

fermentador batch de alimentacin.
La presin en el estanque de fermentacin puede ser
controlada a travs del cambio de flujo de aire de salida
manteniendo constante el flujo de aire de entrada.
Chile.
22
El modelo de la red est dado por:

y( k + 1) = N( y( k ), u ( k ))
donde y(k) es la presin en el estanque y u(k) es el flujo

de salida. Adems, N es una red neuronal lineal/RBF dada
por las siguientes ecuaciones:
n
y(k + 1) = w 0 + w 1i i ri (k ) + w T2 x (k )
i =1
ri (k ) = x (k ) c i
x (k ) = y(k ),, y(k n y ), u (k ),, u (k n u )
Chile.
23
Aplicaciones
- Aproximacin funcional
- Reconocimiento de patrones
Ventajas
Capacidad de representacin funcional universal. La
estructura de esta red tiene interpretacin directa, lo que
permite realizar una buena inicializacin de los pesos de
la red, y extraer conocimiento de las estructuras ajustadas.
La buena inicializacin de los pesos acelera el proceso de
aprendizaje.
Desventajas
El procesamiento realizado es algo ms complejo que en
el caso del perceptrn multicapa.
Chile.
24
OTROS TIPOS DE REDES

Adaline. Estas neuronas tienen capacidad de aprendizaje
debido a que sus pesos son cambiados adaptivamente de
acuerdo a un algoritmo adaptivo. Sus aplicaciones
principales son: filtrado adaptivo de seales,
reconocimiento
de
patrones.
Son
fcilmente
implementables en hardware debido a su sencillez y
homogeneidad, sin embargo slo son capaces de resolver
problemas de clasificacin linealmente separables y llevar
a cabo transformaciones lineales.
Mapas autoorganizativos de Kohonen. En este caso, las
neuronas estn ordenadas topolgicamente. Frente a la
presentacin de un patrn n-dimensional de entrada,
compiten lateralmente hasta que slo una de ellas queda
activa. El objetivo es que patrones de entrada con
caractersticas parecidas queden asociados a neuronas
topolgicamente cercanas. Sus principales aplicaciones
son: agrupacin y representacin de datos, compresin de
datos y optimizacin.
Chile.
25
ENTRENAMIENTO DE REDES NEURONALES
Se entiende por entrenamiento el clculo de pesos y

sesgos de manera que la red se comporte de una manera
deseada. De acuerdo al tipo de entrenamiento, las redes se
pueden subdividir en dos grandes grupos:
Redes con entrenamiento supervisado. Estas redes se
entrenan presentando, para cada combinacin de
entradas, las salidas que se espera ellas produzcan. Los
algoritmos de entrenamiento calculan pesos y sesgos
nuevos de manera de minimizar el error entre la salida
deseada y la obtenida realmente.
Redes sin supervisin. Los algoritmos de entrenamiento
calculan nuevos pesos libremente. Estas redes se utilizan
como clasificadores, pues se caracterizan por asociar
una combinacin de entradas especifica con una sola
salida.
Chile.
26
ALGORITMO DE ENTRENAMIENTO
BACKPROPAGATION
El algoritmo de entrenamiento backpropagation se utiliza

para ajustar los pesos y sesgos de un red, con el fin de
minimizar la suma del cuadrado de los errores de la red.
El algoritmo backpropagation es un mtodo iterativo de
optimizacin de descenso segn el gradiente, cuyos
detalles se presentan a continuacin.
Para una neurona j en una capa oculta o en la salida, la
seal de salida es
n
o j = f w ijo i b j
i =1
donde f es la funcin de activacin de la neurona

wij son los pesos de las conexiones entre la neurona
considerada, j, y la neurona i, perteneciente a la
capa precedente.
oi es la salida de la neurona i de la capa precedente
bj es el sesgo de la neurona j
Chile.
27
En este caso, se considera funciones de activacin

sigmoide logartmicas.
Adems, se define
n
net j = w ij o i b j
i =1
La salida de la neurona j, entonces, est dada por
o j = f net j =
1
1+ e
net j
Para el entrenamiento, el valor -bj se considera como un

peso correspondiente a la conexin de la neurona j con
una supuesta neurona de la capa precedente cuya salida es
constante e igual a uno.
El algoritmo de backpropagation permite ajustar los pesos
de la red neuronal con el fin de minimizar el error
cuadrtico sobre un conjunto de entradas y salidas
asociadas (patrones) que la red debe ser capaz de aprender
para luego realizar generalizaciones a partir de ellas.
Adems, se define como superficie de error a la funcin
multivariable generada por la expresin del error de ajuste
Chile.
28
en trminos de los pesos y sesgos de las neuronas de la

red.
El algoritmo backpropagation permite determinar los
valores de los pesos para los cuales la funcin de error es
mnima. Esto no siempre se logra, convergiendo muchas
veces el algoritmo a mnimos locales, no al mnimo global
buscado, o simplemente no convergiendo.
Se considera una red con M neuronas en la capa de salida
y suponiendo que se dispone de un conjunto de
entrenamiento con P patrones, uno de los cuales,
denominado p, tiene salidas dadas por
t p = t p1 , t p 2 ,, t pM
el error cuadrtico tiene, para ese patrn, la siguiente

expresin
1 M
E p = t pi o pi
2 i =1
que corresponde al error tomado para derivar la regla de

optimizacin.
Chile.
29
Los valores tpi representan las salidas deseadas ante las

entradas correspondientes al patrn p. Cuando dicho
patrn es presentado a la red, los pesos se modifican
segn una regla iterativa derivada del mtodo de
optimizacin segn el gradiente, con lo cual el peso wij
segn la ecuacin
w ij ( h) = w ij ( h 1) + w ij ( h)
donde h corresponde al contador dentro de una iteracin.

En este caso, una iteracin se define como la presentacin
(una vez) de todos los patrones entrada/salida de los
cuales se dispone para el entrenamiento.
El valor de w ij ( h) se calcula como
E p net j
E p
=
w ij ( h ) =
net j w ij
w ij
(*)
donde es la tasa de aprendizaje (constante de

proporcionalidad)
( 0 < < 1)
En general, los pesos se inicializan entre cero y uno
aleatoriamente.
Chile.
30
Se define el parmetro j como

j =
E p
net j
E p o j
o j net j
En las expresin siguientes, el subndice p se ha omitido

por simplicidad.
Para calcular las derivadas es necesario tener en cuenta
que la funcin de activacin escogida es una sigmoide
logartmica, cuya derivada es
df ( x ) d 1
1
1
=
1
=
= f ( x )(1 f ( x ))
x
x
x
dx
dx 1 + e
1+ e
1+ e
Para una neurona j en la capa de salida se tiene, entonces,
) (
j = t j oj oj 1 oj
Para una neurona en la capa oculta o en la capa de

entrada, se tiene
j = o j (1 o j ) ( k w jk )
k
Chile.
31
donde el contador k cubre las neuronas de la capa

posterior a la j.
Entonces, la correccin de los pesos se comienza por la
capa de salida y se propaga hacia atrs hasta llegar a la
capa de entrada.
Con esto, el trmino (*) se puede expresar como
w ij = joi
Ahora bien, normalmente no se emplea slo esta

expresin sino que se agrega un trmino denominado
momentum, que corresponde al cambio anterior en el peso
ponderado por el coeficiente de momentum. Entonces, se
tiene
w ij = joi + w ij ( h 1)
donde es el coeficiente de momento. Este trmino

permite suavizar la convergencia del mtodo y ayuda a
que la convergencia de los pesos no se vea demasiado
afectada por irregularidades en la superficie de error.
Considerando los P patrones de que se dispone y con los
cuales se realizar el entrenamiento, la expresin para el
error total, o error de ajuste, es la siguiente
Chile.
32
2
1 M
E = E p = t pi opi
p =1
p =1 2 i =1
P
En general, el entrenamiento se considera acabado cuando

el valor de E es menor o igual que un lmite
preestablecido.
Chile.
33
IDENTIFICACIN BASADA EN REDES NEURONALES
Data Selection
Selection of
Relevant Variables
Initial Neural Network
Structure Definition
Structural and Parametric
Optimization
Model
Validation
Chile.
34
1.- Seleccin de datos

a) Conjunto de entrenamiento
b) Conjunto de test
c) Conjunto de validacin
2.- Seleccin de variables de entrada relevantes
Xi:
y( k 1),
y ( k 2 ),
u nu ( k nb nu nk nu + 1)
...,
y( k na ),
u1 ( k nk), ..., u1 ( k nb1 nk1 + 1), ..., u nu ( k nk nu ), ...,
a) Anlisis convencional
b) Anlisis de sensibilidades
3.- Definicin de la estructura inicial de la red
a) Perceptron multicapa
b) RBFN
4.- Optimizacin paramtrica y estructural
Numero ptimo de neuronas y capas ocultas.
5.- Validacin del modelo
Chile.
35
IDENTIFICACION CON REDES NEURONALES

Modelacin directa
d
yp
u
Proceso
ym
M
Algoritmo
de Aprendizaje
Chile.
36
En este caso, se entrena una red neuronal de manera de

obtener la dinmica directa de la planta.
La red es colocada en paralela a la planta y el error entre
el sistema y las salidas de la red son usados como entrada
al entrenamiento (Backpropagation).
Ecuacin del sistema no lineal (Proceso)
y p ( t + 1) = f (y p ( t ),, y p ( t n + 1), u ( t ),, u ( t n + 1) )
Red neuronal (Modelo)

y m ( t + 1) = f (y p ( t ),, y p ( t n + 1), u ( t ),, u ( t n + 1) )
donde f es la relacin de entrada salida dada por la red

neuronal.
Luego de un tiempo adecuado de entrenamiento, se tiene:
ym yp
De esta manera, la red se independiza de la planta, es

decir:
Chile.
37
y m ( t + 1) = f (y m ( t ),, y m ( t n + 1), u ( t ),, u ( t n + 1) )
Modelacin inversa
ss
yp
Proceso
M
Algoritmo
de Aprendizaje
ss es la seal de entrada para el entrenamiento.

Los modelos inversos de la dinmica de la planta juegan
un rol importante en el diseo de control.
La salida yp es usada como entrada a la red neuronal. La
salida de la red u es comparada con la entrada del sistema
Chile.
38
ss (seal de entrenamiento) y este error es usado para

entrenar la red.
Esta estructura claramente tiende a forzar a la red
neuronal a representar la dinmica inversa de la planta.
Modelacin inversa especializada
yp
Proceso
C
Algoritmo
de Aprendizaje
ym
M
Chile.
39
En este caso, el modelo red neuronal inverso precede al

sistema y recibe como entrada la referencia deseada de la
salida.
Esta estructura de aprendizaje contiene adems un modelo
red neuronal directo (M).
La seal de error para el algoritmo de entrenamiento, en
este caso, es la diferencia entre la seal entrenada ym y la
seal entrenada yp.
Alternativamente, la seal de error puede ser la diferencia
entre r y yp.
La estructura entrada salida de la modelacin del sistema
inverso est dada por:
u ( t ) = f 1 (y p ( t ),, y p ( t + n 1), r ( t + 1), u ( t 1),, u ( t n + 1) )
Si no se dispone de yp,
u ( t ) = f 1 (y m ( t ), , y m ( t + n 1), r ( t + 1), u ( t 1), , u ( t n + 1) )
Chile.
40
ESTRUCTURAS DE CONTROL
CON REDES NEURONALES
Existen diversas estructuras de control bien establecidas
para sistemas no lineales (Hunt, 1992).
Control supervisor o por operador
Operador
Humano
Red
Neuronal
Proceso
Proceso
En este caso, se disea un controlador que imite las

acciones de control del operador humano.
Chile.
41
El controlador corresponde a una red neuronal que es

entrenada con la informacin sensioral recibida por el
operador y la salida del proceso.
Control inverso directo
yd
yd
G-1
Red
Neuronal
Planta
En este caso, se utiliza un modelo inverso de la planta

talque el sistema compuesto resulte la identidad entre la
salida del proceso y la salida deseada.
Chile.
42
CONTROL POR LINEALIZACION INSTANTANEA

El enfoque ms comn de control para sistemas no
lineales es aproximar el sistema por un sistema lineal en
una regin y luego disear una estrategia de control lineal.
Los modelos neuronales son estructuras no lineales que se
pueden linealizar. Esta linealizacin puede ser en cada
instante de muestreo y por eso se denomina linealizacin
instantanea.
Consideremos el siguiente modelo neuronal:
y( t ) = g ( x ( t ))
donde
x( t ) = [y( t 1),..., y( t n ), u ( t 1),..., u ( t d m )]
En el instante t = , el sistema es linealizado alrededor del

punto de operacin x () , obtenindose el siguiente
modelo aproximado:
~y ( t ) = a ~y ( t 1) ... a ~y ( t n )
1
n
+b ~
u ( t 1) + ... + b ~
u ( t d m)
0
Chile.
43
donde
~y ( t i) = y( t i) y( i)
~
u ( t i) = u ( t i) u ( i)
g ( x( t ))
ai =
para 1 i n
x i t =
bi =
g ( x( t ))
para 1 i m
x n +i +1 t =
Para un modelo neuronal perceptron multicapa con nx

entradas, una capa oculta con nh neuronas con funcin
de activacin tangente hiperbolica y una capa lineal
de salida, se tiene:
nx
y( t ) = Wj tanh w kj x k ( t ) + w 0 j + W0
j=1
k =1
nh
Entonces, la derivada de la salida con rspecto a la

entrada xi(t) es:
Chile.
44
nx
g (x( t )) n h
2
= Wj w ji 1 tanh w kj x k ( t ) + w 0 j
x i ( t )
j=1
k =1
Por lo tanto, el modelo aproximado est dado por:

n
i =1
i =0
y( t ) = a i y( t i) + b i u ( t i)
n
m
+ y ( ) + a i y ( i ) b i u ( i )
i =1
i =0
donde
n
m
( ) = y ( ) + a i y ( i ) b i u ( i )
i =1
i =0
es un termino constante (bias).

A partir, de este modelo linealizado se deriva un
controlador lineal, que es actualizado en el siguiente
instante.
Chile.
45
Control por modelo de referencia

Modelo de
Referencia
yp
yr
+
Proceso
er
Algoritmo
de Aprendizaje
El funcionamiento deseado del sistema en lazo cerrado es

especificado a travs de un modelo de referencia estable,
que se define por el par entrada-salida {r(t),yr(t)}.
El sistema de control pretende llevar a la salida de la
planta yp(t) a la salida del modelo de referencia yr(t)
asintoticamente, es decir:
lim y r ( t ) y p ( t )
t
En esta estructura, el error entre yr e yp es usado para

entrenar al controlador neuronal.
Chile.
46
Control por modelo interno
ys +
-
yp
Proceso
+
ym
M
En este caso, los modelos directo e inverso son utilizados

directamente como elementos dentro del lazo de
retroalimentacin.
La diferencia entre la salida del sistema yp y la salida del
modelo ym es utilizada en la retroalimentacin.
La retroalimentacin es usada por el subsistema
controlador que utiliza un controlador relacionado con el
inverso del sistema.
El subsitema F es usualmente un filtro lineal que
introduce robustez al sistema.
Chile.
47
CONTROL PREDICTIVO
BASADO EN REDES NEURONALES
En general, los controladores predictivos basado en redes

neuronales presentan el siguiente esquema bsico:
Optimizador
Proceso
Predictor
M
En este esquema, la obtencin de la ley de control con redes neuronales

puede considerar alguna de las siguientes alternativas:
1.- Determinar el modelo del sistema con una red

neuronal. El modelo es usado para predecir las salidas
futuras de la planta. Esto permite tratar con procesos
no lineales.
2.- Entrenar una red neuronal para que realice la misma
tarea que un controlador predictivo. El entrenamiento
Chile.
48
se realiza por simulacin fuera de lnea. De este modo,

se obtiene un controlador ms rpido.
3.- Entrenar una red neuronal de forma que optimice un
criterio. El modelo es evaluado tan solo en la fase de
entrenamiento del controlador.
A continuacin, se presentan algunas estrategias de control predictivo
basado en redes neuronales
Hunt (1992)
yr
ym
Optimizador
MR
AA
u
yp
Proceso
En este caso, una red neuronal (M) predice las respuestas

futuras de la planta (ym) sobre un horizonte de tiempo.
Chile.
49
Las predicciones alimentan al optimizador de manera de

optimizar el siguiente criterio:
J=
( j)[y (t + j) y
N2
j = N1
Nu
m ( t + j / t ) + (i)[u ' ( t + i 1) ]
2
i =1
donde yr puede ser la respuesta de un modelo de

referencia (trayectoria de referencia).
Una alternativa es entrenar una red neuronal C de manera
de imitar la accin de control u.
Chile.
50
Arahal (1997)
GPC basado en respuesta libre (red neuronal) y respuesta
forzada.
Modelo Resp.
Neuronal libre
e
- yl
Resp.
forzada
Modelo
Lineal
+
u
Proceso
Optimizador
Se propone dividir la respuesta del sistema en libre y

forzada. La respuesta forzada es debido a la seal de
control, el resto se considera respuesta libre.
y( t + j) = y libre ( t + j) + y forzado ( t + j)
Para predecir la respuesta forzada se usar un modelo

lineal.
Chile.
51
La prediccin de la respuesta libre se har en base a un

modelo neuronal, vlido para todo rango de operacin.
El proceso de optimizacin puede resolverse
analticamente puesto que el modelo dependiente de la
seal de mando es lineal.
u = (G T G + I) 1 G T (w y libre )
A fin de obtener mejores resultados, el modelo usado para

calcular la respuesta forzada se cambia con el punto de
operacin.
Chile.
52
Draeger (1995)
DMC basado en redes neuronales
Se considera el siguiente modelo lineal respuesta al escaln:
y = Gu + f + d
con G es la matriz con coeficientes de la respuesta al

escaln, f es agrupa los trminos conocidos hasta t
(respuesta libre) y d es un vector de perturbaciones.
El vector de perturbaciones ser tal que una parte
representar la no linealidad del proceso y la otra parte
considera las influencias desconocidas.
d = d nl + d *
con
d* = y y m
Entonces, la accin de control est dada por:

u = (G T G + I) 1 G T (r f d)
Chile.
53
Modelo
no lineal
f r
-
dnl
DMC
Proceso
Modelo
lineal
Modelo
no lineal
ym
-
d*
Modelo
no lineal
Chile.
54
PRINCIPIOS BSICOS DE SISTEMAS NEURODIFUSOS

La principal razn de representar un sistema difuso en
trminos de una red neuronal es utilizar la capacidad de
aprendizaje de las redes para mejorar su funcionamiento.
Sistema de inferencia difusa neuronal adaptiva (ANFIS).
Modelo de Takagi-Sigino.
R 1 : Si x1 es A1 y x 2 es B1 entonces y = f1 (x )
R 2 : Si x 2 es A 2 y x 2 es B2 entonces y = f 2 (x )
donde Ai y Bi son conjuntos difusos y

f1 (x ) = z11x1 + z12 x 2 + z13
f 2 (x ) = z 21x1 + z 22 x 2 + z 23
Dado x = (x1,x2) un valor numrico de la entrada, el

mecanismo de inferencia difusa produce:
y* =
A1 (x1 )B1 (x 2 )f1 (x ) + A 2 (x1 )B2 (x 2 )f 2 (x )

A1 (x1 )B1 (x 2 ) + A 2 (x1 )B2 (x 2 )
Chile.
55
A1
O11
x1
A2
B1
x2
O12
N
O21
f1
O41
x1 x2
O13
O14
B2
O31
O22
O32
f2
O42
x1 x2
Chile.
y*
56
La salida de la capa 1 es:
(O11 , O12 , O13 , O14 ) = (A1 (x1 ), A 2 (x1 ), B1 (x 2 ), B2 (x 2 ))

La capa 2 consiste en neuronas difusa, entonces sus
salidas son:
(O 21 , O 22 ) = (A1 (x1 )B1 (x 2 ), A 2 (x1 )B2 (x 2 ))

La capa 3 es un normalizador. Su salida es:
O 22
O 21
,
O 21 + O 22 O 21 + O 22
(O 31 , O 32 ) =
A1 (x 1 )B1 (x 2 )
A 2 (x 1 )B 2 (x 2 )
=
,
(
)
(
)
(
)
(
)
(
)
(
)
(
)
(
)
+
+
A
x
B
x
A
x
B
x
A
x
B
x
A
x
B
x
2
1
2
2
1
1
1
2
2
1
2
2
1 1 1 2
La salida de la capa 4 es:
(O41, O42 ) = (O31f1, O32f2 )

A (x )B (x )(z x + z x + z ) A (x )B (x )(z x + z x + z )
= 1 1 1 2 11 1 12 2 13 , 2 1 2 2 21 1 22 2 23
A1 (x1 )B1 (x2 ) + A2 (x1 )B2 (x2 )
A1 (x1 )B1 (x2 ) + A2 (x1 )B2 (x2 )
Chile.
57
La salida resultante es:

y* = O41 + O42 =
A (x )B (x )(z x + z x + z ) + A2 (x1 )B2 (x1 )(z21x1 + z22x2 + z23)
= 1 1 1 2 11 1 12 2 13
,
A1 (x1 )B1 (x2 ) + A2 (x1 )B2 (x2 )
Chile.
58
Algoritmo de Aprendizaje ANFIS

En la estructura ANFIS, los parmetros de las premisas y
consecuencias son los pesos.
Especficamente, las funciones de pertenencia A ij son
parmetros determinados por el nmero finito de
i = 1,2 son los parmetros de las
parmetros a i , b i , c i
consecuencias.
El algoritmo de aprendizaje ANFIS consiste en ajustar el
conjunto de parmetros a partir de los datos muestreados
((x
k
k
k
,
x
),
y
1
2
k = 1,..., N
Se describe un mtodo de aprendizaje de las funciones de

pertenencia para las premisas y parmetros de las
consecuencias.
El conjunto de entrenamiento est dado por :
((x , y ),
1
donde
x k = x1k , , x kn
, (x k , y k )
n y y k
Las reglas difusas definidas son:

Chile.
59
R i : Si x 1k es A1i y y x kn es A in entonces
n
y = z ij x k + z i
j=1
donde A ij son funciones de pertenencia difusas y z ij son

nmeros reales.
Sea O k la salida desde el sistema difuso correspondiente
a la entrada x k .
Se considera que el operador AND est dado por el
producto, entonces el antecedente de la regla i es:
ik
( )
= A ij x kj
j=1
Entonces, la salida del sistema es:

m
Ok =
i =1
j k
0
z
x
z
+
i j i
j=1
ik
ik
i =1
Chile.
60
n i n j k
A j z i x j + z i
i =1 j=1
j=1
Ok =
n
n
A ij x kj
m
( )
i =1 j=1
Se define la medida del error para el patrn de

entrenamiento k th como:
Ek =
1 k
0 yk
2
donde O k es la salida del sistema difuso correspondiente

al patrn de entrada x k e y k es la salida deseada ,
k = 1, , K .
Chile.
61
Equivalencia de redes de funciones de base radiales

(RBFN) y sistemas difusos
Las redes de funciones de base radiales (RBFN Radial
Basis Function Networks) consisten en dos capas (Jang,
1993). Los modelos dinmicos basados en las redes
RBFN estn dados por:
y( t ) = N( y( t 1), , y( t ny), u( t 1), , u( t nu ))
donde N es una red neuronal como se muestra en la

siguiente figura con n = ny + nu.
a1
y(t-1)
.
.
.
ai
f1
y(t-ny)
fi
u(t-1)
.
.
.
fn
u(t-nu)
y(t)
an
Chile.
62
La capa oculta esta compuesta por n unidades radiales

totalmente conectadas al vector de entrada. Las funciones
de transferencia de la capa oculta son similares a una
funcin de densidad gaussiana, es decir:
x ri
a i = exp
2i
donde x = [ y( t 1), , y( t ny), u( t 1), u( t nu )] es el vector

de entradas de la red, ri son los centros de las unidades
radiales, i representan los anchos.
La salida de la red est dada por:
n
y( t ) = f i a i
i =1
donde fi son los pesos de las unidades radiales.

Un sistema sistema difuso equivalente para dos entradas
est dado por:
Si y(t-1) es Ai y u(t-1) es Bi
entonces y( t ) = f i = c i y( t 1) + d i u ( t 1)
Chile.
63
Adems, las funciones de pertenencia de las entradas para

la regla 1 son:
(y( t 1) r1 )2
A1 ( y( t 1) = exp
(u ( t 1) r2 )2
B1 (u ( t 1) = exp
Entonces, el grado de activacin de la regla 1 es:

1 ( y( t 1), u ( t 1) = A1 ( y( t 1)) B1 (u ( t 1))
x ri 2
= exp
= a1
2
1
Chile.
64
Ejemplo Se tiene una red neuronal de una capa, una

entrada - una salida, cuya funcin de transferencia no
lineal es una sigmoide logartmica.
a) Dibuje un esquema que represente la red antes
mencionada, indicando claramente: entradas, pesos,
expresiones para la salida y para la funcin NET.
Considere que no hay sesgos asociados a la red.
b) Dados los siguientes valores para la entrada X = {-3.0;
2.0} y para la salida Y = {0.3; 0.6}, determine
mediante el algoritmo de entrenamiento denominado
backpropagation, el peso asociado a dicha entrada.
Considere la tasa de aprendizaje es 0.9 y que
inicialmente w es 0.1.
c) Compruebe la efectividad de su entrenamiento
evaluando la salida de la red, para las entradas del
punto b), utilizando el peso encontrado. Comente.
Solucin
a)
Chile.
65
donde x es la entrada
y es la salida
w es el peso
f es una funcin sigmoide
1
y = f ( wx ) =
xw
net 1 + e
b) Datos
p
1
2
x
-3.0
2.0
y
0.3
0.6
= 0.9
w(0) = 0.1
1 iteracin (con primer conjunto de patrones)
o = f ( wx) = f ( 01
. 3.0) =
1
= 0.4255
1 + e 0.3
= (1 o) o( y o)
= (1 0.4255) 0.4255 ( 0.3 0.4255)
= - 3.069 10-2
Chile.
66
w = x = 0.9 3.069 102 3.0

= 8.2873 10-2
w (1) = w ( 0) + w = 01
. + 8.2873 102
= 0.18287
2 iteracin (con segundo conjunto de patrones)

o = f ( w (1) x) = f ( 018287
.
2.0)
1
=
= 0.59043
0.36574
1+ e
= (1 o) o( y o)
= (1 0.59043) 0.59043 ( 0.6 0.59043)
= 2.314 10-3
w = x = 0.9 2.3144 103 2.0

= 4.166 10-3
w ( 2) = w (1) + w = 018287
.
+ 4.166 103
= 0.187036
w* = 0.187036
c)
Chile.
67
p
1
2
x
-3.0
2.0
y
0.3
0.6
o p = f(wx p )
o1 = f(w * x1 ) = f(0.187036 -3.0) = 0.3633
o2 = f(w * x 2 ) = f(0.187036 2.0) = 0.5924
Entonces, los errores de estimacin son:

e1 = y1 - o1 = 0.3 - 0.3633 = -0.0633
e2 = y 2 - o2 = 0.6 - 0.5924 = 0.0076
Entonces, el error de ajuste es:
1 2 i i
e = y -o
2 i =1
= 0.002
Comentario
Se podra mejorar este peso resultante (w*), si se realizan
ms iteraciones con los mismos set de datos. Tambin se
podra realizar de nuevo las iteraciones empezando con el
x = 2 e y = 0.6, lo cual podra mejora el resultado.
Chile.

Apuntes Redes Neuronales

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Apuntes Redes Neuronales

Hochgeladen von

Copyright:

Verfügbare Formate

1

Las redes neuronales constituyen una poderosa

En el cuerpo celular se realizan la mayora de las

En la siguiente figura se observa la estructura de una

En esta estructura, se tiene

donde wi son los pesos de la neurona (sinpsis)

donde y es la salida de la neurona (axn)

Las redes neuronales son estructuras de procesamiento

VENTAJAS DE LAS REDES NEURONALES

Las redes neuronales deben su capacidad de

- Adaptibilidad. Las redes neuronales son por definicin

El perceptrn multicapa es una estructura jerrquica que

En las redes perceptrn multicapa se distinguen tres tipos

Capas ocultas. Estn formadas por neuronas que no

donde N es la red neuronal que puede ser un perceptrn

Ejemplo Modelacin de la qumica del agua de una

Las propiedades qumicas analizadas para los flujos

donde N es un perceptrn multicapa con una capa oculta

Estos modelos son capaces de representar sistemas

Adems, se debe mencionar que existen diversos modelos

Las redes de funciones de base radiales (RBFN Radial

donde N es una red neuronal como se muestra en la

La capa oculta esta compuesta por n unidades radiales

donde x = [ y( t 1), , y( t ny), u( t 1), u( t nu )] es el vector

donde vi son los pesos de las unidades radiales.

Ejemplo Modelacin neuronal basada en RBFN para un

El modelo de la red est dado por:

donde y(k) es la presin en el estanque y u(k) es el flujo

x (k ) = y(k ),, y(k n y ), u (k ),, u (k n u )

OTROS TIPOS DE REDES

ENTRENAMIENTO DE REDES NEURONALES

Se entiende por entrenamiento el clculo de pesos y

El algoritmo de entrenamiento backpropagation se utiliza

donde f es la funcin de activacin de la neurona

En este caso, se considera funciones de activacin

La salida de la neurona j, entonces, est dada por

Para el entrenamiento, el valor -bj se considera como un

en trminos de los pesos y sesgos de las neuronas de la

el error cuadrtico tiene, para ese patrn, la siguiente

que corresponde al error tomado para derivar la regla de

Los valores tpi representan las salidas deseadas ante las

donde h corresponde al contador dentro de una iteracin.

donde es la tasa de aprendizaje (constante de

Se define el parmetro j como

En las expresin siguientes, el subndice p se ha omitido

Para una neurona j en la capa de salida se tiene, entonces,

Para una neurona en la capa oculta o en la capa de

donde el contador k cubre las neuronas de la capa

Ahora bien, normalmente no se emplea slo esta

donde es el coeficiente de momento. Este trmino

En general, el entrenamiento se considera acabado cuando

IDENTIFICACIN BASADA EN REDES NEURONALES

1.- Seleccin de datos

u1 ( k nk), ..., u1 ( k nb1 nk1 + 1), ..., u nu ( k nk nu ), ...,

IDENTIFICACION CON REDES NEURONALES

En este caso, se entrena una red neuronal de manera de

Red neuronal (Modelo)

donde f es la relacin de entrada salida dada por la red

De esta manera, la red se independiza de la planta, es

y m ( t + 1) = f (y m ( t ),, y m ( t n + 1), u ( t ),, u ( t n + 1) )

ss es la seal de entrada para el entrenamiento.

ss (seal de entrenamiento) y este error es usado para

En este caso, el modelo red neuronal inverso precede al