C261-69 Tópicos Avanzados:

Redes Neuronales Artificiales

Redes Recurrentes

Dra. Ma. del Pilar Gómez Gil

V:23-04-13
Procesamiento Temporal
 El algoritmo de Retro-propagación sólo puede
aprender relaciones ESTÁTICAS.
 Una entrada X se asocia a una salida Y, esto
es, se asocian patrones espaciales
independientes del tiempo:

X Perceptron de Y
Multi-niveles
estático

(C) P. Gómez Gil. INAOE 2008 2

Procesamiento Temporal (cont.)
 También se puede usar BP para realizar predicciones no
lineales de una serie de tiempo estacionaria.
 Una serie de tiempo es estacionaria cuando su
“estadística” no cambia con el tiempo. En este caso X
se puede definir como:
X = [x(n-1), x(n-2),...,x(n-p)]T
 Donde p es el orden de predicción, y la salida de la red
es un escalar y(n) que se produce como respuesta a la
entrada X, representando la "predicción de un paso" o
predicción del siguiente valor de X.

(C) P. Gómez Gil. INAOE 2008 3

Predictor estático

x(n-1)
P
z-1
R
E
x(n-2) D
I
C
z-1 Y(p) = x(n)
T
O
x(n-p) R

(C) P. Gómez Gil. INAOE 2008 4

Procesamiento Temporal (cont.)
 Aun así, esta red de perceptrones representaría un
modelo estático, cuyos parámetros tienen valores fijos
 ¿Cómo podemos representar el tiempo, esto es, proveer
de propiedades dinámicas a la red?
 Para que una red sea dinámica, debe poseer
MEMORIA.
 Hay básicamente 2 maneras de poner memoria en una
red neuronal: con retrasos y con recurrencia.

(C) P. Gómez Gil. INAOE 2008 5

Redes con retrasos
 Incluyen memoria introduciendo retrasos de tiempo en
la estructura sináptica de la red y ajustando sus valores
durante el entrenamiento. (Se sabe que en el cerebro
se manejan señales retrasadas).
 Un ejemplo de esta metodología es la red "Time Delay
Neural Network" (TDNN) descrita por Lang y Hinton en
1988 y por Waibel en 1989.
 Es una red hacia delante de varios niveles cuyos
neurones escondidos y de salida se repiten a través
del tiempo.

(C) P. Gómez Gil. INAOE 2008 6

Redes Recurrentes
 Hay dos metodologías básicas de entrenamiento de
redes recurrentes:
 Retropropagación a través del tiempo. Creada originalmente en
la tesis de P. Werbos (1974), (1990). Redescubierta
independientemente por Rumelhart et al. (1986) y una variación
propuesta por Williams y Peng (1990).
 Aprendizaje Recurrente al Tiempo Real (Real Time Recurrent
Learning). Descrito por Williams y Zipsen (1989), los orígenes
del algoritmo fueron dados por McBride y Nardendra (1965)

(C) P. Gómez Gil. INAOE 2008 7

Una red recurrente
I1

I2

I3

(C) P. Gómez Gil. INAOE 2008 8

Características de una red
recurrente
 El cálculo de la salida yi, de cada neurón i, esta
dado por:
yi
  yi   ( xi )  I i xi   w ji y j
t j

 donde:
 Xi representa la entrada total al i-ésimo neurón que viene de otros
neurones,
 Ii es la entrada externa al neurón i,
 W ji es la conexión del neurón i al neurón j y
  es un función diferenciable cualquiera, normalmente una sigmoide:

(C) P. Gómez Gil. INAOE 2008 9

Retro-propagación a través del
tiempo (BPTT)
 BPTT intenta minimizar el error obtenido en un periodo de tiempo
entre la salida de un neurón y el valor deseado para esa salida.
 El error total de un neurón está representado por:
ti

E   ( y (t )  d (t ))dt
t0

 Donde Y(t) es la "Salida real" obtenida por el neurón y d(t) es la

salida deseada.
 Se busca la minimización de la raíz cuadrada de E.

(C) P. Gómez Gil. INAOE 2008 10

Dinámica del neurón
 La dinámica del neurón puede expresarse usando
ecuaciones de recurrencia:
yi (t  t )  yi (t )
  yi (t )   ( xi )  I i
t

yi (t  t )  yi (t )  t[ yi (t )   ( xi )  I i ]

yi (t  t )  yi (t )  t ( yi (t )   ( xi )  I i )
 Hay varias soluciones a la minimización de E, (por ejemplo, ver
Pearlmutter B.A. "Learning State Space Trayectories in Recurrent
Neural Networks" Neural Computation, Vol. 1 pp. 263-269, 1989).

(C) P. Gómez Gil. INAOE 2008 11

Ejemplo: predicción de ECG y
otras señales caóticas usando la
red HCNN1

s(t-5) s(t-4) s(t-3) s(t-2) s(t-1)

1. Gómez, P. Ramírez, J. ”Experiments with a Hybrid-Complex Neural Networks for Long Term Prediction of
Electrocardiograms”. Proceedings of the IEEE 2006 International World Congress of Computational Intelligence, IJCNN
2006”. Vancouver. Canada. July 2006

(C) P. Gómez Gil. INAOE 2008 12

Generadores armónicos en la
red HCNN1
3-node fully
connected NN

Initial
condition 1 10 19 28 37 46 55 64 73 82 91 100 109 118 127 136 145 154 163 172 181 190 199 208 217 226 235 244

Sine function

1. Gómez, P. Ramírez, J. ”Experiments with a Hybrid-Complex Neural Networks for Long Term Prediction of
Electrocardiograms”. Proceedings of the IEEE 2006 International World Congress of Computational Intelligence, IJCNN
2006”. Vancouver. Canada. July 2006

(C) P. Gómez Gil. INAOE 2008 13

Predicción de
electrocardiogramas 1 Prediction

0.8

0.6

0.4
expected
predicted

0.2

0
1 89 177 265 353 441 529 617 705 793 881 969 105711451233132114091497158516731761 184919372025

-0.2

-0.4
1. Gómez, P. Ramírez, J. ”Experiments with a Hybrid-Complex Neural Networks for Long Term Prediction of
Electrocardiograms”. Proceedings of the IEEE 2006 International World Congress of Computational Intelligence, IJCNN
2006”. Vancouver. Canada. July 2006

(C) P. Gómez Gil. INAOE 2008 14

RETROPROPAGACIÓN
A TRAVÉS DEL TIEMPO

REDES NEURONALES
ARTIFICIALES
INSTRUCTORA: PILAR-GOMEZ
GIL

(C) P. GOMEZ-GIL, INAOE 2013

INTRODUCTION
 Backpropagation through time (BPTT) is
an algorithm that attempts to minimize the
error obtained over a period of time
between the output of a neuron and the
desired value of such output.
 It was originally proposed by Werbos
(1990).

(C) P. GOMEZ-GIL,
INAOE 2013
ERROR

 The total error in an output neuron is

represented by:

(C) P. GOMEZ-GIL,
INAOE 2013
OUTPUT NUERONS

In a discrete form:

(C) P. GOMEZ-GIL,
INAOE 2013
LEARNING

 Pearlmutter (1989) found that the

modification to the weights (learning) can
be described by the equation:

(C) P. GOMEZ-GIL,
INAOE 2013
LEARNING (2)
 Using a discrete notation:

(C) P. GOMEZ-GIL,
INAOE 2013
PEARLMUTTER’S ALGORITHM (1/5)

Gómez-Gil, 1989

(C) P. GOMEZ-GIL,
INAOE 2013
PEARLMUTTER’S ALGORITHM (2/5)

(C) P. GOMEZ-GIL,
INAOE 2013
PEARLMUTTER’S ALGORITHM (3/5)

(C) P. GOMEZ-GIL,
INAOE 2013
PEARLMUTTER’S ALGORITHM (4/5)

(C) P. GOMEZ-GIL,
INAOE 2013
PEARLMUTTER’S ALGORITHM (5/5)

(C) P. GOMEZ-GIL,
INAOE 2013
ALGORITHM TO PREDICT A
TRAJECTORY

(C) P. GOMEZ-GIL,
INAOE 2013
REFERENCES
 Gómez-Gil, P. “The effect of non-linear Dynamic Invariant in the Recurrent
Neural Networks for Prediction of Electrocardiograms.” María del Pilar
Gómez Gil. PhD dissertation in Computer Science, Texas Tech University.
December 1998.
 2011. Gómez-Gil P, Ramírez-Cortés JM, Pomares Hernández SE, Alarcón-
Aquino V. “A Neural Network Scheme for Long-term Forecasting of Chaotic
Time Series” Neural Proceesing Letters. Vol.33, No. 3, June 2011. pp 215-
233. Published online: March 8, 2011. DOI: 10.1007/s11063-011-9174-0
(cited at JCR Science Edition—2009). (preliminary PDF)
 Pearlmutter, B. (1990). Dynamic Recurrent Neural Networks. Technical
Report CMU-CS-90-196. School of Computer Science, Carnegie Mellon
University, Pittsburgh MA.
 Werbos, P. (1990). Backpropagation Through Time: What it Does and How
to Do it”. P IEEE , 74 (10), 1550-1560.

(C) P. GOMEZ-GIL,
INAOE 2013