UFPR PPGMNE - TC-747 - REDES NEURAIS E APLICAES EM ENGENHARIA

Profa. Andrea Sell Dyminski

3. REDES DE CAMADA NICA

Perceptron

Forma mais simples de RN

Utilizado para classificao de padres
(linearmente separveis)
Consiste em um nico neurnio, com
pesos sinpticos ajustveis e bias

3.1 Funes Discriminantes Lineares

a) Para Duas Classes de Padres
y(x) = wT x + w0

Funo discriminante:
Onde:

wT = Vetor de pesos
w0 = Bias

Se:

y(x) > 0, ento x pertence a C1

y(x) < 0, ento x pertence a C2

A fronteira entre as duas classes chamada de hiperplano.

Sada
y

w0

wm

w1
Bias
x0

x1

...

xm

22

UFPR PPGMNE - TC-747 - REDES NEURAIS E APLICAES EM ENGENHARIA

Profa. Andrea Sell Dyminski

x2

Classe C1

x1

Classe C2

Fronteira de
deciso
(hiperplano)

b) Para diversas classes:

A equao anterior pode ser facilmente adaptada para a

diviso dos padres em k classes:
yk(x) = wT x + wk0
ou,
yk(x) = wki . xi + wk0
onde x pertence classe Ck se yk(x) > yj(x) para todo j k.

Sadas
y1

yc

...

Bias
x0

x1

...

xm
23

UFPR PPGMNE - TC-747 - REDES NEURAIS E APLICAES EM ENGENHARIA

Profa. Andrea Sell Dyminski

c) Discriminante Logstico:
Neste caso:
y= g(a) = 1/(1 + exp(-a))
Onde: a = wT x + w0

Pode-se adotar:
g(a) =

0, quando a<0
1, quando a>= 0

3.2 Separabilidade Linear

At o momento

fronteiras de deciso separadas

por retas ou hiperplanos

Limitao das redes de apenas

uma camada

24

UFPR PPGMNE - TC-747 - REDES NEURAIS E APLICAES EM ENGENHARIA

Profa. Andrea Sell Dyminski

Caso do OU exclusivo (XOR):

Seja o vetor de entradas X:
0
0
X= 1
1

0
1
0
1

sendo que para:

x = (0,0) ou (1,1)
x = (0,1) ou (1,0)

pertence C1
pertence C2

x2

C2

C1

C1

C2
x1

No h como dividir as classes com hiperplanos (retas).

3.3 Algoritmo do Mnimo Quadrado Mdio (LMS)

Treinamento das redes de camada nica

Minimizao da funo de custo, ou seja, da soma dos

erros quadrticos (instantneos!)

25

UFPR PPGMNE - TC-747 - REDES NEURAIS E APLICAES EM ENGENHARIA

Profa. Andrea Sell Dyminski

E(w) = . e2(n)
onde e(n) o sinal de erro medido no tempo n.
Tendo-se como sinal de erro:
e(n) = d(n) xT(n) w(n)
Pode-se chegar ento aos valores de estimativa dos pesos
sinpticos:
w(n+1) = w(n) + . x(n) . e(n)
onde a taxa de aprendizado.
Geralmente, o algoritmo LMS converge com valores de
taxa de aprendizado:
0< < 2/tr[R x]
onde tr[R x] o trao da matriz de correlao.
Obs: Trao a soma dos elementos da diagonal principal
de uma matriz.
Assim, tr[R x] ser igual soma dos valores mdios
quadrticos das entradas sensoriais.

26

UFPR PPGMNE - TC-747 - REDES NEURAIS E APLICAES EM ENGENHARIA

Profa. Andrea Sell Dyminski

Vantagens deste algoritmo:

- Simples;
- Independente de modelo;
- Robusto (suporta pequenas perturbaes)
Limitaes:
- Taxa de convergncia lenta;
- Sensibilidade a variaes na auto-estrutura da
entrada (auto-valores da matriz de correlao R).
Ao invs de manter constante ao longo de todo o
processo de treinamento, pode-se fazer:
a) (n) = c/n, onde c uma constante. Mas, cuidado:
pode disparar para n pequeno!
b) (n) = 0/[1+(n/)], onde 0 e so constantes
definidas pelo usurio.

3.4 O Perceptron (ou Perceptron de Rosenblatt)

Construdo em torno de um neurnio no linear.

x1
x2

w1
w2

Bias, b
(v)

Sada y
Limitador abrupto

xm

wm

27

UFPR PPGMNE - TC-747 - REDES NEURAIS E APLICAES EM ENGENHARIA

Profa. Andrea Sell Dyminski

v = wi.xi + b
y = (v)

= +1, se o ponto pertencer classe C1

= -1, se o ponto pertencer classe C2

Atravs do Teorema de Convergncia do Perceptron,

chega-se aos ajustes dos pesos sinpticos:
w(n+1) = w(n) + [ d(n) y(n)]. x(n)
onde:

a taxa de aprendizado (0<<=1)

d(n) y(n) pode ser considerado o sinal de erro.

28

UFPR PPGMNE - TC-747 - REDES NEURAIS E APLICAES EM ENGENHARIA

Profa. Andrea Sell Dyminski

3.5 Perceptron x Algoritmo LMS

Diferenas entre Filtro com Algoritmo LMS e Perceptron de

camada nica baseado em aprendizado por correo de
erro:
- Algoritmo LMS

Utiliza neurnio linear

Ocorre
aprendizagem
contnua
(acontece enquanto o processamento
do sinal est sendo realizado, ou seja,
nunca acaba)

- Perceptron

Usa modelo formal de um neurnio de

McCulloch-Pitts;
Processo de aprendizado com um
nmero finito de iteraes.

29