Beruflich Dokumente
Kultur Dokumente
o. A srie pode ser feita em grupo, mas importante que cada um tente achar as solues individualmente antes do trabalho em grupo.
1 Escreva a relao entre as funes de ativao logstica L(u) e tangente hiperblica tgh(u), e tambm entre suas derivadas dL(u) /du e d tgh(u) /du. L(u ) = 1 1 + e u tgh(u ) = e u e u 1 e 2u = e u + e u 1 + e 2 u
1.1 - Mostre que o custo computacional de treinar ou operar as duas redes similar. 1.2 - Considerando que a excitao interna do neurnio uma soma ponderada das entradas adicionada a uma polarizao,
u i = wij x j + wi 0 ,
j =1 n
mostre que redes feedforward (mesmo multicamadas) com neurnios com os dois tipos funo de ativao, L(u) ou tgh(.), so equivalentes em capacidade de mapeamento entradasada (a menos de uma constante e um fator de escala). 2 - Um neurnio tipo log(.) tem funo de excitao u e de ativao v dadas por
u = wixi
0 n
x0 =1
3 - Considere uma rede neural que utiliza um nico neurnio linear, como na figura abaixo,
w0 1
u = wi xi = w x
t i =0
~=u, y
X1 w1
~ y
wn
xn
treinada usando backpropagation regra delta com = 0,2 e sem momento. No incio do isimo passo de treinamento o vetor sinapse w(i-1). ento apresentado o par entrada-sada {x(i),y(i)} e o novo w calculado, w(i) = w(i -1) + w(i) 3a - Deseja-se retroceder este passo. possvel calcular w(i-1) conhecendo-se apenas w(i) e {x(i),y(i)} ? Se sim, apresente uma frmula explcita w(i-1) = f{w(i), x(i), y(i)}. 3b - Repita agora para o caso em que o neurnio do tipo ~ = tgh(u ) , apresentando a equao y a ser resolvida para determinar w(i-1). Considere usar a aproximao
F0 = E{
[
i =1
y ~i y 3( i ) + 5 ( yi ~i ) 2 y yi
2
]}
wij = f [ , l , g li ]
onde l = y l ~l y
g li =
~l y u i
Observe que na deduo do mtodo backpropagation usamos a regra de cadeia y F F F ~k = ~ onde os primeiros termos, ~ , dependem apenas da funo objetivo a wij yk k y k wij ~ yk ser minimizada, e os segundos termos, , dependem apenas da rede a ser utilizada. wij