Redes Neurais

Artificiais

Mestrando: Lucas Nicolau Email: lucasfnicolau@gmail.com

Professor: Juan Moises Villanueva
Sumário
1. Redes Adaline e Madaline

2. Redes Neurais Diretas

3. Funções de Ativação
 Discreta
 Linear
 Sigmoide Logarítimica
 Tangente Hiperbólica

4. Algoritmos de Treinamento
 Gradiente Descendente
 Exemplos
2
 Adaline: Arquitetura
• Adaline: Único neurônio com função de ativação linear.

Fonte: https://www.mathworks.com/help/pdf_doc/nnet/nnet_ug.pdf

3
 Adaline: Arquitetura
• Somatório:

= 𝑘 𝑘 +
𝑘=

• Função de Ativação:

= , =

Fonte: https://www.mathworks.com/help/pdf_doc/nnet/nnet_ug.pdf
4
 Madaline: Arquitetura
• Madaline: Múltiplas redes Adaline, ou seja, vários neurônios com
função de ativação linear.

Entradas A
A Saída
A A

A
A

5
Madaline: MATLAB

6
 Madaline: MATLAB
• Pressionando o Botão de Performance no Painel de Treinamento é possível
analisar o treinamento da Rede Madaline.

Método de Validação Cruzada

Divisão dos Dados: Random (Aleatório)

Divisão Padrão deste Método:

Treinamento – 70%
Teste – 15%
Validação – 15%

O treinamento entrou na região

de convergência?

7
Madaline: MATLAB

8
Madaline: MATLAB

Erro Médio Absoluto = 0.025

Desvio Padrão = 0.0269

9
 Rede Neural Direta
• Arquitetura com múltiplas camadas com fluxo de informação
apenas em um sentido.

Camada de Entrada Camadas Interna Camada de Saída

(Input Layer) (Hidden Layer) (Output Layer)

Entradas N
N Saídas
N

N N

N N
N

10
 Função de Ativação
• Degrau: • Linear:

, ≥ =
=
, <

11
 Função de Ativação
• Sigmoide Logarítmica: • Tangente Hiperbólica:

− −𝛽
= −𝛽 = =
+ + −𝛽

12
 Função de Ativação
• Gaussiana:

−𝑐
−
= 𝜎

Para:

𝜎= = ;

13
 Função de Ativação
• Gaussiana:

−𝑐
−
= 𝜎

Para:

𝜎= = ;

14
 Função de Ativação
Função de Ativação no MATLAB:

1. Degrau = hardlim(n);
2. Linear = purelin(n);
3. Sigmoide Logarítimica = logsig(n);
4. Tangente Hiperbólico = tansig(n);
5. Gaussiana = radbas(n);

15
Função de Ativação

16
Gradiente Descendente
• O pesos são atualizados a partir da equação abaixo.

𝜕 𝑖
∆ 𝑖 = −𝛼
𝜕 𝑖

𝛼 → 𝐴 → çã

• A taxa de aprendizado determina o tamanho dos ajustes dos pesos

feitos em cada época (iteração) e, portanto, influencia a taxa de
convergência da rede neural.

17
Gradiente Descendente
Exemplos de Função de Custo:
• Erro Absoluto Médio (mae matlab):
𝑁 𝑁
𝑖= 𝑖 −𝑦𝑖 𝑖= 𝑒𝑖
𝐸𝐵 = =

• Somatório do Erro Quadrático(sse matlab):

𝐸 = 𝑖= 𝑖

• Erro Quadrático Médio (mse matlab): 𝑁 → 𝑁ú 𝑃 õ

𝑁
𝑖= 𝑒𝑖
𝐸 =
18
 Gradiente Descendente
Relação da Função de Custo em função do Peso:

Fonte: https://sebastianraschka.com/images/blog/2015/singlelayer_neural_networks_files/perceptron_gradient_descent_1.png, Alterada pelo Autor 19

 Gradiente Descendente
• Abreviaturas das Variáveis:

→ í
→ 𝑁
→ í 𝑁
→ ó
→ í çã 𝐴 çã
→𝑃
→𝑃
→ çã
→ çã çã
′
→ çã çã
𝑁 → 𝑁ú 𝑃 â
𝛿→ çã
𝛼→ 𝐴
20
 Gradiente Descendente
• Para facilitar o desenvolvimento do gradiente descendente imagine a
seguinte rede neural:

21
Gradiente Descendente
Utilizando o Erro Quadrático Médio como Função de Custo:

𝜕𝐽 , 𝜕
= −
𝜕 𝜕
Aplicando a propriedade das somas de derivadas:

𝜕𝐽 , 𝜕
= −
𝜕 𝜕

Pela regra da cadeia:

𝜕 𝜕
− =− −
𝜕 𝜕
22
 Gradiente Descendente
Utilizando a regra da cadeia novamente:

𝜕 𝜕 𝜕 ′
= = 𝑁 ô
𝜕 𝜕 𝜕

çã 𝐴 çã
Portanto, a derivada parcial da Função de Custo é:
𝜕 , −
= − ′
𝜕 𝑁

çã
𝛿
(Backpropagation)
23
 Gradiente Descendente
Utilizando as variáveis em forma de matriz é possível remover o somatório
a partir da seguinte reorganização:

𝜕 , −
= 𝛿
𝜕 𝑁
Portanto, agora é necessário realizar a retropropagação para os pesos de
entrada:
𝜕𝐽 , 𝜕
= −
𝜕 𝜕

𝜕𝐽 , − 𝜕𝑦
Regra da Cadeia: = −
𝜕 𝜕

24
 Gradiente Descendente
Utilizando a regra da cadeia novamente:

𝜕 𝜕 𝜕 𝜕
− = −
𝜕 𝜕 𝜕 𝜕
Sabendo que:

𝜕 𝜕
− = 𝛿, = ,
𝜕 𝜕
𝜕 𝜕 𝜕 ′
= =
𝜕 𝜕 𝜕

25
 Gradiente Descendente
Juntando as equações e organizando na forma matricial:

𝜕 , − ′
= 𝛿
𝜕 𝑁
Finalmente,
𝑎 𝑖𝑔
∝ ′
= + 𝛿
𝑁

𝑎 𝑖𝑔
∝
= + 𝛿
𝑁
26
Gradiente Descendente: MATLAB

27
Gradiente Descendente: MATLAB

28
 Referências Sugeridas
• KRIESEL, D. A Brief Introduction to Neural Network. 2007.
Disponível em: http://www.dkriesel.com/en/science/neural_networks.

• BEALE, M. et al. MATLAB: Neural Network Toolbox User’s Guide.

Natick: The MathWorks, Inc. Disponível em:
https://www.mathworks.com/help/pdf_doc/nnet/nnet_ug.pdf.

• LIMA, I. et al. Inteligência Artificial. Rio de Janeiro: Elsevier, 2014.

29