Perceptrón Simple

Aspectos Prácticos y Algoritmos

Redes Neuronales, DC-FCEyN-UBA

Rosana Matuk
Primer Cuatrimestre 2018

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 1 / 29

 Objetivo en machine learning: Aprender de los datos

La curva verde muestra la función sin(2πx). Nuestro objetivo es

predecir el valor de t para un nuevo valor de x, sin tener
conocimiento de la curva verde.

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 2 / 29

 Overfitting y generalización

La habilidad de clasificar correctamente nuevas entradas que

difieren de las de entrenamiento, es conocida como
generalización.
Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 3 / 29
 Paradigma de aprendizaje en perceptrón simple

Aprendizaje supervisado
Dado un conjunto de datos de entrenamiento consistente de
pares entrada-salida, encontrar una función que dada una nueva
entrada prediga la salida esperada.

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 4 / 29

 Neurona biológica

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 5 / 29

 Red Neuronal Artificial Perceptrón Simple

Red neuronal feed-forward de una sola capa.

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 6 / 29
 Funciones de activación

Algunas funciones de activación comúnmente usadas en redes

neuronales:
• Escalón
• Lineal
• No lineal: Sigmoidea

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 7 / 29

 Función escalón

El output es establecido a alguno de dos niveles, dependendiendo

de si el input total es mayor que o menor que cierto valor umbral.
Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 8 / 29
 Función lineal de a tramos

El output es lineal entre ciertos umbrales superior e inferior.

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 9 / 29

 Función sigmoidea

La función sigmoidea tiene forma de S. Trabajaremos con

funciones sigmoideas logísticas y tangenciales.

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 10 / 29

 Función sigmoidea logística

Función logística: ϕ(x) = 1+e1(−ax)

Los valores de las logísticas van entre 0 y 1.
A medida que aumenta a, se va asemejando a la escalón.
Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 11 / 29
 Función sigmoidea tangente hiperbólica

Función tangente hiperbólica: ϕ(x) = tanh (x)

Los valores de estas funciones van entre -1 y 1.

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 12 / 29

 Función sigmoidea

La función de activación sigmoidea es la más comúnmente usada

porque:
• Ajustando sus parámetros, puede modelar funciones lineales
y escalón con la precisión deseada. Con un parámetro
pequeño es casi lineal cerca del origen, y con un parámetro
grande es prácticamente la unidad escalón.
• La función sigmoidea es diferenciable, lo que es importante
para los algoritmos de aprendizaje de las redes neuronales
artificiales.

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 13 / 29

 Limitaciones del perceptrón simple (general)

Los datos deben ser linealmente separables. Geométricamente,

esta condición describe la situación en la cual existe un
hiperplano en grado de separar, en el espacio vectorial de los
inputs, las entradas con salidas positivas de las entradas con
salidas negativas.

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 14 / 29

 Separabilidad lineal

• (a) Datos linealmente separables

• (b) Datos no linealmente separables

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 15 / 29

 Ejemplo de Separabilidad lineal: AND

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 16 / 29

 Ejemplos de No Separabilidad lineal

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 17 / 29

 Pseudocódigo del perceptrón simple escalón

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 18 / 29

 Regla de aprendizaje del Perceptrón Simple Escalón

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 19 / 29

 Regla de aprendizaje del Perceptrón Simple Continuo

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 20 / 29

 Datasets

El conjunto de datos, se particiona usualmente en los siguientes

conjuntos disjuntos:
• Training set: Datos que se usan para entrenar la red (ajustan
los pesos).
• Test set: Datos que se usan para medir la performance de la
red.
• Validation set: Datos que se usan para mejorar la
performance de la red.

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 21 / 29

 Entrenamiento: épocas

Se denomina época a pasar por la red neuronal todos los

patrones del training set (uno a la vez).

Tip: Conviene cambiar en forma random en cada época el orden

en el cual se pasan los patrones de entrenamiento, ya que esto
acelera el aprendizaje.

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 22 / 29

 Ejemplo: usando los datasets

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 23 / 29

 Factor de aprendizaje: η

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 24 / 29

 Ejemplo perceptrón de 3 categorías

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 25 / 29

 Regiones de decisión perceptrón 3 categorías

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 26 / 29

 Patrones de entrada bipolares

En una codificación bipolar, el valor 0 de la codificación binaria, es

reemplazado por -1.
Este cambio no afecta las propiedades esenciales del perceptrón,
pero cambia la simetría de las regiones de decisión.
Como los tamaños relativos de las regiones de decisión
representan cuán difícil es aprenderlas, la mejor estrategia es
intentar tener regiones de decisión de aproximadamente el mismo
tamaño.
Con la codificación bipolar la máxima variación en los tamaños
relativos de las regiones de decisión es mucho menor que usando
codificación unipolar.

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 27 / 29

 Bipolar vs. Unipolar

Figura izquierda: Bipolar. Figura derecha: Unipolar

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 28 / 29

 Bipolar vs. Unipolar

Bipolar Unipolar

Rosana Matuk (DC-FCEyN-UBA) Perceptrón simple Primer Cuatrimestre 2018 29 / 29