EL4106 INTELIGENCIA COMPUTACIONAL, SEMESTRE PRIMAVERA SEMESTRE PRIMAVERA

2016
CONTENIDO DE PRESENTACIONES PRELIMINARES DE PROYECTOS
Presentacin Oral: Mximo 10 lminas, 10 minutos. Semana del 24 octubre en horario de
ctedra
El contenido del preinforme de proyecto para el curso de Inteligencia Computacional es el siguiente:
1. Ttulo y Autores (Grupos de 1 2 alumnos)
2. Descripcin del problema a abordar, motivacin
3. Objetivos del proyecto
4. Base datos: Datos a usar (la disponibilidad de estos es esencial para el xito del proyecto)
5. Pre-procesamiento de datos, seleccin y transformacin de variables, normalizacin y
estacionarizacin
6. Definicin del tipo del algoritmo a usar, razones
7. Definicin de salidas deseadas, funcin objetivo, principio de optimizacin a usar
8. Criterio de detencin del algoritmo, listado de parmetros por definir y/o ajustar
9. Software: Definicin del software a usar, definir qu aspectos se programarn y en qu
lenguaje (p.ej. rutinas complementarias a un toolbox especfico)
10. Resultados esperados, medidas de desempeo a usar, forma de presentacin de resultados
(tablas y grficos)
11. Estimacin de recursos computacionales, nmero y tiempo de simulaciones a realizar
12. Carta GANTT de pasos a seguir para cumplir el objetivo del proyecto final al 5 de Diciembre,
nmero de horas de dedicacin a cada etapa del proyecto
13. Referencias completas con autores, ttulo, revista o libro, volumen, ao, pginas. Debe existir
al menos un artculo clave en revista IEEE u otra (buscar en bases de datos IEEE, Elsevier,
etc).
14. Resultados preliminares. Se pide un grado de avance tal que hayan resultados preliminares.
Tpicos
Los proyectos deben hacer uso central de los algoritmos vistos o por verse en clases (no otros
algoritmos salvo autorizacin expresa del profesor). El tema debe corresponder al menos a una de
las siguientes reas del curso. Estos son:
1. Redes neuronales MLP
2. Redes Convolucionales
3. Mquinas de soporte vectorial, algoritmos de kernel
4. Mapas-autoorganizativos (SOM) y Algoritmos de Clustering
5. Algoritmos de ensamble: Boosting, Bagging y Random Forest
6. Algoritmos genticos y PSO
Composicin de grupos: uno o dos alumnos registrados en el curso
Temas propuestos por el equipo docente: Ver lista adjunta.
Temas propuestos por los alumnos:
Los algoritmos a aplicar deben ser los vistos en el curso. El trabajo debe contener aportes originales
del alumno ya sea en la forma de abordar el problema, en su implementacin (programacin) o en
el anlisis de resultados (metodologa). Todo proyecto debe tener un artculo de referencia principal
publicado en una revista IEEE u otra, o en un libro. No se aceptan referencias de pginas web como
clave, pero si como complementarias. El proyecto no puede ser una copia de otros informes,
memorias, aplicaciones, etc. Se descartan tambin aplicaciones cerradas (paquetes de software)
bajados de Internet que incluyen ejemplos sin trabajo propio del alumno. En el caso de un proyecto
compartido con otro curso deber especificarse que partes son asignadas al curso EL4106 y que
partes son asignadas al otro curso. El trabajo ser evaluado de acuerdo a los algoritmos y
metodologas enseadas en este curso.

Bases de datos y Toolbox

UCI Machine Learning Repository: http://archive.ics.uci.edu/ml/
Time Series Data Library: http://robjhyndman.com/TSDL/
Santa Fe Time Series: http://www-psych.stanford.edu/~andreas/Time-Series/SantaFe.html
Pattern recognition benchmarks: http://seraphim.csee.usf.edu/nnc/index1.html
Scikit-Learn (python): http://scikit-learn.org/stable/
WEKA software: http://www.cs.waikato.ac.nz/~ml/weka/index.html
SOM toolbox (Matlab): http://www.cis.hut.fi/somtoolbox/
Kohonen (python): https://pypi.python.org/pypi/kohonen
LIBSVM: http://www.csie.ntu.edu.tw/~cjlin/libsvm/
DEAP (Algoritmos genticos en python): https://github.com/DEAP/deap

Sitios web que pueden servir de inspiracin para temas de proyecto

www.kaggle.com
www.youtube.com/user/keeroyz
Temas propuestos por el equipo docente.
Nota: Varios grupos pueden tomar el mismo tema si usan distintas metodologas, e.g. diseo de
features y seleccin de algoritmos
Tema 1: Clasificacin de curvas de luz de estrellas peridicas
El proyecto consiste en implementar un clasificador supervisado de curvas de luz. Las curvas de luz
son series de tiempo de brillo estelar versus tiempo y estn irregularmente muestreadas. Se
considerarn curvas de luz peridicas correspondientes a eclipses binarias, Cefeidas y RR Lyrae.
Ustedes debern proponer un conjunto de caractersticas que logre representar las distintas
periodicidades presentes en los datos. Entrene un clasificador que logre diferenciar estas tres clases
y sus sub-clases. Estudie la relevancia que tiene cada caracterstica en la clasificacin. La base de
datos consiste en 57,000 curvas de luz del catalogo EROS con su perodo correctamente identificado.
Las clases estn desbalanceadas.
Ref: P. Protopapas, J.M. Giammarco, L. Faccioli, M.F. Struble, R.Dave, C. Alcock, Finding outlier light
curves in catalogs of periodic variable stars, Monthly Notices of Royal Astronomical Society, Vol
369, pp 677-696, 2006
Ref: J. Debosscher, L. M. Sarro , C. Aerts , J. Cuypers, B. Vandenbussche, R. Garrido, and E. Solano,
Automated supervised

classification of variable stars, Astronomy & Astrophysics, 475.3 (2007):

1159-1183
Ref: J. W. Richards, et al. "On machine-learned classification of variable stars with sparse and noisy
time-series data." The Astrophysical Journal, 733.1 (2011): 10.
Tema 2: Clustering y visualizacin de curvas de luz de estrellas peridicas
La idea es usar un algoritmo de machine learning no supervisado para encontrar grupos de
similitud en las curvas de luz peridicas. El espacio de features de alta dimensionalidad puede
reducirse a una grilla bidimensional donde las similitudes entre curvas pueden identificarse
visualmente (SOM). Interesa lo siguiente: Estudiar los prototipos de cada clase (modelo intrnseco),
existencia de sub-clusters (por ejemplo, para RR: RRab y RRc), curvas de luz que se ubiquen en la
periferia (outliers), curvas de luz
que tengan cierta pertenencia a ms de un cluster.
Ref: David R. Brett, Richard G. West and Peter J. Wheatley, The automated classification of
astronomical lightcurves using Kohonen self-organising maps, Mon. Not. R. Astron. Soc., 2008.

Ref: N. Boric., P. Estvez, Genetic programming-based clustering using an information theoretic

fitness measure. IEEE CEC 2007.
Tema 3: Clasificacin fotomtrica de supernovae de CHASE
El proyecto consiste en implementar un clasificador de supernovas a partir de sus curvas de luz
usando algoritmos supervisados. Las curvas de luz son series de tiempo de brillo estelar versus
tiempo y estn irregularmente muestreadas. Las curvas de luz pueden tener ms de una dimensin
y el nmero de puntos entre curvas difiere. Usted debe definir caractersticas que permitan
comparar curvas de luz y que permitan discriminar supernovae de tipo Ia, Ibc y II. Los datos
provienen del sondeo astronmico CHASE. Se tienen aproximadamente 1,000 curvas de luz y las
clases estn altamente desbalanceadas.
Ref: Emille Ashida, Kernel PCA for Supernovae Photometric Classification, Proceedings of the
International Astronomical Union, vol 10, 2012
Ref: Richards et al, Semi-supervised learning for photometric supernovae classification,
Mon.Not.Roy.Astron.Soc. 419 (2012)

Tema 4: Transferencia de aprendizaje en Redes Neuronales Convolucionales

Entrenar una red neuronal profunda requiere disponer de grandes bases de datos etiquetadas, lo
cual suele ser una dificultad importante por el alto costo de obtener y etiquetar datos.
Afortunadamente es posible utilizar tcnicas de transferencia de aprendizaje (transfer learning),
donde se utiliza lo aprendido en otra base de datos o tarea como punto de partida para resolver el
problema deseado.
En el problema de clasificacin de imgenes con Redes Neuronales Convolucionales, una tcnica
comnmente usada consiste en entrenar una red en una gran base de datos como ImageNet y luego
adaptar el modelo encontrado para resolver otra tarea. Esto se conoce como ajuste fino
(fine-tuning) y permite obtener un gran desempeo en tareas de clasificacin con muy pocas
muestras.
El objetivo de este proyecto es utilizar una red ya entrenada en la base de datos ImageNet y ajustarla
para clasificar las imgenes del dataset PASCAL (2012). El resultado deber ser comparado con el
nivel de error obtenido por otros equipos en esta tarea (que no hayan utilizado datos adicionales).
Adems se debern comparar el efecto de congelar los parmetros de las capas inferiores (tasa de
aprendizaje cero para esas capas) versus utilizar una tasa pequea y medir el efecto de no utilizar
todas las capas convolucionales del modelo original.
*Las libreras tensorflow slim y caffe permiten descargar modelos ya entrenados y realizar ajuste
fino.
Ref: Notes from course CS231n - Convolutional Neural Networks for Visual Recognition, Stanford
University. http://cs231n.github.io/transfer-learning/
Ref: Sharif Razavian, Ali, et al. "CNN features off-the-shelf: an astounding baseline for recognition."
Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops. 2014.
Tema 5: DeepDream
Uno de los desafos en el rea de Deep Learning es intentar entender que es lo que ocurre en el
proceso de aprendizaje, adems de que informacin est aprendiendo del set de entrenamiento. En
particular, para redes convolucionales, existe un mtodo de visualizacin que entrega una idea
intuitiva sobre qu es lo que est aprendiendo la red sobre cada una de las clases. La tcnica
consiste en utilizar una red convolucional entrenada, imponer un valor de clase en la salida de la
red y corregir una imagen inicial para disminuir el error entre la imagen y la etiqueta impuesta. Lo
que se entiende es que, la imagen inicial que es modificada para disminuir el error en la salida,
tendr los elementos de la clase ms representativos, los que sern superpuestos sobre la imagen
inicial.

El objetivo del proyecto es entender el mecanismo de modificacin de la imagen para que resulte
coherente con la clase impuesta, establecer de forma clara el problema de optimizacin a resolver.
Tambin, realizar experimentos tales como, imponer mltiples clases en la salida, imponer valores
en las capas intermedias o a un subconjunto de neuronas, desconectar neuronas al corregir la
imagen, etc. Adems, aventurarse a dar una interpretacin de los resultados del experimento en
trminos del proceso de aprendizaje y la informacin que contiene la red.
Ref: https://www.youtube.com/watch?v=uSUOdu_5MPc
Ref: https://research.googleblog.com/2015/06/inceptionism-going-deeper-into-neural.html
Ref: https://github.com/google/deepdream
Ref: https://github.com/jrosebr1/bat-country
Ref: https://github.com/cthorey/CS231/blob/master/assignment3/ImageGeneration.ipynb
Ref: Aravindh Mahendran, Andrea Vedaldi, "Understanding Deep Image Representations by
Inverting them", CVPR 2015
Ref: Yosinski et al, "Understanding Neural Networks Through Deep Visualization", ICML 2015 Deep
Learning Workshop
Nota: Puede ser complicado.
Tema 6: Algoritmos genticos para encontrar la cinemtica inversa de un manipulador
robtico
Un manipulador robtico es un mecanismo utilizado
ampliamente en la industria conformado por actuadores
(rotacionales o telescpicos) enlazados de manera similar
a un brazo terminando en un efector provisto de una
herramienta. La cantidad de actuadores corresponde a los
grados de libertad del manipulador. Si se tiene un vector
de rotaciones y se aplica al manipulador, su efector se
dirigir a una posicin. Esto se conoce como cinemtica
directa. Por el contrario si lo que se tiene es una posicin
objetivo del efector y se desea obtener el valor de los
ngulos que deben tener los actuadores entonces se est
resolviendo el problema de cinemtica inversa. El
problema de cinemtica inversa es un problema de
optimizacin complejo, pues el manipulador puede
recorrer mltiples caminos para llegar al mismo punto.
En este proyecto se pide utilizar algoritmos genticos para resolver la cinemtica inversa de un
manipulador de 4 grados de libertad como el de la figura. Usted debe programar un modelo directo
del manipulador y usarlo como simulador. Luego utilice algoritmos genticos para encontrar los
ngulos de los actuadores ante diversas posiciones objetivo del efector. Disee una funcin de
fitness que tome en cuenta la energa gastada por el motor tal que los movimientos sean ptimos.
Ref: Mandava, Ravi Kumar, and Pandu Ranga Vundavalli. "Design of PID controllers for 4-DOF
planar and spatial manipulators." Robotics, Automation, Control and Embedded Systems (RACE),
2015 International Conference on. IEEE, 2015.
Ref: Momani, Shaher, Zaer S. Abo-Hammour, and Othman MK Alsmadi. "Solution of Inverse
Kinematics Problem using Genetic Algorithms." Applied Mathematics & Information Sciences 10.1
(2016): 225.
Tema 7: Visualizacin de caractersticas en redes neuronales convolucionales
Uno de los principales desafos al trabajar con redes neuronales es la interpretabilidad de las
operaciones realizadas por el modelo. Afortunadamente, al menos para el caso de las redes
neuronales convolucionales, existen algunas maneras de comprender cules son las caractersticas
que se extraen de los datos y cules son las regiones ms relevantes de las imgenes para resolver la
tarea propuesta.

El objetivo de este proyecto es probar algunos algoritmos de visualizacin existentes sobre redes
convolucionales ya entrenadas, analizar las caractersticas que stas extraen, comparar los
algoritmos entre s y estudiar la evolucin de las caractersticas a travs del proceso de
entrenamiento. En particular se deber utilizar el mtodo de redes deconvolucionales (Zeiler, M. D.,
& Fergus, R. 2014) y los mtodos expuestos en Simonyan et. al 2014.
Ref: Zeiler, M.D., Fergus, R., Visualizing and understanding convolutional networks, in D. Fleet et
al, (eds.): ECCV 2014, Part I, LNCS 8689, pp. 818-833, 2014.
Ref: Simonyan, K., Vedaldi, A., Zisserman, A., Deep inside convolutional networks: Visualizing
image classification models and saliency maps, ICLR Workshop 2014.
Ref: Samek, W., Binder, A., Montavon, G., Bach, S., Muller, K.-R., Evaluating the visualization of
what a deep neural network has learned, arXiv: 1509.0632, 2015.
Tema 8: Efecto del Dropout en las representaciones intermedias de los datos
Dropout es un mtodo de regularizacin para redes neuronales, y como tal, disminuye el sobreajuste
del modelo a los datos. Sin embargo, el uso de dropout tiene un impacto sobre lo que ocurre al
interior de la red, afectando la sparsidad de las representaciones intermedias y la forma de las
caractersticas extradas.
En el presente proyecto, los estudiantes debern elegir una arquitectura para una red neuronal
(MLP, ConvNet, autoencoders, etc.) y analizar el efecto que tiene aplicar dropout durante el
entrenamiento en trminos de las caractersticas anteriormente mencionadas. Adems se propone
utilizar medidas de informacin, como la entropa, para complementar el anlisis y cuantificar el
impacto del dropout.
Ref: Srivastava, N., Hinton, G., Krizhevsky, A., Sutskever, I., Salakhutdinov, R., Dropout: A simple
way to prevent neural networks from overfitting, J. Machine Learning Research 15, pp. 1929-1958,
2014. (En particular el captulo 7)