Fundamentos de Minera de Datos

Introduccin al Data Mining

Fernando Berzal fberzal@decsai.ugr.es

Intelligent Databases and Information Systems research group

Department of Computer Science and Artificial Intelligence E.T.S Ingeniera Informtica Universidad de Granada (Spain)

Qu es la minera de datos?
Definicin Tcnicas de Data Mining Evaluacin de resultados Sistemas de Data Mining Temas de investigacin Bibliografa

Extraccin de patrones (conocimiento) en grandes cantidades de datos

Qu es la minera de datos?
Definicin Tcnicas de Data Mining Evaluacin de resultados Sistemas de Data Mining Temas de investigacin Bibliografa

Extraccin de patrones (conocimiento) en grandes cantidades de datos

Requisitos

No trivial Implcito Previamente desconocido Potencialmente til

Qu es la minera de datos?
Definicin Tcnicas de Data Mining Evaluacin de resultados Sistemas de Data Mining Temas de investigacin Bibliografa

Data rich, Information poor

Conocimiento (patrones interesantes)

3

KDD (Knowledge Discovery in Databases)

Definicin Tcnicas de Data Mining Evaluacin de resultados Sistemas de Data Mining Temas de investigacin Bibliografa

Extraccin de conocimiento en bases de datos

KDD (Knowledge Discovery in Databases)

Definicin Tcnicas de Data Mining Evaluacin de resultados Sistemas de Data Mining Temas de investigacin Bibliografa

Extraccin de conocimiento en bases de datos Limpieza de datos

(eliminacin de ruido e inconsistencias)

Integracin de datos

(combinacin de mltiples fuentes de datos)

Reduccin/Seleccin de datos Transformacin de datos Minera de datos

(preparacin de los datos para su anlisis)

(identificacin de datos relevantes para el problema)

(tcnicas de extraccin de patrones y medidas de inters)

Presentacin de resultados

(tcnicas de visualizacin y de representacin del conocimiento)

5

KDD (Knowledge Discovery in Databases)

Definicin Tcnicas de Data Mining Evaluacin de resultados Sistemas de Data Mining Temas de investigacin Bibliografa

Extraccin de conocimiento en bases de datos

Carcter multidisciplinar
Definicin Tcnicas de Data Mining Evaluacin de resultados Sistemas de Data Mining Temas de investigacin Bibliografa

Gestin de grandes cantidades de datos

Evaluacin de resultados Resumen de datos

Bases de datos

Estadstica

Data Mining

IA
Aprendizaje Representacin del conocimiento

Visualizacin
Presentacin de resultados
7

Clasificacin de tcnicas
Definicin Tcnicas de Data Mining Evaluacin de resultados Sistemas de Data Mining Temas de investigacin Bibliografa

En funcin de su propsito general: Tcnicas descriptivas Tcnicas predictivas

Tambin se pueden clasificar atendiendo a el tipo de datos que hay que analizar el tipo de conocimiento que se obtiene el tipo de herramienta que utiliza el dominio de aplicacin
8

Fuentes de datos
Definicin Tcnicas de Data Mining Evaluacin de resultados Sistemas de Data Mining Temas de investigacin Bibliografa

Bases de datos relacionales Bases de datos multidimensionales (DW) Bases de datos transaccionales Series temporales, secuencias y data streams Datos estructurados (grafos, redes sociales) Datos espaciales y espaciotemporales Textos e hipertextos (p.ej. Web) Bases de datos multimedia (p.ej. imgenes)

Tcnicas de Data Mining

Definicin Tcnicas de Data Mining Evaluacin de resultados Sistemas de Data Mining Temas de investigacin Bibliografa

Caracterizacin o resumen Discriminacin o contraste Patrones frecuentes, asociaciones y correlaciones Clasificacin y prediccin Deteccin de agrupamientos (clustering) Deteccin de anomalas (outliers) Anlisis de tendencias (series temporales)

10

Evaluacin de resultados
Definicin Tcnicas de Data Mining Evaluacin de resultados Sistemas de Data Mining Temas de investigacin Bibliografa

Un resultado es interesante si es comprensible (por seres humanos) es vlido con cierto grado de certeza es potencialmente til es novedoso o sirve para validar una hiptesis El inters de los resultados se puede evaluar objetivamente (criterios estadsticos) subjetivamente (perspectiva del usuario)
11

Sistemas de Data Mining

Definicin Tcnicas de Data Mining Evaluacin de resultados Sistemas de Data Mining Temas de investigacin Bibliografa

Una tarea de minera de datos puede describirse en trminos de Datos relevantes

(lo que hay que analizar)

Tipo de conocimiento

(lo que se desea obtener)

Conocimiento previo
Medidas de inters

(background knowledge, para guiar el proceso)

(para evaluar los resultados obtenidos)

Tcnicas de representacin

(para representar los resultados obtenidos)

12

Sistemas de Data Mining

Definicin Tcnicas de Data Mining Evaluacin de resultados Sistemas de Data Mining Temas de investigacin Bibliografa

Interfaz de usuario Evaluacin de patrones Motor de minera de datos Base de datos o Data Warehouse

Arquitectura tpica

Base de conocimiento

Limpieza, integracin, seleccin y transformacin de datos

DB

DW

WWW

13

Temas de investigacin
Definicin Tcnicas de Data Mining Evaluacin de resultados Sistemas de Data Mining Temas de investigacin Bibliografa

Tcnicas eficientes de minera de datos

Escalabilidad Tcnicas incrementales Algoritmos paralelos

Incorporacin de conocimiento previo Evaluacin de resultados (inters) Interaccin con el usuario

Tcnicas interactivas (a distintos niveles de abstraccin) Tcnicas de presentacin y visualizacin de resultados Estructuras complejas (grafos, redes sociales) Bases de datos heterogneas

Anlisis de nuevos tipos de datos

14

Bibliografa: Libros de texto

Definicin Tcnicas de Data Mining Evaluacin de resultados Sistemas de Data Mining Temas de investigacin Bibliografa

Jiawei Han & Micheline Kamber: Data Mining: Concepts and Techniques Morgan Kaufmann, 2006, ISBN 1558609016

Pang-Ning Tan, Michael Steinbach & Vipin Kumar: Introduction to Data Mining Addison-Wesley, 2006, ISBN 0321321367

15

Bibliografa: Investigacin
Definicin Tcnicas de Data Mining Evaluacin de resultados Sistemas de Data Mining Temas de investigacin Bibliografa

REVISTAS ACM Transactions on KDD IEEE Transactions on Knowledge and Data Engineering Data Mining and Knowledge Discovery (DMKD) ACM SIGKDD Explorations Data & Knowledge Engineering (DKE) CONGRESOS KDD (ACM SIGKDD International Conference on KDD) ICDM (IEEE International Conference on Data Mining) SDM (SIAM Data Mining Conference) PKDD (Principles and Practices of KDD) SIGMOD (Management of Data) CIKM (Information and Knowledge Management) WEB: http://www.kdnuggets.com/
16