Aula04 AprendizadoDataMining PDF

Inteligncia Artificial
DataMining e Aprendizado
DataMining
n O DataMining (DM) uma das ferramentas mais utilizadas para
extra
extrao
o de conhecimento a partir de grandes bases de dados
(Knowledge Discovery in Databases
Databases KDD (da qual DM faz parte)),
parte)),
tanto em reas de neg
negcio como cient
cientficas.
nrea multidisciplinar que usa t

tcnicas estat
estatsticas, Banco de Dados e
IA para manipular os dados armazenados em DataWarehouses a fim
de descobrir padr
padres que satisfa
satisfaam os problemas levantados.
DataWarehouse:
DataWarehouse: dep
depsito de informa
informaoo para permitir decis
decises.
Informa
Informao o muito mais que somente dados armazenados. Pelo
contr
contrrio, s
so dados adquiridos de diversas aplica
aplicaes
es e sistemas
diferentes, integrados em reas l
lgicas de interesse, i.e., estruturados
de forma acess
acessvel e compreens
compreensvel.
Estrutura de um KDD com DataMining
Objetivo e T
Tcnicas de DataMining
n O DM visa, entre outras coisas, extrair conhecimento (padr
(padres,
comportamentos, rela
relaes,
es, etc) de uma DataWarehouse. Para isto,
utiliza-
utiliza-se de t
tcnicas, como por exemplo:
Redes Neurais: permitem processos de aprendizagem artificial

semelhantes aos biolgicas.
Induo de Regras: detecta tendncias dentro do grupo de

dados, atravs da induo de regras.
rvores de Deciso: representam graficamente conjuntos de

decises que geram regras para classificao de conjuntos de
dados. Nesta tcnica, o utilizador escolhe a varivel que quer
avaliar e o software procura as mais correlacionadas, criando
uma rvore com vrias ramificaes.
Cont... T
Tcnicas de DataMining
Anlise de Cluster: agrupa informaes homogneas de grupos
heterogneos, selecionando o item que melhor representa e
caracteriza cada grupo.
Anlise de Sries Temporais: tecnologia complexa para dar

prognsticos estatsticos precisos.
Visualizao: apresentao grfica de resultados ou de passos

intermdios de data mining de modo a que os seus utilizadores
possam visualizar os padres de acordo com dimenses
especificas.
Tcnicas de algoritmos genticos: usam combinaes genticas,

mutaes e seleco natural de processos baseados em
conceitos de evoluo;
Sistemas Comerciais de DataMining

IBM Intelligent Miner
Variedade de T
Tcnicas: redes neurais, m
mtodos estat
estatsticos, prepara
preparao
o
de dados e instrumentos de visualiza
visualizao
o de dados.
Forte integra
integrao
o com IBM's DB2 sistema de base de dados relacional
SAS Enterprise Miner

Instrumentos de datawarehouse e m
mltiplos algoritmos de data mining
Microsoft SQLServer 2000

Integra DB com mining
No que tange a Intelig

Inteligncia Artificial, os algoritmos de aprendizado
indutivos s
so os mais utilizados em DataMining....
Aprendizado
n Por que aprender ?
n Capacidade de aprender parte fundamental do conceito de
intelig
inteligncia.
ncia.
n Um agente aprendiz mais flex
flexvel -> aprendizado permite lidar com
situa
situaes
es novas (mundo
(mundo din mico). D autonomia ao agente.
dinmico). agente.
n Aprendizado facilita tarefa do projetista -> programar apenas o
essencial
n Para aumentar a efici
eficincia do sistema de IA (agente
(agente).
).
n Para permitir adaptabilidade do sistema
ambiente din
dinmico
reatividade !!
Aprendizado
n Paradigmas de Aprendizado:
Aprendizado:
n Aprendizagem supervisionada:
supervisionada:
Dado um conjunto de exemplos prpr-classificados, aprender uma
descri
descrio
o geral que encapsula a informa
informao o contida nesses
exemplos e que pode ser usada para prever casos futuros
n Aprendizagem no-supervisionada:
supervisionada:
Dada uma cole
coleo
o de dados nno classificados, agrup
agrup-los por
regularidades (criar clusters de informa
informao)o)
n Aprendizagem por refor

reforo:
Trabalha por recompensa e puni
punio
o (outra aula)
Aprendizado Indutivo
n Dado um conjunto de exemplos pr

pr-classificados
n ... gerar uma rvore de decis

deciso.
Aprendizado Indutivo
n Paradigma:
Paradigma: aprendizado supervisionado.
supervisionado.
n Caracter
Caractersticas:
sticas:
Infer
Inferncia de uma regra geral (hip
hiptese)
tese) a partir de exemplos
particulares (Exemplos de Treinamento)
Treinamento)
Precis
Preciso diretamente proporcional quantidade de exemplos.
exemplos.
n Abordagem:
Abordagem:
incremental
incremental: atualiza hip
hiptese a cada novo exemplo
n mais flex
flexvel ... Por
Porm a ordem de apresenta
apresentao
o importante!
importante!
no incremental:
incremental: gera hip
hiptese a partir de todo conjunto de exemplos
n mais eficiente e pr
prtica
n Mtodos:
todos:
simb
simblicos (ex:ID3 e C4.5);
no-simb
simblicos (ex:Redes
(ex:Redes Neurais).
Neurais).
ID3
n O Mtodo usualmente aplicado para GENERALIZAES
n Classificam instncias ordenando-as de cima para baixo em uma
rvore de deciso
n Instncia um par atributo-valor.

Ex: Temperatura = {quente,frio,morno}
onde Temperatura um atributo e {quente,frio,morno} so valores
n Exemplo de atributos e valores:

Temperatura = {Quente, Frio,Morno}
Umidade = {Alta,Normal}
Vento = {Forte, Fraco}
Tempo = {Sol, Nublado,Chuva}
ID3 - rvore de Decis

Deciso
n Vamos aprender o ID3 atravs de um exemplo...
n Exemplo:
n Suponha que se queira decidir se haver, dependendo das condies do dia,

uma partida de tnis.
n Tem-se uma quantidade de observaes dos dias que ocorreram ou no uma

partida de tnis
n Queremos criar regras gerais (em forma de rvore de deciso) que permite o
sistema decidir se haver ou no uma partida de tnis

Deciso
n Observando os dias que deveriam ou tiveram partidas de t
tnis
(conjunto de treinamento):
Dia Tempo Temperatura Umidade Vento Partida
1 Sol Quente Alta Fraco NO
2 Sol Quente Alta Forte NO
3 Nublado Quente Alta Fraco SIM
4 Chuva Morno Alta Fraco SIM
5 Chuva Frio Normal Fraco SIM
6 Chuva Frio Normal Forte NO
7 Nublado Frio Normal Forte SIM
8 Sol Morno Alta Fraco NO
9 Sol Frio Normal Fraco SIM
10 Chuva Morno Normal Fraco SIM
11 Sol Morno Normal Forte SIM
12 Nublado Morno Alta Forte SIM
13 Nublado Quente Normal Fraco SIM
14 Chuva Morno Alta Forte NO

Deciso
n Considerando o conjunto de treinamento, o algoritmo ID3 ir gerar a
seguinte rvore de deciso automaticamente:
Tempo
Sol Chuva
Nublado
Umidade Vento
Alta Normal SIM Forte Fraco
NO SIM NO SIM
n Regras: if (Tempo=Sol) & (Umidade=Alta) then partida_tnis=NO;

if (Tempo=Sol) & (Umidade=Normal) then partida_tnis=SIM;
...
n Pode-se observar que:
A rvore acima consistente com os exemplos de treinamento

Deciso
n A generalizao descrita pela rvore de deciso deve ser consistente com o
conjunto de treinamento, ou seja, deve satisfazer todas as instncias, sejam
elas positivas ou negativas.
n Problemas com o conjunto de treinamento (problema da induo):

n Se Amostragem ruim pode gerar uma rvore de deciso errada.
Ex:
Ex: Se a amostragem for feita somente pelos dias 6,7,9,11 e 14, pode
pode--se concluir:
n Quando Tempo = {Sol ou Nublado} -> h h partida de t
tnis
n Quando Tempo = {Chuva} -> n no h
h partida de t
tnis.
O que est errado, no CONSISTENTE com outros possveis exemplos
n Se amostragem contiver erro (chamado rudo) ?

Pode-se criar uma rvore errada (NO-CONSISTENTE) para outros exemplos alm
da amostragem
Pode-se, inclusive, no conseguir criar a rvore !!!

Deciso
Como construir uma rvore de decis
deciso ?
n Necessita-se:
n Ter uma regra que determine qual atributo deve ser considerado em
cada nvel da rvore
n Usar processo de busca para definir a rvore, onde cada estado
uma rvore de deciso parcial (hiptese de uma rvore de deciso)
n O ID3:
Usa um regra chamada ganho
Usa uma busca gulosa (onde o atributo de maior ganho escolhido) que
assemelha-se a busca Steepest Hill-Climbing, onde cada estado (n)
uma rvore de deciso.

Deciso
Fun
Funo
o Ganho de Informa
Informao
o (Gain)
| Sv |
Gain (S, A) = Entropia (S) -
vvalores ( A ) | S |
Entropia(Sv)
Onde S o conjunto de treinamento inicial, A o atributo que ir

ir classificar S, e
Sv o conjunto de treinamento (sub-
(sub-conjunto de S) quando o atributo A tem
valor igual a v
n redu
reduo
o esperada da entropia devido a classifica
classificao
o de acordo com A
n Entropia: quanto mais puro for o conjunto, menor a entropia
n Conjuntos mais puros: os que possuem ss positivos ou s
s negativos
n O ganho ser maior para o Atributo que dividir melhor o
conjunto de treinamento em positivos e negativos

Deciso
Mas que raios essa tal de Entropia ???
n Dado um conjunto de treinamento S, contendo exemplos negativos e
positivos, tem a seguinte entropia:
Entropia (S) = - plog2p - plog2p

p = proporo de ex. positivos em S e p = proporo de ex. negativos em S
n
Se a sada no for booleana, ento Entropia(S) = - pi log2 pi
i =0
para n sadas no-booleanas
Entropia p/ p+
n Entropia mede a impureza
impureza de S !!
1,0
n Para p+ (propor
(proporo
o de positivos)
Entropia = 0 quando tem s
s positivos
Entropia = 1 quando a propor
proporoo igual
Obs.: 0.log2 0 = 0
0,0 0,5 1,0 p+

Deciso
n Exemplo de Entropia:
n Suponha que S uma cole

coleo
o de 14 exemplos da tabela de jogo de
tnis, com 9 positivos e 5 negativos
Nota
Notao:
o: [9+,5-
[9+,5-]
n A entropia de S em rela
relaoo a esta classifica
classificaoo booleana dada por:
Entropia([9+,5-]) = -(9/14)log2(9/14) - (5/14)log2(5/14) = 0.940
Se considerarmos apenas o atributo TEMPO com valor SOL, teramos:

v = Sol, A = TEMPO e Sv com 2+ e 3-
Entropia (Sv) = Entropia ([2+,3-])

Deciso
Clculo do Ganho para os Atributos
n Ex: Atributo Umidade = {Alta,Normal}
O valor calculado pelo Ganho mostra o quanto
S: [9+,5-]
cada atributo consegue melhorar a classificao
E=0.940
entre positivos e negativos do conjunto original
Umidade
Clculos de todos os ganhos:
Alta Normal
Gain(S,Tempo) = 0.246
Gain(S,Umidade) = 0.151
Sv: [3+,4-] Sv: [6+,1-]
Gain(S,Vento) = 0.048
E=0.985 E=0.592
Gain(S,Temperatura) = 0.029
Assim, o ID3 escolher o atributo que oferece

Gain(S,Umidade) maior ganho para cada conjunto de exemplos.
= .940 (7/14).985 (7/14).592
Assim, para S, o atributo Tempo ser escolhido.
= .151

Deciso
Construindo recursivamente a rvore para a partida de t
tnis
[D1,D2...,D14]
[9+,5-]
Tempo
Sol Chuva
Nublado
[D1,D2,D8,D9,D11] [D4,D5,D6,D10,D14]
[2+,3-] [D3,D7,D12, D13] [3+,2-]
[4+,0-]
? ?
SIM
Em cada ? o ID3 escolhe qual atributo oferece o melhor ganho com
rela
relaoo aos exemplos j
j classificados por TEMPO.
Como achar o resto da rvore ?

n O ID3 usa um sistema de busca tipo Subida da Encosta
pelo caminho + ingreme, onde a heur
heurstica a fun
funo
o
ganho.
Tempe Umid
Vento Tempo
Ganho 0.029 Ganho 0.151

Ganho 0.048 Ganho 0.246
Clculo do Erro
n Erro e preciso
Taxa de erro de uma rvore
Onde:
1 n h = classificador
err ( h) = yi h ( xi ) n = numero de exemplos
n i =1 yi a sada correta do exemplo xi
|| E || = 1 se yi = h(xi)
0 se yi h(xi)
Preciso: acc(h) = 1 - err(h)
Distribuio de Classes para um conjunto de exemplos T:
1 n
distr (Cj ) = yi = Cj
n i =1
Para cada Classe Cj T
Erro Majoritrio para conjunto T com k Classes

maj-Erro(T) = 1 - max distr(Ci) p/ i=1,..,k
Fornece um limiar mximo, abaixo do qual o erro deve ficar
Al
Alm do ID3...
n O ID3 tem algumas limita

limitaes:
es:
No trabalha com atributos num
numricos
No aceita informa
informao
o incompleta
Entre outros...
n Como podemos :
Trabalhar com atributos num
numricos ?
Evitar a hiper-
hiper-especializa
especializao
o?
Aceitar informa
informaes
es incompletas ?
Atributos Num
Numricos
n Mtodo Padr
Padro: Separa
Separaoo Bin
Binria (Ex: temp < 45)
n Todo atributo num
numrico tem diversos pontos de separa
separao
o.
n Solu
Soluo
o:
Calcule o ganho para cada ponto de separa
separaoo
Escolha o melhor ponto de separa
separaoo (o que d
d maior ganho)
ganho)
O ganho desse melhor ponto ser
ser o valor de ganho do atributo
64 65 68 69 70 71 72 72 75 75
75 80 81 83 85
Yes No Yes Yes Yes No No Yes Yes Yes No Yes Yes No
Ex: temperatura < 71.5: yes/4, no/2

temperatura 71.5: yes/5, no/3
n Computacionalmente caro
Mais veloz
veloz
n Podemos calcular os pontos de separa
separao
o mais
rapidamente:
rapidamente:
Valor 64 65 68 69 70 71 72 72 75 75 80 81 83 85
Classe Yes No Yes Yes Yes No No Yes Yes Yes No Yes Yes No
n Os pontos de separa
separaoo s
s precisam ser calculados nos
pontos entre classes diferentes (Fayyad & Irani,
Irani, 1992)
n Pontos intermedi
intermedirios s pontos de separa
separaoo acima n
no
podem ser pontos de separa
separa o
o timos
Informa
Informao
o Incompleta
... E se alguns valores de atributos est
esto faltando ?
n Solu
Solues
es (com os exemplos de treinamento):
Se o n
n n testa o atributo A, atribua ao valor que falta o valor mais
comum de A entre todos os exemplos escolhidos para o n n n.
Atribua ao valor que est

est faltando o valor mais comum de A
usados em outros exemplos que tamb
tambm utilizaram o atributo A.
Atribua probabilidade pi para cada poss

possvel valor de A. Use uma
fra
frao
o dos valores de A conforme pi ao avan
avanar na rvore.
Como sabemos se aprendizagem funciona ?

n Como sabemos se nossa hip
hiptese (
(rvore) h est
est pr
prxima
da fun
funo
o desejada f se n
no conhecemos f ?
n Qualquer hip
hiptese seriamente errada, ir
ir ser
desmascarada logo ap
aps poucos exemplos. Qualquer
hip
hiptese consistente com uma quantidade grande de
exemplos, ter
ter pouca probabilidade de estar seriamente
errada.
n A hip ser provavelmente aproximadamente

hiptese h ser
correta: aprendizagem PAC
Quantidade de exemplos necess

necessrios
n Considere:
f a fun
funo
o verdadeira (a rvore tima)
H o conjunto de hip
hipteses (
(rvores) poss
possveis
N o conjunto de exemplos de treinamento
n A fun
funoo f um elemento de H.
n Uma hip
hiptese h dita aproximadamente correta se erro(h) com
rela
relao
o a f seja menor que um
H
Hruim f
Quantidade de exemplos necess

necessrios
n Mostra-
Mostra-se que:
1 1
N ln + ln H

n Onde um nnmero pequeno.
pequeno.
n Conseguiremos, portanto, uma hip
hiptese h abaixo do erro se o
algoritmo tiver N exemplos de treinamento.
treinamento.
n Mas como estimar H ?
n H para n atributos booleanos: 2^2n
n Mas H muito grande... Ter
Teramos que ler um nnmero muito grande
de N !!!
n Para escapar disso: mesmo lendo menos exemplos que o necess
necessrio,
manteremos hip
hipteses mais simples (e gen
genricas)
Overfitting - Hiper-
Hiper-Especializa
Especializao
o
n problema de todos algoritmos de aprendizagem!!
aprendizagem!!
Defini
Definio o: dado um espa
espao de hip hip tese h H overfits os
hipteses H, uma hip
dados de treinamento se existir uma outra hip
hip tese h H, tal que h tem menor
erro que h no conjunto de treinamento,
treinamento, mas h tem um menor erro que h sobre a
distribui
distribuio
o total de inst
instncias.
ncias.
Preciso Com os exemplos de treinamento
Com outros exemplos
No. crescente de ns na rvore
n Como detectar atributos irrelevantes ou simplesmente parar de aumentar os n

ns da rvore ?
Pela quantidade do valor de ganho ??!??!?
n Ent
Ento qu
quo grande deve ser o ganho de informa
informao
o para que correspondente atributo seja um
n na rvore?
rvore?
Solucionando Overfitting
n 1a. Soluo:
n Parar de crescer a rvore antes de alcan
alcanar o ponto de classifica
classificaoo
perfeita dos exemplos de treinamento.
treinamento. Mas,
Mas, quando parar?
parar?
Valida
Validao
o cruzada:
cruzada: tenta estimar qu
quo bem a hip
hiptese corrente ir
ir
predizer dados ainda n
no recebidos (vistos
vistos). Segue os seguintes
passos:
passos:
n 1. Divide-
Divide-se o conjunto de treinamento em dois conjuntos: Conjunto de
Treinamento (CT) e Conjunto de Valida
Validaoo (CV)
n 2. Cria-
Cria-se a rvore de decis
deciso a partir de CT e usa CV para verificar a
percentagem de erro.
n Repete-
Repete-se os passos 1 e 2 para diversos CT e CV
CVs diferentes e aleat
aleatrios
Com isso, determina-

determina-se a melhor rvore para ser usada.
Solucionando Overfitting
n 2a. Solu
Soluo
o
n Abordagens que provoquem o overfitting e depois podam a rvore
(post-pruning)
(post-
Mtodo do Erro Reduzido:
Reduzido:
considera-
considera-se cada n n como candidato folha da rvore (elimina sub-
sub-
rvore abaixo dele); o n se torna folha (nova rvore)
rvore) sempre que a
precis
preciso da classifica
classificaoo n
no diminuir em rela
relao
o rvore original,
usando o conjunto de valida
validao
o.
Mtodo de Poda de regras
Converte rvore em regras
Poda cada regra independentemente das outras regras, sempre
verificando se a precis
preciso aumenta
Ordena as regras finais na sequ
sequncia desejada para uso
isso: C4.5
Algoritmo que faz isso:
Detalhando o Post-
Post-pruning
n Primeiro,
Primeiro, crie a rvore completa
n Ent
Ento, fa
faa a poda !!!
n Duas opera
operaes es de poda:
poda:
Reposi
Reposioo de sub-
sub-rvore
Eleva
Elevao
o de sub-
sub-rvore
n Uma das poss

possveis estrat
estratgias para decidir a poda:
poda:
Estimativa de erro (error estimation)
n Existem outras estrat
estratgias:
gias:
Teste de Signific
Significncia
MDL
Reposi
Reposio
o de Sub-
Sub-rvores
n Mtodo Bottom-
Bottom-up
Eleva
Elevao
o de sub-
sub-rvore
n Remova um n
n Redistribua as inst
instncias
n Mais lenta que a Reposi
Reposio
o de Sub-
Sub-
rvore
X
Taxa de erro estimado

n Podar apenas se reduzir o erro estimado (estat
(estatstica !!!)
n Mtodo usado pelo C4.5
Derive intervalo de confian
confiana dos exemplos de treinamento (f)
Use um limite heur
heurstico para poda
Mtodo estat
estatstico baseado nos exemplos de treinamento
n Erro estimado para uma sub-
sub-rvore a soma ponderada das
estimativas de erro de todas as suas folhas
n Estimativa de erro para um n
n:
z2 f f2 z 2 z2
e = f + +z + 1 +
2N N N 4 N 2 N
n Se c = 25% ent
ento z = 0.69 (c o intervalo de confian
confiana a partir de
uma distribui
distribuio
o normal de f)
n f a estimativa de erro dos exemplos de treinamento
n N o n
nmero de inst
instncias consideradas nas folhas
Exemplo de poda por estimativa de erro
f = 5/14
e = 0.46
e < 0.51
podar !!!
f=0.33 f=0.5 f=0.33

e=0.47 e=0.72 e=0.47
An
Anlise de tempo de uma rvore de decis
deciso
n Assuma
m atributos
n exemplos de treinamento
Profundidade de uma rvore O (log n)
n Construir a rvore O (m n log n)
n Reposi
Reposioo de sub-
sub-rvore O (n)
n Eleva
Elevao
o de sub-
sub-rvore O (n (log n)2)
n Custo Total: O (m n log n) + O (n (log n)2)
C4.5 e C5.0
n C4.5 uma extenso do ID3.
n Algumas caractersticas adicionais:
Trabalha com atributos com nmeros contnuos
Encontra separao da rvore com critrios numricos (Ex: > 140)
Resolve o problema da regra de Ganho usando Razo_de_Ganho
A Regra de Ganho tende a ser maior para atributos com mais valores
Ps-poda baseada no conjunto de treinamento visando a diminuio do
overfitting e conseqente aumento da preciso.
C4.5 pode lidar com informao incompleta (falta de algum atributo, por
exemplo)
Verso C5.0 comercial: mais precisa e mais veloz (usa outras tcnicas
mais modernas)
Quinlan, J. Ross (ID3 e C4.5)

Aplica
Aplicaes
es Atuais de Aprendizado
n Automa
Automao
o Residencial Inteligente
Sistema aprende regras com o Habitante
Aprende comportamentos
n Controle de SPAM
Aprende automaticamente as caracter
caractersticas de SPAMs
Valida constantemente as regras anti-
anti-SPAM
n Autom
Automvel Inteligente
Aprende o modo de dirigir do motorista
n Aprendizado por Observa

Observao
o
Aprende a jogar sozinho
http://www.comp.leeds.ac.uk/chrisn/miprize2004.html
Bibliografia
Para aprofundamento nos assuntos desta aula, segue a seguinte
refer
referncia bibliogr
bibliogrfica
n Rich, E. (Intelig
(Inteligncia Artificial)
Cap
Captulo 17 (Aprendizado)
n Russel & Norvig (Artificial Intelligence)
Cap
Captulo 18 (Aprendizado)
n Rezende, Solange (Sistemas Inteligentes)
Caps. 4 e 5 (Aprendizado) e Cap. 12 (DataMining)
n Alguns slides desta aula foram baseados no slides:

n Anna Reali Costa: Aprendizado: ID3
ID3, Poli-
Poli-USP.
n Andreia Nunes e Lucia Fernandes: DataMining
DataMining, 2004.
n Slides MAchine Learning 2D5362 Lecture 3 Decision Tree Learning
n Joost N. Kok:
Kok: Machine Learning in Real World: C4.5
C4.5, Leiden University - Holanda

Aula04 AprendizadoDataMining PDF

Hochgeladen von

Dokumentinformationen

Originaltitel

Copyright

Verfügbare Formate

Dieses Dokument teilen

Dokument teilen oder einbetten

Freigabeoptionen

Stufen Sie dieses Dokument als nützlich ein?

Sind diese Inhalte unangemessen?

Copyright:

Verfügbare Formate

Aula04 AprendizadoDataMining PDF

Hochgeladen von

Copyright:

Verfügbare Formate

Inteligncia Artificial

nrea multidisciplinar que usa t

Estrutura de um KDD com DataMining

Redes Neurais: permitem processos de aprendizagem artificial

Induo de Regras: detecta tendncias dentro do grupo de

rvores de Deciso: representam graficamente conjuntos de

Anlise de Sries Temporais: tecnologia complexa para dar

Visualizao: apresentao grfica de resultados ou de passos

Tcnicas de algoritmos genticos: usam combinaes genticas,

Sistemas Comerciais de DataMining

SAS Enterprise Miner

Microsoft SQLServer 2000

No que tange a Intelig

n Aprendizagem por refor

n Dado um conjunto de exemplos pr

n ... gerar uma rvore de decis

n Instncia um par atributo-valor.

n Exemplo de atributos e valores:

ID3 - rvore de Decis

n Suponha que se queira decidir se haver, dependendo das condies do dia,

n Tem-se uma quantidade de observaes dos dias que ocorreram ou no uma

ID3 - rvore de Decis

ID3 - rvore de Decis

Alta Normal SIM Forte Fraco

n Regras: if (Tempo=Sol) & (Umidade=Alta) then partida_tnis=NO;

ID3 - rvore de Decis

n Problemas com o conjunto de treinamento (problema da induo):

n Se amostragem contiver erro (chamado rudo) ?

ID3 - rvore de Decis

ID3 - rvore de Decis

Onde S o conjunto de treinamento inicial, A o atributo que ir

ID3 - rvore de Decis

Entropia (S) = - plog2p - plog2p

ID3 - rvore de Decis

n Suponha que S uma cole

Se considerarmos apenas o atributo TEMPO com valor SOL, teramos:

ID3 - rvore de Decis

Assim, o ID3 escolher o atributo que oferece

ID3 - rvore de Decis

Como achar o resto da rvore ?

Ganho 0.029 Ganho 0.151

Erro Majoritrio para conjunto T com k Classes

n O ID3 tem algumas limita

Ex: temperatura < 71.5: yes/4, no/2

Atribua ao valor que est

Atribua probabilidade pi para cada poss

Como sabemos se aprendizagem funciona ?

n A hip ser provavelmente aproximadamente

Quantidade de exemplos necess

Quantidade de exemplos necess

Com outros exemplos

No. crescente de ns na rvore

n Como detectar atributos irrelevantes ou simplesmente parar de aumentar os n

Com isso, determina-

n Uma das poss

Taxa de erro estimado

Exemplo de poda por estimativa de erro

f=0.33 f=0.5 f=0.33

n Custo Total: O (m n log n) + O (n (log n)2)

Quinlan, J. Ross (ID3 e C4.5)

n Aprendizado por Observa

n Alguns slides desta aula foram baseados no slides:

Das könnte Ihnen auch gefallen