Sie sind auf Seite 1von 39

Umjetna inteligencija

Probabilističko
reprezentiranje znanja
Pregled
 Zašto trebamo probabilističku reprezentaciju
 Osnovne stvari o vjerojatnosti
 Dogañaji
 Diskretne slučajne varijable, složeni dogañaji
 Aksiomi vjerojatnosti
 Nezavisni dogañaji
 Uvjetna vjerojatnost
 Zajednička distribucija vjerojatnosti
 Bayesovo pravilo
 Bayesove mreže
Zašto
 Osnovni problem sa reprezentacijom
znanja u logičkim sustavima: nesigurnost
 Kompletno znanje o okolini u realnom svijetu
je gotovo uvijek nedostupno
 Ne možemo uvijek doći do kategoričkog
odgovora
 Nesigurnost može proizaći i zbog našeg
nerazumijevanja – nepotpunost
 To još uvijek ne znači da ne možemo
konstruirati racionalne odgovore ili akcije !
Zašto
 Osnovni razlozi nesigurnosti
 Greške - netočnost
 Lijenost
 za konstruirati pravila koje pokrivaju sve moguće
slučajeve treba previše resursa
 Teoretsko nepoznavanje domene
 Vidi medicinu kao primjer !
 Neznanje uslijed nedostatka podataka:
 Iako imamo besprijekorna pravila u bazi znanja, u
trenutku odlučivanja nemamo sve potrebne podatke
Zašto
 Nepotpuno znanje je karakteristično za
mnoge realne domene (osim medicine)
 Ekonomija, industrija, medicina, dizajn, ...

Teorija vjerojatnosti je alat kojim naše


nepotpuno znanje možemo opisati kako bi
došli do racionalnih odluka ili akcija.
Teorije nesigurnosti
 Osim (klasične) teorije vjerojatnosti
postoji čitav niz drugih teorija:
 Bayesova teorija vjerojatnosti
 Shannonova teorija
 Dempster-Shaferova teorija
 Markovljevi modeli
 Zadeh neizrazita (en. fuzzy) logika
Aksiomi vjerojatnosti
Da bi definirali semantiku izraza u teoriji
vjerojatnosti:

1. 0≤P(A)≤1
2. P(true)=1; P(false)=0
3. P(A∨B)=P(A)+P(B)-P(A^B)

Teorem: P(~A)=1-P(A)
Iz 2. i 3.
P(A ∨ ~A) = P(A) + P(~A) - P(A ^ ~A)
1 = P(A) + P(~A) – 0
P(~A)=1-P(A)
Interpretacija u slikama
P(~A) + P(A) = 1

~A

A
Interpretacija u slikama
•P(A ∨ B) = P(A) + P(B) - P(A ∧ B)

~A^~B

A B
P(A ∧ B)
Osnovni pojmovi i notacija
Boole-ove varijable:
P(parno); P(~parno)
P(točno); P(~točno)

Distribucija vjerojatnosti:
Ako je X slučajna varijabla, a P (X=x) je funkcija
definirana za svaki x onda je P distribucija
vjerojatnosti za X i vrijedi:
P(X=x) ≥ 0 ∀x
∑x P(X=x) =1
Slučajne varijable s više vrijednosti
A je slučajna varijabla koja može poprimiti samo
jednu od k različitih vrijednosti {v1,v2, .. vk}.

Tada vrijedi (korištenjem osnovnih aksioma):

P( A = vi ∧ A = v j ) = 0 ako i ≠ j
i
P( A = v1 ∨ A = v2 ∨ A = vi ) = ∑ P ( A = v j )
j =1

P( A = v1 ∨ A = v 2 ∨ .... ∨ A = v k ) = 1
Slučajne varijable s više vrijednosti
Zadatak:
Imamo čovječe-ne-ljuti-se-kockicu (1,2...6),
koja je malo “frizirana”, t.j.:
P(X=6)=0.25
P(X=1,2,3,4,5)=C*(1/5)
C=?
Propozicije i vjerojatnost
Klasična vjerojatnost – “idealni svijet”:
prethodna vjerojatnost (en. a priori probability)
 Bez obzira na (nove) podatke iz realnog svijeta
 Igre: kockice, karte, ..., kovanice
 Dogañaji za koje je matematička formulacija
vjerojatnosti unaprijed poznata
 Svi mogući dogañaji i ishodi su unaprijed poznati

Eksperimentalna vjerojatnost – (en. a posteriori


probability)
f ( D)
P( D) = lim
N →∞ N

Subjektivna vjerojatnost
 Nemamo podatke – ali imamo eksperta !
 Zapravo nije vjerojatnost nego intuicija (osjećaj) –
pretvoren u vjerojatnost
Nezavisni dogañaji
Dva dogañaja A i B su nezavisna akko:

P(A ^ B)=P(A)*P(B)

(Ishod A nema nikakvog efekta na ishod B)

U praksi: gotovo uvijek ćemo morati pretpostaviti


nezavisnost nekih dogañaja da bi riješili neki problem.
Složeni dogañaji
Zajednička distribucija vjerojatnosti

(Engl. Joint probability distribution)


P(X=x, Y=y)
X=x^Y=y

x,y P(X=x,Y=y)

Sunce, igram tenis 0.3


Kiša, igram tenis 0.0
Oblačno, igram tenis 0.2
Sunce, ne igram tenis 0.1
Kiša, ne igram tenis 0.2
Oblačno, ne igram tenis 0.2
Korištenje tablica distribucije vjerojatnosti
Npr. imamo tri Boole-ove varijable
a,b,c a b c P
1) Napravimo tablicu istinitosti (?) 0 0 0 0.1
tako da napravimo sve 1 0 0 0.05
kombinacije vrijednosti varijabli 1 1 0 0.1
(23) 1 1 1 0.05
2) Za svaku kombinaciju izrazimo 0 1 0 0.3
vjerojatnost dogañanja 0 1 1 0.2
3) Suma mora biti 1 0 0 1 0.08
1 0 1 0.12
Korištenje tablica distribucije vjerojatnosti
Sada možemo raditi upite a b c P
formulirajući različite 0 0 0 0.2

logičke izraze: 1 0 0 0.05


1 1 0 0.1
1 1 1 0.05
P(b)=∑b=1 P(redi) = 0.55 0 1 0 0.2
0 1 1 0.2
0 0 1 0.08
1 0 1 0.12

a b c P
0 0 0 0.2
1 0 0 0.05
P(a^b)= ∑b=1,a=1 P(redi)= 0.15 1 1 0 0.1
1 1 1 0.05
0 1 0 0.2
P(a ako znamo b)= ?
0 1 1 0.2
0 0 1 0.08
1 0 1 0.12
Uvjetna vjerojatnost
Uvjetna vjerojatnost (en. conditional probability)
P(gripa)=0.01
- u nedostatku drugih informacija, naš IA će pridijeliti vjerojatnost
od 0.01 da pacijent boluje od gripe.
- Ako dobijemo neke druge informacije koje bi nam mogle koristiti,
to će izmijeniti ovu vjerojatnost
 Vjerojatnosti vezane uz slučajne varijable – distribucija
vjerojatnosti:
- P(vrijeme=sunčano)=0.4; P(vrijeme=kiša)=0.2
- P(vrijeme=oblačno)=0.3; P(snijeg)=0.1
- P(vrijeme)=<0.4,0.2,0.3,0.1>
Distribucija vjerojatnosti i uvjetna
vjerojatnost
Zajednička distribucija vjerojatnosti (joint probability
distribution): P(G, T)

Gripa ~gripa
Temp<37 0.0 0.85
37<Temp<38 0.05 0.01
Temp>38 0.08 0.01

P(Temp<37) =0.0+0.85 =0.85


P(Temp<37 ∨ Gripa) =0.0+0.85+0.05 +0.08 = 0.98
P(37<Temp<38 ^ ~gripa) =0.01

? P(Gripa|Temp>38) =
Uvjetna vjerojatnost
Vjerojatnost A uz to da znamo B: P(A|B)
Vjerojatnost A uz to da znamo B i C: P(A|B^C)
Ne znamo ništa => P(A)=P(A|)

Izraz za uvjetnu vjerojatnost:

P(A|B) = P(A^B)/ P(B) %(akko P(B) > 0 !)


P(A^B)=P(A|B) P(B) - (en. product rule)
Bayesovo pravilo
Produkcijsko pravilo:

P(A^B)=P(A|B) P(B)
P(A^B)=P(B|A) P(A)
____________________
P(A|B) P(B)=P(B|A) P(A)

P(A|B)=[P(B|A) P(A)]/P(B) - Bayesovo pravilo


P(B|A)=[P(A|B) P(B)]/P(A)
Problemi
Imamo 4 čovječe-ne-ljuti-se-kockice (1,2...6).
Jedna od njih je “frizirana”, i pada samo na šesticu !

Naš eksperiment:
(1)Uzmemo nasumce jednu kocku
(2)Bacimo je
Koja je vjerojatnost da ćemo okrenuti šesticu ?
Problemi
Vjerojatno imate barem 3 susjeda koje poznajete:

a) Koja je vjerojatnost da su barem jedan ili više susjeda roñeni u


istom godišnjem dobu kao i vi ?

b) Koja je vjerojatnost da ste svi roñeni u različita godišnja doba ?


Korištenje tablica distribucije vjerojatnosti
Zadatak:

 3 kocke: jedna je poštena (a), a dvije namještene (b i c)


 b - na šesticu: P(b, x=6)=0.50; c na jedinicu P(c, x=1)=0.50
 Naš eksperiment:
 Nasumce odaberemo dvije od tri kocke i bacamo ih.
 Koja je vjerojatnost da ćemo okrenuti 7, a koja da ćemo
dobiti dva ista broja ?
 Kako će se promijeniti ove vjerojatnosti ako imamo 3
poštene kocke ?
Uvjetna nezavisnost
Problem sa tablicom distribucije vjerojatnosti je sličan kao
sa tablicom istinitosti u logici – broj kombinacija je za
realne probleme prevelik !

U (realnom) probabilističkom svijetu reprezentacije znanja


pomaže nam uvjetna nezavisnost.
Uvjetna nezavisnost

Definicija: A i C su uvjetno nezavisni uz dano B akko vrijedi


za sve A=x,B=y,C=z:

P(A=x  B=y ^ C=z) = P(A=x  B=y)

(gdje su x,y,z sve moguće vrijednosti koje poprimaju A,B,C)

Oznaka za uvjetnu nezavisnost:

I<A, {B}, C>


Kako praktično iskoristiti uvjetnu
nezavisnost ?
Bayesove mreže

Usmjereni aciklički graf, DAG (en. directed acyclic graph),


predstavljen parovima čvorova (V) i usmjerenih veza (E).
U takvom grafu nisu dozvoljene petlje!

Svaki čvor vi sadrži slijedeće informacije:


- Ime slučajne varijable (X)
- Tablicu distribucije vjerojatnosti koja odreñuje kako
vjerojatnost poprimanja odreñenih vrijednosti varijable
(X=xj) ovisi o svim mogućim kombinacijama vrijednosti
varijabli u roditeljskim čvorovima (“uzvodno” od čvora vi)
Primjer – igrati ili ne igrati tenis ?
To je odluka !
Zavisi o mnogo faktora, npr.:
- Koliko sam zauzet, kakve su mi obaveze prema obitelji
- Kakva je prognoza, ili kako izgleda vrijeme prije
- ......

Zauzetost=Z (velika,mala)
Obaveze u obitelji = OuO (velika,srednja,mala)

Prognoza vremena (dan prije) = PV (sunce, oblačno, kiša)

Vrijeme (neposredno prije) = V (dobro, osrednje, loše)


Primjer – igrati ili ne igrati ?

P (IT, V,PV, Z, OuO) - Tablica distribucije vjerojatnosti:


2*3*3*2*3=108 kombinacija ili vjerojatnosti !

No, postoji meñusobna povezanost (ali i nezavisnost!)


izmeñu nekih varijabli !

Bayesova mreža !?
Primjer – igrati ili ne igrati ?
Bayesova mreža – koraci u stvaranju:
1) Odaberemo relevantne varijable (IT, V, PV, OuO, Z);
2) Odredimo njihovu hijerarhijsku povezanost, t.j. Koje
varijable predstavljaju “roditelje”, a koje “djecu”;
3) Odredimo vrijednosti u tablicama vjerojatnosti prema:
P(X=v | vrijednosti “roditelja” od X)
Primjer – igrati ili ne igrati ?

Bayesova mreža:
Kako izgledaju tablice
vjerojatnosti u tom slučaju ?
Primjer – igrati ili ne igrati ? P(IT | V,Z) Igram tenis

Zauzetost Vrijeme igram ne- igram

Bayesova mreža: Velika Dobro 0.2 0.8

Velika Osrednje 0.1 0.9

Broj različitih P u tablicama Velika Loše 0.05 0.95

Mala Dobro 0.7 0.3

= 33 ! Mala Osrednje 0.2 0.8

mala loše 0.1 0.9

P(V|PV) P(Z|OuO)
vrijeme Zauzetost

Prognoza dobro osrednje loše Obaveza velika mala

Sunce 0.5 0.3 0.2 velika 0.7 0.2

oblačno 0.3 0.4 0.3 srednja 0.2 0.8

kiša 0.1 0.3 0.6 mala 0.1 0.9

P(PV) P(OuO)
Prognoza P Obaveza P

Sunce 0.5 velika 0.4

oblačno 0.3 srednja 0.1


kiša 0.2 mala 0.5
BM: Korištenje – mreža bez evidencija
Bayesova mreža – kako računamo vjerojatnost IT ?
P (IT, V,PV, Z, OuO) = P(IT | V, Z) * P(V | PV) * P(PV) * P(Z | OuO) * P(OuO)
BM: Korištenje – uz odreñena saznanja
Što ako npr. znam da ću morati ići u tjedni šoping ?
BM: Korištenje – uz odreñena saznanja
Što ako znam da je popodne
slobodno a vrijeme taj čas
izgleda vrlo obećavajuće ?
BM: Korištenje – uz odreñena saznanja
Žena je u Japanu. Zove me
na mobitel. Čuje galamu i
udarce reketa !?
Zahvaljujući tome što ima
BM model na svom
mobitelu – što može
zaključiti ?
Što nam govori primjer ?

Još nije očito kako, ali:


• Možemo relativno efikasno računati ishode jer u ovom
prikazu su neke varijable meñusobno neovisne i zato što
koristimo poznavanje uvjetnih vjerojatnosti !
• Saznanje o vrijednosti neke varijable, mijenja
vjerojatnosti za druge varijable !

Kako se ustvari vjerojatnosti propagiraju kroz mrežu ?


Bayesove mreže – kako dolazimo do njih ?
a) Slično kao i do baze znanja, ontologija ili sustava pravila:
• ekspertskim poznavanjem problema – odnosa varijabli
• poznavanjem prethodnih i uvjetnih vjerojatnosti

b) Strojnim učenjem – indukcijom iz podataka


• postoje algoritmi koji induciraju i strukturu mreže i tablice
vjerojatnosti iz podataka skupljenih o nekom problemu !
• to nećemo učiti u sklopu UI (nema vremena)

c) Kombinacijom a) i b) najčešći i najbolji put.


Za kraj – zadatak !

 3 kocke: jedna je poštena (a), a dvije namještene (b i c)


 b - na šesticu: P(b, x=6)=0.50; c na jedinicu P(c, x=1)=0.50
 Naš eksperiment:
 Nasumce odaberemo dvije od tri kocke i bacamo ih.
 Koja je vjerojatnost da ćemo okrenuti 7, a koja da ćemo
dobiti dva ista broja ?

Napravite Bayes-ovu mrežu za ovaj eksperiment !

Das könnte Ihnen auch gefallen