Einf uhrung Grundlagen Bayesnetze Markovnetze

Einf uhrung in Bayes- und Markovnetze

Alexander Hein

13.7.2013

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Einf uhrung

Grundlagen

Bayesnetze

Markovnetze

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Einf uhrung

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Ergebnismenge Ergebnisse: Resultate von Zufallsprozessen: . Beispiel: Einmaliger Wurf eines W urfels: = { , , , , , }

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Ergebnismenge Ergebnisse: Resultate von Zufallsprozessen: . Beispiel: Einmaliger Wurf eines W urfels: = { , , , , , } Ereignisalgebra Ereignis: Teilmenge einer Ergebnismenge Gew urfelte Augenzahl ist Primzahl = { , , } Ereignisalgebra : Menge von Teilmengen einer Ergebnismenge mit den Eigenschaften:

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Ergebnismenge Ergebnisse: Resultate von Zufallsprozessen: . Beispiel: Einmaliger Wurf eines W urfels: = { , , , , , } Ereignisalgebra Ereignis: Teilmenge einer Ergebnismenge Gew urfelte Augenzahl ist Primzahl = { , , } Ereignisalgebra : Menge von Teilmengen einer Ergebnismenge mit den Eigenschaften:

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Ergebnismenge Ergebnisse: Resultate von Zufallsprozessen: . Beispiel: Einmaliger Wurf eines W urfels: = { , , , , , } Ereignisalgebra Ereignis: Teilmenge einer Ergebnismenge Gew urfelte Augenzahl ist Primzahl = { , , } Ereignisalgebra : Menge von Teilmengen einer Ergebnismenge mit den Eigenschaften: M1 , M2 M1 M2

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Ergebnismenge Ergebnisse: Resultate von Zufallsprozessen: . Beispiel: Einmaliger Wurf eines W urfels: = { , , , , , } Ereignisalgebra Ereignis: Teilmenge einer Ergebnismenge Gew urfelte Augenzahl ist Primzahl = { , , } Ereignisalgebra : Menge von Teilmengen einer Ergebnismenge mit den Eigenschaften: M1 , M2 M1 M2 M M

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Ergebnismenge Ergebnisse: Resultate von Zufallsprozessen: . Beispiel: Einmaliger Wurf eines W urfels: = { , , , , , } Ereignisalgebra Ereignis: Teilmenge einer Ergebnismenge Gew urfelte Augenzahl ist Primzahl = { , , } Ereignisalgebra : Menge von Teilmengen einer Ergebnismenge mit den Eigenschaften: M1 , M2 M1 M2 M M Beispiel: 1 = {, } oder 2 = Pot(),

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Wahrscheinlichkeitsverteilungen
Wahrscheinlichkeitsverteilungen P Eine Wahrscheinlichkeitsverteilung P ist eine Abbildung P : (, ) R, die den Kolmogorov-Axiomen gen ugt:

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Wahrscheinlichkeitsverteilungen
Wahrscheinlichkeitsverteilungen P Eine Wahrscheinlichkeitsverteilung P ist eine Abbildung P : (, ) R, die den Kolmogorov-Axiomen gen ugt:
1

P (E ) 0 f ur alle E .

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Wahrscheinlichkeitsverteilungen
Wahrscheinlichkeitsverteilungen P Eine Wahrscheinlichkeitsverteilung P ist eine Abbildung P : (, ) R, die den Kolmogorov-Axiomen gen ugt:
1 2

P (E ) 0 f ur alle E . P () = 1

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Wahrscheinlichkeitsverteilungen
Wahrscheinlichkeitsverteilungen P Eine Wahrscheinlichkeitsverteilung P ist eine Abbildung P : (, ) R, die den Kolmogorov-Axiomen gen ugt:
1 2 3

P (E ) 0 f ur alle E . P () = 1 P (E1 E2 ) = P (E1 ) + P (E2 ), f ur alle E1 , E2 mit E1 E2 =

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Wahrscheinlichkeitsverteilungen
Wahrscheinlichkeitsverteilungen P Eine Wahrscheinlichkeitsverteilung P ist eine Abbildung P : (, ) R, die den Kolmogorov-Axiomen gen ugt:
1 2 3

P (E ) 0 f ur alle E . P () = 1 P (E1 E2 ) = P (E1 ) + P (E2 ), f ur alle E1 , E2 mit E1 E2 =

Wahrscheinlichkeitsraum (, , P ).

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Wahrscheinlichkeitsverteilungen
Wahrscheinlichkeitsverteilungen P Eine Wahrscheinlichkeitsverteilung P ist eine Abbildung P : (, ) R, die den Kolmogorov-Axiomen gen ugt:
1 2 3

P (E ) 0 f ur alle E . P () = 1 P (E1 E2 ) = P (E1 ) + P (E2 ), f ur alle E1 , E2 mit E1 E2 =

Wahrscheinlichkeitsraum (, , P ). Direkte Folgerungen: P () = 0 P (E1 E2 ) = P (E1 ) + P (E2 ) P (E1 E2 )

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Wahrscheinlichkeitsverteilungen
Wahrscheinlichkeitsverteilungen P Eine Wahrscheinlichkeitsverteilung P ist eine Abbildung P : (, ) R, die den Kolmogorov-Axiomen gen ugt:
1 2 3

P (E ) 0 f ur alle E . P () = 1 P (E1 E2 ) = P (E1 ) + P (E2 ), f ur alle E1 , E2 mit E1 E2 =

Wahrscheinlichkeitsraum (, , P ). Direkte Folgerungen: P () = 0 P (E1 E2 ) = P (E1 ) + P (E2 ) P (E1 E2 )

1 Laplace-Verteilung: P ( ) = | ur alle , || < | f 2 W urfel-Beispiel: P ({ , }) = 6
Alexander Hein Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Zufallsvariablen
Zufallsvariablen (Diskrete) ZV X bildet Ergebnisse auf Werte Val (X ) ab: X : (, ) Val (X ) X induziert W-Verteilelung PX auf Val (X ) durch W-Raum (, , P ) PX (X = x ) := P (X 1 (x )) = P ({ | X ( ) = x }) f ur x Val (X )

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Zufallsvariablen
Zufallsvariablen (Diskrete) ZV X bildet Ergebnisse auf Werte Val (X ) ab: X : (, ) Val (X ) X induziert W-Verteilelung PX auf Val (X ) durch W-Raum (, , P ) PX (X = x ) := P (X 1 (x )) = P ({ | X ( ) = x }) f ur x Val (X )

Im Folgenden nur noch Verteilung u ber ZVs von Interesse, |Val (X )| < Schreibweise: P (X ) f ur Verteilung bzw. P (x ) f ur P (X = x ).

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Zufallsvariablen
Zufallsvariablen (Diskrete) ZV X bildet Ergebnisse auf Werte Val (X ) ab: X : (, ) Val (X ) X induziert W-Verteilelung PX auf Val (X ) durch W-Raum (, , P ) PX (X = x ) := P (X 1 (x )) = P ({ | X ( ) = x }) f ur x Val (X )

Im Folgenden nur noch Verteilung u ber ZVs von Interesse, |Val (X )| < Schreibweise: P (X ) f ur Verteilung bzw. P (x ) f ur P (X = x ). Beispiel: ZV Augenzahl Az : (, Pot()) {1, ...6} mit Az ( ) = 1 usw. F ur Laplace-Verteilung: PAz (Az = 1) = P ({ }) = 1 6.
Alexander Hein Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Verbundverteilungen
Betrachtung einer W-Verteilung u ber einer Menge X = {X1 , ..., Xn }. von Zufallsvariablen u ber W-Raum (, , P ). Verteilung P ordnet jeder Instantiierung der Variablen (x1 , ..., xn ) Wahrscheinlichkeit zu: P := P (X1 = x1 , ..., Xn = xn ) ((X1 = x1 ) ... (Xn = xn ))
n i =1

G g g g0 g0 g+ g+

F f f+ f f+ f f+

P (G , F ) 0.15 0.05 0.22 0.28 0.03 0.27 =1 P(G) 0.2 0.5 0.3 =1

Darstellung durch Tabelle mit Eintr agen.

|Val (Xi )| G g g0 g+

Berechnung der Randwahrscheinlichkeiten durch Marginalisierung: P (X = x) = yVal (Y) P (X = x, Y = y) f ur X = X Y.

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Bedingte Wahrscheinlichkeit (1)

Denition Wahrscheinlichkeit eines Ereignisses A, wenn Eintritt von Ereignis B (AB ) vorausgesetzt ist: P (A|B ) = P P ur P (B ) > 0. (B ) f

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Bedingte Wahrscheinlichkeit (1)

Denition Wahrscheinlichkeit eines Ereignisses A, wenn Eintritt von Ereignis B (AB ) vorausgesetzt ist: P (A|B ) = P P ur P (B ) > 0. (B ) f Bsp.: (W urfel): Primzahl unter Bedingung Augenzahl ungerade: P (Pz |Ug ) = = P ({ , , } { , , }) P (Pz Ug ) = P (Ug ) P ({ , , }) P ({ , }) 1/3 = = 2/3 P ({ , , }) 1/2

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Bedingte Wahrscheinlichkeit (1)

Denition Wahrscheinlichkeit eines Ereignisses A, wenn Eintritt von Ereignis B (AB ) vorausgesetzt ist: P (A|B ) = P P ur P (B ) > 0. (B ) f Bsp.: (W urfel): Primzahl unter Bedingung Augenzahl ungerade: P (Pz |Ug ) = = Bayes-Formel P (A|B ) =
P (AB ) P (B )

P ({ , , } { , , }) P (Pz Ug ) = P (Ug ) P ({ , , }) P ({ , }) 1/3 = = 2/3 P ({ , , }) 1/2

P (A B ) = P (B )P (A|B ) = P (A)P (B |A) P (B |A)P (A) P (B )

Folgerung Bayes-Formel: P (A|B ) =

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Bedingte Wahrscheinlichkeit (2)

Kettenregel: Verallgemeinerung von P (X , Y ) = P (X )P (Y |X ) auf Verbundverteilung u ber n Variablen:

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Bedingte Wahrscheinlichkeit (2)

Kettenregel: Verallgemeinerung von P (X , Y ) = P (X )P (Y |X ) auf Verbundverteilung u ber n Variablen: Kettenregel P (X1 , ..., Xn ) = = = = P (Xn , ..., X1 ) P (Xn |Xn1 , ..., X1 )P (Xn1 , ..., X1 ) P (Xn |Xn1 , ..., X1 )P (Xn1 |Xn2 , ..., X1 )P (Xn2 , ..., X1 )
n

... =
i =1

P (Xi |Xi 1 , ..., X1 )

Andere Darstellung f ur jede Anordnung der Variablen.

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Totale Unabh angigkeit

Denition ZVs X , Y heissen (total) unabh angig (unter P ), falls P (X = x , Y = y ) = P (X = x )P (Y = y ) f ur alle x Val (X ), y Val (Y )

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Totale Unabh angigkeit

Denition ZVs X , Y heissen (total) unabh angig (unter P ), falls P (X = x , Y = y ) = P (X = x )P (Y = y ) f ur alle x Val (X ), y Val (Y ) Alternativ: P (X = x |Y = y ) = P (X = x ) f ur alle x Val (X ), y Val (Y ) oder P (Y = y ) = 0.

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Totale Unabh angigkeit

Denition ZVs X , Y heissen (total) unabh angig (unter P ), falls P (X = x , Y = y ) = P (X = x )P (Y = y ) f ur alle x Val (X ), y Val (Y ) Alternativ: P (X = x |Y = y ) = P (X = x ) f ur alle x Val (X ), y Val (Y ) oder P (Y = y ) = 0. Schreibweise: P X Y oder P (X , Y ) = P (X )P (Y ).

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Totale Unabh angigkeit

Denition ZVs X , Y heissen (total) unabh angig (unter P ), falls P (X = x , Y = y ) = P (X = x )P (Y = y ) f ur alle x Val (X ), y Val (Y ) Alternativ: P (X = x |Y = y ) = P (X = x ) f ur alle x Val (X ), y Val (Y ) oder P (Y = y ) = 0. Schreibweise: P X Y oder P (X , Y ) = P (X )P (Y ).

Beispiel: Ergebnisse zweimaligen W urfelns sind unabh angig. Totale Unabh angigkeit eher selten.

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Bedingte Unabh angigkeit (1)

Denition ZVs X , Y heissen (bedingt) unabh angig gegeben Z (unter P ), falls P (X = x |Y = y Z = z ) = P (X = x |Z = z ) f ur alle x Val (X ), y Val (Y ), z Val (Z ) oder falls P (Y = y Z = z ) = 0.

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Bedingte Unabh angigkeit (1)

Denition ZVs X , Y heissen (bedingt) unabh angig gegeben Z (unter P ), falls P (X = x |Y = y Z = z ) = P (X = x |Z = z ) f ur alle x Val (X ), y Val (Y ), z Val (Z ) oder falls P (Y = y Z = z ) = 0. Alternativ: P (X = x Y = y |Z = z ) = P (X = x |Z = z )P (Y = y |Z = z )f ur alle x Val (X ), y Val (Y ), z Val (Z ).

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Bedingte Unabh angigkeit (1)

Denition ZVs X , Y heissen (bedingt) unabh angig gegeben Z (unter P ), falls P (X = x |Y = y Z = z ) = P (X = x |Z = z ) f ur alle x Val (X ), y Val (Y ), z Val (Z ) oder falls P (Y = y Z = z ) = 0. Alternativ: P (X = x Y = y |Z = z ) = P (X = x |Z = z )P (Y = y |Z = z )f ur alle x Val (X ), y Val (Y ), z Val (Z ). Schreibweise: P (X Y |Z ) oder P (X , Y |Z ) = P (X |Z )P (Y |Z )

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Bedingte Unabh angigkeit (1)

Denition ZVs X , Y heissen (bedingt) unabh angig gegeben Z (unter P ), falls P (X = x |Y = y Z = z ) = P (X = x |Z = z ) f ur alle x Val (X ), y Val (Y ), z Val (Z ) oder falls P (Y = y Z = z ) = 0. Alternativ: P (X = x Y = y |Z = z ) = P (X = x |Z = z )P (Y = y |Z = z )f ur alle x Val (X ), y Val (Y ), z Val (Z ). Schreibweise: P (X Y |Z ) oder P (X , Y |Z ) = P (X |Z )P (Y |Z )

Erweiterung auf Mengen X, Y, Z: P (X Y|Z) P (X, Y|Z) = P (X|Z)P (Y|Z)

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Bedingte Unabh angigkeit (1)

Denition ZVs X , Y heissen (bedingt) unabh angig gegeben Z (unter P ), falls P (X = x |Y = y Z = z ) = P (X = x |Z = z ) f ur alle x Val (X ), y Val (Y ), z Val (Z ) oder falls P (Y = y Z = z ) = 0. Alternativ: P (X = x Y = y |Z = z ) = P (X = x |Z = z )P (Y = y |Z = z )f ur alle x Val (X ), y Val (Y ), z Val (Z ). Schreibweise: P (X Y |Z ) oder P (X , Y |Z ) = P (X |Z )P (Y |Z )

Erweiterung auf Mengen X, Y, Z: P (X Y|Z) P (X, Y|Z) = P (X|Z)P (Y|Z) Totale Unabh angigkeit als Spezialfall.

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Bedingte Unabh angigkeit (2)

Eigenschaften:
Symmetrie: (X Y|Z) (Y X|Z)

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Bedingte Unabh angigkeit (2)

Eigenschaften:
Symmetrie: (X Y|Z) (Y X|Z) Zerlegung: (X Y, W|Z) (X Y|Z) (Umkehrung gilt nicht). Interpretation: Wenn die Kombination von Informationen irrelevant f ur unsere Einschtzung einer Gr oe ist, so gilt dies auch f ur jede einzelne dieser Informationen.

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Bedingte Unabh angigkeit (2)

Eigenschaften:
Symmetrie: (X Y|Z) (Y X|Z) Zerlegung: (X Y, W|Z) (X Y|Z) (Umkehrung gilt nicht). Interpretation: Wenn die Kombination von Informationen irrelevant f ur unsere Einschtzung einer Gr oe ist, so gilt dies auch f ur jede einzelne dieser Informationen.

Beispiele
(Lebensmittelvergiftung MagenDarmVirus )

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Bedingte Unabh angigkeit (2)

Eigenschaften:
Symmetrie: (X Y|Z) (Y X|Z) Zerlegung: (X Y, W|Z) (X Y|Z) (Umkehrung gilt nicht). Interpretation: Wenn die Kombination von Informationen irrelevant f ur unsere Einschtzung einer Gr oe ist, so gilt dies auch f ur jede einzelne dieser Informationen.

Beispiele
(Lebensmittelvergiftung MagenDarmVirus ) aber nicht (Lebensmittelvergiftung MagenDarmVirus | Bauchschmerzen)

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Bedingte Unabh angigkeit (2)

Eigenschaften:
Symmetrie: (X Y|Z) (Y X|Z) Zerlegung: (X Y, W|Z) (X Y|Z) (Umkehrung gilt nicht). Interpretation: Wenn die Kombination von Informationen irrelevant f ur unsere Einschtzung einer Gr oe ist, so gilt dies auch f ur jede einzelne dieser Informationen.

Beispiele
(Lebensmittelvergiftung MagenDarmVirus ) aber nicht (Lebensmittelvergiftung MagenDarmVirus | Bauchschmerzen) (Erbkrankheit GeneGrossEltern | GeneEltern)

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Bedingte Unabh angigkeit (2)

Eigenschaften:
Symmetrie: (X Y|Z) (Y X|Z) Zerlegung: (X Y, W|Z) (X Y|Z) (Umkehrung gilt nicht). Interpretation: Wenn die Kombination von Informationen irrelevant f ur unsere Einschtzung einer Gr oe ist, so gilt dies auch f ur jede einzelne dieser Informationen.

Beispiele
(Lebensmittelvergiftung MagenDarmVirus ) aber nicht (Lebensmittelvergiftung MagenDarmVirus | Bauchschmerzen) (Erbkrankheit GeneGrossEltern | GeneEltern) nicht (Bauchschmerzen Durchfall )

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Bedingte Unabh angigkeit (2)

Eigenschaften:
Symmetrie: (X Y|Z) (Y X|Z) Zerlegung: (X Y, W|Z) (X Y|Z) (Umkehrung gilt nicht). Interpretation: Wenn die Kombination von Informationen irrelevant f ur unsere Einschtzung einer Gr oe ist, so gilt dies auch f ur jede einzelne dieser Informationen.

Beispiele
(Lebensmittelvergiftung MagenDarmVirus ) aber nicht (Lebensmittelvergiftung MagenDarmVirus | Bauchschmerzen) (Erbkrankheit GeneGrossEltern | GeneEltern) nicht (Bauchschmerzen Durchfall ) aber (Bauchschmerzen Durchfall | MagenDarmErkrankungen)

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Motivation

Ziel: Darstellung und Operationen auf einer Verbundverteilung u ber Variablenmenge X = {X1 , ..., Xn }

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Motivation

Ziel: Darstellung und Operationen auf einer Verbundverteilung u ber Variablenmenge X = {X1 , ..., Xn } Probleme bei expliziter Darstellung als Tabelle:
Speicherverbrauch exponentiell in Anzahl der ZVs bei. Operationen haben hohen Berechnungsaufwand.

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Motivation

Ziel: Darstellung und Operationen auf einer Verbundverteilung u ber Variablenmenge X = {X1 , ..., Xn } Probleme bei expliziter Darstellung als Tabelle:
Speicherverbrauch exponentiell in Anzahl der ZVs bei. Operationen haben hohen Berechnungsaufwand.

L osung: Reduzierung der Komplexit at: Ausnutzung der (bedingten) Unabh angigkeiten zwischen den Zufallsvariablen.

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Beispiel-Bayesnetz (1)

Beispiel: Expertensystem f ur Arzt zur Diabeteserkennung. Modellierung der Dom ane mit 5 Zufallsvariablen, die jeweils 2 Werte annehmen k onnen. Variable Diabestes Familienanamnese Ern ahrung Kopfschmerzen Bluttest Abk urzung D F E K T ja (d+) negativ (f-) gut (e-) ja (k+) positiv (t+) nein (d-) positiv (f+) schlecht (e+) nein (k-) negativ (t-)

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Beispiel-Bayesnetz (2)

Modellierung kausaler Beziehungen durch gerichtete Kanten (willk urlich). Kante X Y : Y h angt ab von X . Kanten X Y Z : Z h angt mittelbar ab von X .

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Beispiel-Bayesnetz (3)
Knoten annotiert mit Bedingter W-Verteilung (BWV) in Abh. von den Vorg angern.

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Beispiel-Bayesnetz (3)
Knoten annotiert mit Bedingter W-Verteilung (BWV) in Abh. von den Vorg angern. Wahrscheinlichkeit des Ereignisses (f , e , d +, k , t +).

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Beispiel-Bayesnetz (3)
Knoten annotiert mit Bedingter W-Verteilung (BWV) in Abh. von den Vorg angern. Wahrscheinlichkeit des Ereignisses (f , e , d +, k , t +). P (f , e , d +, k , t +) = 0, 7 0, 4 0, 1 0, 1 0, 95 = 0, 00266

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Beispiel-Bayesnetz (3)
Knoten annotiert mit Bedingter W-Verteilung (BWV) in Abh. von den Vorg angern. Wahrscheinlichkeit des Ereignisses (f , e , d +, k , t +). P (f , e , d +, k , t +) = 0, 7 0, 4 0, 1 0, 1 0, 95 = 0, 00266

Allgemein:P (F , E , D , K , T ) = P (F )P (E )P (D |F , E )P (K |D )P (T |D )

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Beispiel-Bayesnetz (3)
Knoten annotiert mit Bedingter W-Verteilung (BWV) in Abh. von den Vorg angern. Wahrscheinlichkeit des Ereignisses (f , e , d +, k , t +). P (f , e , d +, k , t +) = 0, 7 0, 4 0, 1 0, 1 0, 95 = 0, 00266

Allgemein:P (F , E , D , K , T ) = P (F )P (E )P (D |F , E )P (K |D )P (T |D ) 20 Eintr age vs. 25 = 32

Alexander Hein Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

DAGs
Bayesnetze basieren auf gerichteten azyklischen Graphen (DAGs). Beispiel:

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

DAGs
Bayesnetze basieren auf gerichteten azyklischen Graphen (DAGs). Beispiel:

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

DAGs
Bayesnetze basieren auf gerichteten azyklischen Graphen (DAGs). Beispiel:

Notation: ElternGX (B ) = {A, F } NichtNachf GX (B ) = {A, F , D }

Alexander Hein Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Bayesger uste
Denition Bayesger ust DAG GX , dessen Knoten Variablen X = {X1 , ..., Xn } entsprechen. Struktur des Graphen kodiert eine Menge von (bedingten) Unabh angigkeitsaussagen: IndGX := {(Xi NichtNachf GX (Xi ) | ElternGX (Xi )) : Xi X }

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Bayesger uste
Denition Bayesger ust DAG GX , dessen Knoten Variablen X = {X1 , ..., Xn } entsprechen. Struktur des Graphen kodiert eine Menge von (bedingten) Unabh angigkeitsaussagen: IndGX := {(Xi NichtNachf GX (Xi ) | ElternGX (Xi )) : Xi X }

(F E ) (E F ) (K T , F , E | D ) (T K , F , E | D )

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Faktorisierung
Faktorisierung u ust ber Bayesger Verteilung PX u ber Variablen X = {X1 , ..., Xn }. PX faktorisiert u ber einem Bayesger ust GX , falls PX darstellbar ist durch:
n

PX (X1 , ..., Xn ) =
i =1

P (Xi | ElternGX (Xi ))

(Kettenregel f ur Bayesnetze)

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Faktorisierung
Faktorisierung u ust ber Bayesger Verteilung PX u ber Variablen X = {X1 , ..., Xn }. PX faktorisiert u ber einem Bayesger ust GX , falls PX darstellbar ist durch:
n

PX (X1 , ..., Xn ) =
i =1

P (Xi | ElternGX (Xi ))

(Kettenregel f ur Bayesnetze) Extremf alle:

1

GX besteht aus n isolierten Knoten: PX faktorisiert u ber GX , falls PX (X1 , ..., Xn ) = P (X1 ) P (X2 ) P (Xn )

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Faktorisierung
Faktorisierung u ust ber Bayesger Verteilung PX u ber Variablen X = {X1 , ..., Xn }. PX faktorisiert u ber einem Bayesger ust GX , falls PX darstellbar ist durch:
n

PX (X1 , ..., Xn ) =
i =1

P (Xi | ElternGX (Xi ))

(Kettenregel f ur Bayesnetze) Extremf alle:

1

GX besteht aus n isolierten Knoten: PX faktorisiert u ber GX , falls PX (X1 , ..., Xn ) = P (X1 ) P (X2 ) P (Xn ) GX ist vollst andiger DAG: Jede Verteilung faktorisiert u ber GX (Faktorisierung entspricht allg. Kettenregel).
Alexander Hein Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

I-Maps
IndPX F ur Verteilung PX u ber Variablenmenge X bezeichne IndPX die Menge aller (bedingten) Unabh angigkeiten der Form ( X Y | Z) f ur X, Y, Z X , die unter PX gelten.

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

I-Maps
IndPX F ur Verteilung PX u ber Variablenmenge X bezeichne IndPX die Menge aller (bedingten) Unabh angigkeiten der Form ( X Y | Z) f ur X, Y, Z X , die unter PX gelten. I-Map Sei PX Wahrscheinlichkeitsverteilung und GX Bayesger ust u ber identischer Variablenmenge X . GX heisst I-Map (Independency-map) f ur PX , falls IndGX IndPX gilt. Bedeutet: Jede vom Graphen kodierte Unabh angigkeit gilt auch unter der Verteilung.
Alexander Hein Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

I-maps und Faktorisierung

Faktorisierung I-Map Eine Verteilung PX faktorisiert genau dann u ust GX , ber einem Bayesger falls GX I-Map f ur PX

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

I-maps und Faktorisierung

Faktorisierung I-Map Eine Verteilung PX faktorisiert genau dann u ust GX , ber einem Bayesger falls GX I-Map f ur PX Beweis I-Map Faktorisierung:

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

I-maps und Faktorisierung

Faktorisierung I-Map Eine Verteilung PX faktorisiert genau dann u ust GX , ber einem Bayesger falls GX I-Map f ur PX Beweis I-Map Faktorisierung: O.B.d.A. seinen X1 , ..., Xn im Sinne top. Sortierung bzgl. GX indiziert.

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

I-maps und Faktorisierung

Faktorisierung I-Map Eine Verteilung PX faktorisiert genau dann u ust GX , ber einem Bayesger falls GX I-Map f ur PX Beweis I-Map Faktorisierung: O.B.d.A. seinen X1 , ..., Xn im Sinne top. Sortierung bzgl. GX indiziert. Es folgt: {X1 , ..., Xi 1 } NichtNachf GX (Xi ). Setze {X1 , ..., Xi 1 } = ElternGX (Xi ) R.

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

I-maps und Faktorisierung

Faktorisierung I-Map Eine Verteilung PX faktorisiert genau dann u ust GX , ber einem Bayesger falls GX I-Map f ur PX Beweis I-Map Faktorisierung: O.B.d.A. seinen X1 , ..., Xn im Sinne top. Sortierung bzgl. GX indiziert. Es folgt: {X1 , ..., Xi 1 } NichtNachf GX (Xi ). Setze {X1 , ..., Xi 1 } = ElternGX (Xi ) R. Nach Vor. GX I-Map f ur PX PX (Xi NichtNachf GX (Xi ) | ElternGX (Xi )). Mit Zerlegungsregel folgt: PX (Xi R | ElternGX (Xi )).

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

I-maps und Faktorisierung

Faktorisierung I-Map Eine Verteilung PX faktorisiert genau dann u ust GX , ber einem Bayesger falls GX I-Map f ur PX Beweis I-Map Faktorisierung: O.B.d.A. seinen X1 , ..., Xn im Sinne top. Sortierung bzgl. GX indiziert. Es folgt: {X1 , ..., Xi 1 } NichtNachf GX (Xi ). Setze {X1 , ..., Xi 1 } = ElternGX (Xi ) R. Nach Vor. GX I-Map f ur PX PX (Xi NichtNachf GX (Xi ) | ElternGX (Xi )). Mit Zerlegungsregel folgt: PX (Xi R | ElternGX (Xi )). Betrachte PX (Xi |X1 , ..., Xi 1 ) = PX (Xi |ElternGX (Xi ), R). Mit Def. bed. Unabh angigkeit folgt: PX (Xi |X1 , ..., Xi 1 ) = PX (Xi |ElternGX (Xi ))
Alexander Hein Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

I-maps und Faktorisierung

Faktorisierung I-Map Eine Verteilung PX faktorisiert genau dann u ust GX , ber einem Bayesger falls GX I-Map f ur PX Beweis I-Map Faktorisierung: O.B.d.A. seinen X1 , ..., Xn im Sinne top. Sortierung bzgl. GX indiziert. Es folgt: {X1 , ..., Xi 1 } NichtNachf GX (Xi ). Setze {X1 , ..., Xi 1 } = ElternGX (Xi ) R. Nach Vor. GX I-Map f ur PX PX (Xi NichtNachf GX (Xi ) | ElternGX (Xi )). Mit Zerlegungsregel folgt: PX (Xi R | ElternGX (Xi )). Betrachte PX (Xi |X1 , ..., Xi 1 ) = PX (Xi |ElternGX (Xi ), R). Mit Def. bed. Unabh angigkeit folgt: PX (Xi |X1 , ..., Xi 1 ) = PX (Xi |ElternGX (Xi )) Einsetzen in allg. Kettenregel zeigt Behauptung.
Alexander Hein Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Bayesnetze-Zusammenfassung

Denition Bayesnetz Bayesnetz u ber X ist Paar BX := (PX , GX ), wobei PX durch GX faktorisiert wird, und die einzelnen Faktoren als BWVs den entsprechenden Knoten des Bayesger usts zugeordnet sind.

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Warm-Up
Satz Y Z = X. Disjunkte Menge von ZVs X P (X ) (X Y|Z) P (X ) = 1 (X, Z)2 (Y, Z).

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Warm-Up
Satz Y Z = X. Disjunkte Menge von ZVs X P (X ) (X Y|Z) P (X ) = 1 (X, Z)2 (Y, Z). Beweis (=): P (X, Z) P (Y, Z) P (Z) P (Z)

P (X|Z)P (Y|Z)

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Warm-Up
Satz Y Z = X. Disjunkte Menge von ZVs X P (X ) (X Y|Z) P (X ) = 1 (X, Z)2 (Y, Z). Beweis (=): P (X, Z) P (Y, Z) = P (Z) P (Z) P ( X , Y , Z) P (Z) P ( X , Y , Z) P ( Z)

P (X|Z)P (Y|Z)

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Warm-Up
Satz Y Z = X. Disjunkte Menge von ZVs X P (X ) (X Y|Z) P (X ) = 1 (X, Z)2 (Y, Z). Beweis (=): P ( X , Y , Z) P ( X , Y , Z) P (X, Z) P (Y, Z) = Y X P (Z) P (Z) P (Z) P ( Z) ( Y 1 (X, Z)2 (Y, Z)) ( X 1 (X, Z)2 (Y, Z)) P (Z) P (Z)

P (X|Z)P (Y|Z)

= =

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Warm-Up
Satz Y Z = X. Disjunkte Menge von ZVs X P (X ) (X Y|Z) P (X ) = 1 (X, Z)2 (Y, Z). Beweis (=): P ( X , Y , Z) P ( X , Y , Z) P (X, Z) P (Y, Z) = Y X P (Z) P (Z) P (Z) P ( Z) ( Y 1 (X, Z)2 (Y, Z)) ( X 1 (X, Z)2 (Y, Z)) P (Z) P (Z) 1 (X, Z)2 (Z) 1 (Z)2 (Y, Z) P (Z) P (Z)

P (X|Z)P (Y|Z)

= = =

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Warm-Up
Satz Y Z = X. Disjunkte Menge von ZVs X P (X ) (X Y|Z) P (X ) = 1 (X, Z)2 (Y, Z). Beweis (=): P ( X , Y , Z) P ( X , Y , Z) P (X, Z) P (Y, Z) = Y X P (Z) P (Z) P (Z) P ( Z) ( Y 1 (X, Z)2 (Y, Z)) ( X 1 (X, Z)2 (Y, Z)) P (Z) P (Z) 1 (X, Z)2 (Z) 1 (Z)2 (Y, Z) P (X, Y, Z)2 (Z)1 (Z) = P (Z) P (Z) P (Z) P (Z)

P (X|Z)P (Y|Z)

= = =

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Warm-Up
Satz Y Z = X. Disjunkte Menge von ZVs X P (X ) (X Y|Z) P (X ) = 1 (X, Z)2 (Y, Z). Beweis (=): P ( X , Y , Z) P ( X , Y , Z) P (X, Z) P (Y, Z) = Y X P (Z) P (Z) P (Z) P ( Z) ( Y 1 (X, Z)2 (Y, Z)) ( X 1 (X, Z)2 (Y, Z)) P (Z) P (Z) 1 (X, Z)2 (Z) 1 (Z)2 (Y, Z) P (X, Y, Z)2 (Z)1 (Z) = P (Z) P (Z) P (Z) P (Z) P (X, Y, Z) X,Y 1 (X, Z)2 (Y, Z) P (Z) P (Z)
Alexander Hein Einf uhrung in Bayes- und Markovnetze

P (X|Z)P (Y|Z)

= = = =

Einf uhrung Grundlagen Bayesnetze Markovnetze

Warm-Up
Satz Y Z = X. Disjunkte Menge von ZVs X P (X ) (X Y|Z) P (X ) = 1 (X, Z)2 (Y, Z). Beweis (=): P ( X , Y , Z) P ( X , Y , Z) P (X, Z) P (Y, Z) = Y X P (Z) P (Z) P (Z) P ( Z) ( Y 1 (X, Z)2 (Y, Z)) ( X 1 (X, Z)2 (Y, Z)) P (Z) P (Z) 1 (X, Z)2 (Z) 1 (Z)2 (Y, Z) P (X, Y, Z)2 (Z)1 (Z) = P (Z) P (Z) P (Z) P (Z) P (X, Y, Z) X,Y 1 (X, Z)2 (Y, Z) P (X, Y, Z) = P (Z) P (Z) P (Z)
Alexander Hein Einf uhrung in Bayes- und Markovnetze

P (X|Z)P (Y|Z)

= = = =

Einf uhrung Grundlagen Bayesnetze Markovnetze

Faktoren

Denition Faktor Faktor auf einer Menge von Zufallsvariablen D ist Abbildung : D R+ 0. X x x x+ x+ Z z z+ z z+ 1 (X , Z ) 13 2 4 11 Y y y y+ y+ Z z z+ z z+ 2 (Y , Z ) 2 6 23 1

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Gibbsverteilungen
Def. Gibbsverteilung Sei X = {X1 , ..., Xn } eine Menge von Zufallsvariablen und D1 , ..., Dk X . Eine Gibbsverteilung, parametrisiert durch Faktoren = {1 (D1 ), ..., k (Dk )}, ist deniert durch P (X1 , ..., Xn ) = wobei
k

1 P (X1 , ..., Xn ) Z

= P
i =1

i (Di )

ein nicht normiertes Mass und Z eine sog. Partitionierungsfunktion mit Z=

X1 ,...,Xn

(X1 , ..., Xn ) P

ist.
Alexander Hein Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Faktorisierung

Def. Faktorisierung Gibbsverteilung P mit = {1 (D1 ), ..., k (Dk )} u ber Variablen X = {X1 , ..., Xn } faktorisiert u ust GX , falls alle ber einem Markovger Di X (maximale) Cliquen in GX sind.

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Faktorisierung

Def. Faktorisierung Gibbsverteilung P mit = {1 (D1 ), ..., k (Dk )} u ber Variablen X = {X1 , ..., Xn } faktorisiert u ust GX , falls alle ber einem Markovger Di X (maximale) Cliquen in GX sind. Globale Markoveigenschaften Knotenmengen X, Y, Z GX . X und Y werden durch Z separiert, falls jeder Pfad zwischen Knoten aus X und Y durch Z verl auft: Schreibweise: sepGX (X; Y|Z)

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Faktorisierung

Def. Faktorisierung Gibbsverteilung P mit = {1 (D1 ), ..., k (Dk )} u ber Variablen X = {X1 , ..., Xn } faktorisiert u ust GX , falls alle ber einem Markovger Di X (maximale) Cliquen in GX sind. Globale Markoveigenschaften Knotenmengen X, Y, Z GX . X und Y werden durch Z separiert, falls jeder Pfad zwischen Knoten aus X und Y durch Z verl auft: Schreibweise: sepGX (X; Y|Z) Vom Markovger ust GX kodierte Unabh angigkeiten: IndGlob (GX ) := {(X Y | Z) : sepGX (X; Y|Z) }

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Beweis. Faktorisierung I-Map

Zu zeigen: P Gibbsverteilung, die u ber GX faktorisiert GX ist I-Map f ur P .

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Beweis. Faktorisierung I-Map

Zu zeigen: P Gibbsverteilung, die u ber GX faktorisiert GX ist I-Map f ur P . Y Z = X . X, Y werden durch Z separiert, d.h. keine 1.Fall: X Kanten zwischen Knoten aus X und Z, also jede Clique in entweder X Z oder Y Z.

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Beweis. Faktorisierung I-Map

Zu zeigen: P Gibbsverteilung, die u ber GX faktorisiert GX ist I-Map f ur P . Y Z = X . X, Y werden durch Z separiert, d.h. keine 1.Fall: X Kanten zwischen Knoten aus X und Z, also jede Clique in entweder X Z oder Y Z.Seien o.B.d.A. die Cliquen D1 , ..., Ds X Z und Ds +1 , ..., Dk Y Z. Es gilt: P (X1 , ..., Xn ) = 1 Z
s k

i (Di )
i =1 i =s +1

i (Di )

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Beweis. Faktorisierung I-Map

Zu zeigen: P Gibbsverteilung, die u ber GX faktorisiert GX ist I-Map f ur P . Y Z = X . X, Y werden durch Z separiert, d.h. keine 1.Fall: X Kanten zwischen Knoten aus X und Z, also jede Clique in entweder X Z oder Y Z.Seien o.B.d.A. die Cliquen D1 , ..., Ds X Z und Ds +1 , ..., Dk Y Z. Es gilt: P (X1 , ..., Xn ) = 1 Z
s k

i (Di )
i =1 i =s +1

i (Di )

Erstes Produkt enth alt keine ZVs aus Y und zweites keine aus X: P (X1 , ..., Xn ) = f (X, Z)g (Y, Z)

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Beweis. Faktorisierung I-Map

Zu zeigen: P Gibbsverteilung, die u ber GX faktorisiert GX ist I-Map f ur P . Y Z = X . X, Y werden durch Z separiert, d.h. keine 1.Fall: X Kanten zwischen Knoten aus X und Z, also jede Clique in entweder X Z oder Y Z.Seien o.B.d.A. die Cliquen D1 , ..., Ds X Z und Ds +1 , ..., Dk Y Z. Es gilt: P (X1 , ..., Xn ) = 1 Z
s k

i (Di )
i =1 i =s +1

i (Di )

Erstes Produkt enth alt keine ZVs aus Y und zweites keine aus X: P (X1 , ..., Xn ) = f (X, Z)g (Y, Z) also P (X Y | Z).
Alexander Hein Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

2.Fall

Y Z R = X Partitioniere R in Mengen RX und RY , 2.Fall: X sodass X RX und Y RY durch Z separiert werden.

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

2.Fall

Y Z R = X Partitioniere R in Mengen RX und RY , 2.Fall: X sodass X RX und Y RY durch Z separiert werden.Analog erster Fall folgt: P (X, RX Y, RY | Z)

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

2.Fall

Y Z R = X Partitioniere R in Mengen RX und RY , 2.Fall: X sodass X RX und Y RY durch Z separiert werden.Analog erster Fall folgt: P (X, RX Y, RY | Z) Mit Zerlegungsregel folgt: P ( X Y | Z)

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

2.Fall

Y Z R = X Partitioniere R in Mengen RX und RY , 2.Fall: X sodass X RX und Y RY durch Z separiert werden.Analog erster Fall folgt: P (X, RX Y, RY | Z) Mit Zerlegungsregel folgt: P Satz v. Hammersley-Cliord F ur strikt positive Verteilung PX gilt: Ist GX I-Map von PX , so ist PX Gibbsverteilung, die u ber GX faktorisiert. ( X Y | Z)

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Weitere Unabh angigkeiten

Lokale Markoveigenschaften IndLok (GX ) := {(X X X NbGX (X ) | NbGX (X ) : X X )}

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Weitere Unabh angigkeiten

Lokale Markoveigenschaften IndLok (GX ) := {(X X X NbGX (X ) | NbGX (X ) : X X )} Paarweise Markoveigenschaften IndPaar (GX ) := {(X Y | X {X , Y }) : X / NbGX (Y )}

Alexander Hein

Einf uhrung in Bayes- und Markovnetze

Einf uhrung Grundlagen Bayesnetze Markovnetze

Weitere Unabh angigkeiten

Lokale Markoveigenschaften IndLok (GX ) := {(X X X NbGX (X ) | NbGX (X ) : X X )} Paarweise Markoveigenschaften IndPaar (GX ) := {(X Y | X {X , Y }) : X / NbGX (Y )} Beziehungen zwischen Markoveigenschaften F ur strikt positive Verteilungen P u ur ein Markovger ust ber ZVs X gilt f GX : PX IndLok (GX ) PX IndPaar (GX ) PX IndGlob (GX )

Alexander Hein

Einf uhrung in Bayes- und Markovnetze