Beruflich Dokumente
Kultur Dokumente
Uniform Continuous
0.180
0.160
0.140
0.120
0.100
0.080
0.060
0.040
0.020
0.000
-3 -2 -1 0 1 2 3 4 5
Uniform Continuous
Domain where
Function is greater than zero: [a,b)
Mean (1/2)*(a+b)
Variance (1/12)*(b-a)^2
Excel Functions
f(x) =1/(b-a)
x f(x)
-1 0.167
-0.9 0.167
-0.8 0.167
-0.7 0.167
-0.6 0.167
-0.5 0.167
-0.4 0.167
-0.3 0.167
-0.2 0.167
-0.1 0.167
0 0.167
0.1 0.167
0.2 0.167
0.3 0.167
0.4 0.167
0.5 0.167
0.6 0.167
0.7 0.167
0.8 0.167
0.9 0.167
1 0.167
1.1 0.167
1.2 0.167
1.3 0.167
1.4 0.167
1.5 0.167
1.6 0.167
1.7 0.167
1.8 0.167
1.9 0.167
2 0.167
2.1 0.167
2.2 0.167
2.3 0.167
2.4 0.167
2.5 0.167
2.6 0.167
2.7 0.167
2.8 0.167
2.9 0.167
3 0.167
3.1 0.167
3.2 0.167
3.3 0.167
3.4 0.167
3.5 0.167
3.6 0.167
3.7 0.167
3.8 0.167
3.9 0.167
4 0.167
4.1 0.167
4.2 0.167
4.3 0.167
4.4 0.167
4.5 0.167
4.6 0.167
4.7 0.167
4.8 0.167
4.9 0.167
5 0.167
5.1 0.167
5.2 0.167
5.3 0.167
5.4 0.167
5.5 0.167
5.6 0.167
5.7 0.167
5.8 0.167
5.9 0.167
6 0.167
6.1 0.167
6.2 0.167
6.3 0.167
6.4 0.167
6.5 0.167
6.6 0.167
6.7 0.167
6.8 0.167
6.9 0.167
7 0.167
7.1 0.167
7.2 0.167
7.3 0.167
7.4 0.167
7.5 0.167
7.6 0.167
7.7 0.167
7.8 0.167
7.9 0.167
8 0.167
8.1 0.167
8.2 0.167
8.3 0.167
8.4 0.167
8.5 0.167
8.6 0.167
8.7 0.167
8.8 0.167
8.9 0.167
9 0.167
9.1 0.167
9.2 0.167
9.3 0.167
9.4 0.167
9.5 0.167
9.6 0.167
9.7 0.167
9.8 0.167
9.9 0.167
10 0.167
10.1 0.167
10.2 0.167
10.3 0.167
10.4 0.167
10.5 0.167
10.6 0.167
10.7 0.167
10.8 0.167
10.9 0.167
butions
ontinuous
Column C
3 4 5 6 7 8
3.00
1.73
0
2.58
maximum entropy over the support interval [a,b)
0.167
0.667
Uniform Discrete
0.250
0.200
0.150
0.100
0.050
0.000
0.5 1 1.5 2 2.5 3 3.5 4 4.5 5
Uniform Discrete
Support - the domain where
Function is greater than zero: integers in interval [a, b]
Mean (1/2)*(a+b)
Excel Functions
f(x) =1/(n) = 1/(b -a +1)
x f(x)
1 0.200
2 0.200
3 0.200
4 0.200
5 0.200
te
0.25
0.2
0.15
f(x)
0.1
0.05
0
-6 -5 -4 -3
5 4 4.5 5 5.5
Example
1 (input a)
5 (input b)
3 [input x]
3
1.4142135624
0
2.00
maximum entropy over n outcomes
where n = (b - a +1)
0.200
0.750
Gaussian
0.25
0.2
0.15
0.1
0.05
0
-6 -5 -4 -3 -2 -1 0 1 2 3 4
Mean
Variance
Standard deviation
Skewness
Entropy (log2)
Excel Functions
f(x)
Cumulative function at x
x
-5
-4.9
-4.8
-4.7
-4.6
-4.5
-4.4
-4.3
-4.2
-4.1
-4
-3.9
-3.8
-3.7
-3.6
-3.5
-3.4
-3.3
-3.2
-3.1
-3
-2.9
-2.8
-2.7
-2.6
-2.5
-2.4
-2.3
-2.2
-2.1
-2
-1.9
-1.8
-1.7
-1.6
-1.5
-1.4
-1.3
-1.2
-1.1
-1
-0.9
-0.8
-0.7
-0.6
-0.5
-0.4
-0.3
-0.2
-0.1
-1.02695629777827E-15
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
1.1
1.2
1.3
1.4
1.5
1.6
1.7
1.8
1.9
2
2.1
2.2
2.3
2.4
2.5
2.6
2.7
2.8
2.9
3
3.1
3.2
3.3
3.4
3.5
3.6
3.7
3.8
3.9
4
4.1
4.2
4.3
4.4
4.5
4.6
4.7
4.8
4.9
5
5.1
5.2
5.3
5.4
5.5
5.6
5.7
5.8
5.9
6
6.1
6.2
6.3
6.4
6.5
6.6
6.7
6.8
6.9
7
Gaussian
f(x)
-3 -2 -1 0 1 2 3 4 5 6 7 8
Gaussian (Continuous)
(sigma)^2
sigma
0
2.05 +log(sigma)
maximum entropy over the real numbers subject to constraint
on value of sigma
f(x)
0.0022159242
0.0025713205
0.0029762662
0.0034363833
0.0039577258
0.0045467813
0.0052104674
0.0059561218
0.0067914846
0.0077246736
0.0087641502
0.0099186772
0.0111972651
0.01260911
0.0141635189
0.0158698259
0.0177372964
0.0197750208
0.021991798
0.0243960093
0.0269954833
0.029797353
0.0328079074
0.0360324372
0.0394750792
0.0431386594
0.0470245387
0.0511324623
0.0554604173
0.0600045003
0.0647587978
0.0697152832
0.0748637328
0.0801916637
0.085684296
0.0913245427
0.0970930275
0.1029681344
0.1089260885
0.1149410703
0.1209853623
0.1270295282
0.1330426249
0.1389924431
0.1448457764
0.1505687161
0.1561269667
0.1614861798
0.1666123014
0.1714719275
0.1760326634
0.1802634812
0.1841350702
0.1876201735
0.1906939077
0.1933340584
0.195521347
0.1972396655
0.1984762737
0.199221957
0.1994711402
0.199221957
0.1984762737
0.1972396655
0.195521347
0.1933340584
0.1906939077
0.1876201735
0.1841350702
0.1802634812
0.1760326634
0.1714719275
0.1666123014
0.1614861798
0.1561269667
0.1505687161
0.1448457764
0.1389924431
0.1330426249
0.1270295282
0.1209853623
0.1149410703
0.1089260885
0.1029681344
0.0970930275
0.0913245427
0.085684296
0.0801916637
0.0748637328
0.0697152832
0.0647587978
0.0600045003
0.0554604173
0.0511324623
0.0470245387
0.0431386594
0.0394750792
0.0360324372
0.0328079074
0.029797353
0.0269954833
0.0243960093
0.021991798
0.0197750208
0.0177372964
0.0158698259
0.0141635189
0.01260911
0.0111972651
0.0099186772
0.0087641502
0.0077246736
0.0067914846
0.0059561218
0.0052104674
0.0045467813
0.0039577258
0.0034363833
0.0029762662
0.0025713205
0.0022159242
0.09
0.08
0.07
0.06
f(x) 0.05
0.04
0.03
0.02
0.01
0
6 7 8
0 10 20 30 40
(input sigma)
(input mu)
[input x]
Mean
Example:
4 Variance
2 Standard deviation
0 Skewness
Excel Functions
0.193 f(x)
0.193
0.599 Cumulative function at x
x
0
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
Binomial
20 30 40 50 60 70 80 90
Binomial (Discrete)
=n*p*(1-p)
=sqrt(n*p*(1-p))
=(1-2p) / sqrt(n*p*(1-p))
2.05 + log(sqrt(n*p*(1-p))
ution approaches a Gaussian with mean mu = np, variance = sigma^2 = n*p*(1-p) and skewness = 0
Therefore binomial is the maximum entropy distribution given standard deviation sqrt(n*p*(1-p).
f(x)
1.606938044259E-40
2.41040706638848E-38
1.78972724679342E-36
8.76966350928808E-35
3.18996510150341E-33
9.18709949232982E-32
2.18193612942833E-30
4.39504277499136E-29
7.66385583889119E-28
1.17512456196332E-26
1.60404502707993E-25
1.96860071505264E-24
2.19006829549606E-23
2.22376165388831E-22
2.07286354166018E-21
1.78266264582775E-20
1.42055929589399E-19
1.05288512519202E-18
7.28245544924478E-18
4.71443168556373E-17
2.86401724897997E-16
1.63658128513141E-15
8.8152219221851E-15
4.48426506476373E-14
2.15805256241754E-13
9.840719684624E-13
4.25800370969308E-12
1.75051263620716E-11
6.8457547737387E-11
2.54945350194407E-10
9.05055993190145E-10
3.06551223499888E-09
9.91501613507451E-09
3.06464135084121E-08
9.05871928704535E-08
2.56232345547854E-07
0.000000694
1.8005516173633E-06
4.47768757475874E-06
1.06775626782708E-05
2.44249246265446E-05
5.361568820461E-05
0.0001129759
0.0002285792
0.0004441709
0.000829119
0.0014870069
0.0025627141
0.0042444952
0.0067565433
0.0103375113
0.0152022224
0.0214877567
0.0291909148
0.038110361
0.0478111801
0.0576295474
0.0667289497
0.074207194
0.0792381902
0.081219145
0.0798876836
0.075377895
0.0681990479
0.0591413618
0.0491328237
0.0390829279
0.0297496914
0.0216560254
0.0150650611
0.0100075049
0.0063427848
0.0038320991
0.0022047694
0.0012066643
0.0006274654
0.0003096047
0.0001447502
6.40241405390009E-05
2.67442612378105E-05
1.05305528623879E-05
3.90020476384737E-06
1.35555897280061E-06
0.000000441
1.33864364999028E-07
3.77969971761961E-08
9.88874926121409E-09
2.38693947684478E-09
5.28924088619014E-10
1.06973411181374E-10
1.96117920499185E-11
3.2327129752613E-12
4.74365490935082E-13
6.12084504432364E-14
6.83711414525513E-15
6.47726603234697E-16
5.06036408777107E-17
3.13012211614705E-18
1.43730097170018E-19
4.35545749000054E-21
6.53318623500082E-23
Continuo
0.3500
0.3000
0.2500
f(x) 0.2000
0.1500
0.1000
0.0500
0.0000
90 100
0 2 4
24 Variance
Excel Functions
0.049 f(x)
x
0
0.1
0.2
0.3
0.4
0.5
0.6
0.7
0.8
0.9
1
1.1
1.2
1.3
1.4
1.5
1.6
1.7
1.8
1.9
2
2.1
2.2
2.3
2.4
2.5
2.6
2.7
2.8
2.9
3
3.1
3.2
3.3
3.4
3.5
3.6
3.7
3.8
3.9
4
4.1
4.2
4.3
4.4
4.5
4.6
4.7
4.8
4.9
5
5.1
5.2
5.3
5.4
5.5
5.6
5.7
5.8
5.9
6
6.1
6.2
6.3
6.4
6.5
6.6
6.7
6.8
6.9
7
7.1
7.2
7.3
7.4
7.5
7.6
7.7
7.8
7.9
8
8.1
8.2
8.3
8.4
8.5
8.6
8.7
8.8
8.9
9
9.1
9.2
9.3
9.4
9.5
9.6
9.7
9.8
9.9
10
10.1
10.2
10.3
10.4
10.5
10.6
10.7
10.8
10.9
11
11.1
11.2
11.3
11.4
11.5
11.6
11.7
11.8
11.9
12
Continuous Exponential
f(x)
4 6 8 10 12
Continuous Exponential
[0, infinity]
Parameter "lambda"
input x
=1/lambda
=(1/lambda)^2
=(1/lambda)
2
1.44 - log(lambda)
= 1.44 + log(mean)
Maximum entropy over support [0, infinity] where mean is known.
= lambda*(exp(-lambda*x))
=EXPONDIST(x, lambda, cumulative = false)
= 1- exp(-lambda*x)
=EXPONDISTt(x, lambda, cumulative = true)
f(x)
0.3333
0.3224
0.3118
0.3016
0.2917
0.2822
0.2729
0.2640
0.2553
0.2469
0.2388
0.2310
0.2234
0.2161
0.2090
0.2022
0.1955
0.1891
0.1829
0.1769
0.1711
0.1655
0.1601
0.1549
0.1498
0.1449
0.1401
0.1355
0.1311
0.1268
0.1226
0.1186
0.1147
0.1110
0.1073
0.1038
0.1004
0.0971
0.0939
0.0908
0.0879
0.0850
0.0822
0.0795
0.0769
0.0744
0.0719
0.0696
0.0673
0.0651
0.0630
0.0609
0.0589
0.0570
0.0551
0.0533
0.0515
0.0499
0.0482
0.0466
0.0451
0.0436
0.0422
0.0408
0.0395
0.0382
0.0369
0.0357
0.0346
0.0334
0.0323
0.0313
0.0302
0.0292
0.0283
0.0274
0.0265
0.0256
0.0248
0.0239
0.0232
0.0224
0.0217
0.0210
0.0203
0.0196
0.0190
0.0183
0.0177
0.0172
0.0166
0.0161
0.0155
0.0150
0.0145
0.0140
0.0136
0.0131
0.0127
0.0123
0.0119
0.0115
0.0111
0.0108
0.0104
0.0101
0.0097
0.0094
0.0091
0.0088
0.0085
0.0082
0.0080
0.0077
0.0075
0.0072
0.0070
0.0067
0.0065
0.0063
0.0061
f(x)
10 12
Example
0.333
4.5
3.0
9.0
3.0
2
3.025
0.777