Contents

1. A Historical Introduction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 Some Historical Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2.1 Brownian Motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.2.2 Langevin’s Equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6
1.3 The Stock Market . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3.1 Statistics of Returns . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.3.2 Financial Derivatives . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
1.3.3 The Black-Scholes Formula . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.3.4 Heavy Tailed Distributions . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.4 Birth-Death Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11
1.5 Noise in Electronic Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.5.1 Shot Noise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14
1.5.2 Autocorrelation Functions and Spectra . . . . . . . . . . . . . . . . . . 18
1.5.3 Fourier Analysis of Fluctuating Functions: Stationary Systems 19
1.5.4 Johnson Noise and Nyquist’s Theorem . . . . . . . . . . . . . . . . . . 20

2. Probability Concepts . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.1 Events, and Sets of Events . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
2.2 Probabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2.1 Probability Axioms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
2.2.2 The Meaning of P( A) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2.3 The Meaning of the Axioms . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
2.2.4 Random Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
2.3 Joint and Conditional Probabilities: Independence . . . . . . . . . . . . . . . 27
2.3.1 Joint Probabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.3.2 Conditional Probabilities . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.3.3 Relationship Between Joint Probabilities of Different Orders 28
2.3.4 Independence . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 28
2.4 Mean Values and Probability Density . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.4.1 Determination of Probability Density by Means
of Arbitrary Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.4.2 Sets of Probability Zero . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30
2.5 The Interpretation of Mean Values . . . . . . . . . . . . . . . . . . . . . . . . . . . . 31
2.5.1 Moments, Correlations, and Covariances . . . . . . . . . . . . . . . . 32
2.5.2 The Law of Large Numbers . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
2.6 Characteristic Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 33
2.7 Cumulant Generating Function: Correlation Functions and Cumulants 34
2.7.1 Example: Cumulant of Order 4: X1 X2 X3 X4  . . . . . . . . . . . . 36
2.7.2 Significance of Cumulants . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.8 Gaussian and Poissonian Probability Distributions . . . . . . . . . . . . . . . 37
X Contents

2.8.1 The Gaussian Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37

2.8.2 Central Limit Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 38
2.8.3 The Poisson Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
2.9 Limits of Sequences of Random Variables . . . . . . . . . . . . . . . . . . . . . . 40
2.9.1 Almost Certain Limit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40
2.9.2 Mean Square Limit (Limit in the Mean) . . . . . . . . . . . . . . . . . 41
2.9.3 Stochastic Limit, or Limit in Probability . . . . . . . . . . . . . . . . . 41
2.9.4 Limit in Distribution . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
2.9.5 Relationship Between Limits . . . . . . . . . . . . . . . . . . . . . . . . . . 41

3. Markov Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.1 Stochastic Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.1.1 Kinds of Stochastic Process . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2 Markov Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.2.1 Consistency—the Chapman-Kolmogorov Equation . . . . . . . . 44
3.2.2 Discrete State Spaces . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44
3.2.3 More General Measures . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3 Continuity in Stochastic Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45
3.3.1 Mathematical Definition of a Continuous Markov Process . . 46
3.4 Differential Chapman-Kolmogorov Equation . . . . . . . . . . . . . . . . . . . . 47
3.4.1 Derivation of the Differential Chapman-Kolmogorov Equation 48
3.4.2 Status of the Differential Chapman-Kolmogorov Equation . . 51
3.5 Interpretation of Conditions and Results . . . . . . . . . . . . . . . . . . . . . . . . 51
3.5.1 Jump Processes: The Master Equation . . . . . . . . . . . . . . . . . . . 51
3.5.2 Diffusion Processes—the Fokker-Planck Equation . . . . . . . . . 52
3.5.3 Deterministic Processes—Liouville’s Equation . . . . . . . . . . . 54
3.5.4 General Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.6 Equations for Time Development in Initial Time—Backward
Equations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.7 Stationary and Homogeneous Markov Processes . . . . . . . . . . . . . . . . 56
3.7.1 Ergodic Properties . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 57
3.7.2 Homogeneous Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 60
3.7.3 Approach to a Stationary Process . . . . . . . . . . . . . . . . . . . . . . . 60
3.7.4 Autocorrelation Function for Markov Processes . . . . . . . . . . . 63
3.8 Examples of Markov Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.8.1 The Wiener Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
3.8.2 The Random Walk in One Dimension . . . . . . . . . . . . . . . . . . . 68
3.8.3 Poisson Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 71
3.8.4 The Ornstein-Uhlenbeck Process . . . . . . . . . . . . . . . . . . . . . . . 72
3.8.5 Random Telegraph Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . 75
 Contents XI

4. The Ito Calculus and Stochastic Differential Equations . . . . . . . . . . . . . 77

4.1 Motivation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
4.2 Stochastic Integration . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
4.2.1 Definition of the Stochastic Integral . . . . . . . . . . . . . . . . . . . . . 79
4.2.2 Ito Stochastic Integral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.2.3 Example ∫t0t W(t )dW(t ) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 81
4.2.4 The Stratonovich Integral . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.2.5 Nonanticipating Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82
4.2.6 Proof that dW(t)2 = dt and dW(t)2+N = 0 . . . . . . . . . . . . . . . . 83
4.2.7 Properties of the Ito Stochastic Integral . . . . . . . . . . . . . . . . . . 85
4.3 Stochastic Differential Equations (SDE) . . . . . . . . . . . . . . . . . . . . . . . . 88
4.3.1 Ito Stochastic Differential Equation: Definition . . . . . . . . . . . 89
4.3.2 Dependence on Initial Conditions and Parameters . . . . . . . . . 91
4.3.3 Markov Property of the Solution of an Ito SDE . . . . . . . . . . . 92
4.3.4 Change of Variables: Ito’s Formula . . . . . . . . . . . . . . . . . . . . . 92
4.3.5 Connection Between Fokker-Planck Equation and
Stochastic Differential Equation . . . . . . . . . . . . . . . . . . . . . . . . 93
4.3.6 Multivariable Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.4 The Stratonovich Stochastic Integral . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
4.4.1 Definition of the Stratonovich Stochastic Integral . . . . . . . . . 96
4.4.2 Stratonovich Stochastic Differential Equation . . . . . . . . . . . . . 96
4.5 Some Examples and Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 99
4.5.1 Coefficients without x Dependence . . . . . . . . . . . . . . . . . . . . . 99
4.5.2 Multiplicative Linear White Noise Process—Geometric
Brownian Motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
4.5.3 Complex Oscillator with Noisy Frequency . . . . . . . . . . . . . . . 101
4.5.4 Ornstein-Uhlenbeck Process . . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4.5.5 Conversion from Cartesian to Polar Coordinates . . . . . . . . . . 104
4.5.6 Multivariate Ornstein-Uhlenbeck Process . . . . . . . . . . . . . . . . 105
4.5.7 The General Single Variable Linear Equation . . . . . . . . . . . . . 108
4.5.8 Multivariable Linear Equations . . . . . . . . . . . . . . . . . . . . . . . . . 110
4.5.9 Time-Dependent Ornstein-Uhlenbeck Process . . . . . . . . . . . . 111

5. The Fokker-Planck Equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 113

5.1 Probability Current and Boundary Conditions . . . . . . . . . . . . . . . . . . . 114
5.1.1 Classification of Boundary Conditions . . . . . . . . . . . . . . . . . . . 116
5.1.2 Boundary Conditions for the Backward Fokker-
Planck Equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
5.2 Fokker-Planck Equation in One Dimension . . . . . . . . . . . . . . . . . . . . . 117
5.2.1 Boundary Conditions in One Dimension . . . . . . . . . . . . . . . . . 118
5.3 Stationary Solutions for Homogeneous Fokker-Planck Equations . . . 120
5.3.1 Examples of Stationary Solutions . . . . . . . . . . . . . . . . . . . . . . . 122
5.4 Eigenfunction Methods for Homogeneous Processes . . . . . . . . . . . . . 124
5.4.1 Eigenfunctions for Reflecting Boundaries . . . . . . . . . . . . . . . . 124
5.4.2 Eigenfunctions for Absorbing Boundaries . . . . . . . . . . . . . . . . 126
XII Contents

5.4.3 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

5.5 First Passage Times for Homogeneous Processes . . . . . . . . . . . . . . . . 130
5.5.1 Two Absorbing Barriers . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5.5.2 One Absorbing Barrier . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 132
5.5.3 Application—Escape Over a Potential Barrier . . . . . . . . . . . . 133
5.5.4 Probability of Exit Through a Particular End of the Interval . 135

6. The Fokker-Planck Equation in Several Dimensions . . . . . . . . . . . . . . . 138

6.1 Change of Variables . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
6.2 Stationary Solutions of Many Variable Fokker-Planck Equations . . . 140
6.2.1 Boundary Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
6.2.2 Potential Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
6.3 Detailed Balance . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 142
6.3.1 Definition of Detailed Balance . . . . . . . . . . . . . . . . . . . . . . . . . 142
6.3.2 Detailed Balance for a Markov Process . . . . . . . . . . . . . . . . . . 143
6.3.3 Consequences of Detailed Balance for Stationary Mean,
Autocorrelation Function and Spectrum . . . . . . . . . . . . . . . . . 144
6.3.4 Situations in Which Detailed Balance must be Generalised . 144
6.3.5 Implementation of Detailed Balance in the Differential
Chapman-Kolmogorov Equation . . . . . . . . . . . . . . . . . . . . . . . 145
6.4 Examples of Detailed Balance in Fokker-Planck Equations . . . . . . . . 149
6.4.1 Kramers’ Equation for Brownian Motion in a Potential . . . . . 149
6.4.2 Deterministic Motion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
6.4.3 Detailed Balance in Markovian Physical Systems . . . . . . . . . 153
6.4.4 Ornstein-Uhlenbeck Process . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
6.4.5 The Onsager Relations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155
6.4.6 Significance of the Onsager Relations—Fluctuation-
Dissipation Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 156
6.5 Eigenfunction Methods in Many Variables . . . . . . . . . . . . . . . . . . . . . . 158
6.5.1 Relationship between Forward and Backward Eigenfunctions 159
6.5.2 Even Variables Only—Negativity of Eigenvalues . . . . . . . . . . 159
6.5.3 A Variational Principle . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 160
6.5.4 Conditional Probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
6.5.5 Autocorrelation Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 161
6.5.6 Spectrum Matrix . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
6.6 First Exit Time from a Region (Homogeneous Processes) . . . . . . . . . 163
6.6.1 Solutions of Mean Exit Time Problems . . . . . . . . . . . . . . . . . . 164
6.6.2 Distribution of Exit Points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 166

7. Small Noise Approximations for Diffusion Processes . . . . . . . . . . . . . . . 169

7.1 Comparison of Small Noise Expansions for Stochastic Differential
Equations and Fokker-Planck Equations . . . . . . . . . . . . . . . . . . . . . . . . 169
7.2 Small Noise Expansions for Stochastic Differential Equations . . . . . 171
7.2.1 Validity of the Expansion . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 174
7.2.2 Stationary Solutions (Homogeneous Processes) . . . . . . . . . . . 175
 Contents XIII

7.2.3 Mean, Variance, and Time Correlation Function . . . . . . . . . . 175

7.2.4 Failure of Small Noise Perturbation Theories . . . . . . . . . . . . . 176
7.3 Small Noise Expansion of the Fokker-Planck Equation . . . . . . . . . . . 178
7.3.1 Equations for Moments and Autocorrelation Functions . . . . . 180
7.3.2 Example . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
7.3.3 Asymptotic Method for Stationary Distribution . . . . . . . . . . . 184

8. The White Noise Limit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 185

8.1 White Noise Process as a Limit of Nonwhite Process . . . . . . . . . . . . . 185
8.1.1 Formulation of the Limit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
8.1.2 Generalisations of the Method . . . . . . . . . . . . . . . . . . . . . . . . . 189
8.2 Brownian Motion and the Smoluchowski Equation . . . . . . . . . . . . . . 192
8.2.1 Systematic Formulation in Terms of Operators and Projectors 194
8.2.2 Short-Time Behaviour . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
8.2.3 Boundary Conditions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197
8.2.4 Evaluation of Higher Order Corrections . . . . . . . . . . . . . . . . . 198
8.3 Adiabatic Elimination of Fast Variables: The General Case . . . . . . . . 202
8.3.1 Example: Elimination of Short-Lived Chemical Intermediates202
8.3.2 Adiabatic Elimination in Haken’s Model . . . . . . . . . . . . . . . . . 206
8.3.3 Adiabatic Elimination of Fast Variables: A Nonlinear Case . 210
8.3.4 An Example with Arbitrary Nonlinear Coupling . . . . . . . . . . 214

9. Beyond the White Noise Limit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 216

9.1 Specification of the Problem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 217
9.1.1 Eigenfunctions of L1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
9.1.2 Projectors . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
9.2 Bloch’s Perturbation Theory . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219
9.2.1 Formalism for the Perturbation Theory . . . . . . . . . . . . . . . . . . 220
9.2.2 Application of Bloch’s Perturbation Theory . . . . . . . . . . . . . . 222
9.2.3 Construction of the Conditional Probability . . . . . . . . . . . . . . 223
9.2.4 Stationary Solution P s (x, p) . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
9.2.5 Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 226
9.2.6 Generalisation to a system driven by several Markov
Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
9.3 Computation of Correlation Functions . . . . . . . . . . . . . . . . . . . . . . . . . 230
9.3.1 Special Results for Ornstein-Uhlenbeck p(t) . . . . . . . . . . . . . . 232
9.3.2 Generalisation to Arbitrary Gaussian Inputs . . . . . . . . . . . . . . 232
9.4 The White Noise Limit . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233
9.4.1 Relation of the White Noise Limit of x(t)ξ(0) to the
Impulse Response Function . . . . . . . . . . . . . . . . . . . . . . . . . . . . 233

10. Lévy Processes and Financial Applications . . . . . . . . . . . . . . . . . . . . . . . . 235

10.1 Stochastic Description of Stock Prices . . . . . . . . . . . . . . . . . . . . . . . . . 235
10.2 The Brownian Motion Description of Financial Markets . . . . . . . . . . 237
10.2.1 Financial Assets . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
XIV Contents

10.2.2 “Long” and “Short” Positions . . . . . . . . . . . . . . . . . . . . . . . . . . 238

10.2.3 Perfect Liquidity . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
10.2.4 The Black-Scholes Formula . . . . . . . . . . . . . . . . . . . . . . . . . . . 238
10.2.5 Explicit Solution for the Option Price . . . . . . . . . . . . . . . . . . . 240
10.2.6 Analysis of the Formula . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
10.2.7 The Risk-Neutral Formulation . . . . . . . . . . . . . . . . . . . . . . . . . 244
10.2.8 Change of Measure and Girsanov’s Theorem . . . . . . . . . . . . . 245
10.3 Heavy Tails and Lévy Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248
10.3.1 Lévy Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 248
10.3.2 Infinite Divisibility . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 249
10.3.3 The Poisson Process . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250
10.3.4 The Compound Poisson Process . . . . . . . . . . . . . . . . . . . . . . . . 250
10.3.5 Lévy Processes with Infinite Intensity . . . . . . . . . . . . . . . . . . . 251
10.3.6 The Lévy-Khinchin Formula . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
10.4 The Paretian Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
10.4.1 Shapes of the Paretian Distributions . . . . . . . . . . . . . . . . . . . . . 255
10.4.2 The Events of a Paretian Process . . . . . . . . . . . . . . . . . . . . . . . 255
10.4.3 Stable Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
10.4.4 Other Lévy processes . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258
10.5 Modelling the Empirical Behaviour of Financial Markets . . . . . . . . . 258
10.5.1 Stylised Statistical Facts on Asset Returns . . . . . . . . . . . . . . . 258
10.5.2 The Paretian Process Description . . . . . . . . . . . . . . . . . . . . . . . 259
10.5.3 Implications for Realistic Models . . . . . . . . . . . . . . . . . . . . . . . 259
10.5.4 Equivalent Martingale Measure . . . . . . . . . . . . . . . . . . . . . . . . 260
10.5.5 Hyperbolic Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
10.5.6 Choice of Models . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 262
10.6 Epilogue—the Crash of 2008 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 263

11. Master Equations and Jump Processes . . . . . . . . . . . . . . . . . . . . . . . . . . . 264

11.1 Birth-Death Master Equations—One Variable . . . . . . . . . . . . . . . . . . . 264
11.1.1 Stationary Solutions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
11.1.2 Example: Chemical Reaction X  A . . . . . . . . . . . . . . . . . . . . 267
11.1.3 A Chemical Bistable System . . . . . . . . . . . . . . . . . . . . . . . . . . . 269
11.2 Approximation of Master Equations by Fokker-Planck Equations . . 273
11.2.1 Jump Process Approximation of a Diffusion Process . . . . . . . 273
11.2.2 The Kramers-Moyal Expansion . . . . . . . . . . . . . . . . . . . . . . . . 275
11.2.3 Van Kampen’s System Size Expansion . . . . . . . . . . . . . . . . . . 276
11.2.4 Kurtz’s Theorem . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 280
11.2.5 Critical Fluctuations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 281
11.3 Boundary Conditions for Birth-Death Processes . . . . . . . . . . . . . . . . . 283
11.4 Mean First Passage Times . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
11.4.1 Probability of Absorption . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 286
11.4.2 Comparison with Fokker-Planck Equation . . . . . . . . . . . . . . . 286
11.5 Birth-Death Systems with Many Variables . . . . . . . . . . . . . . . . . . . . . . 287
11.5.1 Stationary Solutions when Detailed Balance Holds . . . . . . . . 288
 Contents XV

11.5.2 Stationary Solutions Without Detailed Balance

(Kirchoff’s Solution) . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 290
11.5.3 System Size Expansion and Related Expansions . . . . . . . . . . 291
11.6 Some Examples . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291
11.6.1 X + A  2X . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291
γ k
11.6.2 X  Y  A . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292
k γ
11.6.3 Prey-Predator System . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 292
11.6.4 Generating Function Equations . . . . . . . . . . . . . . . . . . . . . . . . . 297

12. The Poisson Representation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 301

12.1 Formulation of the Poisson Representation . . . . . . . . . . . . . . . . . . . . . 301
12.2 Kinds of Poisson Representations . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305
12.2.1 Real Poisson Representations . . . . . . . . . . . . . . . . . . . . . . . . . . 305
12.2.2 Complex Poisson Representations . . . . . . . . . . . . . . . . . . . . . . 306
12.2.3 The Positive Poisson Representation . . . . . . . . . . . . . . . . . . . . 309
12.3 Time Correlation Functions . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 313
12.3.1 Interpretation in Terms of Statistical Mechanics . . . . . . . . . . . 314
12.3.2 Linearised Results . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318
12.4 Trimolecular Reaction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 318
12.4.1 Fokker-Planck Equation for Trimolecular Reaction . . . . . . . . 319
12.4.2 Third-Order Noise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 323
12.4.3 Example of the Use of Third-Order Noise. . . . . . . . . . . . . . . . 324
12.5 Simulations Using the Positive Poisson representation . . . . . . . . . . . . 326
12.5.1 Analytic Treatment via the Deterministic Equation . . . . . . . . 326
12.5.2 Full Stochastic Case . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 329
12.5.3 Testing the Validity of Positive Poisson Simulations . . . . . . . 331
12.6 Application of the Poisson Representation to Population Dynamics . 332
12.6.1 The Logistic Model . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 332
12.6.2 Poisson Representation Stochastic Differential Equation . . . . 333
12.6.3 Environmental Noise . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 333
12.6.4 Extinction . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 334

13. Spatially Distributed Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336

13.1 Background . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 336
13.1.1 Functional Fokker-Planck Equations . . . . . . . . . . . . . . . . . . . . 338
13.2 Multivariate Master Equation Description . . . . . . . . . . . . . . . . . . . . . . 339
13.2.1 Continuum Form of Diffusion Master Equation . . . . . . . . . . . 341
13.2.2 Combining Reactions and Diffusion . . . . . . . . . . . . . . . . . . . . . 345
13.2.3 Poisson Representation Methods . . . . . . . . . . . . . . . . . . . . . . . 346
13.3 Spatial and Temporal Correlation Structures . . . . . . . . . . . . . . . . . . . . 347
k1
13.3.1 Reaction X  Y . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 347
k2
k1
13.3.2 Reactions B + X  C, A + X −→ 2X . . . . . . . . . . . . . . . . . . . 350
k3 k2
13.3.3 A Nonlinear Model with a Second-Order Phase Transition . . 355
XVI Contents

13.4 Connection Between Local and Global Descriptions . . . . . . . . . . . . . 359

13.4.1 Explicit Adiabatic Elimination of Inhomogeneous Modes . . 360
13.5 Phase-Space Master Equation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
13.5.1 Treatment of Flow . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 362
13.5.2 Flow as a Birth-Death Process . . . . . . . . . . . . . . . . . . . . . . . . . 363
13.5.3 Inclusion of Collisions—the Boltzmann Master Equation . . . 366
13.5.4 Collisions and Flow Together . . . . . . . . . . . . . . . . . . . . . . . . . . 369

14. Bistability, Metastability, and Escape Problems . . . . . . . . . . . . . . . . . . . . 372

14.1 Diffusion in a Double-Well Potential (One Variable) . . . . . . . . . . . . . 372
14.1.1 Behaviour for D = 0 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 373
14.1.2 Behaviour if D is Very Small . . . . . . . . . . . . . . . . . . . . . . . . . . 373
14.1.3 Exit Time . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
14.1.4 Splitting Probability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 375
14.1.5 Decay from an Unstable State . . . . . . . . . . . . . . . . . . . . . . . . . . 377
14.2 Equilibration of Populations in Each Well . . . . . . . . . . . . . . . . . . . . . . 378
14.2.1 Kramers’ Method . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378
14.2.2 Example: Reversible Denaturation of Chymotrypsinogen . . . 382
14.2.3 Bistability with Birth-Death Master Equations (One Variable) 384
14.3 Bistability in Multivariable Systems . . . . . . . . . . . . . . . . . . . . . . . . . . . 386
14.3.1 Distribution of Exit Points . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 387
14.3.2 Asymptotic Analysis of Mean Exit Time . . . . . . . . . . . . . . . . . 391
14.3.3 Kramers’ Method in Several Dimensions . . . . . . . . . . . . . . . . 392
14.3.4 Example: Brownian Motion in a Double Potential . . . . . . . . . 394

15. Simulation of Stochastic Differential Equations . . . . . . . . . . . . . . . . . . . . 401

15.1 The One Variable Taylor Expansion . . . . . . . . . . . . . . . . . . . . . . . . . . . 402
15.1.1 Euler Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402
15.1.2 Higher Orders . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 402
15.1.3 Multiple Stochastic Integrals . . . . . . . . . . . . . . . . . . . . . . . . . . . 403
15.1.4 The Euler Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 404
15.1.5 Milstein Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 406
15.2 The Meaning of Weak and Strong Convergence . . . . . . . . . . . . . . . . . 407
15.3 Stability . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407
15.3.1 Consistency . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 410
15.4 Implicit and Semi-implicit Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . 410
15.5 Vector Stochastic Differential Equations . . . . . . . . . . . . . . . . . . . . . . . 411
15.5.1 Formulae and Notation . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 412
15.5.2 Multiple Stochastic Integrals . . . . . . . . . . . . . . . . . . . . . . . . . . . 412
15.5.3 The Vector Euler Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . . . 414
15.5.4 The Vector Milstein Algorithm . . . . . . . . . . . . . . . . . . . . . . . . . 414
15.5.5 The Strong Vector Semi-implicit Algorithm . . . . . . . . . . . . . . 415
15.5.6 The Weak Vector Semi-implicit Algorithm . . . . . . . . . . . . . . . 415
15.6 Higher Order Algorithms . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 416
15.7 Stochastic Partial Differential Equations . . . . . . . . . . . . . . . . . . . . . . . 417
 Contents XVII

15.7.1 Fourier Transform Methods . . . . . . . . . . . . . . . . . . . . . . . . . . . . 418

15.7.2 The Interaction Picture Method . . . . . . . . . . . . . . . . . . . . . . . . 419
15.8 Software Resources . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 420

References . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 421

Bibliography . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429

Author Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 434

Symbol Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 435

Subject Index . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 439

http://www.springer.com/978-3-540-70712-7