Beruflich Dokumente
Kultur Dokumente
Fall 1998
Contents
0.1 Introduction : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 4
0.2 Grading Components : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 5
0.3 Schedule : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 6
0.4 Mathematical Methods in Business : : : : : : : : : : : : : : : : : : : : : : : : : : : : 6
0.4.1 History : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 6
0.4.2 Mathematical Modeling Today : : : : : : : : : : : : : : : : : : : : : : : : : : 7
1 Basic Linear Algebra 9
1.1 Linear Equations : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 9
1.2 Operations on Vectors and Matrices : : : : : : : : : : : : : : : : : : : : : : : : : : : 12
1.3 Linear Combinations : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 15
1.4 Inverse of a Square Matrix : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 20
1.5 Determinants : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 23
1.6 Positive Denite Matrices : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 23
2 Unconstrained Optimization: Functions of One Variable 25
2.1 Derivatives : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 25
2.2 Maximum and Minimum : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 26
2.3 Binary Search : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 30
2.4 Convexity : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 33
3 Unconstrained Optimization: Functions of Several Variables 37
3.1 Gradient : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 37
3.2 Maximum and Minimum : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 39
3.3 Global Optima : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 41
4 Constrained Optimization 43
4.1 Equality Constraints (Lagrangians) : : : : : : : : : : : : : : : : : : : : : : : : : : : : 43
4.1.1 Geometric Interpretation : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 45
4.1.2 Economic Interpretation : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 45
4.2 Equality and Inequality Constraints : : : : : : : : : : : : : : : : : : : : : : : : : : : 49
4.3 Exercises : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 53
5 Modeling with Linear Programming 57
5.1 Introductory Example : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 57
5.1.1 Modeling : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 57
5.1.2 Solving the Model : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 58
5.1.3 Using Solver : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 61
1
2 CONTENTS
5.2 Second Example: Market Allocations : : : : : : : : : : : : : : : : : : : : : : : : : : : 62
5.2.1 Modeling : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 63
5.2.2 Solving the Model : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 63
5.2.3 Using Solver : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 64
5.3 Common Features : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 64
5.4 Linear Programming Models : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 65
5.4.1 Diet Problem : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 65
5.4.2 Workforce Planning : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 66
5.4.3 Financial Portfolio : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 67
5.4.4 Production over Time : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 69
5.4.5 Investing over Time : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 70
5.4.6 Problems : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 72
6 Case Study 79
7 The Simplex Method 87
7.1 Linear Programs in Standard Form : : : : : : : : : : : : : : : : : : : : : : : : : : : : 87
7.2 Solution of Linear Programs by the Simplex Method : : : : : : : : : : : : : : : : : : 88
7.3 Alternate Optimal Solutions, Degeneracy, Unboudedness, Infeasibility : : : : : : : : 92
8 Sensitivity Analysis for Linear Programming 97
8.1 Tableau Sensitivity Analysis : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 97
8.1.1 Cost Changes : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 97
8.1.2 Right Hand Side Changes : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 99
8.1.3 New Variable : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 100
8.2 Solver Output : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 104
8.2.1 Tucker Automobiles : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 104
8.2.2 Carla's Maps : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 106
9 Decision Theory 113
9.1 Decisions Under Risk : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 114
9.2 Decision Trees : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 115
10 Game Theory 125
10.1 Two-Person Games : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 125
10.1.1 Pure Strategies : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 125
10.1.2 Mixed Strategies : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 129
10.2 n-Person Games : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 132
11 Network Optimization 135
11.1 Introduction : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 135
11.2 Terminology : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 135
11.3 Examples : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 136
11.3.1 Shortest Paths : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 136
11.3.2 Maximum Flow : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 137
11.3.3 Transportation Problem : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 138
11.3.4 Assignment Problem : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : : 141
11.4 Unifying Model: Minimum Cost Network Flows : : : : : : : : : : : : : : : : : : : : : 142
CONTENTS 3
Course Syllabus
0.1 Introduction
Objectives of the Course:
to provide a formal quantitative approach to problem solving;
to give an intuition for managerial situations where a quantitative approach is appropriate;
to introduce some widely used quantitative models;
to introduce software for solving such models.
To accomplish these objectives we provide:
background in linear algebra and nonlinear optimization;
description of the linear programming model, decision theory, etc.;
explanation of the mathematical ideas behind these widely used models;
hands-on experience with software such as SOLVER;
examples of business applications;
a case study that shows how models are used in practice.
Instructors
Gerard Cornuejols, GSIA 232A, phone 268-2284, fax 268-7357
email: gc0v@andrew.cmu.edu
secretary: Barbara Carlson 268-1342, GSIA 232.
Michael Trick, GSIA 257C, phone 268-3697, fax 268-7057
email: trick@andrew.cmu.edu
Required Material for the Course
The course notes are self contained. The software for this course is installed in your notebooks.
Instruction on using it will be provided in class.
0.2. GRADING COMPONENTS 5
problems. Their success attracted attention, and operations research spread to industry during the
fties.
After the war, G. Dantzig and others developed linear programming at about the same time
that computers became available to solve linear programming models. Linear programming proved
a remarkably useful tool for the ecient allocation of resources, and this gave a great boost to
operations research. In the early postwar years J. von Neumann and O. Morgenstern invented
game theory (closely related to linear programming), and H. W. Kuhn and A. W. Tucker broke
ground in nonlinear programming. W. E. Deming and others developed statistical techniques for
quality control, and the statistical methods rst designed for psychometrics in the early 20th century
became the mathematical basis for econometrics. Meanwhile business schools began teaching many
of these techniques along with microeconomics and other quantitative elds. As a result of all this,
mathematical modeling has played an increasingly important role in management and economics.
In fact one can make a case that overreliance on a mathematical approach has sometimes led
to neglect of other approaches. After its rst few years, operations research focused almost exclu-
sively on mathematical modeling. The reigning orthodoxy in much of economics is the \neoclas-
sical" paradigm, which is heavily mathematical. There is little communication between people in
quantitative elds and those in such \soft" elds as organizational science and general management.
In fact both approaches appear to be in a crisis. Economics and operations research have
achieved much, but neither can adequately understand phenomena that involve human beings.
The soft sciences take on the dicult, ill-structured, human-oriented problems, but it is unclear
even what counts as a satisfactory theory in these areas.
One can hope that this double crisis will lead in the coming years to a \paradigm shift" that
will supplant the \hard" and \soft" approaches with an integrated science with the rigor of one
and the breadth of the other. There are faint signs of such a shift, but they are not suciently
crystallized to show up in a business school curriculum.
Despite the limitations of the quantitative methods discussed in this course, in many specic
areas they are quite useful. In fact the potential of most mathematical techniques, particularly those
of operations research, is only beginning to be realized in practice. Aordable personal computers
and user-friendly software are motivating managers to learn about mathematical models and use
them. Also the line between managerial and technical sta is blurring, so that managers now run
models on their notebook computers that systems analysts once ran on mainframes. This again
leads to more widespread use.
0.4.2 Mathematical Modeling Today
The applications of mathematical methods in management and economics today are so manifold
that it is dicult to nd a single person who is aware of their full scope. The following list can
only be incomplete.
Economists use linear and nonlinear programming, the theory of variational inequalities,
optimal control theory, dynamic programming, game theory, probability choice models, utility
theory, regression and factor analysis and other techniques to study equilibrium, optimal
investment, competition, consumer behavior, and a host of other phenomena.
People in operations management use statistical sampling and estimation theory, linear and
integer programming, network programming, dynamic programming and optimal control the-
ory, queuing theory, simulation, articial intelligence techniques, and combinatorial optimiza-
tion methods to solve problems in quality control, allocation of resources, logistics, project
8 CONTENTS
scheduling, labor and machine scheduling, job shop scheduling and assembly line balancing,
and facility layout and location. The introduction of
exible manufacturing systems, robots
and other automated devices has posed a whole new array of unsolved mathematical problems.
People in nance use linear, nonlinear and integer programming, optimal control theory
and dynamic programming, Markov decision theory, regression and time series to determine
optimal resource allocation, multiperiod investments, capital budgeting, and investment and
loan portfolio design, and to try to forecast market behavior.
People in marketing use regression and factor analysis, time series, game theory, Markov
decision theory, location theory, mathematical programming, probability choice models and
utility theory to study consumer preferences, determine optimal location in product space,
allocate advertising resources, design distribution systems, forecast market behavior, and
study competitive strategy.
People in information systems and decision support systems use articial intelligence tech-
niques, propositional and quantied logic, Bayesian methods, probabilistic logic, data struc-
tures and other computer science techniques, mathematical programming, and statistical de-
cision theory to design expert and other knowledge-based systems, develop ecient inference
and retrieval methods, and evaluate the economic and organizational eects of information
systems.
The peculiar nature of mathematics unfortunately raises two obstacles to learning it. One is that
students often believe that mathematics can be learned simply by studying a book. Mathematics
is learned by working through problems. A second obstacle is that students often believe that they
can learn to work problems by studying a book. A book can get one started, but learning to work
problems is like learning to play basketball or play the piano|it requires practice, practice, practice.
Mathematical skills are very athletic in this sense. (The phrase \quant jock" is appropriate.) That
is why this course assigns a lot of homework problems.
Acknowledgements: We would like to thank John Hooker, Bill Hrusa, Rick Green and Anuj
Mehrotra for their inputs.