4/29/2015

Transformations Between Two 
Images 
•Translation 
•Rotation 
•Rigid 
•Similarity (scaled rotation) 
•Affine 
•Projective 
•Pseudo Perspective 
•Bi‐linear 

Last week …
 h11 h12 h13  Concurrency, collinearity,
Projective h  order of contact (intersection,
8dof  21 h22 h23  tangency, inflection, etc.),
 h31 h32 h33  cross ratio

Parallellism, ratio of areas,

 a11 a12 t x  ratio of lengths on parallel
Affine a  lines (e.g midpoints), linear
6dof  21 a22 t y  combinations of vectors
 0 0 1  (centroids).
The line at infinity l∞
 sr11 sr12 t x  Ratios of lengths, angles.
Similarity  sr  The circular points I,J
4dof  21 sr22 t y 
 0 0 1 
 r11 r12 tx 
Euclidean r r22 t y  lengths, areas.
3dof  21
 0 0 1 

1
 4/29/2015

Fundamental Matrix 

Lecture‐8

Applications 
•Stereo 
•Structure from Motion 
•View Invariant Action Recognition 
•.. 

2
 4/29/2015

Stereo Pairs and Depth Maps 
(from Szeliski’s book) 

Image Rectification For Stereo 

3
 4/29/2015

Photosynth: Structure From Motion 

Fundamental Matrix 
•Longuet Higgins (1981) 
•Hartley (1992) 
•Faugeras (1992) 
•Zhang (1995) 

4
 4/29/2015

Fundamental Matrix Song 

http://www.youtube.com/watch?v=DgGV3l82NTk 

Preliminaries 
•Linear Independence 
•Rank of a Matrix 
•Matrix Norm 
•Singular Value Decomposition 
•Vector Cross product to Matrix Multiplication 
•RANSAC 

5
 4/29/2015

Linearly Independence 

Rank of a Matrix 
•The column rank of a matrix A is the maximum 
number of linearly independent column vectors 
of A. 
•The row rank of a matrix A is the maximum 
number of linearly independent row vectors of 
A. 
•The column rank of A is the dimension of the 
column space of A 
•The row rank of A is the dimension of the row 
space of A. 

6
 4/29/2015

Example (Row Echelon) 

Rank is 2 

Singular Value Decomposition (SVD) 
Theorem: Any m by n matrix A, for which 

,can be written as 

7
 4/29/2015

Matrix Norm
L1 matrix norm is maximum of absolute column 
sum.

Vector Cross Product to Matrix‐vector 
multiplication

Anti symmetric matrix

8
 4/29/2015

RANSAC: Random Sampling and 
Consensus

http://www.youtube.com/watch?v=1YNjMxxXO‐E&feature=relmfu

How to Fit A Line?

9
 4/29/2015

How to Fit A Line?

•Least squares Fit (over constraint) 
•RANSAC (constraint) 
• Hough Transform (under constraint) 

Least Squares Fit
• Standard linear solution to estimating unknowns. 
– If we know which points belong to which line 
– Or if there is only one line 

Take derivative wrt m and c set to 0 

10
 4/29/2015

Line Fitting

RANSAC: Random Sampling and 
Consensus
• 1.Randomly select two points to fit a line 
• 2.Find the error between the estimated 
solution an all other points. If the error is 
less than tolerance, then quit, else go to 
step (1). 

11
 4/29/2015

Derivation of Fundamental 
Matrix

Epipolar Geometry

12
 4/29/2015

Epipolar Geometry

Essential Matrix

Coplanarity constraint can be proved by 
taking cross product of two vectors and then 
taking its dot product with third vector. It is 
zero. R is rotational matrix. Inverse of R is 
transpose.

13
 4/29/2015

Essential Matrix

Paper in Nature by Higgins

Fundamental Matrix

14
 4/29/2015

Fundamental Matrix

Fundamental Matrix

15
 4/29/2015

Fundamental Matrix
•Longuet Higgins (1981) 
•Hartley (1992) 
•Faugeras (1992) 
•Zhang (1995) 

Fundamental Matrix
•Fundamental matrix captures the relationship 
between the corresponding points in two 
views. 

16
 4/29/2015

Fundamental Matrix

One constraint is kept fixed or known

Computation of Fundamental 
Matrix

17
 4/29/2015

Normalized 8‐point algorithm
(Hartley)

Normalized 8‐point algorithm 
(Hartley)

18
 4/29/2015

Robust Fundamental Matrix Estimation 
(by Zhang)
•Uniformly divide the image into 8×8 grid. 
•Randomly select 8 grid cells and pick one 
pair of corresponding points from each 
grid cell, then use Hartley’s 8‐point 
algorithm to compute Fundamental 
Matrix Fi. 
•For each Fi, compute the median of the 
squared residuals Ri. 
–Ri = mediank[d(p1k,Fip2k) + 
d(p2k,F’ip1k)] 
•Select the best Fi according to Ri. 
•Determine outliers if Rk>Th. 
•Using the remaining points compute the 
fundamental Matrix F by weighted 
least square method. 

Epi‐polar Lines

19
 4/29/2015

Epi‐polar lines

20