Computer Vision:

Introduction

What is Computer Vision? Computer Vision Basics

Definition Image Formation/Processing
Related fields Geometric Calibration
Why study CV? Stereo Vision
Why is CV Difficult? Motion
Shape Representaion and
Brief History of CV
Segmentation
Applications for CV Object Recognition
Typical tasks of CV Image Matting

SungKyunKwan University,
School of Information and Commucation Engineering

[Undergraduate] Kim MinHwan 1

 What is Computer Vision?:
Definition
컴퓨터 시각이란?

기계에게 시각능력을 능력을 부여하는 기술로,

화상으로부터 정보를 추출해내어 특정한 작업에 활용하는 것이 목적.

컴퓨터 시각 기술은 산업 전반에 활용되고 있는 전망있는 분야이다.

제조업 품질검사/자동화 로봇, 천문, 포렌식/보안 분야에서의 생체인식 등.

• Trucco and Verri:

Computing properties of the 3D world from one or more digital images
• Sockman and Shapiro:
To make useful decisions about real physical objects and scenes based on sensed images
• Ballard and Brown:
The construction of explicit, meaningful description of physical objects from images
• Forsyth and Ponce:
Extracting descriptions of the world from pictures or sequences of pictures
2
 What is Computer Vision?:
Related Fields
관련 분야

• A.I.: 패턴 인식
• 물리학: 광학
• 신경생물학
• 신호처리
• 통계 / 최적화 / 기하
• 화상 처리/분석

3
 What is Computer Vision?:
Related Fields
Image Processing
• Image Restoration(e.g., correcting out‐focus images)

Computer Graphics
• Geometric modeling

4
 What is Computer Vision?:
Related Fields
Robotic Vision / Machine Vision
• Application of computer vision in robotics.
• Some important applications include :
– Autonomous robot navigation
– Inspection and assembly

Pattern Recognition
• Has a very long history (research work in this field started in the 60s).
• Concerned with the recognition and classification of 2D objects mainly
from 2D images.
• Many classic approaches only worked under very constrained views
(not suitable for 3D objects).
• Many pattern recognition principles are used extensively
in computer vision. 5
 Why study Computer Vision?
• Images and movies are everywhere
• Fast-growing collection of useful applications
– building representations of the 3D world from pictures
– automated surveillance (who’s doing what)
– movie post-processing
– face recognition
• Various deep and attractive scientific mysteries
– how does object recognition work?
– Beautiful marriage of math, biology, physics, engineering
• Greater understanding of human vision

• 사람이 처리하는 정보 중 시각정보가 큰 비중을 차지

• 컴퓨터 시각 기술로 얻은 시각정보를 이용하여 유용한 작업들을
수행 할 수 있다. 사람이 수행하던 지능적인 일들을 맡길 수 있다.
6
 Why is Computer Vision Difficult?
What is in this image?
1. A hand holding a man?
2. A hand holding a mirrored sphere?
3. An Escher drawing?

• Interpretations are ambiguous

• The forward problem (graphics) is well-posed
• The “inverse problem” (vision) is not
• It is a many‐to‐one mapping
– A variety of surfaces with different material and geometrical properties, possibly under
different lighting conditions, could lead to identical images
– Inverse mapping has non unique solution (a lot of information is lost in the
transformation from the 3D world to the 2D image)
• It is computationally intensive
• We do not understand the recognition problem
7
 A Brief History of Computer Vision

1970s
2차원 화상으로부터 3차원 구조를 얻어내기 위한 시도, 외곽선 정보나 빛의 강도 등을 이용.

(a) line labeling (Nalwa 1993)

(b) pictorial structures (Fischler and Elschlager 1973)
(c) articulated body model (Marr 1982)
(d) intrinsic images (Barrow and Tenenbaum 1981)
(e) stereo correspondence (Marr 1982)
(f) optic flow (Nagel and Enkelmann 1986).
(e) (f)

(a) (b) (c) (d)

8
 A Brief History of Computer Vision

1980s
보다 복잡하고 수학적인 방법 사용, 더욱 뛰어난 모서리/외곽선 추출 알고리즘 고안

(a) shape from shading (Freeman and Adelson 1991)

(b) edge detection (Freeman and Adelson 1991)
(c) physically-based models (Terzopoulos and Witkin 1988)
(d) regularizationbased surface reconstruction (Terzopoulos 1988)

(a) (b) (c) (d)

9
 A Brief History of Computer Vision

1990s
Factorization 기법, 최적화, 색과 광도 그리고 물리모델을 이용한 Physics-based Vision,
Tracking과 Segmentation 기법의 발전
(a) factorization-based structure from motion
(Tomasi and Kanade 1992)
(b) dense stereo matching (Boykov et al. 2001)
(c) multi-view reconstruction (Kutulakos and Seitz 2000)
(d) face tracking
(Matthews and Baker 2004, Matthews et al. 2007)
(e) image segmentation (Fowlkes et al. 2004) (e) (f)
(f) face recognition (Turk and Pentland 1991a)

(a) (b) (c) (d) 10

 A Brief History of Computer Vision

2000s
Vision과 Graphics의 동시 활용, 물체 인식에
Feature-based 기법 이용, 기존 알고리즘의 개선

(a) image-based rendering (Gortler et al. 1996)

(b) image-based modeling (Debevec et al. 1996)
(c) interactive tone mapping (Lischinski et al. 2006)
(d) texture synthesis (Efros and Freeman 2001)
(e) feature-based recognition (Fergus et al. 2003)
(f) region-based recognition (Mori et al. 2004)
(e) (f)

(a) (b) (c) (d) 11

 Applications for Computer Vision

Visual Inspection
• 제품이 불량인지 시각적으로 확인

Character Recognition
• OCR 등 문자 인식

12
 Applications for Computer Vision

Document Handling
• 우편물 자동 분류 등

Signature Verification
• 서명 확인

13
 Applications for Computer Vision

Biometrics
• 지문, 홍채 등 생체인식

Target Recognition
• 국방, 표적 인식

14
 Applications for Computer Vision

Interpretation of Aerial Photography

• 항공사진 해석

Autonomous Vehicles
• 자가 운전

15
 Applications for Computer Vision

Traffic Monitoring
• 정체수준 감시

Face Detection/Recognition
• 얼굴 인식/식별

16
 Applications for Computer Vision

Facial Expression Recognition

• 표정 인식

Human Activity Recognition

• 행동 인식

17
 Typical tasks for CV
• Recognition
컴퓨터 시각의 오랜 관심사, 간단한 물체는 쉽게 식별할 수 있지만 상황에 따라 사람의 얼굴, 손글
씨, 이동수단 등은 식별하기 어려울 수 있다.
– Object recognition, Identification, Detection
– Content-based image retrieval, Pose estimation, OCR

• Segmentation: Breaking images and video into meaningful pieces

• Motion analysis
– Egomotion: 카메라로부터 촬영된 화상을 통해 카메라의 움직임을 구해낸다
– Tracking: 연속된 화상 속에서 특징점들의 움직임을 추적
– Optical flow

• Scene reconstruction: Reconstructing the 3D world (multiple views/shading/structure)

• Image restoration
• Control: an industrial robot or an autonomous vehicle
18
 Computer Vision Basics

Image Formation
컴퓨터 시각에서 다루는 화상들은, 반사된 가시광선을 렌즈로 통과시켜 매
체에 기록한다. 디지털 센서와 회로를 이용하여 기록하는데, Analog-to-
Digital Converter를 통해 시각정보가 양자화 된다. 이 과정을 통해 만들어
진 수치를 최종적으로 컴퓨터가 처리한다.

19
 Computer Vision Basics

Image Processing
픽셀들의 배열로 주어진 화상을 컴퓨터 시각에 적합하도록 변형한다.

- Edge Detection
화상에 존재하는 선들을 추출, 그레이 레벨과 변화 정도를 이용하여
모서리를 추출하는 neighborhood operators를 사용.

Roberts Operators

Prewitt Operator
Original image
Sobel Operators

20
 Computer Vision Basics

Geometric Calibration
컴퓨터 시각의 중요한 부분으로, 화상에 보이는 표면들로부터 기하학적
구조를 재구성하는 것이 있다. 화상-물체로의 역변환을 해야하기 때문에
화상을 촬용한 카메라의 투시 모델을 알아야 한다. 이때 필요한 정보들로
초점거리, 픽셀크기, 렌즈의 왜곡률 등이 있다.

21
 Computer Vision Basics

Stereo Vision
한 장면을 촬용할 때, 서로 다른 지점에 위치한 카메라들을 이용한다. 이런
과정으로 촬용한 화상을 분석하면 화상 자체의 정보와 더불어 위치에 대한
정보를 얻을 수 있다. (Depth Map) 물체와의 거리를 가늠하거나 3차원 구
조를 추정할 때 이용할 수 있다.

22
 Computer Vision Basics

Motion
- Regularization theory - Optical computation (optical flow)
- Motion estimation - Structure from motion

움직임을 검출하거나 움직이는 물체를 추적하는 등 이동하는 물체에 대한

시각정보를 얻는다.

23
 Computer Vision Basics

Shape Representaion and Segmentation

- Deformable curves and surfaces - Snakes and active contours
- Level set representations - Fourier and wavelet descriptors
- Medial representations - Multiresolution analysis
Object Recognition
- Hough transforms and other simple object recognition methods
물체의 외곽선, 모양 등을 추출해낸다. 관심있는 물체를 구분

24
 Computer Vision Basics

Image Matting
배경과 전경을 구분해낸다. 이 과정은 전체 그리고 부분의 픽셀 영역을 모
두 다뤄야 한다. 알파 채널을 이용하는 알고리즘이 1984년에 소개되었고
다른 여러 방식의 알고리즘이 존재한다. http://www.alphamatting.com

25
Computer Vision Basics: Summary

26
 References

Websites
• http://en.wikipedia.org/wiki/Computer_vision
• http://www.computervisiononline.com/

Books
• Computer Vision: Algorithms and Applications, Richard Szeliski
• Fundamentals of Computer Vision, Mubarak Shah
• Computer Vision, Dana H. Ballard Christopher M. Brown

Presentation, Lecture Note

• [Lecture Note] http://cseweb.ucsd.edu/classes/wi04/cse291-c/lec1.pdf
• [PPT] Computer Vision, Prof. George Bebis, University of Nevada
• [PPT] 영상 처리, 전남대학교 컴퓨터공학과 이칠우
27