Introduction to Pattern Recognition for human ICT Introduction

1. Introduction to Pattern Recognition for human ICT Introduction 2014. 9. 5 Hyunki Hong

2. Contents • What is pattern recognition? • Components of pattern recognition system • Pattern recognition apporaches

3. What is pattern recognition? • Definitions from the literature –“The assignment of a physical object or event to one of several pre-specified categories” –Duda and Hart –“A problem of estimating density functions in a high-dimensional space and dividing the space into the regions of categories or classes” – Fukunaga –“Given some examples of complex signals and the correct decisions for them, make decisions automatically for a stream of future examples” –Ripley –“The science that concerns the description or classification (recognition) of measurements” –Schalkoff –“The process of giving names ω to observations x” –Schurmann – Pattern Recognition is concerned with answering the question “What is this?” –Morse

4. Examples of pattern recognition problems • Machine vision – Visual inspection, Automatic target recognition – Imaging device detects ground target – Classification into “friend” or “foe ” • Character recognition – Automated mail sorting, processing bank checks – Scanner captures an image of the text – Image is converted into constituent characters. • Speech recognition – Human Computer Interaction – Microphone records acoustic signal – Speech signal is classified into phonemes and/or words.

5. Related fields and application areas for PR • Applications – Image processing – Computer vision – Speech recognition – Multimodal interfaces – Automated target recognition – Optical character recognition – Seismic analysis – Man and machine diagnostics – Fingerprint identification – Industrial inspection – Financial forecast – Medical diagnosis – ECG signal analysis • Related fields – Adaptive signal processing – Machine learning – Artificial neural networks – Robotics and vision – Cognitive sciences – Mathematical statistics – Nonlinear optimization – Exploratory data analysis – Fuzzy and genetic systems – Detection & estimation theory – Formal languages – Structural modeling – Biological cybernetics – Computational neuroscience Electrocardiogram(심전도)

6. Components of a pattern recognition system • A basic pattern classification system contains – A sensor – A preprocessing mechanism – A feature extraction mechanism (manual or automated) – A classification algorithm – A set of examples (training set) already classified or described

7. Types of prediction problems • Classification – The PR problem of assigning an object to a class – The output of the PR system is an integer label. ex) classifying a product as “good” or “bad”in a quality control test • Regression – A generalization of a classification task – The output of the PR system is a real-valued number ex) predicting the share value of a firm based on past performance and stock market indicators • Clustering – The problem of organizing objects into meaningful groups – The system returns a (sometimes hierarchical) grouping of objects ex) organizing life forms into a taxonomy of species • Description – The problem of representing an object in terms of a series of primitives – The PR system produces a structural or linguistic description ex) labeling an ECG signal in terms of P, QRS and T complexes 회귀분석: 관찰된 연속형 변수들에 대해 독립변수와 종속변수 사이의 상관관계를 나타내는 선형 관계식을 구하는 기법

8. Features and patterns • Feature – Feature is any distinctive aspect, quality or characteristic. - Features may be symbolic (i.e., color) or numeric (i.e., height) – Definitions 1. The combination of 𝑑 features is a 𝑑-dim column vector called a feature vector. 2. The 𝑑-dimensional space defined by the feature vector is called the feature space. 3. Objects are represented as points in feature space; the result is a scatter plot.

9. Features and patterns • Pattern – Pattern is a composite of traits or features characteristic of an individual. – In classification tasks, a pattern is a pair of variables {𝑥, 𝜔} where 1. 𝑥 is a collection of observations or features (feature vector) 2. 𝜔 is the concept behind the observation (label)

10. • What makes a “good” feature vector? – The quality of a feature vector is related to its ability to discriminate examples from different classes 1. Examples from the same class should have similar feature values. 2. Examples from different classes have different feature values. • More feature properties

11. Classifiers • The task of a classifier is to partition feature space into class-labeled decision regions. – Borders between decision regions are called decision boundaries. – The classification of feature vector 𝑥 consists of determining which decision region it belongs to, and assign 𝑥 to this class • A classifier can be represented as a set of discriminant functions. – The classifier assigns a feature vector 𝑥 to class 𝜔𝑖if 𝑔𝑖(𝑥)>𝑔j(𝑥)∀𝑗 ≠ 𝑖

12. Pattern recognition approaches • Statistical – Patterns classified based on an underlying statistical model of the features : The statistical model is defined by a family of class-conditional probability density functions 𝑝(𝑥|𝜔𝑖)(Probability of feature vector 𝑥 given class 𝜔𝑖) • Neural – Classification is based on the response of a network of processing units (neurons) to an input stimuli (pattern). :“Knowledge” is stored in the connectivity and strength of the synaptic weights. – Trainable, non-algorithmic, black-box strategy – Very attractive since 1. It requires minimum a priori knowledge 2. with enough layers and neurons, ANNs can create any complex decision region Artificial neural network

13. Pattern recognition approaches • Syntactic – Patterns classified based on measures of structural similarity :“Knowledge” is represented by means of formal grammars or relational descriptions (graphs). – Used not only for classification, but also for description : Typically, syntactic approaches formulate hierarchical descriptions of complex patterns built up from simpler sub patterns.

14. Example: neural, statistical and structural OCR [Schalkoff, 1992]

15. A simple pattern recognition problem • Consider the problem of recognizing the letters L, P, O, E, Q – Determine a sufficient set of features – Design a tree-structured classifier

16. The pattern recognition design cycle • Data collection – Probably the most time-intensive component of a PR project – How many examples are enough? • Feature choice – Critical to the success of the PR problem : “Garbage in, garbage out” – Requires basic prior knowledge • Model choice – Statistical, neural and structural approaches – Parameter settings

17. The pattern recognition design cycle • Training – Given a feature set and a “blank” model, adapt the model to explain the data – Supervised, unsupervised and reinforcement learning • Evaluation – How well does the trained model do? – Overfitting vs. generalization

18. Consider the following scenario – A fish processing plan wants to automate the process of sorting incoming fish according to species (salmon or sea bass) – The automation system consists of 1. a conveyor belt for incoming products 2. two conveyor belts for sorted products 3. a pick-and-place robotic arm 4. a vision system with an overhead CCD camera 5. a computer to analyze images and control the robot arm Duda, Hart and Stork, 2001]

19. Sensor – The vision system captures an image as a new fish enters the sorting area. • Preprocessing – Image processing algorithms, e.g., adjustments for average intensity levels, segmentation to separate fish from background • Feature extraction – Suppose we know that, on the average, sea bass is larger than salmon : From the segmented image we estimate the length of the fish • Classification – Collect a set of examples from both species. – Compute the distribution of lengths for both classes. – Determine a decision boundary (threshold) that minimizes the classification error.

20. Improving the performance of our PR system – Determined to achieve a recognition rate of 95%, we try a number of features 1. Width, area, position of the eyes w.r.t. mouth... 2. only to find out that these features contain no discriminatory information – Finally we find a “good” feature: average intensity of the scales – We combine “length” and “ average intensity of the scales ”to improve class separability. – We compute a linear discriminant function to separate the two classes, and obtain a classification rate of 95.7%.

21. Cost vs. classification rate – Our linear classifier was designed to minimize the overall misclassification rate. – Is this the best objective function for our fish processing plant? 1. The cost of misclassifying salmon as sea bass is that the end customer will occasionally find a tasty piece of salmon when he purchases sea bass. 2. The cost of misclassifying sea bass as salmon is an end customer upset when he finds a piece of sea bass purchased at the price of salmon. – Intuitively, we could adjust the decision boundary to minimize this cost function. the issue of generalization

22. 1) 패턴인식이란? 주어진 입력 데이터(패턴)를 어떤 기준에 따라 몇 개 패턴의 그룹(클래스)로 나누고, 각 데이터가 어떤 그룹에 해당하는 지를 결정하는 것 숫자인식 표정인식 Smile 얼굴인식 Person 1 Surprise Normal Person 2 Person 3 Anger

23. 2) 패턴인식의 기본적 접근 방법 1 (방법1)구조적 특징에 의한 패턴 정의 및 인식 얼굴인식/표정인식을 위해 필요한 구조적 특징은? (구조적 인식 방법의 한계)

24. 3) 패턴인식의 기본적 접근 방법 2 원형 영상 (template) (방법2)탬플릿매칭 클래스 d1 1 d3=min{di} 2 d2 3 3 입력 데이터 d3 4 d4 … 24

25. 원형 영상 (template) • 4) 패턴인식의 어려움 조명 변형 표정 변형 기타 변형 패턴의 변형

26. 5) 기계학습의 필요성 패턴의 다양한 변형이 존재 패턴인식을 어렵게 하는 주요 원인 보다 정교한 방법이 필요 “기계학습” 인간이 갖고 있는 고유의 지능적 기능인 학습 능력을 기계를 통해 구현하는 방법 주어진 데이터들을 분석하여 그로부터 일반적인 규칙이나 새로운 지식을 자동적으로 추출해 내는 방법론 개발

27. 평균영상 예) 데이터를 이용한 학습 숫자 “5”의 다양한 변형 통계적 정보(평균량)의 활용

28. 6) 패턴인식의 처리과정 학습단계 (Learning Stage) 학습 데이터 집합 학습(데이터 분석) Learning classifier / Data analysis 특징추출 Feature extraction 결정경계 Decision boundary 전처리 Preprocessing 분류/인식 Classification / Recognition 인식 결과 테스트 데이터 인식단계 (Recognition Stage)

29. 7) 패턴인식의 개발 단계 데이터 수집 Data collection 데이터 전처리 Data preprocessing 데이터 분석 Data analysis 특징 추출기 및 분류기 개발 Development of feature extractor & classifier 수정/보완 성능 평가 Performance evaluation

30. x2 x1 7-1) 데이터 데이터의 표현 n차원 열벡터 데이터의 분포 특성 2차원 데이터 집합의 산점도: - 가우시안 분포를 따름 - 평균 [3,3] - 공분산[[1,0]T,[0,1]T] - 데이터(샘플) 개수: 50개

31. 7-2) 데이터 분포 (a) 모집단의 확률밀도함수 (b) 등고선으로 표시된 밀도함수

32. 7-3) 데이터 분포 (d) 4개의 표본 집합 (c) 모집단의 데이터 분포

33. 입력데이터를 그대로 사용하는 대신 각 패턴의 특성을 잘 표현해 줄 수 있는 핵심 정보만 추출하여 사용 비용(계산, 메모리)의 증가 및 잡음 등으로 인한 문제 해결의 어려움을 감소시키는 효과 (a) 원영상 (b) 격자특징 12x12 (c) 수직히스토그램 (d) 방향특징 8) 특징추출

34. x (데이터) xTu (특징값) 8) 특징추출 • 사영에 의한 특징추출 u 어떤 방향으로 사영하는 것이 좋은가?  차원 감소의 목적이 아닌 인식을 위한 핵심 정보를 추출하는 것이 중요  주어진 데이터의 분포 특성을 가장 잘 나타낼 수 있는 방향을 선정

35. 9) 분류 분류(classification) 데이터 집합 X = {x1, x2, … , xN}가 주어졌을 때, 각 데이터 xi에 해당하는 클래스 라벨 y(xi)를 결정하는 것 결정경계(decision boundary) 클래스를 구분해주는 직선/곡선/면 판별함수 g(x) = 0과 같은 함수식으로 정의되는 입력공간상의 경계면

36. 오분류된 데이터 9-1) 결정경계 x1 결정경계 C1 g(x1, x2) = x1-x2 = 0 C2 x2

37. 분류 성공 데이터 개수 x 100 분류율(%) = 전체 데이터 개수 분류 실패 데이터 개수 x 100 분류오차(%) = 전체 데이터 개수 9-2) 분류율과 오차 • 성능 평가 척도 학습오차 테스트오차

38. 9-2) 분류율과 오차 일반화오차 • 이론적 성능 분석을 위해서는 중요 • 실제 응용에서는 계산 불가 ∵ 전체 데이터 집합의 확률밀도함수를 모름 • 테스트오차  “경험오차” • 테스트오차는 일반화오차의 경험적 근사에 불과

39. X2 X3 X4 X5 X1 Etrain(X-X1) Etest(X1) X1 X3 X4 X5 X2 Etrain(X-X2) Etest(X2) mean X1 X2 X4 X5 X3 Etrain(X-X3) Etest(X3) Ecv X1 X2 X3 X5 X4 Etrain(X-X4) Etest(X4) X1 X2 X3 X4 X5 Etrain(X-X5) Etest(X5) 9-2) 분류율과 오차 5-분절 교차검증법의 처리 과정의 예 교차 검증 오차

40. 10) 분류와 군집화 분류(classification) 군집화(clustering) 주어진 데이터 집합을 이미 정의된 몇 개의 클래스로 구분하는 문제 입력 데이터의 분포 특성(입력값의 유사성)을 분석하여 임의의 복수 개의 그룹으로 나누는 것 입력 데이터와 각 데이터의 클래스 라벨이 함께 제공  {xi, y(xi)} 클래스에 대한 정보 없이 단순히 입력값만 제공  {xi} 숫자인식, 얼굴인식 등 영상분리 Bayes classifier K-Nearest Neighbor method Multilayer perceptrons Support Vector Machine K-means clustering Learning Vector Quantization Hierarchical clustering Self Organizing feature Map

41. 10) 분류와 군집화 C1 C3 군집화 분류 C1 C3

42. 10) 교사학습, 비교사학습 교사학습(supervised learning) 분류기 학습시에 인식기가 내야 할 원하는 출력값을 미리 알려주는 교사가 존재하는 형태 6장 최소제곱법, 퍼셉트론 학습 11장 다층퍼셉트론을 위한 오류역전파 학습 알고리즘 비교사학습(unsupervised learning) 군집화 학습시 인식기의 원하는 출력값에 대한 정보 없이 학습이 이루어지는 형태 10장 가우시안 혼합모델을 위한 EM 학습법 11장 자기조직화 특징맵의 학습법

43. 11) 분류기 복잡도와 과다적합 (a) (b) C1 C1 학습데이터 Nonlinear decision Boundary g(x) Linear decision Boundary g(x) C2 C2 Mis-classified area 선형결정경계 비선형결정경계 (c) C1 (d) C1 테스트데이터 C2 C2

44. 11) 분류기 복잡도와 과다적합 과다적합(overfitting) 분류기가 학습데이터에 대해서만 지나치게 적합한 형태로 결정경계가 형성되는 바람직하지 못한 현상 학습데이터의 확률적 잡음과 학습데이터 개수의 부족에 기인 분류기의 복잡도를 적절히 조정하는 방법이 필요 학습의 조기 종료 방법 정규화항을 가진 오차함수를 사용하는 방법 모델선택 방법

45. 12) 패턴인식의 응용 문자인식/ 문서인식 숫자인식, PDA, 전자사전, ATM 등 생체인식 생체정보(지문,얼굴,홍채) 신원확인 뇌신호 처리 MEG, EEG, BCI 응용 분야 생물정보학 마이크로어레이, 염기서열 분석 로봇비전 객체인식, 초음파/적외선 신호 분석 의료정보 임상 데이터, MRI, CT, 초음파 금융데이터분석 홈쇼핑, 주식 데이터, 보험회사 등 …