[Pattern Recognition and Machine Learning] Chapter 1. Introduction

PRML(Pattern Recognition and Machine Learning, Bishop) 정리 문서입니다. 

다음 웹 사이트에서 관련 최신 자료를 확인할 수 있습니다.

https://www.microsoft.com/en-us/research/people/cmbishop/

---

 

Chapter 1. introduction

머신 러닝(machine learning)은 컴퓨터 과학의 일부로서 발전해 온 반면, 패턴 인식(pattern recognition)은 공학에 그 기원을 두고 있다.

 

주어진 데이터에서 어떤 특정한 패턴을 찾아내는 것은 때때로 아주 중요한 문제이다. (도메인이 무엇인지에 관계 없이)

-> 패턴 인식은 데이터의 규칙성을 자동으로 찾아내고, 규칙성을 통해 데이터를 각각의 카테고리로 분류하는 분야로 볼 수 있다.

 

아래와 같이 손 글씨로 된 28X28 픽셀 이미지 (784개의 실수로 구성된 벡터)를 입력값으로 받았을 때, 숫자 0~9 중 하나의 값으로 출력하는 경우를 생각해보자.

Examples of hand-written digits taken from US zip codes

먼저 휴리스틱 방법과 같은 rule-based 방법을 사용하는 것을 생각해 볼 수 있다. 

하지만, 이런 rule-based 방법은 예외 사항에 대한 고려가 필요하기 때문에, rule의 개수가 많아질 수 밖에 없고 별로 성능이 좋지 못하다.

 

이러한 문제에 머신 러닝을 적용하면 좋은 결과를 얻을 수 있다. 

전체 데이터 중 일부를 training set으로 활용하여 모델의 hyper parameter를 조정하는 방법이 그 예이다. (training set에서 정답에 대한 label은 미리 주어진다.)

 

머신 러닝에서 알고리즘의 결과물은 $y(x)$로 표현할 수 있다.

이 형태는 training phase(=learning phase)에서 training set을 바탕으로 결정된다.

이러한 방법으로 훈련 완료된 모델은 test set 이라고 불리는 새로운 숫자 이미지들의 label을 찾아내는데 활용 가능하다.

-> Training phase에서 사용되지 않았던 새로운 data를 분류하는 능력을 일반화(generalization) 성능 이라고 한다.

-> 패턴 인식에서 보통 가장 중요한 목표는 바로 일반화다.

 

일반화 성능을 높이기 위한 방법은 여러가지 방법이 있지만, 보통 사용되는 방법은 전처리(preprocessed, feature extraction)를 통한 데이터 가변성 감소이다.

---

머신 러닝의 종류는 다음과 같다.

- 지도 학습(supervised learning): 주어진 training data에 대한 label이 존재하는 경우

  * 분류(classification) / 회귀(regression)

- 비지도 학습(unsupervised learning): 주어진 training data에 대한 label이 존재하지 않는 경우

  * 집단화(clustering) / 밀도 추정(density estimation) / 시각화(visualization)

- 강화 학습(reinforcement learning): 학습에 입력값과 최적의 출력값을 예시로 주지 않음

  * Exploration과 Exploitation의 trade-off 문제