Linear Classification, Logistic Regression

 

[ Linear Classification ]

 

• Classification 이란?

- training set의 output(target) variable이 범주 형태로 주어지는 것.

- linear classification

- 일차 함수, 즉 직선 형태의 boundary를 이용해 data를 분류하는 model

 

ex) 위의 binary classification 같은 경우, 두 class data의 범주를 나누어주는 경계인 'Decision boundary'를 찾는것이 목표.

ex) Decision boundary를 알고 있다면, test data 'x'에 따른 target class를 예측할 수 있다.

 

• Linear Classification에서 output variable을 찾는 방법

- Threshold function (문턱 함수)를 사용.

- step function 형태

• Threshold function이란?
• : linear model의 계산 결과값이 input variable에 따라 계단 모양과 같이 mapping되는 방식의 함수

 

• Threshold function을 이용하는 Classification

- Linear Classification, Perceptron

- Perceptron

• 초기 신경망 연구에서 뉴런을 모델링 했던 방식
• 다수의 신호를 입력받아 하나의 신호를 출력함.
• prediction과 target variable의 일치 여부에 따라 결정
• prediction이 target과 일치하지 않는 경우, 계속해서 update를 진행한다.

• Linear Classification의 단점

- Outlier가 있을 경우는 weight가 수렴이 잘 안된다.

- Linearly separable한 경우에만 수렴한다.

 

 

[ Logistic Regression ]

• Logistic Regression

- Linear Classification와 달리, 'nonseparable'한 경우에서도 잘 수렴하게 하기 위해 사용

- logistic function 사용

• 모든 실수에 대해서 0~1 사이의 값으로 mapping함.
• soft threshold
• sigmoid function

• linear model을 통해 계산한 결과를 logistic function에 넣어줌.

• Logistic regression의 손실 함수
  • log loss 사용
    • Target class label이 1일 때 : predict class label이 1일 확률을 1에 가깝게 해주는 것.
    • Target class label이 0일 때 : predict class label이 1일 확률을 0에 가깝게 해주는 것.
    • Max함수를 log-sum-exponential로 추정해 변환한다.
  • MSE를 사용하지 않는 이유 : logistic function이 nonlinear한 형태이기 때문에 MSE를 사용하면 손실함수 형태가 비이상적임. (아래로 볼록 형태 X)

• Neural model의 기본이 되는 linear model

 [순서]

1. 여러 뉴런에서 Input값 입력
2. linear model을 통해 신호 종합
3. 종합된 신호를 기반으로 output 신호 계산 (activation function 사용)
4. output신호를 다른 뉴런으로 전달

Why? 뉴런이 하는 일이 binary classification과 비슷하기 때문.