Deep Learning

Untitled

실재하지만 알 수 없는 함수 $f^*$를 근사하고 싶다.

데이터셋 D를 모아 원하는 출력 값이 나오도록 함수 $f_\theta$를 근사하자.
- $D=\{x^i,\ y^i\}^N_{i=1}$
  - $x^i=\{x^i_1,\ x^i_2,\ ...\ ,x^i_m\} \;\; and \;\; y^i=\{y^i_0,\ y^i_2,\ ...\ , y^i_n\}$
- 비선형 데이터를 배울 수 있는 Deep Neural Network를 활용하자.
Likelihood란?
- 입력으로 주어진 확률 분포(파라미터 $\theta$)가 데이터를 얼마나 잘 설명하는지 나타내는 점수(Likelihood)를 출력하는 함수
  - ex) 동전을 100번 던졌는데 앞면이 80번 나왔다. 이때, 이 현상(데이터)을 가장 잘 설명하는 동전이 앞면이 나올 확률은?
- Likelihood를 최대화(Maximum Likelihood Estimation) 하는 파라미터를 찾으면, 주어진 데이터를 가장 잘 설명한다.
  - Neural Networks 또한 확률 분포 함수이므로, MLE를 통해 파라미터를 찾자.
  - 어떻게 하면 Likelihood를 최대화 할 수 있을까?
    - Gradient Descent !!
Gradient Descent
- 손실함수란?
  - 알고리즘이 예측한 값과 실제 정답의 차이를 비교하기 위한 함수. 즉, 학습 중에 알고리즘이 얼마나 잘못 예측하는 정도'를 확인하기 위한 함수로써 최적화(Optimization)를 위해 최소화하는 것이 목적인 함수.
- 손실 함수(Loss Function)를 파라미터로 미분하여 파라미터를 점진적으로 업데이트 필요.
- Generalization loss를 최소화하는 손실 함수의 입력 파라미터 $\hat\theta$을 얻자.
  - 손실 함수는 regression일 경우 MSE, Classification일 경우 Cross entropy를 활용.
    - [DL] Why does cross entropy use log function?
  - Gradient Descent(GD)를 통해 $\hat\theta$ 를 업데이트 할 수 있다.
- DNN의 경우, back-propagation을 통해 효율적으로 GD 가능.
- Stochastic Gradient Descent(SGD)
  - 전체 데이터(Batch)가 아닌 일부 데이터의 모음(Mini-Batch)를 사용하는 방법.
  - Mini-batch를 사용하기 때문에 방향성은 다소 부정확할 수 는 있지만 계산 속도가 훨씬 빠름. 같은 연산으로 더 많은 파라미터 업데이트가 가능.
  - 이는 결국 Local Minimadp 빠지지 않고 Global Minima에 수렴할 가능성이 더 높음.
Overfitting을 피하는 방법?
- Train / Valid / Test set으로 나누자.
- 적절한 Regularization을 통해 generalization error를 최소화하자.
  - [DL] Model inference using dropout
학습이 종료되면 가장 낮은 validation loss를 가진 모델의 파라미터를 $\hat\theta$ 으로 삼자.

Deep Learning

실재하지만 알 수 없는 함수 $f^*$를 근사하고 싶다.

Reference