머신러닝 최적화

Overshooting

경사 하강법을 사용하면서 우리는 조금 조금씩 아래로 내려오면서 수렴하는 지점을 찾아 나간다. 근데 만약 learning rate 값이 너무 크면 수렴하는 지점을 넘어가게 된다.

아래와 같이 learning rate가 너무 커 수렴값을 마구잡이로 넘어다니는 현상을 Overshooting이라 한다.

Normalization

앞서 머신러닝 데이터를 가공하는 과정에서 스케일을 줄였었다. 스케일 범위가 너무 크면 노이즈 데이터가 생성되거나 오버피팅될 가능성이 높다.

Overfitting

학습 세트에 과도하게 맞춰지면 일반적인 경우에 대한 결과값을 얻을 수 없다.

우리가 짜는 모델은 일반적인 경우에 해당하는 보편적 예측을 위한 모델이지 학습 데이터를 읽어주는 모델이 아니다.

학습 데이터에 대한 정확성과 테스트 데이터에 대한 정확성이 너무 차이난다면 과적합 되었다고 볼 수 있다.