Optimization
-
머신러닝: Training Neural Networks 공부하기2 (Optimization, Learning Rate, Regularization)머신러닝 2020. 10. 20. 22:59
우선 경사하강법(Gradient descent)는 가장 작은 loss를 갖는 W값을 찾기 위해 gradient를 이용한다. 그리고 SGD는 이를 mini batch를 이용하여 더 효율적으로 W를 찾는 방법이다. 하지만 SGD는 다음과 같은 상황들에 대해서 문제점을 지닌다. 만약 Loss 값이 급격하게 증가하거나 감소한다면 이 때는 얕은 차원이나 가파른 경사 때문에 발산하거나 진동하여 최적의 W를 찾는 과정은 느려진다. 또한 다음과 같이 경우 문제점을 갖는다. 1) local minima를 갖는 부분 우리가 원하는 W는 가장 작은 loss가질때이다. 하지만 첫번째 그래프는 global minima가 아닌 local minima에서 optimization을 멈출 가능성이 있으므로 문제가 발생한다. 2) sa..
-
머신러닝: 최적화(Optimization) 공부하기 (Gradient descent, SGD)머신러닝 2020. 10. 5. 11:48
Optimization에 대해 알아보기전, Loss function에 대한 선행이 되어 있어야 한다. 머신러닝: Loss function이란? (Multiclass SVM loss, Softmax Classifier ) 다음과 같이 이미 classifer가 된 결과물이 있다. 하지만 보시다시피 각각의 이미지 값에 대해서 해당 label(cat, car, frog)들은 최고의 값을 갖지 못한다. 이러한 문제점�� seungjuitmemo.tistory.com 머신러닝 최적화란 loss function의 결괏값을 최소화하는 모델의 인자를 찾는 것 기울기 개념을 이용하여 경사도가 가장 심한 W의 element를 찾는다. W에 적당히 작은 h를 더해서 dW를 구..
-
머신러닝: Loss function이란? (Multiclass SVM loss, Softmax Classifier )머신러닝 2020. 10. 1. 20:40
다음과 같이 이미 classifer가 된 결과물이 있다. 하지만 보시다시피 각각의 이미지 값에 대해서 해당 label(cat, car, frog)들은 최고의 값을 갖지 못한다. 이러한 문제점들을 개선하기 위해 만들어낸 개념이 loss function이다. (Loss를 줄이는 Optimization에 대해서는 이번 포스팅에서 다루지 않는다) loss란 쉽게 말해서 들어온 인풋 이미지가 머신러닝 결과 잘 들어 맞을수록 낮고, 반대로 잘 들어맞지 않는다면 높다. 즉, 현재 내가 판단하는게 얼마나 좋은 위치인가임을 알려준다. Loss function은 다음과 같이 나누어진다. - Multiclass SVM loss - Softmax Classifier . 위와 ..