반응형
batch normalization
-
머신러닝: Training Neural Networks 공부하기1(Activation function, Data preprocessing, Weight Initialization, Batch Normalization, Transfer Learning)머신러닝 2020. 10. 20. 21:12
이번 포스팅은 Neural Network의 Training을 위해 필요한 개념에 대해 알아본다. 다음과 같은 순서로 알아보겠다. - Activation Functions - Data preprocessing - Weight Initialization - Batch Normalization - Transfer learning 1. Activation Functions 1) sigmoid 0부터 1까지의 값을 갖으며 뉴런에서 firing하는 형태를 따서 만들었다 한계 - zero-centered가 아니다. - exp이기 때문에 계산이 복잡 - satureted 된 부분은 gradient가 나오지 않는다. 예를 들어 x = -10이거나 10일 때 기울기 값이 0이므로 backpropagation을 통해 gra..