Activation Function
-
머신러닝: Training Neural Networks 공부하기1(Activation function, Data preprocessing, Weight Initialization, Batch Normalization, Transfer Learning)머신러닝 2020. 10. 20. 21:12
이번 포스팅은 Neural Network의 Training을 위해 필요한 개념에 대해 알아본다. 다음과 같은 순서로 알아보겠다. - Activation Functions - Data preprocessing - Weight Initialization - Batch Normalization - Transfer learning 1. Activation Functions 1) sigmoid 0부터 1까지의 값을 갖으며 뉴런에서 firing하는 형태를 따서 만들었다 한계 - zero-centered가 아니다. - exp이기 때문에 계산이 복잡 - satureted 된 부분은 gradient가 나오지 않는다. 예를 들어 x = -10이거나 10일 때 기울기 값이 0이므로 backpropagation을 통해 gra..
-
머신러닝: Image Feature를 이용한 Classification? Neural Network란?머신러닝 2020. 10. 7. 20:59
다음과 같은 class들이 있다고 했을때 어떻게 분류할까? 일반적으로 Linear classify를 많이 이용한다. 하지만 위와 같이 배치된 class들을 linear로 구분할 수 없기 때문에 더 높은 차원으로 transformation해서 linear classification한다. 저번포스팅에서는 image pixel을 이용하여 classification 했었다면 이번에는 Image feature를 이용한다. Image feature란? - 이미지안의 직선, edge등의 정보를 말한다. Image의 feature을 값을 인풋으로 이용해서 더 높은 차원으로 옮기고 linear classify한다. - 자주 사용되는 Image Feat..