활성화 함수가 필요한 이유는 무엇일까?

신경망 회로에서, 한 노드에 대해 입력값을 다음 노드에 보낼지 말지에 대해 결정하는 함수를 의미한다. 

선형 함수가 아니라 비선형 함수를 사용하는 이유는 딥러닝 모델의 레이어 층을 깊게 가져갈 수 있기 때문이다.

선형함수인 h(x)=cx를 활성화함수로 사용한 3층 네트워크를 떠올려 보세요.

이를 식으로 나타내면 y(x)=h(h(h(x)))가 됩니다. 이는 실은 y(x)=ax와 똑같은 식입니다.

a=c3이라고만 하면 끝이죠. 즉, 은닉층이 없는 네트워크로 표현할 수 있습니다.

뉴럴네트워크에서 층을 쌓는 혜택을 얻고 싶다면 활성화함수로는 반드시 비선형 함수를 사용해야 합니다.

밑바닥부터 시작하는 딥러닝 中

 

아래 예시와 같이 기존의 퍼셉트론은, XOR문제와 같은 non-linear한 문제는 해결할 수 없었다. 

 

출처: https://ganghee-lee.tistory.com/30

 

활성화함수를 사용하면, 입력값이 linear하게 나오지 않으므로, 비선형시스템을 만들 수 있다. 

 

 

활성화함수의 종류는 아래와 같이 있다.

 

출처 https://ganghee-lee.tistory.com/30