활성화 함수(Activation function)

활성화 함수 : 뉴런을 흥분시키기 위한 함수.

1. Step function ( 계단 함수)

: 구현이 간단하지만 0과 1의 중간 상태를 나타낼 수 없음. (미분불가)

[그래프]

[코드]

2. Sigmoid function (시그모이드)

: x가 작을수록 y는 0에 가깝게 변함.

계단함수에 비해 매끄러운 곡선 형태이며 0과 1의 중간상태를 나타낼 수 있음. (미분 가능)

[시그모이드 도함수]

[그래프]

[코드]

3. tanh (하이퍼볼릭 탄젠트)

:그래프 자체는 sigmoid와 굉장히 비슷하지만 tanh 함수는 -1과 1 사이에서 변화함.

0을 중심으로 대칭이기 때문에 밸런스가 좋은 함수.

[그래프]

[코드]

4. ReLU (Rectified Linear Unit)

:음수인 경우 y는 0이고 양수인 경우 y는 x 그대로 유지가 됨.

미분값이 x에 상관없이 안정적인 값을 얻는 것이 최대 장점.

그러나 음수인 경우 weight가 0이 되면서 학습이 되지 않는 dying relu 발생이 단점.

[ReLU 도함수]

[그래프]

[코드]

5. Leaky ReLU

:앞서 말한 dying ReLU를 피하기 위해 x가 음수인 영역에 아주 작은 기울기를 만들어줌.

[그래프]

[코드]

6. Identity function (항등함수)

:출력 범위에 제한이 없고 연속적이기 때문에, 연속적인 수치를 예측하는 회귀문제 를 다룰때 적합.

[그래프]

[코드]

7. Softmax function (소프트맥스)

: 분류 문제 를 다룰 때 적합.

출력값을 양수값으로 바꾸고 모든 출력값들의 합이 1이 되도록 normalize.

소프트맥스 함수 값은 분류문제에서 각 뉴런이 특정한 범주로 분류될 확률을 나타낼 때 쓰임.

[코드]