1. 비선형성의 수학적 필요성과 선형 중첩 붕괴
신경망의 은닉층에 비선형 활성화 함수 $\sigma(\cdot)$가 존재하지 않는다면, $L$개의 레이어로 구성된 심층 다층 퍼셉트론은 단 하나의 단일 선형 변환으로 수학적으로 축약(Collapse)됩니다.
여기서 $W^* = \prod_{l=1}^L W^{[l]}$이며 $b^*$는 복합 편향 상수입니다. 즉, 비선형 변환 없이는 아무리 깊은 층을 구성하더라도 곡선이나 비선형 결정 경계를 표현할 수 없습니다.
2. 주요 활성화 함수의 수학적 정의 및 미분 도함수
2.1. 로지스틱 시그모이드 (Logistic Sigmoid)
실수 공간의 입력을 $(0, 1)$ 개구간으로 압축 사상하는 S자형 곡선입니다.
도함수 $\sigma'(z)$는 $z = 0$일 때 최댓값 $0.25$를 가지며, $|z| > 4$ 영역에서는 $0$에 극도로 수렴합니다. 이로 인해 심층 신경망에서 역전파 시 그래디언트가 급격히 $0$으로 소멸하는 기울기 소실(Vanishing Gradient)을 유발합니다.
2.2. 하이퍼볼릭 탄젠트 (Hyperbolic Tangent, Tanh)
시그모이드 함수를 선형 변환하여 원점 대칭(Zero-centered) 구조로 수정한 함수입니다.
치역이 $(-1, 1)$이며 $z=0$에서의 1차 도함수 최댓값은 $1.0$입니다. 시그모이드 대비 평균 출력이 $0$에 가까워 수렴 속도가 향상되지만, 포화(Saturation) 구간에서는 여전히 기울기 소실 문제가 발생합니다.
2.3. 정류 선형 유닛 (ReLU, Rectified Linear Unit)
양수 영역에서는 항등 사상(Identity Mapping)을, 음수 영역에서는 $0$을 출력하는 구분적 선형(Piecewise Linear) 함수입니다.
지수 연산($e^z$)이 필요 없어 연산 속도가 빠르며, $z > 0$ 영역에서 도함수가 항상 $1$로 보존되어 기울기 소실을 효과적으로 억제합니다. 그러나 $z \le 0$ 영역으로 진입한 뉴런의 그래디언트가 영구히 $0$이 되는 Dying ReLU 현상이 발생할 수 있습니다.
2.4. Leaky ReLU
Dying ReLU 문제를 보완하기 위해 음수 영역에 작은 기울기 상수 $\alpha$ (통상 $0.01$)를 부여한 변형입니다.
3. 활성화 함수 공학적 특성 비교표
| 함수명 | 치역 (Range) | 도함수 최댓값 $\max f'(z)$ | 원점 중심 (Zero-Centered) | 기울기 소실 저항도 | 계산 비용 |
|---|---|---|---|---|---|
| Sigmoid | $(0, 1)$ | $0.25$ | No | 매우 낮음 (취약) | 높음 ($e^{-z}$) |
| Tanh | $(-1, 1)$ | $1.00$ | Yes | 낮음 | 높음 ($e^z$) |
| ReLU | $[0, \infty)$ | $1.00$ | No | 매우 높음 ($z>0$) | 극히 낮음 ($\max$) |
| Leaky ReLU | $(-\infty, \infty)$ | $1.00$ | 부분적 지원 | 최고 (소멸 방지) | 극히 낮음 ($\max$) |