1. 손실 함수의 수학적 역할과 목적
신경망 학습에서 손실 함수(Loss Function) $\mathcal{L}(\theta)$는 예측값 $\hat{y}_i = f(x_i; \theta)$와 실제 관측값 $y_i$ 간의 차이를 정량화하는 목적 함수입니다. 경사하강법 알고리즘은 손실 함수의 1차 편미분 그래디언트 $\nabla_\theta \mathcal{L}$를 경사 반대 방향으로 추적하여 신경망 파라미터를 최적화합니다.
2. 회귀 손실 함수의 수식 정의 및 미분 특성
2.1. 평균 제곱 오차 (MSE, Mean Squared Error / L2 Loss)
예측 오차 $e_i = y_i - \hat{y}_i$의 제곱의 평균을 계산하는 미분 가능한 이차 함수입니다.
그래디언트 크기가 오차 $(y_i - \hat{y}_i)$에 직접 정비례합니다. 오차가 클수록 업데이트 보폭이 비례하여 커지므로 수렴 속도가 빠르지만, 노이즈나 아웃라이어(Outlier)가 존재할 경우 제곱 오차에 의해 그래디언트 폭발이 발생하여 모델 전체가 이상치에 강하게 끌려가는 치명적 단점이 있습니다.
2.2. 평균 절대 오차 (MAE, Mean Absolute Error / L1 Loss)
예측 오차의 절대값 평균을 산출하는 일차 선형 손실 함수입니다.
미분 도함수가 부호 함수 $\text{sign}(\cdot)$에 의해서만 결정되므로 그래디언트의 절대 크기가 항상 상수로 일정합니다. 이상치가 존재해도 기울기가 폭발하지 않아 극도로 우수한 강건성(Robustness)을 지닙니다. 그러나 오차가 $0$에 극도로 가까워져도 업데이트 보폭이 줄어들지 않고 원점 부근에서 덜컥거리는진동(Oscillation) 현상이 발생합니다.
2.3. 후버 손실 (Huber Loss)
MSE와 MAE의 공학적 장점만을 결합한 구분적 스무딩(Piecewise Smooth) 손실 함수입니다.
임계치 $\delta$ 이내의 미세 오차 영역에서는 MSE로 작동하여 원점 부근에서 부드럽게 수렴하며, $\delta$를 초과하는 대형 오차 및 이상치 영역에서는 MAE로 전환되어 그래디언트 폭발을 방지합니다.
3. 회귀 손실 함수 특성 비교표
| 손실 함수 | 1차 도함수 $\frac{\partial \mathcal{L}}{\partial \hat{y}}$ | 원점 연속 미분성 | 이상치 저항성 (Robustness) | 수렴 미세 안정성 |
|---|---|---|---|---|
| MSE ($L_2$) | 오차에 정비례 ($-\frac{2}{N}e_i$) | $C^\infty$ 연속 미분 가능 | 매우 낮음 (이상치에 취약) | 우수함 (원점 수렴) |
| MAE ($L_1$) | 상수 부호 ($-\frac{1}{N}\text{sign}(e_i)$) | $e_i=0$에서 미분 불가능 | 매우 높음 (강건함) | 저하됨 (원점 진동 발생) |
| Huber Loss | 구분적 연속 ($e_i$ 또는 $\delta\text{sign}(e_i)$) | $C^1$ 연속 미분 가능 | 높음 ($\delta$ 조건 제어) | 매우 우수함 |