1. 계산 그래프와 미분 연쇄 법칙(Chain Rule)
오차 역전파(Backpropagation) 알고리즘은 출력층의 최종 손실 오차 $\mathcal{L}$로부터 입력층 방향으로 거꾸로 오차 신호를 전달하여, 네트워크 내부의 모든 가중치 $W^{[l]}$와 편향 $b^{[l]}$에 대한 1차 편미분 $\frac{\partial \mathcal{L}}{\partial W^{[l]}}$, $\frac{\partial \mathcal{L}}{\partial b^{[l]}}$을 연쇄 법칙(Chain Rule)으로 효율적으로 산출하는 핵심 알고리즘입니다.
2. 오차 오차 신호 $\delta^{[l]}$의 수학적 정의 및 4대 역전파 방정식
$l$번째 레이어 노드의 선형 결합 출력 $z^{[l]}$에 대한 손실 함수 $\mathcal{L}$의 편미분 벡터를 오차 신호(Error Signal) $\delta^{[l]}$로 정의합니다.
2.1. [BP1] 출력층의 오차 신호 유도
최종 출력층 $L$에서의 오차 신호는 손실 함수의 출력 편미분과 활성화 함수의 1차 도함수의 아다마르 곱(Hadamard Product, $\odot$)으로 주어집니다.
2.2. [BP2] 은닉층 간 오차 신호 역방향 전파 방정식
다음 계층 $(l+1)$의 오차 신호 $\delta^{[l+1]}$로부터 이전 은닉층 $l$의 오차 신호 $\delta^{[l]}$를 역산하는 전파 공식입니다.
2.3. [BP3] 편향(Bias) 그래디언트 방정식
편향 벡터 $b^{[l]}$에 대한 편미분은 오차 신호 $\delta^{[l]}$와 정확히 일치합니다.
2.4. [BP4] 가중치(Weight) 행렬 그래디언트 방정식
가중치 행렬 $W^{[l]}$에 대한 편미분은 오차 신호 $\delta^{[l]}$와 이전 레이어의 활성화 출력 $(a^{[l-1]})^T$의 외적(Outer Product) 행렬 곱입니다.
3. 역전파 연산 단계별 실행 요약표
| 단계 (Step) | 연산 명칭 | 적용 수식 및 행렬 차원 | 의미 및 역할 |
|---|---|---|---|
| 1단계 | 순전파 캐싱 (Forward Cache) | $z^{[l]}, a^{[l]}$ 저장 ($l=1 \dots L$) | 역전파 시 사용할 중간 활성화값과 선형합을 메모리에 유지 |
| 2단계 | 출력 오차 산출 (BP1) | $\delta^{[L]} = \nabla_{a^{[L]}} \mathcal{L} \odot \sigma'(z^{[L]})$ | 출력층에서의 직접적 에러 신호 측정 |
| 3단계 | 은닉층 역전파 (BP2) | $\delta^{[l]} = (W^{[l+1]})^T \delta^{[l+1]} \odot \sigma'(z^{[l]})$ | 가중치 전치 행렬을 따라 상위 레이어로 에러를 역방향 전파 |
| 4단계 | 파라미터 그래디언트 계산 (BP3, BP4) | $\frac{\partial \mathcal{L}}{\partial W^{[l]}} = \delta^{[l]} (a^{[l-1]})^T, \quad \frac{\partial \mathcal{L}}{\partial b^{[l]}} = \delta^{[l]}$ | 최종 최적화 알고리즘에 전달할 경사 행렬 계산 |