1. 단층 퍼셉트론의 구조적 한계와 비선형 분리성
1957년 프랭크 로젠블랫(Frank Rosenblatt)이 제안한 초기 단층 퍼셉트론(Single-Layer Perceptron)은 입력 벡터 $x \in \mathbb{R}^n$에 가중치 벡터 $w$를 내적하고 바이어스 $b$를 더한 선형 결정 경계(Linear Decision Boundary)를 생성하는 모델입니다.
이 모델은 AND, OR 논리 게이트처럼 초평면(Hyperplane) 하나로 양분 가능한 선형 분리 가능(Linearly Separable) 문제만 해결할 수 있습니다. 1969년 마빈 민스키(Marvin Minsky)와 시모어 페퍼트(Seymour Papert)는 XOR 논리 연산이 2차원 공간 상에서 단일 직선으로 분리 불가능함을 대수학적으로 입증하며 단층 구조의 결정적 한계를 지적했습니다.
2. 은닉층(Hidden Layer)과 공간 왜곡 변환
XOR 문제 및 복잡한 비선형 회귀(Regression)를 해결하기 위해서는 입력층과 출력층 사이에 하나 이상의 은닉층(Hidden Layer)을 배치하는 다층 퍼셉트론(Multi-Layer Perceptron, MLP) 구조가 요구됩니다.
은닉층 노드들은 입력 공간을 비선형적인 특징 공간(Feature Space)으로 사상(Mapping)합니다. 입력 벡터가 비선형 활성화 함수를 통과하는 순간 원래 공간의 비선형적인 데이터 분포가 은닉 공간에서는 선형적으로 분리 가능한 형태로 비틀리며 변환됩니다.
유한한 개수의 노드를 갖는 단 하나의 은닉층과 유계(Bounded)이고 단조 증가하는 비선형 활성화 함수 $\sigma(\cdot)$를 갖춘 피드포워드 신경망은, 컴팩트 부분집합 $K \subset \mathbb{R}^n$ 상의 임의의 연속 함수 $f(x)$를 임의의 오차 범위 $\epsilon > 0$ 이내로 균등 근사(Uniform Approximation)할 수 있습니다.
3. 계층별 피드포워드(Feedforward) 행렬 수식 전개
$L$개의 은닉층을 가진 MLP 네트워크에서 $l$번째 레이어의 입력 차원을 $n_{l-1}$, 노드 개수를 $n_l$이라 정의합니다. 각 레이어에서의 가중치 행렬 및 편향 벡터의 차원은 다음과 같습니다.
- 가중치 행렬 (Weight Matrix): $W^{[l]} \in \mathbb{R}^{n_l \times n_{l-1}}$
- 편향 벡터 (Bias Vector): $b^{[l]} \in \mathbb{R}^{n_l \times 1}$
- 선형 결합 출력 (Affine Transformation): $z^{[l]} \in \mathbb{R}^{n_l \times 1}$
- 비선형 활성화 출력 (Activation): $a^{[l]} \in \mathbb{R}^{n_l \times 1}$
순전파 연산은 입력 $a^{[0]} = x$로부터 시작하여 최종 출력 $a^{[L+1]}$까지 다음 연산을 차례대로 수행합니다.
4. 레이어 구성별 연산 차원 매핑 요약
| 레이어 ($l$) | 입력 벡터 ($a^{[l-1]}$) 차원 | 가중치 행렬 ($W^{[l]}$) 차원 | 편향 ($b^{[l]}$) 차원 | 출력 벡터 ($a^{[l]}$) 차원 |
|---|---|---|---|---|
| 입력층 ($l=0$) | - | - | - | $n_0 \times 1$ |
| 은닉층 1 ($l=1$) | $n_0 \times 1$ | $n_1 \times n_0$ | $n_1 \times 1$ | $n_1 \times 1$ |
| 은닉층 $l$ ($l=k$) | $n_{k-1} \times 1$ | $n_k \times n_{k-1}$ | $n_k \times 1$ | $n_k \times 1$ |
| 출력층 ($l=L+1$) | $n_L \times 1$ | $n_{out} \times n_L$ | $n_{out} \times 1$ | $n_{out} \times 1$ |