SVM

왜 배우는가: SVM은 딥러닝 이전 분류 성능의 기준이 된 모델이며, 마진 최대화·커널 트릭·서포트 벡터 개념은 이후 여러 분류·회귀 모델의 바탕이 된다. 시험에서는 개념 용어형과 원리를 묻는 논술형으로 반복해 출제된다.

출제 이력: 제132회 4교시 5번, 제119회 1교시 1번

1. 한 줄 정의와 핵심 키워드

서포트 벡터 머신(SVM)은 두 클래스 사이의 마진을 최대화하는 결정경계(초평면)를 학습하는 지도학습 모델이다.

핵심 키워드

• 서포트 벡터(Support Vector): 초평면에 가장 가까운 학습 데이터로, 결정경계를 실제로 정하는 점이다.
• 마진(Margin): 초평면과 서포트 벡터 사이의 거리 폭이다. 최대화 대상이다.
• 최대 마진 초평면(Maximum Margin Hyperplane): 마진이 최대인 분리 초평면이다.
• 커널 트릭(Kernel Trick): 고차원 특징 공간의 내적을 원공간에서 계산하는 기법이다.
• 슬랙 변수(Slack Variable): 선형 분리가 어려울 때 오분류를 허용하는 여유 변수다.
• 하드 마진 / 소프트 마진(Hard / Soft Margin): 오분류를 허용하지 않는 방식과 허용하는 방식이다.
• 이차 계획법(Quadratic Programming): SVM 최적화 문제의 해법 범주다.
• 커널 함수(Kernel Function): 선형, 다항, RBF(가우시안), 시그모이드 등이 쓰인다.

2. 개념 풀이

쉽게 말하면 SVM은 두 무리의 데이터 사이에 가장 넓은 길을 내는 방법이다. 길의 양쪽 가장자리에 걸친 데이터가 서포트 벡터이고, 나머지 데이터는 길 판단에 영향을 주지 않는다.

정식 정의는 다음과 같다. 학습 데이터 집합 D={(x_i, y_i)}에서 y_i ∈ {+1, -1}이고, 초평면 w·x+b=0으로 두 클래스를 나눈다. 마진 폭은 \frac{2}{\|w\|}이므로 마진 최대화는 \|w\| 최소화와 같다. 제약은 y_i(w·x_i+b) ≥ 1이다.

결정경계는 클래스를 가르는 평면이다. 초평면(Hyperplane)은 입력 공간보다 한 차원 낮은 분리 평면이다. 입력 차원이 p이면 초평면은 p-1차원이다.

서포트 벡터는 마진 경계 위에 놓인 데이터다. 이 점들만 w와 b를 결정하므로, 나머지 데이터를 제거해도 경계는 변하지 않는다.

커널 트릭은 고차원 사상 φ(x)를 직접 계산하지 않고 K(x_i, x_j)=φ(x_i)·φ(x_j)만 계산하는 방법이다. 차원이 커져도 계산량이 크게 늘지 않는다.

소프트 마진은 슬랙 변수 ξ_i ≥ 0을 도입해 일부 오분류를 허용하는 방식이다. 비용 파라미터 C가 오분류 허용 정도를 조절한다. C가 크면 오분류를 엄격히 벌하고, 작으면 마진을 넓게 유지한다.

3. 등장 배경과 필요성

1990년대 이전에는 신경망의 과적합과 지역 최적해 문제가 자주 지적되었다. 이에 대응해 통계적 학습 이론(VC 이론) 위에 마진 최대화 원리가 세워졌다. 마진 최대화 원리는 통계적 학습 이론(VC 이론)의 맥락에서 설명된다.

마진 최대화는 일반화 성능과 연결된다. 경계가 두 클래스 모두에서 떨어져 있을수록 새 데이터의 오분류 가능성이 줄어든다는 것이 핵심 아이디어다.

실제 데이터는 선형으로 나뉘지 않는 경우가 많다. 이때 커널 트릭이 필요해진다. 커널 트릭은 고차원 사상의 계산 비용을 줄여, 비선형 분류를 가능하게 하는 수단이다.

SVM의 최적화 문제는 볼록(convex) 문제이므로 전역 최적해가 하나로 정해진다. 이는 신경망이 여러 지역 최솟값에 빠지는 것과 대비된다.