SIFT·SfM

왜 배우는가: SIFT와 SfM은 드론 영상으로 DEM과 정사영상을 만드는 과정의 기초가 되는 기법이다. 두 기법을 구분하지 못하면 대응점 생성 단계와 카메라 복원 단계를 혼동하게 되므로, 여러 교시에 걸쳐 반복해서 출제되는 핵심 개념이다.

출제 이력: 제138회 1교시 6번, 제131회 4교시 6번, 제125회 4교시 6번, 제122회 1교시 2번, 제111회 3교시 4번

1. 한 줄 정의와 핵심 키워드

SIFT는 스케일과 회전에 불변인 특징점을 찾아 기술하는 알고리즘이고, SfM은 중복 영상에서 카메라 자세와 3차원 구조를 함께 추정하는 기법이다.

핵심 키워드는 다음과 같다.

• 스케일 불변성: 영상의 축척이 달라져도 같은 지점을 같은 특징점으로 인식하는 성질이다.
• 특징점 기술자: 특징점 주변의 기울기 정보를 수치 벡터로 표현한 것이다.
• 차분 가우시안(DoG): 인접 스케일의 평활 영상을 뺀 값으로, 특징점 후보를 찾는 데 쓰인다.
• 대응점 정합: 서로 다른 영상에서 같은 지점을 짝지어 찾는 과정이다.
• 카메라 자세 추정: 각 영상을 찍은 위치와 방향을 구하는 과정이다.
• 희소 3차원점: 대응점으로 복원한 비교적 적은 수의 3차원 좌표 점이다.
• 번들 조정: 카메라 자세와 3차원점을 동시에 보정하는 최적화 과정이다.

두 기법의 차이는 입력과 출력에서 드러난다. SIFT는 영상에서 대응점을 만들어 내고, SfM은 그 대응점으로 카메라와 3차원 구조를 복원한다. 따라서 두 기법을 같은 것으로 묶지 않고 단계를 나누어 설명해야 한다.

2. 개념 풀이

SIFT는 영상에서 밝기 변화에 강인한 점을 골라내고, 그 점 주변을 벡터로 기술하여 서로 다른 영상에서 같은 점을 찾게 하는 알고리즘이다. 축척이 바뀌어도 같은 점을 찾기 위해 영상을 여러 스케일로 평활하여 스케일 공간을 구성하고, 인접 스케일끼리의 차이인 차분 가우시안 값의 극값을 특징점 후보로 삼는다. 후보 중 명암 대비가 낮거나 가장자리에 놓여 위치가 불안정한 점은 제거하여 최종 특징점을 확정한다.

각 특징점에는 주변 기울기의 크기와 방향을 히스토그램으로 집계하여 가장 우세한 방향을 주방향으로 부여한다. 이 주방향을 기준으로 주변 영역을 회전시켜 정렬하면 영상이 회전하더라도 같은 기술자가 나온다. 정렬된 영역을 작은 부영역으로 나누고 각 부영역의 기울기 히스토그램을 이어 붙이면 기술자가 된다. 일반적인 SIFT 기술자는 4×4 부영역에 각 8방향 히스토그램을 쌓아 128차원 벡터로 표현된다.

두 영상의 기술자 사이 유클리드 거리로 가장 가까운 후보를 찾고, 가장 가까운 후보와 두 번째 후보의 거리 비가 충분히 작을 때만 대응을 인정하여 모호한 짝을 버린다. 남은 대응점 가운데 기하 모델에 맞지 않는 잘못된 쌍은 RANSAC으로 제거한다. 이 과정을 거친 대응점이 SfM의 입력이 된다. SIFT 자체는 카메라 위치나 3차원 좌표를 구하지 않는다는 점이 핵심이다.

SfM은 촬영 위치가 조금씩 다른 여러 장의 중복 영상에서 대응점을 모아, 카메라의 위치와 자세 및 대상의 3차원 좌표를 함께 구하는 기법이다. 전통적 사진측량이 카메라 자세를 미리 알고 있어야 한다는 전제를 두는 것과 달리, SfM은 영상 간 기하 관계로부터 자세를 추정한다. 원리는 두 영상의 대응점과 에피폴라 기하로 상대 자세를 구하고, 이를 다른 영상으로 확장하여 대응점을 삼각측량으로 3차원 좌표로 바꾸는 것이다.

이렇게 누적된 추정치에는 오차가 쌓이므로, SfM은 번들 조정으로 모든 카메라 자세와 3차원점을 동시에 조정한다. 번들 조정은 3차원점을 각 영상에 다시 투영한 좌표와 실제 관측된 특징점 좌표의 차이인 재투영 오차를 최소화하는 비선형 최소제곱 문제이다. 이 최적화로 얻은 희소 3차원점과 카메라 위치에 다중 영상 스테레오(MVS) 같은 밀집 복원 단계를 더하면 고밀도 점군을 얻는다.

SIFT와 SfM을 같은 알고리즘으로 생각하는 오류이다. SIFT는 영상 쌍에서 대응점을 만드는 특징 추출·정합 기법이고, SfM은 그 대응점을 입력으로 카메라와 구조를 복원하는 기하 기법이다. 두 기법은 입력과 출력이 연결되는 관계이므로 답안에서는 단계별로 나누어 설명해야 한다.

3. 등장 배경과 필요성

전통적인 항공사진측량은 카메라의 자세와 위치 정보를 정밀하게 알고 있어야 입체 모델을 만들 수 있었다. 이 방식은 촬영 장비와 기준점 측량에 비용이 많이 들고, 영상 간 같은 점을 사람이 직접 찍어 맞추는 작업이 필요했다. 따라서 대량의 영상을 자동으로 처리할 수 있는 방법이 요구되었다.

무인기(UAV)에 탑재된 카메라는 기체의 흔들림으로 촬영 자세가 일정하지 않고, 고도 변화에 따라 같은 지점의 축척도 달라진다. 그래서 스케일과 회전에 강인한 SIFT가 필요하다. 또한 같은 지점을 여러 장에 중복해 찍은 영상은 특징점이 많아 자동 정합에 유리하다. 이에 따라 SIFT로 영상 간 대응점을 찾고 SfM으로 자세와 구조를 함께 추정하는 방식이 드론 사진측량의 기본 틀이 되었다.