영상정합

왜 배우는가: 영상정합은 디지털 사진측량과 위성·드론 영상 처리의 출발점이 되는 기술이라 기초 개념으로 반드시 알아야 한다. 여러 교시에서 반복 출제되는 개념이므로 세 가지 정합 방식의 차이와 각 방식의 특성을 구분해 설명할 수 있어야 한다.

출제 이력: 제137회 3교시 4번, 제128회 2교시 4번, 제108회 3교시 4번, 제98회 4교시 5번, 제92회 1교시 7번, 제90회 2교시 4번

1. 한 줄 정의와 핵심 키워드

영상정합은 같은 대상을 촬영한 둘 이상의 영상에서 대응점을 찾아 영상 사이의 기하 관계를 결정하는 처리 과정이다. 답안에 쓸 핵심 키워드는 다음과 같다.

• 대응점: 서로 다른 영상에서 같은 지상 지점을 나타내는 화소의 쌍이다.
• 기준영상: 좌표계가 고정되어 맞춤의 기준이 되는 영상이다.
• 대상영상: 기준영상의 좌표계에 맞추어 변형되는 영상이다.
• 유사도: 두 영상 조각이 얼마나 닮았는지를 수치로 나타낸 값이다.
• 특징점: 모서리나 명암 변화가 뚜렷해 여러 영상에서 다시 찾을 수 있는 점이다.
• 기하 변환: 대응점으로부터 추정하는 좌표 변환 관계이다.
• 관계 구조: 특징들 사이의 상대 위치와 방향을 묶어 표현한 정보이다.

2. 개념 풀이

영상정합은 기준영상과 대상영상 사이에서 대응관계를 찾아 두 영상을 하나의 좌표계로 맞추는 기법이다. 대응관계를 알면 한 영상의 점이 다른 영상의 어느 위치에 놓이는지 정해지고, 나머지 점의 위치도 같은 변환으로 계산할 수 있다. 따라서 영상정합의 결과물은 정확한 대응점과 그로부터 얻은 기하 변환 관계이다.

영상정합은 보통 네 단계로 수행된다.

• 특징을 추출한다. 영역 방식은 창 단위의 밝기 자체를 쓰고, 특징 방식은 점·선·모서리를 뽑는다.
• 후보 대응을 탐색한다. 대상영상에서 기준 정보와 비슷한 위치나 특징을 찾는다.
• 유사도로 대응을 판정한다. 유사도가 기준을 넘는 쌍만 대응점으로 채택한다.
• 기하 변환을 추정하고 잘못된 쌍을 걸러 낸다. RANSAC 같은 반복 추정 기법으로 대응점 집합에서 오차가 큰 쌍을 제외한다.

이 가운데 대응을 판정하는 기준이 정합 방식을 가른다. 밝기 값을 직접 비교하는지, 특징을 비교하는지, 특징 사이의 구조를 비교하는지에 따라 영역기준정합, 형상기준정합, 관계형정합으로 나뉜다.

영역기준정합(ABM)은 기준영상의 일정 크기 창을 대상영상 위에서 이동시키며 밝기 값끼리 비교한다. 비교 척도로는 상관계수를 많이 쓰며, 상관계수가 가장 큰 위치를 대응점으로 정한다. 영상 전체의 밝기 패턴을 그대로 쓰므로 텍스처가 풍부한 지역에 유리하지만, 기하 변형이 크거나 명암이 달라지면 대응이 틀릴 수 있다.

형상기준정합(FBM)은 점·선·모서리 같은 특징을 먼저 뽑고 특징끼리 비교한다. 탐색 대상이 화소 전체가 아니라 특징으로 줄어들어 계산이 빠르고, 회전과 축척 변화에 강한 기술자를 쓸 수 있다. 다만 특징이 적은 평탄한 지역에서는 대응점이 부족해지며, 특징 추출이 잘못되면 그 오차가 그대로 대응에 반영된다.

관계형정합(RM)은 개별 특징의 외형보다 특징들 사이의 상대 위치, 거리, 방향 관계를 구조로 비교한다. 외형이 조금 달라도 특징 배열이 같으면 대응이 가능하므로 건물처럼 규칙적인 배열이 있는 대상에 적합하다. 구조 비교는 조합의 수가 많아 계산량이 크고, 특징 추출 품질에 민감하다는 한계가 있다.

정규화 상관계수는 다음과 같이 쓴다. $$ r = Σ(f−f̄)(g−ḡ) ÷ √(Σ(f−f̄)² × Σ(g−ḡ)²) $$ 여기서 f와 g는 두 창의 화소 밝기이고, f̄과 ḡ는 각 창의 평균 밝기이다. r은 −1에서 1 사이의 값이다. 두 창이 유사할수록 r은 1에 가까워지며, 대응점은 r이 최대인 위치로 정한다.

영상정합은 중복 영역이 충분하고 촬영 조건이 비슷할수록 안정적이다. 계절, 조명, 그림자가 달라지면 밝기 기반 비교가 흔들리므로 특징 기반 방식으로 보완하며, 실제 시스템은 두 방식을 함께 쓰는 경우가 많다.

대응점으로 추정하는 기하 변환은 목적에 따라 강체 변환, 상사 변환, 아핀 변환, 투영 변환으로 구분된다. 지형 기복과 촬영 자세의 영향을 받는 항공사진에서는 투영 변환이나 공선조건에 기반한 모델이 필요하다. 아핀 변환은 영상 조각을 거의 평면으로 볼 수 있을 때에만 근사적으로 쓴다.

3. 등장 배경과 필요성

디지털 항공사진측량이 보편화되면서 대량의 사진에서 대응점을 측정하는 작업량이 급격히 늘었다. 사람이 수작업으로 대응점을 찾던 방식은 시간과 비용이 많이 들고, 측정자마다 결과가 달라지는 한계가 있었다. 영상정합은 이 대응점 측정을 자동화하여 상호표정, 입체 모델 생성, 정사영상 제작에 필요한 점을 대량으로 확보하는 기술로 등장하였다.