Review: MONO-SLAM

Davison, A. J., Reid, I. D., Molton, N. D., & Stasse, O. (2007). MonoSLAM: Real-time single camera SLAM. IEEE transactions on pattern analysis and machine intelligence, 29(6), 1052-1067.

0. Introduction

지난 10년동안 SLAM을 포함한 자율주행 로봇 내비게이션 분야가 상당한 진전을 보였다. 하지만 카메라 비전 연구 또한 같이 진행됐음에도 연산 부하 등의 문제로 레이저나 소나와 같은 다른 센서에서 더 많은 연구가 진행 되었다.

카메라는 직관적이며 정확하고 저렴하며, 작다. 이러한 장점에도 불구하고 카메라는 photometric 효과를 통해 indirectly하게 세계의 geometry를 측정하고 sparse한 feature set를 real-time으로 구현하는데 명확한 한계점이 있었다.

이 논문에서는 고속 프레임(30Hz)의 real-time 성능 구현을 목표로 하고 있다. 이 시스템에선 real-time 알고리즘은 dynamic world의 다른 구성 요소를 포함하는 loop의 일부로 사용되는 경우에만 쓰인다.

dynamic world의 다른 구성 요소?

다음 동작 단계를 제어 해야 하는 로봇, 동작에 대한 visual feedback이 필요한 사람 또는 다른 사람의 입력을 기다리는 계산 과정 등

이러한 경우, 실시간으로 움직이는 카메라에서 얻을 수 있는 가장 즉각적이고 쓸모있는 정보는 세세하게 완성된 '최종 결과 맵'이 아니라, '어디에 있는지'이다. localization과 mapping은 복작하게 결합되어 있으며, 기존 SLAM 연구를 통해 둘 관계가 유기적이라는 것이 알려져 있지만, 이 연구에서는 localization에 중점을 둔다. map을 명확히 구축하긴 하지만, localization을 위해 최적화된 landmark들로 이루어진 sparse map 형태로 구축한다.

또한 real-time 카메라 tracking 시나리오에는 제한된 환경에서 extended motion 및 looping motion이 포함되는 경우가 많다. (e.g. 휴머노이드가 작업을 하거나, 가정용 로봇이 집을 청소하는 경우) ground truth로 부터 gradual drift가 발생하지 않는 repeatable localization은 이러한 곳에서 필수적이며, 움직이는 카메라가 돌아오지 않고 계속해서 새로운 지역을 탐색하는 경우보다 훨씬 더 중요하다. 이러한 환경에서 바로 우리의 fully-probabilistic SLAM 접근 방식이 그 자체로 쓰인다. State-based 프레임워크에서 무한히 참조될 scene landmark의 persistent map을 자연스럽게 구성하고 long-term drift를 수정하기 위해 loop closure을 허용한다. persistent world map을 형성한다는 것은 카메라 움직임이 제한될 경우 알고리즘의 processing requirement가 제한되고 지속적인 real-time 작업이 유지될 수 있음을 의미한다. [4]와 같은 tracking 접근 방식 에서는 누적되는 과거 포즈의 history에 matching하여 loop-closing correction을 진행 한다.

[5], [6], [7] 핵심 요약하여 연관 지을 것

1. Related Works

본 작업에서 극복해야 했던 점은 가장 단순한 경우 SLAM에 필요한 하드웨어를 컴퓨터에 연결된 mono 카메라로 단순화하고 이 카메라의 자유로운 3D 움직임에 대해 최소한의 가정을 요구하는 것이다. 몇몇 저자는 우리와 비슷한 목적을 가지고 실시간 카메라 tracking 시스템을 제시했다. McLauchlan과 Murray [37]는 sparse information filter framework를 사용하여 움직이는 카메라에서 동시 구조 및 모션 복구를 위한 Variable State-Dimension Filter를 도입했지만 long-term tracking 또는 loop closing을 보여주지 못했다.

Chiuso et al. [38]의 연구는 single Extended Kalman Filter를 사용한 지도 propagation 및 localization 불확실성을 포함하여 우리 작업과 몇 가지 아이디어를 공유 했지만 작은 카메라 움직임으로 작은 물체 그룹을 추적한 결과는 제한적이었다. [38]의 방법은 simple gradient descent feature tracking을 사용했기 때문에 high acceleration동안 feature tracking을 하거나, periods of neglect 후에 loop closing하는데 어려움이 있었다.

Niste´r et al. [39]는 순간적인 움직임을 인상적으로 복구 할 수 있는 많은 point feature의 frame to frame 매칭의 motion methodology에서 standard structure에 기반한 real-time 시스템을 제시했다. 이때, point feature들은 또 다시 period of neglect를 거치면 feature를 인식 할 수 없었기 때문에 AR또는 localization에서 급격한 drift가 생길 수 밖에 없다.

[39] 부연 설명

2. Method

2.1 Probabilistic 3D Map

[11]와 같이 우리 방식의 핵심 개념은 카메라의 state와 관심 영역의 모든 feature들에 대한 current estimates의 snapshot을 계속 나타내는 probabilistic feature-based map이다. 이러한 추정, 맵은 시스템 시작시 초기화되고 작업이 끝날 때까지 지속되지만 Extended Kalman Filter에 의해 업데이트됨에 따라 continuously하고 dynamically하게 발달된다. 카메라와 feature에 대한 probabilistic state estimates는 camera motion 및 feature observation 중에 업데이트 된다. 새로운 feature가 관찰되면 지도는 새로운 state로 확대되며 필요한 경우 feature를 삭제한다.

맵의 probabilistic 특성은 카메라 및 feature의 state 평균 "best" estimates 뿐만 아니라 이러한 값에서 possible deviations의 크기를 설명하는 1차 uncertainty distribution의 시간 경과에 따른 propagation에 있다.

이 문장 이해 안 됨

수학적으로, 맵은 state vector x'와 covariance matrix P로 표현된다. State vector x'는 카메라와 feature의 stacked state estimates로 구성되며 P는 다음과 같이 부분 행렬 요소로 분할 될 수 있는 동일한 차원의 square matrix 이다.

이렇게 해서 모든 맵 parameter에 대한 확률 분포는 total state vector 사이즈와 동일한 차원에서 single multivariate Gaussian distribution으로 근사화된다.

명시적으로, 카메라의 state vector xv는 고정된 world frame W 및 카메라가 전달하는 "Robot" frame R에 대한 metric 3D position vector rW, orientation quaternion qrw, 속도 벡터 vw 및 각속도 벡터 wr로 이루어져있다.

이 논문에서 feature state yi는 point features 위치의 3D position vector이다. 카메라와 feature geometry 및 coordinate frame은 Fig. 3a.에 정의되어 있다.

Fig. 3a.

맵의 역할은 전체 장면 설명이 아닌 real-time localization이기 때문에 우리는 고품질 landmarks의 sparse set을 잡는 것을 목표로 한다. 이때 장면은 rigid하고, 각 landmark가 stationary world feature라고 가정한다. 구체적으로, 각 landmark는 3D 공간에서 localization이 잘된 point feature라고 가정한다. 카메라는 위치를 표현하기 위해 translation parameter와 rotation parameter가 필요한 rigid body로 가정되며 linear velocity와 angular velocity의 추정치를 유지한다. (이것은 3.4절에서 설명할 motion dynamics를 사용할 것이기 때문에 알고리즘에서 중요하다.

맵은 Fig. 1a와 같이 그려 질 수 있으며, 모든 geometric estimates는 불확실한 경계를 나타내는 타원형 영역(3개의 standard deviations에 해당)으로 둘러 싸인 것으로 표현된다. 하지만, 그림 1a는 다양한 타원형 영역이 잠재적으로 다양한 각도와 연관되어 있다는 것을 보여줄 수 없다. : sequential mapping에서 일반적으로 발생하는 상황은 공간적으로 가까운 feature가 그 차이(상대적 위치)가 꽤 정확 위치 추정치를 가지지만, world 좌표계에 대한 그룹의 위치는 그렇지 않는 경우가 있다. 이 상황은 off-diagonal 행렬 블록의 0이 아닌 항에 의해, 맵 covariance matrix P에서 표현되며, 알고리즘의 작동에 의해 자연스럽게 발생한 것이다.

행렬식 살펴보기

맵 representation의 총 사이즈는 O(N2)를 따른다. 여기서 N은 feature의 수이며 우리가 사용하는 전체 SLAM알고리즘은 O(N2)의 복잡도를 갖는다. 우리 연구에서 real-time으로 다룰 수 있는 feature의 수는 30Hz 환경에서 약 100개 이다.

이 작업에서 다른 확률적 표현을 사용하는 변환이 아닌 SLAM에 대한 standard single full covariance EKF 접근 방식을 사용하는 큰 이유가 있다. 이 방식 때문에 feature을 뽑아내는 패턴이 [22], [25], [34] 등과 꽤 다른다. 해당 연구 로봇들은 loop 주변의 drift를 수정하는 단계에서 드물게 이전에 본 장소로 돌아올 때까지 탐색 경로를 따라 복도와 유사한 topologies를 통해 이동한다. 불확실한 pose-to-pose 변환이나 submap 또는 유한한 수의 잠재적으로 빈약한 이산 trajectory 가설 세트에서 선택하여 꽤 정확한 loop 주변을 보정하는데 임시 방편으로 사용 할 수 있다.

우리의 경우, 카메라가 제한된 공간을 중심으로 3D로 움직이고 회전함에 따라 개별 feature들이 다양한 순서로 시야에 들어왔다 나가고 카메라가 회전함에 따라 다양한 depth에 있는 feature들의 다양한 subset이 함께 표시된다. 그리고 다양한 크기의 상호 연결된 패턴 loop는 정기적으로 close된다. 우리는 지도의 부분 간의 상관관계를 정확하게 나타내길 원했고, 알려진 method의 클래스 내에서, single state vector와 covariance matrix 내에서 유지되는 feature의 sparse map을 통해서 계산했다. 100개의 잘 선택된 feature들은 지도를 한 방의 맵을 관리하기에 충분했다.

2.2 Natural Visual Landmarks