기술나눔

시각적 SLAM 및 포지셔닝 - 프런트엔드 특징 포인트 및 매칭

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

참고 기사 또는 링크

수작업에서 심층적 특징까지의 이미지 매칭: 조사
광범위한 기준선에 걸친 이미지 매칭: 논문에서 실습까지
이미지 등록 기술: 조사
지도 기반 시각적 위치 지정

특징점 성능 평가

참고 논문:

반복성
코너 검출 평균 오차
코너 위치 오류

즉, 좋은 특징점 추출기는 다양한 변화 조건(시야각, 조명 등)에서 동일한 공간의 3차원 점을 이미지에 투영하여 형성된 2차원 점을 안정적이고 정확하게 추출할 수 있습니다.

전통적인 특징점 및 설명자(특징점만 또는 특징점 + 설명자)

시각적 특징점은 원래 SIFT, SURF, ORB, Harris 등 연구자의 사고를 바탕으로 설계되었으며, 같은 기간 시각적 슬램이나 포지셔닝에도 사용되었습니다.
[해리스
,1988] 빈스
[시 토마시, 1994] 모노슬램
[빠른
,1998] ORB_슬램, T265 비오MSCKF-VIO, 오픈VSLAM, 오크비스, 로비오, 피탐(PTAM)
[블롭 앤 코너]소프트슬램
[체로 치다
, 1999] 주식회사
[괴물,2012] 지상 로봇을 위한 시각 지원 위치 파악

전통적인 설명자

[짧은, 2010]은 다음과 같은 빠른 코너 포인트와 함께 자주 사용됩니다.ORB_슬램LDSO기다리다
[활발한, 2011]: 규모 및 회전 불변성을 갖춘 BRIEF 개선

기존 설명자의 한계: 인간의 감정을 기반으로 설계되었으며 컴퓨터에 대해 충분히 구체적이지 않습니다. 예를 들어 조명 각도의 변화 및 기타 변화에 대처할 수 없습니다.

딥러닝 기반 특징점

코브데트
쿼드 네트워크
애프넷
키넷
매직포인트

딥러닝 기반 디스크립터

L2Net: 새로운 샘플링 모드 및 오류, CVPR2017
DeepCD: 부동 소수점 설명자와 바이너리 설명자는 상호 보완적입니다. ICCV2017
확산: 디스크립터의 공간 분포 학습, ICCV2017
HardNet: L2Net, NIPS2017 기반 오류 개선
SoSNet: 2차 유사성 정규화에 기반한 학습 설명자, CVPR2019
GIFT: 그룹 컨볼루션 세트를 사용하여 특정 규모 및 회전 불변성을 갖는 설명자 학습, NIPS2019
S2DNet: 설명자 학습을 분류 문제로 변환하고 희소에서 밀도로 학습, ECCV2020
CAPS: 에피폴라 제약 조건만 사용하여 설명자 학습.

딥러닝 기반 특징점 + 설명자

슈퍼포인트:조명에 대한 특정 견고성을 갖춘 자체 지도 특징점 및 설명자 학습, DX-SLAM, CVPR2018
승강기: 학습 기반 불변 특성 변환, 2016:
디스크: 강화학습에서 정책 그래디언트 방법을 사용하여 약한 예술 및 과학 분야에 확실한 견고성을 갖는 특징 추출 및 설명을 학습합니다. NIPS2020
R2D2: 특징점의 반복성과 신뢰성을 위해 제안된 NeurIPS2019
디투넷: 로컬 기능은 훈련 가능한 CNN, CVPR2019를 공동으로 감지하고 설명합니다.
ASLFeat: 정확한 형상과 위치 지정을 위한 로컬 디스크립터 학습, CVPR2020

딥러닝을 기반으로 한 특징점과 설명자는 실제 응용 분야에서 기존 방법의 단점을 해결하기 위해 제안되는 경우가 많으며 조명, 시야각 등에 더욱 강력합니다.

특징 매칭

가장 가까운 이웃 Knn 매칭
FLANN 매칭 알고리즘
지엠에스: 빠르고 강력한 특징 매칭을 위한 모션 스무딩 정보 활용, CVPR2017
아다람: 대응점 분포와 아핀 일관성을 고려하고 아핀 변환을 기반으로 영상을 블록으로 분할하는 에러 매칭 제거 알고리즘 RANSAC
SGM-넷: 신경망을 이용한 반전역 매칭, CVPR2017
PointCN: 무차별 매칭 후 다층 퍼셉트론을 사용하여 오류 매칭 제안, CVPR2018
슈퍼글루 매치: 그래프 신경망과 Attention 메커니즘을 기반으로 한 강력한 매칭, CVPR2020
로프트르: 특징 추출기 없이 로컬 특징 매칭을 위해 Transformer 사용, CVPR2021