Partage de technologie

SLAM visuel et positionnement - points de fonctionnalités front-end et correspondance

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Article de référence ou lien

La correspondance d'images, de la fabrication artisanale aux fonctionnalités avancées : une enquête
Correspondance d'images sur de larges lignes de base : du papier à la pratique
Techniques d'enregistrement d'images : un aperçu
Positionnement visuel basé sur une carte

Évaluation des performances des points caractéristiques

Documents de référence :

Répétabilité
Erreur moyenne de détection de coin
Erreur de positionnement du coin

En bref, un bon extracteur de points caractéristiques peut extraire de manière stable et précise des points 2D formés en projetant des points 3D dans le même espace sur l'image dans différentes conditions changeantes (telles que l'angle de vue, l'éclairage, etc.).

Points caractéristiques et descripteurs traditionnels (points caractéristiques uniquement ou points caractéristiques + descripteurs)

Les points caractéristiques visuels ont été initialement conçus sur la base de la réflexion de chercheurs, tels que SIFT, SURF, ORB et Harris, etc. Ils ont également été utilisés dans le slam visuel ou le positionnement au cours de la même période.
[Harris
,1988] VINS
[Shi Tomasi, 1994] MonoSLAM
[RAPIDE
,1998] ORB_SLAM, T265 VIOMSCKF-VIO, OpenVSLAM, OKVIS, ROVIO, PTAM
[Blob et Coin]Soft-Slam
[TAMISER
, 1999] MSCKF
[MONSTRE,2012] Localisation assistée par vision pour les robots terrestres

descripteur traditionnel

[BREF, 2010] est souvent utilisé en conjonction avec des points de virage rapides, tels queORB_SLAMLDSOattendez
[RAPIDE, 2011] : Une amélioration de BRIEF avec invariance d'échelle et de rotation

Limites des descripteurs traditionnels : ils sont conçus sur la base des sentiments humains et ne sont pas suffisamment spécifiques pour les ordinateurs. Par exemple, ils ne peuvent pas gérer les changements d'angles d'éclairage et autres changements.

Points caractéristiques basés sur l'apprentissage profond

Détective CovDet
Réseaux quadruples
Réseau Affilié
KeyNet
Point magique

Descripteurs basés sur le deep learning

L2Net : Nouveaux modes d'échantillonnage et erreurs, CVPR2017
DeepCD : Les descripteurs à virgule flottante et les descripteurs binaires sont complémentaires, ICCV2017
Etalement : Apprentissage de la répartition spatiale des descripteurs, ICCV2017
HardNet : erreur améliorée basée sur L2Net, NIPS2017
SoSNet : Descripteur d'apprentissage basé sur la régularisation de similarité de second ordre, CVPR2019
CADEAU : Utilisation d'ensembles de convolution de groupe pour apprendre des descripteurs avec une certaine invariance d'échelle et de rotation, NIPS2019
S2DNet : convertir l'apprentissage des descripteurs en un problème de classification et entraîner du clairsemé au dense, ECCV2020
CAPS : Apprentissage de descripteurs utilisant uniquement des contraintes épipolaires.

Points caractéristiques + descripteurs basés sur l'apprentissage profond

SuperPoint:Apprentissage auto-supervisé de points caractéristiques et de descripteurs, avec une certaine robustesse à l'éclairage, DX-SLAM, CVPR2018
ASCENSEUR: Transformation de fonctionnalités invariantes basée sur l'apprentissage, 2016 :
DISQUE: Utiliser la méthode du gradient politique dans l'apprentissage par renforcement pour apprendre l'extraction et la description de caractéristiques, qui présente une certaine robustesse dans les domaines artistiques et scientifiques faibles, NIPS2020
R2D2: Proposé pour la répétabilité et la fiabilité des points caractéristiques, NeurIPS2019
D2Net : Les fonctionnalités locales détectent et décrivent conjointement CNN pouvant être entraîné, CVPR2019
ASL Feat: Apprentissage de descripteurs locaux pour une forme et un positionnement précis, CVPR2020

Des points caractéristiques et des descripteurs basés sur l'apprentissage profond sont souvent proposés pour combler les lacunes des méthodes traditionnelles dans les applications pratiques, et sont plus robustes à l'éclairage, aux angles de vision, etc.

correspondance des fonctionnalités

Correspondance Knn du voisin le plus proche
Algorithme de correspondance FLANN
GMS: Exploitation des informations de lissage de mouvement pour une correspondance de fonctionnalités rapide et robuste, CVPR2017
AdaLAM: Un algorithme d'élimination de correspondance d'erreurs qui prend en compte la distribution de points correspondante et la cohérence affine, et l'image est divisée en blocs basés sur la transformation affine RANSAC
Réseaux SGM: Appariement semi-global utilisant les réseaux de neurones, CVPR2017
PointCN : Après la correspondance par force brute, utilisez le perceptron multicouche pour proposer la correspondance d'erreurs, CVPR2018
Match de SuperGlue: Correspondance robuste basée sur un réseau neuronal graphique et un mécanisme d'attention, CVPR2020
LoFTR: Utilisation de Transformer pour la correspondance de fonctionnalités locales sans extracteur de fonctionnalités, CVPR2021