Technologieaustausch

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Referenzartikel oder Link

Bildabgleich von handgefertigten bis hin zu Deep Features: Eine Umfrage
Bildabgleich über breite Basislinien: Vom Papier zur Praxis
Bildregistrierungstechniken: Eine Übersicht
Kartenbasierte visuelle Positionierung

Bewertung der Feature-Point-Leistung

Referenzpapiere:

• Eine Leistungsbewertung lokaler Deskriptoren
  
• SuperPoint-Anhang

Wiederholbarkeit
Durchschnittlicher Fehler bei der Eckenerkennung
Eckpositionierungsfehler

Kurz gesagt, ein guter Feature-Point-Extraktor kann 2D-Punkte, die durch Projizieren von 3D-Punkten im gleichen Raum auf das Bild unter verschiedenen sich ändernden Bedingungen (wie Betrachtungswinkel, Beleuchtung usw.) gebildet werden, stabil und genau extrahieren.

Traditionelle Feature-Punkte und Deskriptoren (nur Feature-Punkte oder Feature-Punkte + Deskriptoren)

Visuelle Merkmalspunkte wurden ursprünglich auf der Grundlage der Denkweise von Forschern wie SIFT, SURF, ORB und Harris usw. entworfen. Im gleichen Zeitraum wurden sie auch für visuelle Slams oder Positionierungen verwendet.
[Harris，1988] VINS
[Shi-Tomasi, 1994] MonoSLAM
[SCHNELL,1998] ORB_SLAM, T265 VIO， MSCKF-VIO, OpenVSLAM, OKVIS, ROVIO, PTAM
[Blob und Ecke]Sanfter Schlag
[SIEBEN, 1999] MSCKF
[FREAK,2012] Visuelle Lokalisierung für Bodenroboter

traditioneller Deskriptor

[KNAPP, 2010] wird oft in Verbindung mit schnellen Eckpunkten verwendet, wie zORB_SLAM，LDSOWarten
[LEBHAFT, 2011]: Eine Verbesserung von BRIEF mit Skalen- und Rotationsinvarianz

Einschränkungen traditioneller Deskriptoren: Sie basieren auf menschlichen Gefühlen und sind für Computer nicht spezifisch genug. Beispielsweise können sie Änderungen im Beleuchtungswinkel und andere Änderungen nicht bewältigen.

Feature-Punkte basierend auf Deep Learning

CovDet
Quad-Netzwerke
AffNet
KeyNet
MagicPoint

Deskriptoren basierend auf Deep Learning

L2Net: Neue Sampling-Modi und Fehler, CVPR2017
DeepCD: Gleitkomma-Deskriptoren und binäre Deskriptoren ergänzen sich, ICCV2017
Ausbreitung: Lernen der räumlichen Verteilung von Deskriptoren, ICCV2017
HardNet: Verbesserter Fehler basierend auf L2Net, NIPS2017
SoSNet: Lerndeskriptor basierend auf Ähnlichkeitsregularisierung zweiter Ordnung, CVPR2019
GESCHENK: Verwenden von Gruppenfaltungssätzen zum Lernen von Deskriptoren mit bestimmter Skalen- und Rotationsinvarianz, NIPS2019
S2DNet: Deskriptorlernen in ein Klassifizierungsproblem umwandeln und von dünn zu dicht trainieren, ECCV2020
CAPS: Deskriptorlernen ausschließlich unter Verwendung epipolarer Einschränkungen.

Feature-Punkte + Deskriptoren basierend auf Deep Learning

SuperPoint:Selbstüberwachtes Feature-Point- und Deskriptor-Lernen mit gewisser Robustheit gegenüber Beleuchtung, DX-SLAM, CVPR2018
AUFZUG: Lernbasierte invariante Merkmalstransformation, 2016:
SCHEIBE: Verwenden Sie die Policy-Gradienten-Methode beim Reinforcement Learning, um die Merkmalsextraktion und -beschreibung zu erlernen, die eine gewisse Robustheit gegenüber schwachen Kunst- und Wissenschaftsbereichen aufweist, NIPS2020
R2D2: Vorgeschlagen für die Wiederholbarkeit und Zuverlässigkeit von Merkmalspunkten, NeurIPS2019
D2Net: Lokale Merkmale erkennen und beschreiben gemeinsam trainierbares CNN, CVPR2019
ASLFeat: Lernen lokaler Deskriptoren für präzise Form und Positionierung, CVPR2020

Auf Deep Learning basierende Merkmalspunkte und Deskriptoren werden häufig vorgeschlagen, um die Mängel traditioneller Methoden in praktischen Anwendungen zu beheben, und sind robuster gegenüber Beleuchtung, Betrachtungswinkeln usw.

Merkmalsabgleich

Knn-Übereinstimmung mit dem nächsten Nachbarn
FLANN-Matching-Algorithmus
GMS: Nutzung von Bewegungsglättungsinformationen für schnelles und robustes Feature-Matching, CVPR2017
AdaLAM: Ein Fehleranpassungseliminierungsalgorithmus, der die entsprechende Punktverteilung und affine Konsistenz berücksichtigt und das Bild basierend auf der affinen Transformation RANSAC in Blöcke unterteilt
SGM-Netze: Halbglobales Matching mithilfe neuronaler Netze, CVPR2017
PointCN: Verwenden Sie nach dem Brute-Force-Matching ein mehrschichtiges Perzeptron, um einen Fehlermatching vorzuschlagen, CVPR2018
SuperGlue Match: Robustes Matching basierend auf einem graphischen neuronalen Netzwerk und einem Aufmerksamkeitsmechanismus, CVPR2020
LoFTR: Verwendung von Transformer für den lokalen Feature-Abgleich ohne Feature-Extraktor, CVPR2021