Condivisione della tecnologia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Riepilogo dell'articolo

Il rilevamento dei ponti nelle immagini telerilevate (RSI) svolge un ruolo fondamentale in varie applicazioni，Ma il rilevamento dei ponti deve affrontare sfide uniche rispetto al rilevamento di altri oggetti. Attraverso gli RSI, i ponti mostrano notevoli variazioni nella scala spaziale e nelle proporzioni. Pertanto, per garantire la visibilità e l'integrità del ponte, è necessaria l'ispezione complessiva del ponte in RSI ad alta risoluzione (VHR) su larga scala. Tuttavia, la mancanza di set di dati di grandi dimensioni di VHR RSI limita le prestazioni degli algoritmi di deep learning nel rilevamento dei ponti. A causa della limitazione della memoria della GPU durante l’elaborazione di immagini di grandi dimensioni, i metodi di rilevamento degli oggetti basati sul deep learning solitamente adottano strategie di ritaglio, che portano inevitabilmente alla frammentazione delle etichette e alla discontinuità della previsione.Per alleviare la scarsità di set di dati,L'articolo propone un set di dati su larga scala chiamato GLH-Bridge, che include 6.000 RSI VHR campionati da diverse località geografiche in tutto il mondo. Le immagini hanno dimensioni comprese tra 2.048 × 2.048 e 16.384 × 16.384 pixel e contengono un totale di 59.737 ponti. I ponti si estendono su sfondi diversi e ogni ponte viene annotato manualmente utilizzando riquadri di delimitazione orientati (OBB) e riquadri di delimitazione orizzontale (HBB).Inoltre, gli autori propongono un'efficiente rete olistica di rilevamento dei ponti (HBD-Net) per il rilevamento dei ponti nelle RSI di grandi dimensioni. HBD-Net adotta l'architettura SDFF (Independent Detector-Based Feature Fusion) ed è ottimizzato attraverso la strategia di riponderazione del campione sensibile alla forma (SSRW). L'architettura SDFF esegue la fusione delle funzionalità interstrato (IFF) per fondere il contesto multiscala nella piramide dell'immagine dinamica (DIP) di immagini di grandi dimensioni e la strategia SSRW viene utilizzata per garantire l'equilibrio dei pesi di regressione per ponti con aspetto diverso rapporti.Sulla base del set di dati GLH-Bridge proposto, gli autori hanno stabilito un benchmark di rilevamento del bridge che includeva attività OBB e HBB e hanno verificato l'efficacia dell'HBD-Net proposto.Inoltre, esperimenti di generalizzazione tra set di dati su due set di dati disponibili al pubblico dimostrano la forte capacità di generalizzazione del set di dati GLH-Bridge.

Indirizzo cartaceo:

Italiano: https://ieeexplore.ieee.org/document/10509806

Il set di dati è di grandi dimensioni, supera i 20G e richiede l'accesso scientifico a Internet per il download. Lo abbiamo già scaricato per tutti.

Indirizzo di download del set di dati:

Italiano: https://www.dilitanxianjia.com/15644/

Passato e presente

In quanto componenti chiave dell’infrastruttura, i ponti si estendono su vari terreni e fungono da strutture di trasporto di base. Sono di grande importanza nei trasporti civili, nelle operazioni militari e nei soccorsi in caso di calamità [1].Allo stesso tempo, la costruzione dei ponti fu rapida e spesso rinnovata . Ad esempio, nel 2012 negli Stati Uniti c’erano circa 617.000 ponti e il loro deterioramento aumenterà nei prossimi 50 anni, richiedendo più di 125 miliardi di dollari per riparare l’arretrato di riparazioni. Pertanto, l’efficienza e l’efficacia dell’ispezione dei ponti sono cruciali per aggiornare tempestivamente le mappe di navigazione e monitorare ulteriormente la salute strutturale e le condizioni dei ponti [2], [3]. Le immagini di telerilevamento (RSI) sono adatte come dati di base per il rilevamento dei ponti grazie alla loro ampia copertura geografica e all'elevata frequenza di visite. Allo stesso tempo, considerando le potenti capacità di rappresentazione delle caratteristiche delle reti profonde, il rilevamento dei ponti RSI basato sull’apprendimento profondo ha un grande potenziale ed è diventato un focus di ricerca [4].

Come mostrato nella Figura 1, rispetto ad altri oggetti comuni, il rilevamento di ponti multiscala negli RSI è piuttosto impegnativo a causa di due caratteristiche principali: (i) diverse scale degli oggetti. Negli RSI ad alta risoluzione (VHR), le istanze del ponte variano in lunghezza da pochi pixel a migliaia di pixel. (ii) Rapporti d'aspetto estremi. Esistono differenze significative nell’entità dell’allungamento tra i ponti. Per garantire la rilevabilità di ponti piccoli o stretti, l'uso di immagini ad altissima risoluzione (VHR) è fondamentale. Allo stesso tempo, al fine di perseguire l'integrità strutturale dei ponti grandi e lunghi nelle immagini VHR, è necessario eseguire il rilevamento complessivo dei ponti nelle immagini di grandi dimensioni, il che impone requisiti severi sia ai set di dati che ai metodi. Nonostante i progressi significativi nel rilevamento di oggetti multiclasse [12], [13], [14], [15], [16] e nel rilevamento di ponti [4], [11], [17],Tuttavia, mancano ancora set di dati su larga scala e metodi appropriati per il rilevamento complessivo dei ponti nelle RSI VHR di grandi dimensioni.

Come mostrato nella Tabella 1, sebbene siano stati creati molti set di dati di rilevamento di oggetti RSI popolari [6], [7], [8], [18], il numero di ponti in questi set di dati è limitato.Inoltre, i set di dati [4], [11] creati appositamente per il rilevamento dei ponti sono spesso limitati dalla dimensione del campione e dalla dimensione dell'immagine. Alcuni set di dati esistenti forniscono solo annotazioni di riquadro di delimitazione orizzontale (HBB) invece di annotazioni di riquadro di delimitazione orientato preciso (OBB). Pertanto, non sembra realistico addestrare un modello di rilevamento dei ponti robusto e ampiamente adattabile utilizzando il set di dati di cui sopra. Per affrontare il problema della limitazione dei dati, gli autori hanno costruito GLH-Bridge, un set di dati su larga scala per il rilevamento del ponte di RSI VHR di grandi dimensioni. GLH-Bridge contiene 6.000 RSI VHR campionati a livello globale e oltre 59.000 ponti annotati manualmente. Rispetto ai set di dati di rilevamento dei ponti esistenti, GLH-Bridge cattura meglio le caratteristiche dei ponti nelle scene reali annotando ponti multiscala in RSI VHR di grandi dimensioni, coprendo vari tipi di sfondo come vegetazione, letti di fiumi asciutti e caratteristiche delle strade. In breve, GLH-Bridge dimostra vantaggi completi e vantaggi significativi rispetto ai set di dati di rilevamento dei ponti esistenti.

Per far avanzare la ricerca su questo problema fondamentale e pratico, gli autori propongono un nuovo compito impegnativo e significativo: il rilevamento complessivo dei ponti negli RSI VHR su larga scala.Per risolvere questo compito, le potenziali soluzioni possono essere suddivise in quattro aree principali: (i) Data la limitazione della memoria GPU, i metodi tradizionali di rilevamento degli oggetti basati sul deep learning [15], [16], [19], [20], [21] solitamente adottano strategie di ritaglio [7], [22]. Tuttavia, queste strategie presentano limitazioni intrinseche e tendono a tagliare ponti di grandi dimensioni, come mostrato nella Figura 1. Oltre alle strategie di ritaglio, alcuni metodi di rilevamento degli oggetti elaborano immagini originali di grandi dimensioni attraverso strategie di downsampling a finestra fissa [23], [24], [25], con conseguente significativa perdita di informazioni sull'immagine; (ii) metodi di streaming [26] immagini di dimensioni per passaggi avanti e indietro, ma non può supportare reti neurali profonde (DNN) con normalizzazione; (iii) il metodo LMS [27] utilizza l'offload della memoria per distribuire la memoria attraverso la memoria di sistema (DRAM della CPU) e la condivisione della memoria della GPU. Tuttavia, introducono un notevole sovraccarico di tempo e sono limitati dalla velocità massima di espansione della memoria; (iv) si prevede che le tecniche di parallelizzazione del tensore multi-GPU [28], [29] estendano le reti profonde per supportare l'elaborazione complessiva di immagini di grandi dimensioni. Tuttavia, spesso richiedono un uso intensivo delle risorse e sono difficili da gestire in condizioni di routine. In sintesi, i metodi esistenti non possono eseguire in modo efficace il rilevamento complessivo del bridge di RSI VHR di grandi dimensioni con risorse di calcolo ordinarie (come una singola GPU con 24 GB di memoria).

Considerando i limiti delle potenziali soluzioni sopra menzionate, gli autori propongono una rete olistica di rilevamento dei ponti (HBD-Net) appositamente progettata per il rilevamento dei ponti di RSI VHR di grandi dimensioni. L'approccio degli autori presenta due vantaggi chiave: (i) L'architettura SDFF (Independent Detector-Based Feature Fusion), quando applicata alla Dynamic Image Pyramid (DIP), dimostra un modo efficiente per elaborare immagini di grandi dimensioni con un consumo minimo di risorse. (ii) La strategia di riponderazione del campione sensibile alla forma (SSRW) bilancia i pesi di regressione dei ponti con proporzioni diverse. I risultati sperimentali su GLH-Bridge dimostrano le eccellenti prestazioni della HBD-Net proposta.

In sintesi, per quanto a conoscenza degli autori, questo articolo è il primo a esplorare il rilevamento integrale del ponte negli RSI VHR su larga scala.I principali contributi di questo articolo sono i seguenti:

• Viene proposto GLH-Bridge, il primo set di dati su larga scala per il rilevamento di ponti di RSI VHR di grandi dimensioni.Questo set di dati contiene 59.737 ponti che coprono una varietà di contesti, fornendo una rappresentazione completa dei ponti in scenari di vita reale.

• Viene proposta una rete olistica di rilevamento di ponti a basso costo (ad esempio HBD-Net) per immagini di grandi dimensioni, che può elaborare in modo efficiente immagini di grandi dimensioni e rilevare olisticamente ponti multiscala attraverso un'architettura SDFF ben progettata e una strategia SSRW.

• Utilizzando il set di dati GLH-Bridge proposto, gli autori creano un benchmark di rilevamento del bridge che copre sia le attività OBB che HBB. HBD-Net supera gli algoritmi all'avanguardia esistenti in termini di prestazioni. Inoltre, l'autore ha condotto esperimenti di generalizzazione di set di dati incrociati per dimostrare la forte capacità di generalizzazione di GLH-Bridge. Gli autori sperano che questo benchmark possa contribuire alla valutazione di base del rilevamento di oggetti in immagini di grandi dimensioni.

Ingegno

Gli obiettivi dell'autore nello sviluppo di un nuovo set di dati per il rilevamento dei ponti erano duplici: (i) Colmare la lacuna nei set di dati su larga scala per il rilevamento dei ponti in immagini di telerilevamento ad alta risoluzione su larga scala (VHR RSI). (ii) Avanzamento di un compito nuovo e impegnativo: rilevamento integrale del ponte in RSI VHR su larga scala.

Figura 2. Mappa della distribuzione geografica delle immagini campionate dal set di dati GLH-Bridge proposto.

Figura 3. Esempio di etichettatura secondo norma, dove il cerchio giallo indica la situazione senza etichetta . (a) Le strade che attraversano l'acqua che sono troppo curve o di forma irregolare non saranno segnalate. (b) Due collegamenti terminali non sono contrassegnati.

Figura 4. Illustrazione delle caratteristiche del set di dati GLH-Bridge. (a) Confronto delle caratteristiche del ponte in diversi set di dati. (b) Distribuzione dell'area del ponte in GLH-Bridge. (c) Distribuzione delle lunghezze dei ponti in GLH-Bridge. (d) Distribuzione della densità del ponte in GLH-Bridge.

Figura 5. Esempi di bridge in diversi contesti nel dataset GLH-Bridge. (a) Ponte attraverso la vegetazione. (b) Ponte che attraversa il letto asciutto di un fiume. (c) Ponti che attraversano strade. (d) Ponti che attraversano corpi d'acqua.

Figura 6. Processo HBD-Net proposto. Contiene l'architettura SDFF proposta e la strategia SSRW. L'architettura SDFF è costituita da rilevatori indipendenti e moduli IFF. Partendo dall'immagine VHR di grandi dimensioni in input, gli autori costruiscono un DIP e lo inviano al rilevatore indipendente di SDFF per ottenerne le caratteristiche. Quindi, le funzionalità di tutti i rilevatori SDFF vengono fuse tramite il modulo IFF per condividere informazioni contestuali e dettagliate sulla trama. La strategia SSRW viene applicata nella fase di selezione del campione del rilevatore di oggetti per bilanciare i pesi di regressione. Infine, le caratteristiche fuse in uscita vengono inserite nella testa del rilevatore di oggetti per ottenere i risultati di ciascun livello, che vengono utilizzati per calcolare la perdita con le corrispondenti etichette di verità a terra.

Figura 7. Diagramma schematico del modulo IFF proposto.La figura mostra il metodo di fusione delle caratteristiche tra due strati adiacenti.

Figura 8. Diagramma schematico della strategia SSRW proposta. I punti rosso e blu rappresentano rispettivamente i campioni positivi e negativi selezionati dal rilevatore di oggetti. Per i rilevatori basati su ancoraggi, questi punti corrispondono alle posizioni della mappa delle caratteristiche in cui sono stati generati i punti di ancoraggio o le proposte. Per i rilevatori senza ancoraggio, questi punti indicano una griglia sulla mappa delle caratteristiche. Per mantenere chiarezza e semplicità, in questo diagramma non vengono mostrate le ancore o le proposte (per i metodi basati sulle ancore) associate ai punti campione.

Performance eccellente

prospettiva futura

Questo articolo propone un set di dati su larga scala denominato GLH-Bridge per il rilevamento complessivo dei ponti in immagini di telerilevamento su larga scala ad alta risoluzione. Il set di dati proposto contiene 6.000 immagini di telerilevamento ad alta risoluzione con dimensioni di immagine che vanno da 2.048 × 2.048 a 16.384 × 16.384 pixel, contenenti 59.737 ponti che abbracciano sfondi diversi, con annotazioni OBB e HBB. Le grandi dimensioni dell'immagine, l'ampia dimensione del campione e la diversità delle scale degli oggetti e dei tipi di sfondo rendono GLH-Bridge un prezioso set di dati con i prerequisiti per portare avanti un nuovo compito impegnativo ma di vasta portata: l'alta risoluzione su larga scala immagini.Inoltre, gli autori propongono HBD-Net, una soluzione economicamente vantaggiosa su misura per il rilevamento complessivo dei ponti in immagini di grandi dimensioni.Sulla base del set di dati GLH-Bridge proposto,Gli autori hanno stabilito un punto di riferimento e verificato empiricamente l'efficacia dell'HBD-Net proposto. Nel lavoro futuro, gli autori continueranno ad arricchire la dimensione del campione e le annotazioni delle sottocategorie del set di dati GLH-Bridge. Inoltre, gli obiettivi degli autori includono la generalizzazione dell'HBD-Net proposto per soddisfare il rilevamento di oggetti multiclasse in immagini di grandi dimensioni. Gli autori si sforzano di esplorare metodi che possano migliorare la precisione dei ponti sia su larga scala che su piccola scala, espandendo così l’applicabilità e l’efficacia di HBD-Net in vari scenari.