Berbagi teknologi

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Ringkasan Artikel

Deteksi jembatan pada citra penginderaan jarak jauh (RSI) memainkan peran penting dalam berbagai aplikasi，Namun pendeteksian jembatan menghadapi tantangan unik dibandingkan pendeteksian objek lainnya. Di seluruh RSI, jembatan menunjukkan variasi yang cukup besar dalam skala spasial dan rasio aspek. Oleh karena itu, untuk memastikan visibilitas dan integritas jembatan, diperlukan inspeksi jembatan secara keseluruhan dalam RSI resolusi tinggi (VHR) skala besar. Namun, kurangnya kumpulan data VHR RSI berukuran besar membatasi kinerja algoritme pembelajaran mendalam dalam deteksi jembatan. Karena keterbatasan memori GPU saat memproses gambar berukuran besar, metode deteksi objek berbasis pembelajaran mendalam biasanya mengadopsi strategi pemangkasan, yang pasti akan menyebabkan fragmentasi label dan diskontinuitas prediksi.Untuk mengurangi kelangkaan kumpulan data,Artikel ini mengusulkan kumpulan data berskala besar yang disebut GLH-Bridge, yang mencakup 6.000 VHR RSI yang diambil sampelnya dari berbagai lokasi geografis di seluruh dunia. Ukuran gambar berkisar dari 2.048 × 2.048 hingga 16.384 × 16.384 piksel dan berisi total 59.737 jembatan. Jembatan memiliki latar belakang yang berbeda, dan setiap jembatan dianotasi secara manual menggunakan kotak pembatas berorientasi (OBB) dan kotak pembatas horizontal (HBB).Selain itu, penulis mengusulkan Jaringan Deteksi Jembatan Holistik (HBD-Net) yang efisien untuk deteksi jembatan di RSI berukuran besar. HBD-Net mengadopsi arsitektur fusi fitur berbasis detektor independen (SDFF) dan dioptimalkan melalui strategi penimbangan ulang sampel yang sensitif terhadap bentuk (SSRW). Arsitektur SDFF melakukan fusi fitur antar-lapisan (IFF) untuk memadukan konteks multi-skala dalam piramida gambar dinamis (DIP) dari gambar berukuran besar, dan strategi SSRW digunakan untuk memastikan keseimbangan bobot regresi untuk jembatan dengan aspek berbeda. rasio.Berdasarkan kumpulan data GLH-Bridge yang diusulkan, penulis menetapkan tolok ukur deteksi jembatan termasuk tugas OBB dan HBB, dan memverifikasi efektivitas HBD-Net yang diusulkan.Selain itu, eksperimen generalisasi lintas kumpulan data pada dua kumpulan data yang tersedia untuk umum menunjukkan kemampuan generalisasi yang kuat dari kumpulan data GLH-Bridge.

Alamat kertas:

https://ieeexplore.ieee.org/document/10509806

Kumpulan datanya berukuran besar, melebihi 20G, dan memerlukan akses ilmiah ke Internet untuk mengunduhnya.

Alamat pengunduhan kumpulan data:

https://www.dilitanxianjia.com/15644/

Dulu dan sekarang

Sebagai komponen infrastruktur utama, jembatan menjangkau berbagai medan dan berfungsi sebagai fasilitas transportasi dasar. Mereka sangat penting dalam transportasi sipil, operasi militer, dan bantuan bencana [1].Pada saat yang sama, pembangunan jembatan berlangsung cepat dan sering dilakukan retrofit . Misalnya, pada tahun 2012, terdapat sekitar 617.000 jembatan di Amerika Serikat, dan kerusakannya akan meningkat dalam 50 tahun ke depan, sehingga memerlukan lebih dari $125 miliar untuk memperbaiki tumpukan perbaikan tersebut. Oleh karena itu, efisiensi dan efektivitas inspeksi jembatan sangat penting untuk memperbarui peta navigasi secara tepat waktu dan memantau lebih lanjut kesehatan struktural dan kondisi jembatan [2], [3]. Citra penginderaan jauh (RSI) cocok sebagai data dasar untuk deteksi jembatan karena cakupan geografisnya yang luas dan frekuensi kunjungan ulang yang tinggi. Pada saat yang sama, mengingat kemampuan representasi fitur jaringan dalam yang kuat, deteksi jembatan RSI berdasarkan pembelajaran mendalam memiliki potensi besar dan telah menjadi fokus penelitian [4].

Seperti yang ditunjukkan pada Gambar 1, dibandingkan dengan objek umum lainnya, mendeteksi jembatan multiskala di RSI cukup menantang karena dua karakteristik utama: (i) skala objek yang beragam. Dalam RSI resolusi tinggi (VHR), panjang instance jembatan bervariasi dari beberapa piksel hingga ribuan piksel. (ii) Rasio aspek ekstrim. Terdapat perbedaan yang signifikan dalam tingkat perpanjangan antar jembatan. Untuk memastikan deteksi jembatan kecil atau sempit, penggunaan citra resolusi sangat tinggi (VHR) sangatlah penting. Pada saat yang sama, untuk mencapai integritas struktural jembatan besar dan panjang dalam gambar VHR, perlu dilakukan deteksi jembatan secara keseluruhan dalam gambar berukuran besar, yang memberikan persyaratan ketat pada kumpulan data dan metode. Meskipun ada kemajuan yang signifikan dalam deteksi objek kelas jamak [12], [13], [14], [15], [16] dan deteksi jembatan [4], [11], [17],Namun, kumpulan data skala besar dan metode yang tepat untuk deteksi jembatan secara keseluruhan pada VHR RSI berukuran besar masih kurang.

Seperti yang ditunjukkan pada Tabel 1, meskipun banyak kumpulan data deteksi objek RSI populer telah dibuat [6], [7], [8], [18], jumlah jembatan dalam kumpulan data ini terbatas.Selain itu, kumpulan data [4], [11] yang dibuat khusus untuk deteksi jembatan seringkali dibatasi oleh ukuran sampel dan ukuran gambar. Beberapa kumpulan data yang ada hanya menyediakan anotasi kotak pembatas horizontal (HBB) dan bukan anotasi kotak pembatas berorientasi tepat (OBB). Oleh karena itu, tampaknya tidak realistis untuk melatih model deteksi jembatan yang kuat dan dapat beradaptasi secara luas menggunakan kumpulan data di atas. Untuk mengatasi masalah keterbatasan data, penulis membuat GLH-Bridge, kumpulan data berskala besar untuk deteksi jembatan RSI VHR berukuran besar. GLH-Bridge berisi 6.000 VHR RSI sampel global dan lebih dari 59.000 jembatan yang dianotasi secara manual. Dibandingkan dengan kumpulan data deteksi jembatan yang ada, GLH-Bridge menangkap karakteristik jembatan dalam pemandangan nyata dengan lebih baik dengan memberi anotasi pada jembatan multiskala dalam VHR RSI berukuran besar, yang mencakup berbagai jenis latar belakang seperti vegetasi, dasar sungai kering, dan fitur jalan. Singkatnya, GLH-Bridge menunjukkan keunggulan komprehensif dan keunggulan signifikan dibandingkan kumpulan data deteksi jembatan yang ada.

Untuk memajukan penelitian mengenai masalah mendasar dan praktis ini, penulis mengusulkan tugas baru yang menantang dan bermakna: deteksi jembatan secara keseluruhan dalam VHR RSI skala besar.Untuk mengatasi masalah ini, solusi potensial dapat dibagi menjadi empat bidang utama: (i) Mengingat keterbatasan memori GPU, metode deteksi objek berbasis deep learning mainstream [15], [16], [19], [20], [21] biasanya mengadopsi strategi cropping [7], [22]. Namun, strategi-strategi ini mempunyai keterbatasan dan rentan terhadap terputusnya jembatan besar, seperti yang ditunjukkan pada Gambar 1. Selain strategi cropping, beberapa metode deteksi objek memproses gambar asli berukuran besar melalui strategi downsampling jendela tetap [23], [24], [25], yang mengakibatkan hilangnya informasi gambar secara signifikan; (ii) metode streaming [26] gambar berukuran untuk lintasan maju dan mundur, tetapi tidak dapat mendukung jaringan saraf dalam (DNN) dengan normalisasi; (iii) Metode LMS [27] menggunakan pembongkaran memori untuk menyebarkan memori ke seluruh memori sistem (CPU DRAM) dan berbagi memori GPU. Namun, hal ini menimbulkan overhead waktu yang signifikan dan dibatasi oleh tingkat ekspansi memori maksimum; (iv) teknik paralelisasi tensor multi-GPU [28], [29] diharapkan dapat memperluas jaringan dalam untuk mendukung keseluruhan pemrosesan gambar berukuran besar. Namun, seringkali sumber dayanya intensif dan sulit dioperasikan dalam kondisi rutin. Singkatnya, metode yang ada tidak dapat secara efektif melakukan deteksi jembatan keseluruhan RSI VHR berukuran besar dengan sumber daya komputasi biasa (seperti GPU tunggal dengan memori 24 GB).

Mengingat keterbatasan solusi potensial yang disebutkan di atas, penulis mengusulkan Jaringan Deteksi Jembatan Holistik (HBD-Net) yang dirancang khusus untuk deteksi jembatan RSI VHR berukuran besar. Pendekatan penulis memiliki dua keuntungan utama: (i) Arsitektur fusi fitur berbasis detektor independen (SDFF), ketika diterapkan pada Piramida Gambar Dinamis (DIP), menunjukkan cara yang efisien untuk memproses gambar berukuran besar dengan konsumsi sumber daya minimal. (ii) Strategi pembobotan ulang sampel yang sensitif terhadap bentuk (SSRW) menyeimbangkan bobot regresi jembatan dengan rasio aspek yang berbeda. Hasil percobaan pada GLH-Bridge menunjukkan kinerja luar biasa dari HBD-Net yang diusulkan.

Singkatnya, sepanjang pengetahuan penulis, makalah ini adalah yang pertama mengeksplorasi deteksi jembatan integral dalam VHR RSI skala besar.Kontribusi utama artikel ini adalah sebagai berikut:

• GLH-Bridge diusulkan, kumpulan data skala besar pertama untuk deteksi jembatan RSI VHR ukuran besar.Kumpulan data ini berisi 59.737 jembatan yang mencakup berbagai latar belakang, memberikan representasi jembatan yang komprehensif dalam skenario kehidupan nyata.

• Jaringan deteksi jembatan holistik berbiaya rendah (yaitu, HBD-Net) untuk gambar berukuran besar diusulkan, yang dapat memproses gambar berukuran besar secara efisien dan mendeteksi jembatan multiskala secara holistik melalui arsitektur SDFF dan strategi SSRW yang dirancang dengan baik.

• Dengan memanfaatkan kumpulan data GLH-Bridge yang diusulkan, penulis membuat tolok ukur deteksi jembatan yang mencakup tugas OBB dan HBB. HBD-Net mengungguli algoritma canggih yang ada dalam hal kinerja. Selain itu, penulis melakukan eksperimen generalisasi lintas kumpulan data untuk menunjukkan kemampuan generalisasi yang kuat dari GLH-Bridge. Penulis berharap benchmark ini dapat berkontribusi pada evaluasi dasar deteksi objek pada gambar berukuran besar.

Kecerdikan

Tujuan penulis dalam mengembangkan kumpulan data baru untuk deteksi jembatan ada dua: (i) Mengisi kesenjangan dalam kumpulan data berskala besar untuk deteksi jembatan pada citra penginderaan jauh resolusi tinggi (VHR RSI) berskala besar. (ii) Memajukan tugas baru dan menantang: deteksi jembatan integral dalam VHR RSI skala besar.

Gambar 2. Peta distribusi geografis dari gambar sampel dari dataset GLH-Bridge yang diusulkan.

Gambar 3. Contoh pelabelan sesuai standar, dimana lingkaran kuning menunjukkan keadaan tidak berlabel . (a) Jalan yang melintasi perairan yang bentuknya terlalu melengkung atau tidak beraturan tidak akan diberi marka. (b) Dua sambungan terminal tidak ditandai.

Gambar 4. Ilustrasi fitur dataset GLH-Bridge. (a) Perbandingan karakteristik jembatan pada kumpulan data yang berbeda. (b) Sebaran luas jembatan di Jembatan GLH. (c) Distribusi panjang jembatan di Jembatan GLH. (d) Distribusi kepadatan jembatan pada Jembatan GLH.

Gambar 5. Contoh jembatan dalam konteks berbeda dalam kumpulan data GLH-Bridge. (a) Jembatan melintasi vegetasi. (b) Jembatan yang melintasi dasar sungai yang kering. (c) Jembatan yang melintasi jalan raya. (d) Jembatan yang melintasi badan air.

Gambar 6. Usulan proses HBD-Net. Ini berisi usulan arsitektur SDFF dan strategi SSRW. Arsitektur SDFF terdiri dari detektor independen dan modul IFF. Bermula dari masukan gambar VHR berukuran besar, penulis membuat DIP dan mengirimkannya ke detektor independen SDFF untuk mendapatkan fitur. Kemudian, fitur semua detektor SDFF digabungkan melalui modul IFF untuk berbagi informasi tekstur yang kontekstual dan detail. Strategi SSRW diterapkan pada tahap pemilihan sampel detektor objek untuk menyeimbangkan bobot regresi. Terakhir, fitur keluaran yang digabungkan dimasukkan ke kepala detektor objek untuk mendapatkan hasil setiap lapisan, yang digunakan untuk menghitung kerugian dengan label kebenaran dasar yang sesuai.

Gambar 7. Diagram skema modul IFF yang diusulkan.Gambar tersebut menunjukkan metode fusi fitur antara dua lapisan yang berdekatan.

Gambar 8. Diagram skema strategi SSRW yang diusulkan. Titik merah dan biru masing-masing mewakili sampel positif dan negatif yang dipilih oleh detektor objek. Untuk detektor berbasis jangkar, titik-titik ini sesuai dengan lokasi peta fitur tempat titik jangkar atau proposal dibuat. Untuk detektor tanpa jangkar, titik-titik ini menunjukkan kisi pada peta fitur. Untuk menjaga kejelasan dan kesederhanaan, jangkar atau proposal (untuk metode berbasis jangkar) yang terkait dengan titik sampel tidak ditampilkan dalam diagram ini.

Kinerja Luar Biasa

pandangan masa depan

Makalah ini mengusulkan kumpulan data skala besar bernama GLH-Bridge untuk deteksi jembatan secara keseluruhan dalam citra penginderaan jauh resolusi tinggi berskala besar. Kumpulan data yang diusulkan berisi 6.000 gambar penginderaan jauh resolusi tinggi dengan ukuran gambar berkisar antara 2.048 × 2.048 hingga 16.384 × 16.384 piksel, berisi 59.737 jembatan yang mencakup latar belakang berbeda, dengan anotasi OBB dan HBB. Ukuran gambar yang besar, ukuran sampel yang besar, dan keragaman skala objek serta jenis latar belakang menjadikan GLH-Bridge sebagai kumpulan data berharga dengan prasyarat untuk memajukan tugas baru yang menantang namun memiliki jangkauan luas: resolusi tinggi pada skala besar gambar-gambar.Selain itu, penulis mengusulkan HBD-Net, solusi hemat biaya yang dirancang untuk deteksi jembatan secara keseluruhan pada gambar berukuran besar.Berdasarkan kumpulan data GLH-Bridge yang diusulkan,Para penulis menetapkan tolok ukur dan memverifikasi secara empiris keefektifan HBD-Net yang diusulkan. Di masa mendatang, penulis akan terus memperkaya ukuran sampel dan anotasi subkategori dari kumpulan data GLH-Bridge. Selain itu, tujuan penulis termasuk menggeneralisasi HBD-Net yang diusulkan untuk memenuhi deteksi objek kelas jamak pada gambar berukuran besar. Penulis berusaha untuk mengeksplorasi metode yang dapat meningkatkan akurasi jembatan skala besar dan kecil, sehingga memperluas penerapan dan efektivitas HBD-Net dalam berbagai skenario.