Teknologian jakaminen

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Artikkelin yhteenveto

Sillan havaitseminen kaukokartoituskuvissa (RSI) on tärkeässä roolissa useissa sovelluksissa，Siltatunnistuksessa on kuitenkin edessään ainutlaatuisia haasteita verrattuna muihin objektien havaitsemiseen. RSI:n välillä siltojen tilamittakaavassa ja kuvasuhteessa on huomattavaa vaihtelua. Siksi sillan näkyvyyden ja eheyden varmistamiseksi laajamittaisten korkean resoluution (VHR) RSI:iden yleinen siltatarkastus on tarpeen. Kuitenkin suurikokoisten VHR RSI:iden tietojoukkojen puute rajoittaa syväoppimisalgoritmien suorituskykyä sillan havaitsemisessa. Koska GPU-muisti on rajoitettu suurikokoisten kuvien käsittelyssä, syväoppimiseen perustuvat objektintunnistusmenetelmät käyttävät yleensä rajausstrategioita, mikä väistämättä johtaa etiketin pirstoutumiseen ja ennustamisen epäjatkuvuuteen.Tietojen niukkuuden lieventämiseksiArtikkelissa ehdotetaan laajamittaista tietojoukkoa nimeltä GLH-Bridge, joka sisältää 6 000 VHR RSI:tä, jotka on otettu eri maantieteellisistä paikoista ympäri maailmaa. Kuvien koko vaihtelee 2 048 × 2 048 - 16 384 × 16 384 pikselistä ja niissä on yhteensä 59 737 siltaa. Sillat ulottuvat eri taustoista, ja jokainen silta merkitään manuaalisesti käyttämällä suunnattuja rajoitusruutuja (OBB) ja vaakasuuntaisia ​​rajoitusruutuja (HBB).Lisäksi kirjoittajat ehdottavat tehokasta holistista siltatunnistusverkkoa (HBD-Net) siltojen havaitsemiseen suurikokoisissa RSI:issä. HBD-Net käyttää itsenäistä ilmaisinpohjaista ominaisuusfuusioarkkitehtuuria (SDFF) ja on optimoitu muotoherkän näytepainotuksen (SSRW) avulla. SDFF-arkkitehtuuri suorittaa kerrosten välisen ominaisuusfuusion (IFF) sulauttaakseen monimittaisen kontekstin suurikokoisten kuvien dynaamiseen kuvapyramidiin (DIP), ja SSRW-strategiaa käytetään varmistamaan regressiopainojen tasapaino eri näköisille silloille. suhteet.Ehdotetun GLH-Bridge-tietojoukon perusteella kirjoittajat loivat sillan havaitsemisen vertailuarvon, joka sisälsi OBB- ja HBB-tehtävät, ja vahvistivat ehdotetun HBD-Netin tehokkuuden.Lisäksi aineistojen väliset yleistyskokeet kahdella julkisesti saatavilla olevalla aineistolla osoittavat GLH-Bridge -tietojoukon vahvan yleistyskyvyn.

Paperiosoite:

https://ieeexplore.ieee.org/document/10509806

Tietojoukko on kooltaan suuri, yli 20 Gt, ja sen lataaminen edellyttää tieteellistä pääsyä Internetiin.

Tietojoukon latausosoite:

https://www.dilitanxianjia.com/15644/

Menneisyys ja nykyisyys

Keskeisinä infrastruktuurikomponentteina sillat kulkevat eri maastoissa ja toimivat perusliikennevälineinä. Niillä on suuri merkitys siviililiikenteessä, sotilasoperaatioissa ja katastrofiavussa [1].Samanaikaisesti sillan rakentaminen oli nopeaa ja sitä uudistettiin usein . Esimerkiksi vuonna 2012 Yhdysvalloissa oli noin 617 000 siltaa, ja niiden rappeutuminen lisääntyy seuraavien 50 vuoden aikana, mikä vaatii yli 125 miljardia dollaria korjausruuhkan korjaamiseen. Siksi siltojen tarkastuksen tehokkuus ja vaikuttavuus ovat ratkaisevan tärkeitä navigointikarttojen oikea-aikaisessa päivittämisessä ja siltojen rakenteellisen kunnon seurannassa [2], [3]. Kaukokartoituskuvat (RSI:t) soveltuvat perustietoiksi siltojen havaitsemiseen laajan maantieteellisen kattavuuden ja suuren uudelleenkäyntitiheytensä vuoksi. Samaan aikaan, kun otetaan huomioon syväverkkojen tehokkaat ominaisuuksien esitysmahdollisuudet, syväoppimiseen perustuvalla RSI-sillan havaitsemisella on suuri potentiaali ja siitä on tullut tutkimuksen painopiste [4].

Kuten kuvasta 1 näkyy, muihin yleisiin objekteihin verrattuna monimittakaisten siltojen havaitseminen RSI:issä on melko haastavaa kahdesta pääpiirteestä johtuen: (i) objektien vaihtelevat mittakaavat. Korkean resoluution (VHR) RSI:issä silta-instanssien pituus vaihtelee muutamasta pikselistä tuhansiin pikseleihin. (ii) Äärimmäiset kuvasuhteet. Siltojen venymän laajuudessa on merkittäviä eroja. Pienten tai kapeiden siltojen havaittavuuden varmistamiseksi erittäin korkearesoluutioisten (VHR) kuvien käyttö on ratkaisevan tärkeää. Samaan aikaan VHR-kuvien suurten ja pitkien siltojen rakenteellisen eheyden tavoittelemiseksi on välttämätöntä suorittaa suurikokoisissa kuvissa kokonaissiltatunnistus, mikä asettaa tiukat vaatimukset sekä tietojoukoille että menetelmille. Huolimatta merkittävästä edistymisestä moniluokkaisten objektien havaitsemisessa [12], [13], [14], [15], [16] ja siltatunnistuksessa [4], [11], [17],Suurikokoisista VHR RSI:istä puuttuu kuitenkin edelleen laajamittaiset tietojoukot ja tarkoituksenmukaiset menetelmät siltojen yleisen havaitsemiseen.

Kuten taulukosta 1 näkyy, vaikka monia suosittuja RSI-objektien tunnistustietojoukkoja on luotu [6], [7], [8], [18], siltojen määrä näissä tietojoukoissa on rajoitettu.Lisäksi erityisesti sillan havaitsemiseen luotuja tietojoukkoja [4], [11] rajoittavat usein näytekoko ja kuvakoko. Jotkin olemassa olevat tietojoukot tarjoavat vain vaakasuuntaisen rajoituslaatikon (HBB) merkinnät täsmällisen suunnatun rajoituslaatikon (OBB) merkintöjen sijaan. Siksi näyttää epärealistiselta kouluttaa vankka ja laajasti mukautuva siltatunnistusmalli käyttämällä yllä olevaa tietojoukkoa. Tietojen rajoitusongelman ratkaisemiseksi kirjoittajat rakensivat GLH-Bridgen, laajan tietojoukon suurten VHR RSI:iden siltatunnistukseen. GLH-Bridge sisältää maailmanlaajuisesti näytteitettyjä 6 000 VHR RSI:tä ja yli 59 000 manuaalisesti merkittyä siltaa. Verrattuna olemassa oleviin siltojen havaitsemistietosarjoihin, GLH-Bridge vangitsee paremmin siltojen ominaisuudet todellisissa kohtauksissa merkitsemällä monimuotoisia siltoja suurikokoisiin VHR RSI:ihin, jotka kattavat erilaisia ​​taustatyyppejä, kuten kasvillisuuden, kuivan joen uomaa ja teitä. Lyhyesti sanottuna GLH-Bridge osoittaa kattavia etuja ja merkittäviä etuja verrattuna olemassa oleviin siltojen havaitsemistietosarjoihin.

Tämän perustavanlaatuisen ja käytännöllisen ongelman tutkimuksen edistämiseksi kirjoittajat ehdottavat uutta haastavaa ja mielekästä tehtävää: yleistä siltatunnistusta laajamittaisissa VHR RSI:issä.Tämän tehtävän ratkaisemiseksi mahdolliset ratkaisut voidaan jakaa neljään pääalueeseen: (i) GPU-muistin rajoitusten vuoksi valtavirran syväoppimiseen perustuvat objektintunnistusmenetelmät [15], [16], [19], [20], [21] käyttävät yleensä rajausstrategioita [7], [22]. Näillä strategioilla on kuitenkin luontaisia ​​rajoituksia, ja ne ovat taipuvaisia ​​katkaisemaan suuria siltoja, kuten kuvassa 1 näkyy. Rajausstrategioiden lisäksi jotkin objektien havaitsemismenetelmät käsittelevät alkuperäisiä suurikokoisia kuvia kiinteiden ikkunoiden alasnäytteistysstrategioiden [23], [24], [25] avulla, mikä johtaa merkittävään kuvainformaation menetykseen (ii) suoratoistomenetelmien [26] kokoisia kuvia eteenpäin ja taaksepäin kulkeville, mutta ei voi tukea syvää neuroverkkoa (DNN) normalisoinnilla (iii) LMS-menetelmä [27] käyttää muistin purkamista jakaakseen muistia järjestelmämuistin (CPU DRAM) ja GPU-muistin jakamiseen. Ne aiheuttavat kuitenkin huomattavaa aikaa, ja niitä rajoittaa suurin muistin laajennusnopeus (iv) usean GPU:n tensorin rinnakkaistekniikan [28], [29] odotetaan laajentavan syväverkkoja tukemaan suurikokoisten kuvien kokonaiskäsittelyä. Ne ovat kuitenkin usein resurssivaltaisia ​​ja vaikeita käyttää rutiiniolosuhteissa. Yhteenvetona voidaan todeta, että olemassa olevat menetelmät eivät pysty tehokkaasti suorittamaan suurikokoisten VHR RSI:iden yleistä siltatunnistusta tavallisilla laskentaresursseilla (kuten yksi grafiikkasuoritin, jossa on 24 Gt muistia).

Ottaen huomioon edellä mainittujen mahdollisten ratkaisujen rajoitukset, kirjoittajat ehdottavat holistic Bridge Detection Network (HBD-Net) -verkkoa, joka on erityisesti suunniteltu suurten VHR RSI:iden siltatunnistukseen. Kirjoittajien lähestymistavalla on kaksi keskeistä etua: (i) Itsenäinen ilmaisinpohjainen ominaisuusfuusio (SDFF) -arkkitehtuuri, kun sitä sovelletaan Dynamic Image Pyramid (DIP) -järjestelmään, osoittaa tehokkaan tavan käsitellä suurikokoisia kuvia minimaalisella resurssien kulutuksella. (ii) SSRW-strategia tasapainottaa eri sivusuhteilla olevien siltojen regressiopainot. GLH-Bridgen koetulokset osoittavat ehdotetun HBD-Netin erinomaisen suorituskyvyn.

Yhteenvetona voidaan todeta, että tekijöiden parhaan tietämyksen mukaan tämä artikkeli on ensimmäinen, joka tutkii integraalista siltatunnistusta suurissa VHR RSI:issä.Tämän artikkelin tärkeimmät panokset ovat seuraavat:

• GLH-Bridge on ehdotettu, ensimmäinen laajamittainen tietojoukko suurikokoisten VHR RSI:iden siltatunnistukseen.Tämä tietojoukko sisältää 59 737 siltaa, jotka kattavat erilaisia ​​taustoja ja tarjoavat kattavan esityksen silloista tosielämän skenaarioissa.

• Ehdotettiin edullista holistista siltatunnistusverkkoa (eli HBD-Net) suurikokoisille kuville, joka pystyy käsittelemään tehokkaasti suurikokoisia kuvia ja havaitsemaan kokonaisvaltaisesti monimuotoisia siltoja hyvin suunnitellun SDFF-arkkitehtuurin ja SSRW-strategian avulla.

• Ehdotetun GLH-Bridge-tietojoukon avulla kirjoittajat luovat sillan havaitsemisen vertailuarvon, joka kattaa sekä OBB- että HBB-tehtävät. HBD-Net ylittää suorituskyvyltään nykyiset huippuluokan algoritmit. Lisäksi kirjoittaja suoritti aineistojen välisiä yleistyskokeita osoittaakseen GLH-Bridgen vahvan yleistyskyvyn. Kirjoittajat toivovat, että tämä vertailuarvo voi auttaa suurkokoisten kuvien kohteen havaitsemisen perusarvioinnissa.

Nerokkuus

Kirjoittajan tavoitteet uuden sillan havaitsemiseen käytettävän tietojoukon kehittämisessä ovat kaksijakoiset: (i) Täytä aukko suuressa mittakaavassa tietojoukoissa sillan havaitsemiseksi suuren mittakaavan korkearesoluutioisissa kaukokartoituskuvissa (VHR RSI). (ii) Uuden ja haastavan tehtävän edistäminen: integroitu siltatunnistus suurissa VHR RSI:issä.

Kuva 2. Ehdotetusta GLH-Bridge-tietojoukosta otettujen kuvien maantieteellinen jakautumiskartta.

Kuva 3. Esimerkki standardin mukaisesta merkinnästä, jossa keltainen ympyrä osoittaa merkitsemättömän tilanteen . (a) Veden ylittäviä teitä, jotka ovat liian kaarevia tai epäsäännöllisen muotoisia, ei merkitä. (b) Kahta liitintä ei ole merkitty.

Kuva 4. Kuva GLH-Bridge-tietojoukon ominaisuuksista. (a) Siltojen ominaisuuksien vertailu eri tietosarjoissa. (b) Silta-alueen jakautuminen GLH-sillassa. (c) Sillan pituuksien jakautuminen GLH-sillassa. (d) Siltatiheyden jakautuminen GLH-sillassa.

Kuva 5. Esimerkkejä silloista eri yhteyksissä GLH-Bridge -tietojoukossa. a) Kasvillisuuden ylittävä silta. (b) Kuivan joen uoman ylittävä silta. c) Tiet ylittävät sillat. d) Vesistöjen ylittävät sillat.

Kuva 6. Ehdotettu HBD-Net-prosessi. Se sisältää ehdotetun SDFF-arkkitehtuurin ja SSRW-strategian. SDFF-arkkitehtuuri koostuu itsenäisistä ilmaisimista ja IFF-moduuleista. Lähtien syötetystä suurikokoisesta VHR-kuvasta, kirjoittajat rakentavat DIP:n ja lähettävät sen SDFF:n itsenäiselle ilmaisimelle ominaisuuksien saamiseksi. Sitten kaikkien SDFF-ilmaisimien ominaisuudet yhdistetään IFF-moduulin kautta kontekstuaalisen ja yksityiskohtaisen pintakuvioinformaation jakamiseksi. SSRW-strategiaa käytetään kohteen ilmaisimen näytteenvalintavaiheessa regressiopainojen tasapainottamiseksi. Lopuksi lähdön sulatetut ominaisuudet syötetään kohteen ilmaisimen päähän kunkin kerroksen tulosten saamiseksi, joita käytetään laskemaan häviö vastaavien maan totuusmerkintöjen kanssa.

Kuva 7. Ehdotetun IFF-moduulin kaavio.Kuvassa on kahden vierekkäisen kerroksen välinen ominaisuusfuusiomenetelmä.

Kuva 8. Kaavakuva ehdotetusta SSRW-strategiasta. Punainen ja sininen piste edustavat kohdeilmaisimen valitsemia positiivisia ja negatiivisia näytteitä. Ankkuripohjaisissa ilmaisimissa nämä pisteet vastaavat karttakohteita, joissa ankkuripisteet tai ehdotukset luotiin. Ankkurittomissa ilmaisimissa nämä pisteet osoittavat karttaruudukon. Selvyyden ja yksinkertaisuuden säilyttämiseksi näytepisteisiin liittyviä ankkureita tai ehdotuksia (ankkuripohjaisille menetelmille) ei näytetä tässä kaaviossa.

Erinomainen suoritus

tulevaisuuden näkymät

Tässä artikkelissa ehdotetaan laajamittaista tietojoukkoa nimeltä GLH-Bridge yleistä siltatunnistusta varten laajamittaisissa korkearesoluutioisissa kaukokartoituskuvissa. Ehdotettu tietojoukko sisältää 6 000 korkearesoluutioista kaukokartoituskuvaa, joiden kuvakoot vaihtelevat välillä 2 048 × 2 048 - 16 384 × 16 384 pikseliä ja jotka sisältävät 59 737 eri taustaa kattavaa siltaa OBB- ja HBB-merkinnöillä. Suuri kuvakoko, suuri näytekoko ja objektien mittakaava- ja taustatyyppien monimuotoisuus tekevät GLH-Bridgestä arvokkaan tietojoukon, jolla on edellytykset edetä uudessa haastavassa mutta kauaskantoisessa tehtävässä: korkea resoluutio suuressa mittakaavassa kuvia.Lisäksi kirjoittajat ehdottavat HBD-Netiä, kustannustehokasta ratkaisua, joka on räätälöity yleiseen sillan havaitsemiseen suurikokoisissa kuvissa.Ehdotettuun GLH-Bridge-tietoaineistoon perustuen,Kirjoittajat loivat vertailuarvon ja vahvistivat empiirisesti ehdotetun HBD-Netin tehokkuuden. Tulevassa työssä kirjoittajat jatkavat GLH-Bridge-tietojoukon otoskoon ja alakategorioiden merkintöjen rikastamista. Lisäksi tekijöiden tavoitteisiin kuuluu ehdotetun HBD-Netin yleistäminen niin, että se tyydyttää moniluokkaisen objektin havaitsemisen suurikokoisissa kuvissa. Kirjoittajat pyrkivät tutkimaan menetelmiä, joilla voidaan parantaa sekä suuren että pienen mittakaavan siltatarkkuutta ja siten laajentaa HBD-Netin soveltuvuutta ja tehokkuutta erilaisissa skenaarioissa.