기술나눔

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

기사 요약

RSI(원격 감지 이미지)의 교량 감지는 다양한 응용 분야에서 중요한 역할을 합니다.，그러나 교량 감지는 다른 물체 감지에 비해 독특한 문제에 직면해 있습니다. RSI 전체에서 교량은 공간 규모와 종횡비에 상당한 변화를 나타냅니다. 따라서 교량 가시성과 무결성을 보장하려면 대규모 고해상도(VHR) RSI의 전반적인 교량 검사가 필요합니다. 그러나 VHR RSI의 대규모 데이터 세트가 부족하여 교량 탐지에서 딥 러닝 알고리즘의 성능이 제한됩니다. 대용량 이미지를 처리할 때 GPU 메모리의 한계로 인해 딥러닝 기반 객체 감지 방법은 일반적으로 자르기 전략을 채택하며, 이는 필연적으로 레이블 조각화 및 예측 불연속으로 이어집니다.데이터 세트의 희소성을 완화하기 위해,이 기사에서는 전 세계 다양한 지리적 위치에서 샘플링된 6,000개의 VHR RSI를 포함하는 GLH-Bridge라는 대규모 데이터 세트를 제안합니다. 이미지의 크기는 2,048 × 2,048에서 16,384 × 16,384픽셀까지이며 총 59,737개의 브리지를 포함합니다. 브리지는 서로 다른 배경에 걸쳐 있으며 각 브리지는 OBB(지향적 경계 상자) 및 HBB(수평 경계 상자)를 사용하여 수동으로 주석을 추가합니다.또한 저자는 대규모 RSI에서 교량 탐지를 위한 효율적인 Holistic Bridge 탐지 네트워크(HBD-Net)를 제안합니다. HBD-Net은 SDFF(Independent detector-based feature fusion) 아키텍처를 채택하고 SSRW(Shape-sensitive Sample reweighting) 전략을 통해 최적화됩니다. SDFF 아키텍처는 대형 이미지의 DIP(Dynamic Image Pyramid)에서 다중 스케일 컨텍스트를 융합하기 위해 IFF(Inter-Layer Feature Fusion)를 수행하고, SSRW 전략은 서로 다른 측면을 가진 브리지에 대한 회귀 가중치의 균형을 보장하는 데 사용됩니다. 비율.제안된 GLH-Bridge 데이터세트를 기반으로 저자는 OBB 및 HBB 작업을 포함한 교량 탐지 벤치마크를 구축하고 제안한 HBD-Net의 효율성을 검증했습니다.또한 공개적으로 사용 가능한 두 데이터 세트에 대한 교차 데이터 세트 일반화 실험은 GLH-Bridge 데이터 세트의 강력한 일반화 능력을 보여줍니다.

논문 주소:

https://ieeexplore.ieee.org/document/10509806

데이터 세트는 크기가 20G를 초과하며 다운로드하려면 인터넷에 대한 과학적 접근이 필요합니다.

데이터 세트 다운로드 주소:

https://www.dilitanxianjia.com/15644/

과거와 현재

주요 인프라 구성 요소인 교량은 다양한 지형에 걸쳐 있으며 기본 교통 시설의 역할을 합니다. 이는 민간 운송, 군사 작전, 재난 구호 분야에서 매우 중요합니다[1].동시에 교량 건설은 신속하게 진행되었으며 자주 개조되었습니다. . 예를 들어, 2012년 미국에는 약 617,000개의 교량이 있었고 향후 50년 동안 교량의 노후화가 증가하여 수리 잔고를 수리하는 데 1,250억 달러 이상이 필요할 것입니다. 따라서 교량 검사의 효율성과 효과성은 내비게이션 지도를 적시에 업데이트하고 교량의 구조적 건전성과 상태를 추가로 모니터링하는 데 매우 중요합니다[2], [3]. 원격탐사이미지(RSI)는 지리적 범위가 넓고 재방문 빈도가 높기 때문에 교량 탐지를 위한 기본 데이터로 적합합니다. 동시에 딥 네트워크의 강력한 특징 표현 기능을 고려할 때 딥러닝 기반 RSI 브리지 탐지는 큰 잠재력을 갖고 있으며 연구의 초점이 되었습니다[4].

그림 1에서 볼 수 있듯이 다른 일반적인 개체와 비교할 때 RSI에서 다중 규모 브리지를 감지하는 것은 두 가지 주요 특성으로 인해 매우 어렵습니다. (i) 다양한 개체 규모. 고해상도(VHR) RSI에서 브리지 인스턴스의 길이는 몇 픽셀에서 수천 픽셀까지 다양합니다. (ii) 극단적인 종횡비. 교량 사이의 신장 정도에는 상당한 차이가 있습니다. 작거나 좁은 교량의 탐지 가능성을 보장하려면 초고해상도(VHR) 이미지를 사용하는 것이 중요합니다. 동시에 VHR 이미지에서 크고 긴 교량의 구조적 무결성을 추구하려면 대형 이미지에서 전반적인 교량 감지를 수행해야 하며, 이는 데이터 세트와 방법 모두에 엄격한 요구 사항을 적용합니다. 다중 클래스 객체 감지 [12], [13], [14], [15], [16] 및 브리지 감지 [4], [11], [17]의 상당한 진전에도 불구하고,그러나 대규모 VHR RSI에서 전체 브리지 감지를 위한 대규모 데이터 세트와 적절한 방법은 여전히 ​​부족합니다.

표 1에서 볼 수 있듯이 많은 인기 있는 RSI 객체 감지 데이터 세트가 생성되었지만 [6], [7], [8], [18], 이러한 데이터 세트의 브리지 수는 제한되어 있습니다.게다가 교량 감지를 위해 특별히 생성된 데이터 세트 [4], [11]는 샘플 크기와 이미지 크기에 의해 제한되는 경우가 많습니다. 일부 기존 데이터세트는 정확한 OBB(Oriented Bounding Box) 주석 대신 수평 경계 상자(HBB) 주석만 제공합니다. 따라서 위의 데이터 세트를 사용하여 강력하고 광범위하게 적응 가능한 교량 감지 모델을 훈련하는 것은 비현실적으로 보입니다. 데이터 제한 문제를 해결하기 위해 저자는 대규모 VHR RSI의 교량 감지를 위한 대규모 데이터 세트인 GLH-Bridge를 구축했습니다. GLH-Bridge에는 전 세계적으로 샘플링된 6,000개의 VHR RSI와 59,000개가 넘는 수동 주석 브리지가 포함되어 있습니다. 기존 교량 탐지 데이터 세트와 비교하여 GLH-Bridge는 초목, 마른 강바닥 및 도로 지형과 같은 다양한 배경 유형을 포괄하는 대규모 VHR RSI의 다중 규모 교량에 주석을 추가하여 실제 장면에서 교량의 특성을 더 잘 포착합니다. 간단히 말해서, GLH-Bridge는 기존 교량 감지 데이터 세트에 비해 포괄적인 이점과 상당한 이점을 보여줍니다.

이 근본적이고 실용적인 문제에 대한 연구를 발전시키기 위해 저자는 대규모 VHR RSI의 전반적인 브리지 감지라는 새로운 도전적이고 의미 있는 작업을 제안합니다.이 작업을 해결하기 위해 잠재적인 솔루션은 네 가지 주요 영역으로 나눌 수 있습니다. (i) GPU 메모리의 한계를 고려하여 주류 딥러닝 기반 객체 감지 방법[15-16], [19], [20], [21]은 일반적으로 자르기 전략을 채택합니다[7-22]. 그러나 이러한 전략에는 그림 1과 같이 본질적인 한계가 있으며 대형 교량을 차단하는 경향이 있습니다. 자르기 전략 외에도 일부 객체 감지 방법은 고정 창 다운샘플링 전략[23], [24], [25]을 통해 원본 대형 이미지를 처리하여 상당한 이미지 정보 손실을 초래합니다. (ii) 스트리밍 방법[26] 크기 이미지; 정방향 및 역방향 패스의 경우 정규화를 통해 심층 신경망(DNN)을 지원할 수 없습니다. (iii) LMS 방법[27]은 메모리 오프로딩을 사용하여 시스템 메모리(CPU DRAM) 및 GPU 메모리 공유에 메모리를 분산시킵니다. 그러나 상당한 시간 오버헤드가 발생하고 최대 메모리 확장 속도에 의해 제한됩니다. (iv) 다중 GPU 텐서 병렬화 기술[28], [29]은 대용량 이미지의 전체 처리를 지원하기 위해 심층 네트워크를 확장할 것으로 예상됩니다. 그러나 자원 집약적이며 일상적인 조건에서 작동하기 어려운 경우가 많습니다. 요약하자면, 기존 방법은 일반 컴퓨팅 리소스(예: 24GB 메모리를 갖춘 단일 GPU)에서 대규모 VHR RSI의 전체 브리지 감지를 효과적으로 수행할 수 없습니다.

위에서 언급한 잠재적 솔루션의 한계를 고려하여 저자는 대규모 VHR RSI의 브리지 감지를 위해 특별히 설계된 HBD-Net(Holistic Bridge 감지 네트워크)을 제안합니다. 저자의 접근 방식에는 두 가지 주요 이점이 있습니다. (i) SDFF(독립 검출기 기반 특징 융합) 아키텍처를 DIP(Dynamic Image Pyramid)에 적용하면 최소한의 리소스 소비로 대형 이미지를 처리하는 효율적인 방법을 보여줍니다. (ii) SSRW(Shape-Sensitive Sample Reweighting) 전략은 다양한 종횡비를 가진 교량의 회귀 가중치 균형을 유지합니다. GLH-Bridge의 실험 결과는 제안된 HBD-Net의 우수한 성능을 보여줍니다.

요약하자면, 저자가 아는 한, 이 논문은 대규모 VHR RSI에서 통합 브리지 감지를 탐구한 최초의 논문입니다.이 기사의 주요 기여는 다음과 같습니다.

• 대규모 VHR RSI의 교량 탐지를 위한 최초의 대규모 데이터 세트인 GLH-Bridge가 제안되었습니다.이 데이터 세트에는 다양한 배경을 다루는 59,737개의 교량이 포함되어 있어 실제 시나리오에서 교량을 포괄적으로 표현합니다.

• 대용량 영상을 위한 저비용의 총체적인 교량 검출 네트워크(HBD-Net) 제안는 잘 설계된 SDFF 아키텍처와 SSRW 전략을 통해 대형 이미지를 효율적으로 처리하고 다중 규모 교량을 전체적으로 감지할 수 있습니다.

• 제안된 GLH-Bridge 데이터 세트를 사용하여 저자는 OBB 및 HBB 작업을 모두 다루는 브리지 감지 벤치마크를 만듭니다. HBD-Net은 기존의 최첨단 알고리즘보다 성능이 뛰어납니다. 또한 저자는 GLH-Bridge의 강력한 일반화 능력을 입증하기 위해 교차 데이터 세트 일반화 실험을 수행했습니다. 저자는 이 벤치마크가 대형 이미지에서 객체 감지의 기본 평가에 기여할 수 있기를 바랍니다.

독창성

교량 감지를 위한 새로운 데이터 세트를 개발하는 저자의 목표는 두 가지입니다. (i) 대규모 고해상도 원격 감지 이미지(VHR RSI)에서 교량 감지를 위한 대규모 데이터 세트의 공백을 메웁니다. (ii) 새롭고 도전적인 작업 발전: 대규모 VHR RSI의 통합 브리지 감지.

그림 2. 제안된 GLH-Bridge 데이터세트에서 샘플링된 이미지의 지리적 분포 맵.

그림 3. 표준에 따른 표시 예, 노란색 원은 표시되지 않은 상황을 나타냄 . (a) 물을 건너는 도로 중 지나치게 곡선이 많거나 모양이 불규칙한 도로는 표시하지 않습니다. (b) 두 개의 터미널 연결은 표시되지 않습니다.

그림 4. GLH-Bridge 데이터 세트의 기능 그림. (a) 다양한 데이터 세트의 교량 특성 비교. (b) GLH-Bridge의 교량 면적 분포. (c) GLH-Bridge의 교량 길이 분포. (d) GLH-Bridge의 브리지 밀도 분포.

그림 5. GLH-Bridge 데이터세트의 다양한 상황에서 교량의 예. (a) 교량 횡단 식생. (b) 마른 강바닥을 가로지르는 다리. (c) 도로를 횡단하는 교량. (d) 수역을 가로지르는 교량.

그림 6. 제안된 HBD-Net 프로세스. 여기에는 제안된 SDFF 아키텍처와 SSRW 전략이 포함되어 있습니다. SDFF 아키텍처는 독립적인 검출기와 IFF 모듈로 구성됩니다. 입력된 대형 VHR 이미지에서 시작하여 저자는 DIP를 구성하고 이를 SDFF의 독립 검출기로 보내 특징을 얻습니다. 그런 다음 모든 SDFF 감지기의 기능이 IFF 모듈을 통해 융합되어 상황별 세부 텍스처 정보를 공유합니다. SSRW 전략은 회귀 가중치의 균형을 맞추기 위해 물체 감지기의 샘플 선택 단계에서 적용됩니다. 마지막으로, 출력된 융합된 특징은 객체 감지기의 헤드에 공급되어 각 레이어의 결과를 얻습니다. 이 결과는 해당 실측 라벨로 손실을 계산하는 데 사용됩니다.

그림 7. 제안된 IFF 모듈의 개략도.그림은 인접한 두 레이어 간의 특징 융합 방법을 보여줍니다.

그림 8. 제안된 SSRW 전략의 개략도. 빨간색과 파란색 점은 각각 물체 감지기에 의해 선택된 양성 샘플과 음성 샘플을 나타냅니다. 앵커 기반 감지기의 경우 이러한 포인트는 앵커 포인트 또는 제안이 생성된 기능 맵 위치에 해당합니다. 앵커리스 감지기의 경우 이러한 점은 기능 맵의 그리드를 나타냅니다. 명확성과 단순성을 유지하기 위해 샘플 포인트와 관련된 앵커 또는 제안(앵커 기반 방법용)은 이 다이어그램에 표시되지 않습니다.

뛰어난 성능

미래 전망

본 논문에서는 대규모 고해상도 원격탐사 영상에서 전체 교량 검출을 위한 GLH-Bridge라는 대규모 데이터세트를 제안합니다. 제안된 데이터 세트에는 2,048 × 2,048 ~ 16,384 × 16,384 픽셀 범위의 이미지 크기를 가진 6,000개의 고해상도 원격 감지 이미지가 포함되어 있으며, OBB 및 HBB 주석이 포함된 다양한 배경에 걸쳐 있는 59,737개의 브리지가 포함되어 있습니다. 큰 이미지 크기, 큰 샘플 크기, 다양한 개체 규모 및 배경 유형 덕분에 GLH-Bridge는 새로운 도전적이지만 광범위한 작업인 대규모의 고해상도를 발전시키기 위한 전제 조건을 갖춘 귀중한 데이터 세트입니다. 이미지.또한 저자는 대형 이미지의 전체 교량 탐지에 적합한 비용 효율적인 솔루션인 HBD-Net을 제안합니다.제안된 GLH-Bridge 데이터 세트를 기반으로,저자들은 벤치마크를 설정하고 제안된 HBD-Net의 효율성을 경험적으로 검증했습니다. 향후 작업에서 저자는 GLH-Bridge 데이터 세트의 샘플 크기와 하위 범주 주석을 계속해서 풍부하게 만들 것입니다. 또한 저자의 목표는 제안된 HBD-Net을 일반화하여 대형 이미지에서 다중 클래스 객체 탐지를 만족시키는 것을 포함합니다. 저자는 대규모 및 소규모 교량 정확도를 모두 향상시킬 수 있는 방법을 탐색하여 다양한 시나리오에서 HBD-Net의 적용 가능성과 효율성을 확장하기 위해 노력하고 있습니다.