Обмен технологиями

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Краткое содержание статьи

Обнаружение мостов на изображениях дистанционного зондирования (RSI) играет жизненно важную роль в различных приложениях.，Но обнаружение мостов сталкивается с уникальными проблемами по сравнению с обнаружением других объектов. В разных RSI мосты демонстрируют значительные различия в пространственном масштабе и соотношении сторон. Таким образом, чтобы обеспечить видимость и целостность моста, необходим общий осмотр моста с помощью крупномасштабных RSI с высоким разрешением (VHR). Однако отсутствие больших наборов данных VHR RSI ограничивает производительность алгоритмов глубокого обучения при обнаружении мостов. Из-за ограничения памяти графического процессора при обработке изображений большого размера методы обнаружения объектов на основе глубокого обучения обычно используют стратегии обрезки, что неизбежно приводит к фрагментации меток и разрыву прогноза.Чтобы уменьшить нехватку наборов данных,В статье предлагается крупномасштабный набор данных под названием GLH-Bridge, который включает в себя 6000 RSI VHR, отобранных из разных географических точек по всему миру. Размеры изображений варьируются от 2048 × 2048 до 16 384 × 16 384 пикселей и содержат в общей сложности 59 737 мостов. Мосты охватывают разные фоны, и каждый мост аннотируется вручную с использованием ориентированных ограничивающих рамок (OBB) и горизонтальных ограничивающих рамок (HBB).Кроме того, авторы предлагают эффективную сеть обнаружения мостов (HBD-Net) для обнаружения мостов в RSI большого размера. HBD-Net использует архитектуру объединения признаков на основе независимого детектора (SDFF) и оптимизирован с помощью стратегии повторного взвешивания выборки с учетом формы (SSRW). Архитектура SDFF выполняет межуровневое объединение функций (IFF) для объединения многомасштабного контекста в динамической пирамиде изображений (DIP) изображений большого размера, а стратегия SSRW используется для обеспечения баланса весов регрессии для мостов с разными аспектами. соотношения.На основе предложенного набора данных GLH-Bridge авторы установили эталон обнаружения мостов, включая задачи OBB и HBB, и проверили эффективность предложенной HBD-Net.Кроме того, эксперименты по обобщению перекрестных наборов данных на двух общедоступных наборах данных демонстрируют сильную способность к обобщению набора данных GLH-Bridge.

Бумажный адрес:

https://ieeexplore.ieee.org/document/10509806

Размер набора данных превышает 20 ГБ, и для его загрузки требуется научный доступ к Интернету. Мы уже скачали его для всех.

Адрес загрузки набора данных:

https://www.dilitanxianjia.com/15644/

Прошлое и настоящее

Являясь ключевыми компонентами инфраструктуры, мосты охватывают различные территории и служат основными транспортными средствами. Они имеют большое значение в гражданском транспорте, военных операциях и ликвидации последствий стихийных бедствий [1].В то же время строительство мостов шло быстрыми темпами и часто модернизировалось. . Например, в 2012 году в США насчитывалось около 617 000 мостов, и их износ будет увеличиваться в течение следующих 50 лет, что потребует более 125 миллиардов долларов для устранения накопившихся ремонтов. Таким образом, эффективность и результативность осмотра мостов имеют решающее значение для своевременного обновления навигационных карт и дальнейшего мониторинга структурного здоровья и состояния мостов [2], [3]. Изображения дистанционного зондирования (RSI) подходят в качестве основных данных для обнаружения мостов из-за их широкого географического охвата и высокой частоты повторных посещений. В то же время, учитывая мощные возможности представления функций глубоких сетей, обнаружение мостов RSI на основе глубокого обучения имеет большой потенциал и стало предметом исследований [4].

Как показано на рисунке 1, по сравнению с другими распространенными объектами обнаружение многомасштабных мостов в RSI довольно сложно из-за двух основных характеристик: (i) различных масштабов объектов. В RSI высокого разрешения (VHR) экземпляры моста различаются по длине от нескольких пикселей до тысяч пикселей. (ii) Экстремальные соотношения сторон. Существуют значительные различия в степени удлинения между мостами. Для обеспечения обнаружения небольших или узких мостов решающее значение имеет использование изображений очень высокого разрешения (VHR). В то же время, чтобы обеспечить структурную целостность больших и длинных мостов на изображениях VHR, необходимо выполнять общее обнаружение мостов на изображениях большого размера, что предъявляет строгие требования как к наборам данных, так и к методам. Несмотря на значительный прогресс в обнаружении многоклассовых объектов [12], [13], [14], [15], [16] и обнаружении мостов [4], [11], [17],Однако крупномасштабные наборы данных и соответствующие методы для общего обнаружения мостов в крупных RSI VHR все еще отсутствуют.

Как показано в Таблице 1, хотя было создано множество популярных наборов данных для обнаружения объектов RSI [6], [7], [8], [18], количество мостов в этих наборах данных ограничено.Кроме того, наборы данных [4], [11], созданные специально для обнаружения мостов, часто ограничены размером выборки и размером изображения. Некоторые существующие наборы данных предоставляют только аннотации горизонтальной ограничивающей рамки (HBB) вместо аннотаций точной ориентированной ограничивающей рамки (OBB). Поэтому кажется нереальным обучить надежную и широко адаптируемую модель обнаружения мостов с использованием приведенного выше набора данных. Чтобы решить проблему ограничения данных, авторы создали GLH-Bridge, крупномасштабный набор данных для обнаружения мостов крупных RSI VHR. GLH-Bridge содержит глобально выбранные 6000 RSI VHR и более 59 000 мостов, аннотированных вручную. По сравнению с существующими наборами данных для обнаружения мостов, GLH-Bridge лучше отражает характеристики мостов в реальных сценах, аннотируя многомасштабные мосты в крупноразмерных RSI VHR, охватывая различные типы фона, такие как растительность, русла высохших рек и особенности дорог. Короче говоря, GLH-Bridge демонстрирует комплексные преимущества и значительные преимущества по сравнению с существующими наборами данных для обнаружения мостов.

Для продвижения исследований по этой фундаментальной и практической проблеме авторы предлагают новую сложную и значимую задачу: общее обнаружение мостов в крупномасштабных RSI VHR.Для решения этой задачи потенциальные решения можно разделить на четыре основных направления: (i) Учитывая ограничение памяти графического процессора, основные методы обнаружения объектов на основе глубокого обучения [15], [16], [19], [20], [21] обычно используют стратегии обрезки [7], [22]. Однако эти стратегии имеют присущие им ограничения и склонны к обрыву больших мостов, как показано на рисунке 1. В дополнение к стратегиям обрезки, некоторые методы обнаружения объектов обрабатывают исходные изображения большого размера с помощью стратегий понижения разрешения с фиксированным окном [23], [24], [25], что приводит к значительной потере информации об изображении (ii) методы потоковой передачи изображений [26] размера; для прямых и обратных проходов, но не поддерживает глубокие нейронные сети (DNN) с нормализацией (iii) метод LMS [27] использует разгрузку памяти для распределения памяти по системной памяти (CPU DRAM) и совместного использования памяти графического процессора; Однако они требуют значительных затрат времени и ограничены максимальной скоростью расширения памяти; (iv) ожидается, что методы тензорного распараллеливания с несколькими графическими процессорами [28], [29] расширят глубокие сети для поддержки общей обработки изображений большого размера. Однако они зачастую ресурсоемки и сложны в эксплуатации в рутинных условиях. Таким образом, существующие методы не могут эффективно выполнять общее обнаружение мостов VHR RSI большого размера при использовании обычных вычислительных ресурсов (например, одного графического процессора с памятью 24 ГБ).

Учитывая ограничения потенциальных решений, упомянутых выше, авторы предлагают целостную сеть обнаружения мостов (HBD-Net), специально разработанную для обнаружения мостов крупных RSI VHR. Подход авторов имеет два ключевых преимущества: (i) Архитектура объединения признаков на основе независимого детектора (SDFF) при применении к пирамиде динамических изображений (DIP) демонстрирует эффективный способ обработки изображений большого размера с минимальным потреблением ресурсов. (ii) Стратегия повторного взвешивания выборки с учетом формы (SSRW) уравновешивает веса регрессии мостов с различными соотношениями сторон. Результаты экспериментов на GLH-Bridge демонстрируют превосходную производительность предлагаемой сети HBD-Net.

Таким образом, насколько известно авторам, эта статья является первой, в которой исследуется интегральное обнаружение мостов в крупномасштабных RSI VHR.Основные положения этой статьи заключаются в следующем:

• Предлагается GLH-Bridge, первый крупномасштабный набор данных для обнаружения мостов крупных RSI VHR.Этот набор данных содержит 59 737 мостов, охватывающих различные области применения, что обеспечивает полное представление мостов в реальных сценариях.

• Предложена недорогая комплексная сеть обнаружения мостов (т. е. HBD-Net) для изображений большого размера., который может эффективно обрабатывать изображения большого размера и комплексно обнаруживать многомасштабные мосты благодаря хорошо продуманной архитектуре SDFF и стратегии SSRW.

• Используя предложенный набор данных GLH-Bridge, авторы создают тест обнаружения мостов, охватывающий как задачи OBB, так и HBB. HBD-Net превосходит по производительности существующие современные алгоритмы. Кроме того, автор провел эксперименты по обобщению перекрестных наборов данных, чтобы продемонстрировать сильную способность обобщения GLH-Bridge. Авторы надеются, что этот тест может способствовать базовой оценке обнаружения объектов на изображениях большого размера.

Изобретательность

Цели автора при разработке нового набора данных для обнаружения мостов двояки: (i) Заполнить пробел в крупномасштабных наборах данных для обнаружения мостов на крупномасштабных изображениях дистанционного зондирования высокого разрешения (VHR RSI). (ii) Решение новой и сложной задачи: комплексное обнаружение мостов в крупномасштабных RSI VHR.

Рисунок 2. Карта географического распределения выборок изображений из предлагаемого набора данных GLH-Bridge.

Рисунок 3. Пример маркировки по стандарту, где желтый кружок указывает на немаркированную ситуацию. . (a) Дороги, пересекающие воду и имеющие слишком изогнутую или неправильную форму, не будут размечены. (b) Два клеммных соединения не отмечены.

Рисунок 4. Иллюстрация особенностей набора данных GLH-Bridge. (а) Сравнение характеристик моста в разных наборах данных. (б) Распределение площади моста в GLH-Bridge. (c) Распределение длин мостов в GLH-Bridge. (г) Распределение плотности мостиков в GLH-Bridge.

Рисунок 5. Примеры мостов в различных контекстах в наборе данных GLH-Bridge. (а) Растительность, пересекающая мост. (б) Мост через русло высохшей реки. (c) Мосты, пересекающие дороги. (d) Мосты, пересекающие водоемы.

Рисунок 6. Предлагаемый процесс HBD-Net. Он содержит предлагаемую архитектуру SDFF и стратегию SSRW. Архитектура SDFF состоит из независимых детекторов и модулей IFF. На основе входного большого изображения VHR авторы создают DIP и отправляют его в независимый детектор SDFF для получения характеристик. Затем функции всех детекторов SDFF объединяются через модуль IFF для обмена контекстной и подробной информацией о текстуре. Стратегия SSRW применяется на этапе выбора выборки детектора объектов для балансировки весов регрессии. Наконец, выходные объединенные функции подаются в головку детектора объектов для получения результатов каждого слоя, которые используются для расчета потерь с соответствующими метками основных данных.

Рисунок 7. Принципиальная схема предлагаемого модуля IFF.На рисунке показан метод объединения объектов между двумя соседними слоями.

Рисунок 8. Схематическая диаграмма предлагаемой стратегии SSRW. Красная и синяя точки представляют собой положительные и отрицательные образцы, выбранные детектором объектов соответственно. Для детекторов на основе привязки эти точки соответствуют местоположениям на карте объектов, где были созданы опорные точки или предложения. Для детекторов без якоря эти точки обозначают сетку на карте объектов. Для обеспечения ясности и простоты на этой диаграмме не показаны привязки или предложения (для методов на основе привязки), связанные с точками выборки.

Превосходное представление

прогноз на будущее

В этом документе предлагается крупномасштабный набор данных под названием GLH-Bridge для общего обнаружения мостов на крупномасштабных изображениях дистанционного зондирования с высоким разрешением. Предлагаемый набор данных содержит 6000 изображений дистанционного зондирования высокого разрешения с размерами изображений от 2048 × 2048 до 16 384 × 16 384 пикселей, содержащих 59 737 мостов, охватывающих разные фоны, с аннотациями OBB и HBB. Большой размер изображения, большой размер выборки, а также разнообразие масштабов объектов и типов фона делают GLH-Bridge ценным набором данных с предпосылками для решения новой сложной, но далеко идущей задачи: высокого разрешения в больших масштабах. Общее обнаружение мостов при дистанционном зондировании. изображений.Кроме того, авторы предлагают HBD-Net, экономичное решение, предназначенное для общего обнаружения мостов на изображениях большого размера.На основе предложенного набора данных GLH-Bridge,Авторы установили эталон и эмпирически проверили эффективность предлагаемой сети HBD-Net. В будущей работе авторы продолжат расширять размер выборки и аннотации подкатегорий набора данных GLH-Bridge. Кроме того, в цели авторов входит обобщение предлагаемой сети HBD-Net для обеспечения обнаружения многоклассовых объектов на изображениях большого размера. Авторы стремятся изучить методы, которые могут повысить точность как крупномасштабных, так и малых мостов, тем самым расширяя применимость и эффективность HBD-Net в различных сценариях.