Compartir tecnología

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Resumen del artículo

La detección de puentes en imágenes de detección remota (RSI) desempeña un papel vital en diversas aplicaciones，Pero la detección de puentes enfrenta desafíos únicos en comparación con otras detecciones de objetos. En todos los RSI, los puentes exhiben una variación considerable en la escala espacial y la relación de aspecto. Por lo tanto, para garantizar la visibilidad e integridad del puente, es necesaria una inspección general del puente en RSI de alta resolución (VHR) a gran escala. Sin embargo, la falta de conjuntos de datos de gran tamaño de VHR RSI limita el rendimiento de los algoritmos de aprendizaje profundo en la detección de puentes. Debido a las limitaciones de la memoria de la GPU al procesar imágenes de gran tamaño, los métodos de detección de objetos basados ​​en el aprendizaje profundo generalmente adoptan estrategias de recorte, lo que inevitablemente conduce a la fragmentación de las etiquetas y la discontinuidad de la predicción.Para aliviar la escasez de conjuntos de datos,El artículo propone un conjunto de datos a gran escala llamado GLH-Bridge, que incluye 6.000 VHR RSI muestreados de diferentes ubicaciones geográficas de todo el mundo. Las imágenes varían en tamaño desde 2.048 × 2.048 hasta 16.384 × 16.384 píxeles y contienen un total de 59.737 puentes. Los puentes abarcan diferentes fondos y cada puente se anota manualmente mediante cuadros delimitadores orientados (OBB) y cuadros delimitadores horizontales (HBB).Además, los autores proponen una Red Holística de Detección de Puentes (HBD-Net) eficiente para la detección de puentes en RSI de gran tamaño. HBD-Net adopta la arquitectura de fusión de características basada en detectores independientes (SDFF) y se optimiza mediante la estrategia de reponderación de muestras sensibles a la forma (SSRW). La arquitectura SDFF realiza una fusión de características entre capas (IFF) para fusionar el contexto de múltiples escalas en la pirámide de imágenes dinámicas (DIP) de imágenes de gran tamaño, y la estrategia SSRW se utiliza para garantizar el equilibrio de los pesos de regresión para puentes con diferentes aspectos. proporciones.Con base en el conjunto de datos GLH-Bridge propuesto, los autores establecieron un punto de referencia de detección de puentes que incluye tareas OBB y HBB, y verificaron la efectividad del HBD-Net propuesto.Además, los experimentos de generalización entre conjuntos de datos en dos conjuntos de datos disponibles públicamente demuestran la fuerte capacidad de generalización del conjunto de datos GLH-Bridge.

Dirección del papel:

https://ieeexplore.ieee.org/document/10509806

El conjunto de datos es de gran tamaño, supera los 20G y requiere acceso científico a Internet para descargarlo. Ya lo hemos descargado para todos.

Dirección de descarga del conjunto de datos:

https://www.dilitanxianjia.com/15644/

Pasado y presente

Como componentes clave de la infraestructura, los puentes abarcan varios terrenos y sirven como instalaciones de transporte básicas. Son de gran importancia en el transporte civil, las operaciones militares y la ayuda en casos de desastre [1].Al mismo tiempo, la construcción de puentes fue rápida y frecuentemente modernizada. . Por ejemplo, en 2012 había aproximadamente 617.000 puentes en Estados Unidos, y su deterioro aumentará en los próximos 50 años, lo que requerirá más de 125.000 millones de dólares para reparar el retraso en las reparaciones. Por lo tanto, la eficiencia y eficacia de la inspección de puentes son cruciales para actualizar oportunamente los mapas de navegación y monitorear aún más la salud estructural y el estado de los puentes [2], [3]. Las imágenes de teledetección (RSI) son adecuadas como datos básicos para la detección de puentes debido a su amplia cobertura geográfica y alta frecuencia de revisitas. Al mismo tiempo, considerando las poderosas capacidades de representación de características de las redes profundas, la detección de puentes RSI basada en el aprendizaje profundo tiene un gran potencial y se ha convertido en un foco de investigación [4].

Como se muestra en la Figura 1, en comparación con otros objetos comunes, detectar puentes de múltiples escalas en RSI es bastante desafiante debido a dos características principales: (i) diversas escalas de objetos. En los RSI de alta resolución (VHR), las instancias de puente varían en longitud desde unos pocos píxeles hasta miles de píxeles. (ii) Relaciones de aspecto extremas. Existen diferencias significativas en el grado de elongación entre puentes. Para garantizar la detectabilidad de puentes pequeños o estrechos, el uso de imágenes de muy alta resolución (VHR) es crucial. Al mismo tiempo, para lograr la integridad estructural de puentes grandes y largos en imágenes VHR, es necesario realizar una detección general de puentes en imágenes de gran tamaño, lo que impone requisitos estrictos tanto a los conjuntos de datos como a los métodos. A pesar de los importantes avances en la detección de objetos multiclase [12], [13], [14], [15], [16] y la detección de puentes [4], [11], [17],Sin embargo, todavía faltan conjuntos de datos a gran escala y métodos apropiados para la detección general de puentes en VHR RSI de gran tamaño.

Como se muestra en la Tabla 1, aunque se han creado muchos conjuntos de datos de detección de objetos RSI populares [6], [7], [8], [18], el número de puentes en estos conjuntos de datos es limitado.Además, los conjuntos de datos [4], [11] creados específicamente para la detección de puentes a menudo están limitados por el tamaño de la muestra y el tamaño de la imagen. Algunos conjuntos de datos existentes solo proporcionan anotaciones de cuadro delimitador horizontal (HBB) en lugar de anotaciones de cuadro delimitador orientado con precisión (OBB). Por lo tanto, no parece realista entrenar un modelo de detección de puentes robusto y ampliamente adaptable utilizando el conjunto de datos anterior. Para abordar el problema de la limitación de datos, los autores construyeron GLH-Bridge, un conjunto de datos a gran escala para la detección de puentes de VHR RSI de gran tamaño. GLH-Bridge contiene 6000 RSI VHR muestreados globalmente y más de 59 000 puentes anotados manualmente. En comparación con los conjuntos de datos de detección de puentes existentes, GLH-Bridge captura mejor las características de los puentes en escenas reales al anotar puentes de múltiples escalas en VHR RSI de gran tamaño, que cubren varios tipos de fondo, como vegetación, lechos de ríos secos y carreteras. En resumen, GLH-Bridge demuestra ventajas integrales y ventajas significativas en comparación con los conjuntos de datos de detección de puentes existentes.

Para avanzar en la investigación sobre este problema fundamental y práctico, los autores proponen una nueva tarea desafiante y significativa: la detección general de puentes en VHR RSI a gran escala.Para resolver esta tarea, las posibles soluciones se pueden dividir en cuatro áreas principales: (i) Dada la limitación de la memoria de la GPU, los métodos convencionales de detección de objetos basados ​​en aprendizaje profundo [15], [16], [19], [20], [21] generalmente adoptan estrategias de recorte [7], [22]. Sin embargo, estas estrategias tienen limitaciones inherentes y tienden a cortar puentes grandes, como se muestra en la Figura 1. Además de las estrategias de recorte, algunos métodos de detección de objetos procesan imágenes originales de gran tamaño mediante estrategias de reducción de resolución de ventana fija [23], [24], [25], lo que resulta en una pérdida significativa de información de la imagen (ii) métodos de transmisión [26] de tamaño de imagen; para pases hacia adelante y hacia atrás, pero no puede admitir redes neuronales profundas (DNN) con normalización; (iii) el método LMS [27] utiliza la descarga de memoria para distribuir la memoria entre la memoria del sistema (CPU DRAM) y compartir memoria de GPU. Sin embargo, introducen una sobrecarga de tiempo significativa y están limitadas por la tasa máxima de expansión de la memoria; (iv) se espera que las técnicas de paralelización de tensores multi-GPU [28], [29] extiendan las redes profundas para soportar el procesamiento general de imágenes de gran tamaño. Sin embargo, a menudo requieren muchos recursos y son difíciles de operar en condiciones rutinarias. En resumen, los métodos existentes no pueden realizar de manera efectiva la detección general de puentes de VHR RSI de gran tamaño con recursos informáticos ordinarios (como una sola GPU con 24 GB de memoria).

Teniendo en cuenta las limitaciones anteriores de las posibles soluciones, los autores proponen una red holística de detección de puentes (HBD-Net) diseñada específicamente para la detección de puentes de VHR RSI de gran tamaño. El enfoque de los autores tiene dos ventajas clave: (i) La arquitectura de fusión de características basada en detectores independientes (SDFF), cuando se aplica a la pirámide de imágenes dinámicas (DIP), demuestra una forma eficiente de procesar imágenes de gran tamaño con un consumo mínimo de recursos. (ii) La estrategia de reponderación de muestras sensibles a la forma (SSRW) equilibra las ponderaciones de regresión de puentes con diferentes relaciones de aspecto. Los resultados experimentales en GLH-Bridge demuestran el excelente rendimiento del HBD-Net propuesto.

En resumen, hasta donde saben los autores, este artículo es el primero en explorar la detección integral de puentes en VHR RSI a gran escala.Las principales aportaciones de este artículo son las siguientes:

• Se propone GLH-Bridge, el primer conjunto de datos a gran escala para la detección de puentes de VHR RSI de gran tamaño.Este conjunto de datos contiene 59.737 puentes que cubren una variedad de orígenes, lo que proporciona una representación completa de puentes en escenarios de la vida real.

• Se propone una red holística de detección de puentes de bajo costo (es decir, HBD-Net) para imágenes de gran tamaño., que puede procesar de manera eficiente imágenes de gran tamaño y detectar de manera integral puentes de múltiples escalas a través de una arquitectura SDFF y una estrategia SSRW bien diseñadas.

• Utilizando el conjunto de datos GLH-Bridge propuesto, los autores crean un punto de referencia de detección de puentes que cubre tareas OBB y HBB. HBD-Net supera en rendimiento a los algoritmos de última generación existentes. Además, el autor realizó experimentos de generalización entre conjuntos de datos para demostrar la fuerte capacidad de generalización de GLH-Bridge. Los autores esperan que este punto de referencia pueda contribuir a la evaluación básica de la detección de objetos en imágenes de gran tamaño.

Ingenio

Los objetivos del autor al desarrollar un nuevo conjunto de datos para la detección de puentes eran dos: (i) Llenar el vacío en conjuntos de datos a gran escala para la detección de puentes en imágenes de teledetección de alta resolución (VHR RSI) a gran escala. (ii) Avanzar en una tarea novedosa y desafiante: la detección integral de puentes en VHR RSI a gran escala.

Figura 2. Mapa de distribución geográfica de imágenes muestreadas del conjunto de datos GLH-Bridge propuesto.

Figura 3. Ejemplo de etiquetado según la norma, donde el círculo amarillo indica la situación sin etiquetar . (a) No se marcarán los caminos que crucen aguas que sean demasiado curvos o de forma irregular. (b) Dos conexiones de terminales no están marcadas.

Figura 4. Ilustración de las características del conjunto de datos GLH-Bridge. (a) Comparación de las características del puente en diferentes conjuntos de datos. (b) Distribución del área del puente en GLH-Bridge. (c) Distribución de longitudes de puentes en GLH-Bridge. (d) Distribución de la densidad de puentes en GLH-Bridge.

Figura 5. Ejemplos de puentes en diferentes contextos en el conjunto de datos GLH-Bridge. (a) Vegetación de cruce de puentes. (b) Puente que cruza el lecho de un río seco. (c) Puentes que cruzan carreteras. (d) Puentes que cruzan cuerpos de agua.

Figura 6. Proceso HBD-Net propuesto. Contiene la arquitectura SDFF propuesta y la estrategia SSRW. La arquitectura SDFF consta de detectores independientes y módulos IFF. A partir de la imagen VHR de gran tamaño de entrada, los autores construyen un DIP y lo envían al detector independiente de SDFF para obtener características. Luego, las características de todos los detectores SDFF se fusionan a través del módulo IFF para compartir información de textura detallada y contextual. La estrategia SSRW se aplica en la etapa de selección de muestras del detector de objetos para equilibrar los pesos de regresión. Finalmente, las características fusionadas de salida se introducen en el cabezal del detector de objetos para obtener los resultados de cada capa, que se utilizan para calcular la pérdida con las etiquetas de verdad del terreno correspondientes.

Figura 7. Diagrama esquemático del módulo IFF propuesto.La figura muestra el método de fusión de características entre dos capas adyacentes.

Figura 8. Diagrama esquemático de la estrategia SSRW propuesta. Los puntos rojo y azul representan las muestras positivas y negativas seleccionadas por el detector de objetos, respectivamente. Para los detectores basados ​​en anclajes, estos puntos corresponden a las ubicaciones del mapa de características donde se generaron los puntos de anclaje o las propuestas. Para los detectores sin anclaje, estos puntos indican una cuadrícula en el mapa de características. Para mantener la claridad y la simplicidad, los anclajes o propuestas (para métodos basados ​​en anclajes) asociados con puntos de muestra no se muestran en este diagrama.

Excelente actuación

perspectiva del futuro

Este artículo propone un conjunto de datos a gran escala llamado GLH-Bridge para la detección general de puentes en imágenes de teledetección de alta resolución a gran escala. El conjunto de datos propuesto contiene 6.000 imágenes de teledetección de alta resolución con tamaños de imagen que van desde 2.048 × 2.048 a 16.384 × 16.384 píxeles, y contiene 59.737 puentes que abarcan diferentes fondos, con anotaciones OBB y HBB. El gran tamaño de la imagen, el gran tamaño de la muestra y la diversidad de escalas de objetos y tipos de fondo hacen de GLH-Bridge un conjunto de datos valioso con los requisitos previos para avanzar en una nueva tarea desafiante pero de gran alcance: alta resolución a gran escala. Detección general de puentes en teledetección. imágenes.Además, los autores proponen HBD-Net, una solución rentable diseñada para la detección general de puentes en imágenes de gran tamaño.Basado en el conjunto de datos GLH-Bridge propuesto,Los autores establecieron un punto de referencia y verificaron empíricamente la eficacia de la HBD-Net propuesta. En trabajos futuros, los autores continuarán enriqueciendo el tamaño de la muestra y las anotaciones de subcategorías del conjunto de datos GLH-Bridge. Además, los objetivos de los autores incluyen generalizar el HBD-Net propuesto para satisfacer la detección de objetos multiclase en imágenes de gran tamaño. Los autores se esfuerzan por explorar métodos que puedan mejorar la precisión de los puentes tanto a gran como a pequeña escala, ampliando así la aplicabilidad y eficacia de HBD-Net en diversos escenarios.