Compartilhamento de tecnologia

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Resumo do artigo

A detecção de ponte em imagens de sensoriamento remoto (RSIs) desempenha um papel vital em diversas aplicações，Mas a detecção de pontes enfrenta desafios únicos em comparação com outras detecções de objetos. Entre os RSIs, as pontes exibem variação considerável na escala espacial e na proporção de aspecto. Portanto, para garantir a visibilidade e integridade da ponte, é necessária uma inspeção geral da ponte em RSIs de grande escala e alta resolução (VHR). No entanto, a falta de conjuntos de dados grandes de RSIs VHR limita o desempenho de algoritmos de aprendizagem profunda na detecção de pontes. Devido à limitação da memória da GPU ao processar imagens de grande porte, os métodos de detecção de objetos baseados em aprendizagem profunda geralmente adotam estratégias de corte, o que inevitavelmente leva à fragmentação do rótulo e à descontinuidade da previsão.Para aliviar a escassez de conjuntos de dados,O artigo propõe um conjunto de dados em grande escala chamado GLH-Bridge, que inclui 6.000 RSIs VHR amostrados de diferentes localizações geográficas ao redor do mundo. As imagens variam em tamanho de 2.048 × 2.048 a 16.384 × 16.384 pixels e contêm um total de 59.737 pontes. As pontes abrangem fundos diferentes e cada ponte é anotada manualmente usando caixas delimitadoras orientadas (OBB) e caixas delimitadoras horizontais (HBB).Além disso, os autores propõem uma Rede Holística de Detecção de Pontes (HBD-Net) eficiente para detecção de pontes em RSIs de grande porte. O HBD-Net adota a arquitetura de fusão de recursos baseada em detector independente (SDFF) e é otimizado por meio da estratégia de reponderação de amostras sensíveis à forma (SSRW). A arquitetura SDFF realiza fusão de recursos intercamadas (IFF) para fundir contexto multiescala na pirâmide de imagens dinâmicas (DIP) de imagens de grande tamanho, e a estratégia SSRW é usada para garantir o equilíbrio dos pesos de regressão para pontes com diferentes aspectos índices.Com base no conjunto de dados GLH-Bridge proposto, os autores estabeleceram um benchmark de detecção de ponte incluindo tarefas OBB e HBB, e verificaram a eficácia da HBD-Net proposta.Além disso, experimentos de generalização entre conjuntos de dados em dois conjuntos de dados disponíveis publicamente demonstram a forte capacidade de generalização do conjunto de dados GLH-Bridge.

Endereço do papel:

https://ieeexplore.ieee.org/document/10509806

O conjunto de dados é grande, ultrapassando 20G, e requer acesso científico à Internet para download. Já baixamos para todos.

Endereço de download do conjunto de dados:

https://www.dilitanxianjia.com/15644/

Passado e presente

Como componentes essenciais da infra-estrutura, as pontes abrangem vários terrenos e servem como instalações básicas de transporte. Eles são de grande importância no transporte civil, operações militares e socorro em desastres [1].Ao mesmo tempo, a construção de pontes foi rápida e frequentemente reformada . Por exemplo, em 2012, havia aproximadamente 617.000 pontes nos Estados Unidos, e a sua deterioração aumentará ao longo dos próximos 50 anos, exigindo mais de 125 mil milhões de dólares para reparar a acumulação de reparações. Portanto, a eficiência e eficácia da inspeção de pontes são cruciais para atualizar oportunamente os mapas de navegação e monitorar ainda mais a saúde estrutural e a condição das pontes [2], [3]. Imagens de sensoriamento remoto (RSIs) são adequadas como dados básicos para detecção de pontes devido à sua ampla cobertura geográfica e alta frequência de revisitas. Ao mesmo tempo, considerando as poderosas capacidades de representação de recursos das redes profundas, a detecção de pontes de RSIs baseada em aprendizado profundo tem grande potencial e se tornou um foco de pesquisa [4].

Conforme mostrado na Figura 1, em comparação com outros objetos comuns, a detecção de pontes multiescala em RSIs é bastante desafiadora devido a duas características principais: (i) diversas escalas de objetos. Em RSIs de alta resolução (VHR), as instâncias de ponte variam em comprimento de alguns pixels a milhares de pixels. (ii) Proporções de aspecto extremas. Existem diferenças significativas na extensão do alongamento entre as pontes. Para garantir a detectabilidade de pontes pequenas ou estreitas, o uso de imagens de altíssima resolução (VHR) é crucial. Ao mesmo tempo, para buscar a integridade estrutural de pontes grandes e longas em imagens VHR, é necessário realizar a detecção geral de pontes em imagens de grande porte, o que impõe requisitos rigorosos tanto aos conjuntos de dados quanto aos métodos. Apesar do progresso significativo na detecção de objetos multiclasse [12], [13], [14], [15], [16] e detecção de ponte [4], [11], [17],No entanto, ainda faltam conjuntos de dados em grande escala e métodos apropriados para detecção geral de pontes em RSIs VHR de grande porte.

Conforme mostrado na Tabela 1, embora muitos conjuntos de dados populares de detecção de objetos RSIs tenham sido criados [6], [7], [8], [18], o número de pontes nesses conjuntos de dados é limitado.Além disso, conjuntos de dados [4], [11] criados especificamente para detecção de pontes são frequentemente limitados pelo tamanho da amostra e do tamanho da imagem. Alguns conjuntos de dados existentes fornecem apenas anotações de caixa delimitadora horizontal (HBB) em vez de anotações de caixa delimitadora orientada precisa (OBB). Portanto, parece irreal treinar um modelo de detecção de ponte robusto e amplamente adaptável usando o conjunto de dados acima. Para resolver o problema de limitação de dados, os autores construíram o GLH-Bridge, um conjunto de dados em grande escala para detecção de pontes de RSIs VHR de grande porte. O GLH-Bridge contém 6.000 RSIs VHR amostrados globalmente e mais de 59.000 pontes anotadas manualmente. Em comparação com os conjuntos de dados de detecção de pontes existentes, o GLH-Bridge captura melhor as características das pontes em cenas reais, anotando pontes em múltiplas escalas em RSIs VHR de grande porte, cobrindo vários tipos de fundo, como vegetação, leitos de rios secos e características de estradas. Resumindo, o GLH-Bridge demonstra vantagens abrangentes e vantagens significativas em comparação com os conjuntos de dados de detecção de pontes existentes.

Para avançar na pesquisa sobre este problema fundamental e prático, os autores propõem uma nova tarefa desafiadora e significativa: detecção geral de pontes em RSIs VHR de grande escala.Para resolver esta tarefa, as soluções potenciais podem ser divididas em quatro áreas principais: (i) Dada a limitação da memória da GPU, os principais métodos de detecção de objetos baseados em aprendizagem profunda [15], [16], [19], [20], [21] geralmente adotam estratégias de corte [7], [22]. No entanto, estas estratégias têm limitações inerentes e são propensas a cortar grandes pontes, como mostra a Figura 1. Além das estratégias de corte, alguns métodos de detecção de objetos processam imagens originais de tamanho grande por meio de estratégias de redução da resolução de janelas fixas [23], [24], [25], resultando em perda significativa de informações de imagem; para passagens para frente e para trás, mas não pode suportar redes neurais profundas (DNN) com normalização; (iii) o método LMS [27] usa descarregamento de memória para espalhar a memória pela memória do sistema (CPU DRAM) e compartilhamento de memória GPU. No entanto, eles introduzem sobrecarga de tempo significativa e são limitados pela taxa máxima de expansão de memória; (iv) espera-se que técnicas de paralelização de tensor multi-GPU [28], [29] estendam redes profundas para suportar o processamento geral de imagens de grande tamanho. No entanto, muitas vezes consomem muitos recursos e são difíceis de operar em condições rotineiras. Em resumo, os métodos existentes não podem realizar com eficácia a detecção geral de pontes de RSIs VHR de grande porte sob recursos de computação comuns (como uma única GPU com 24 GB de memória).

Considerando as limitações das possíveis soluções mencionadas acima, os autores propõem uma Rede Holística de Detecção de Pontes (HBD-Net) projetada especificamente para detecção de pontes de RSIs VHR de grande porte. A abordagem dos autores tem duas vantagens principais: (i) A arquitetura de fusão de recursos baseada em detector independente (SDFF), quando aplicada à Pirâmide de Imagens Dinâmicas (DIP), demonstra uma maneira eficiente de processar imagens de grande tamanho com consumo mínimo de recursos. (ii) A estratégia de reponderação de amostra sensível à forma (SSRW) equilibra os pesos de regressão de pontes com diferentes proporções. Resultados experimentais no GLH-Bridge demonstram o excelente desempenho do HBD-Net proposto.

Em resumo, até onde sabemos, este artigo é o primeiro a explorar a detecção de ponte integral em RSIs VHR de grande escala.As principais contribuições deste artigo são as seguintes:

• É proposto o GLH-Bridge, o primeiro conjunto de dados em grande escala para detecção de ponte de RSIs VHR de grande porte.Este conjunto de dados contém 59.737 pontes cobrindo uma variedade de origens, fornecendo uma representação abrangente de pontes em cenários da vida real.

• Propôs uma rede de detecção de ponte holística de baixo custo (ou seja, HBD-Net) para imagens de grande tamanho, que pode processar com eficiência imagens de grande porte e detectar holisticamente pontes em múltiplas escalas por meio de uma arquitetura SDFF bem projetada e uma estratégia SSRW.

• Usando o conjunto de dados GLH-Bridge proposto, os autores criam um benchmark de detecção de ponte cobrindo tarefas OBB e HBB. O HBD-Net supera os algoritmos de última geração existentes em desempenho. Além disso, o autor conduziu experimentos de generalização entre conjuntos de dados para demonstrar a forte capacidade de generalização do GLH-Bridge. Os autores esperam que este benchmark possa contribuir para a avaliação básica da detecção de objetos em imagens de grande porte.

Criatividade

Os objetivos do autor ao desenvolver um novo conjunto de dados para detecção de pontes são duplos: (i) Preencher a lacuna em conjuntos de dados em grande escala para detecção de pontes em imagens de sensoriamento remoto de alta resolução e grande escala (RSIs VHR). (ii) Avançar em uma tarefa nova e desafiadora: detecção de ponte integral em RSIs VHR de grande escala.

Figura 2. Mapa de distribuição geográfica de imagens amostradas do conjunto de dados GLH-Bridge proposto.

Figura 3. Exemplo de rotulagem conforme norma, onde o círculo amarelo indica a situação não rotulada . (a) As estradas que atravessam águas que sejam muito curvas ou de formato irregular não serão marcadas. (b) Duas conexões de terminal não estão marcadas.

Figura 4. Ilustração dos recursos do conjunto de dados GLH-Bridge. (a) Comparação das características da ponte em diferentes conjuntos de dados. (b) Distribuição da área da ponte na Ponte GLH. (c) Distribuição dos comprimentos das pontes na ponte GLH. (d) Distribuição da densidade da ponte na ponte GLH.

Figura 5. Exemplos de pontes em diferentes contextos no conjunto de dados GLH-Bridge. (a) Ponte atravessando vegetação. (b) Ponte cruzando o leito de um rio seco. (c) Pontes que cruzam estradas. (d) Pontes que atravessam cursos de água.

Figura 6. Processo HBD-Net proposto. Ele contém a arquitetura SDFF proposta e a estratégia SSRW. A arquitetura SDFF consiste em detectores independentes e módulos IFF. A partir da imagem VHR de entrada de grande porte, os autores constroem um DIP e o enviam ao detector independente do SDFF para obter características. Em seguida, os recursos de todos os detectores SDFF são fundidos por meio do módulo IFF para compartilhar informações contextuais e detalhadas de textura. A estratégia SSRW é aplicada na etapa de seleção da amostra do detector de objetos para equilibrar os pesos da regressão. Finalmente, os recursos fundidos de saída são alimentados na cabeça do detector de objetos para obter os resultados de cada camada, que são usados ​​para calcular a perda com os rótulos de verdade terrestre correspondentes.

Figura 7. Diagrama esquemático do módulo IFF proposto.A figura mostra o método de fusão de recursos entre duas camadas adjacentes.

Figura 8. Diagrama esquemático da estratégia SSRW proposta. Os pontos vermelho e azul representam as amostras positivas e negativas selecionadas pelo detector de objetos, respectivamente. Para detectores baseados em âncoras, esses pontos correspondem às localizações do mapa de características onde os pontos de ancoragem ou propostas foram gerados. Para detectores sem âncora, esses pontos indicam uma grade no mapa de características. Para manter a clareza e a simplicidade, âncoras ou propostas (para métodos baseados em âncoras) associadas a pontos amostrais não são mostradas neste diagrama.

Excelente desempenho

perspectiva futura

Este artigo propõe um conjunto de dados em grande escala denominado GLH-Bridge para detecção geral de pontes em imagens de sensoriamento remoto de alta resolução em grande escala. O conjunto de dados proposto contém 6.000 imagens de sensoriamento remoto de alta resolução com tamanhos de imagem variando de 2.048 × 2.048 a 16.384 × 16.384 pixels, contendo 59.737 pontes abrangendo diferentes fundos, com anotações OBB e HBB. O grande tamanho da imagem, o grande tamanho da amostra e a diversidade de escalas de objetos e tipos de fundo tornam o GLH-Bridge um conjunto de dados valioso com os pré-requisitos para avançar em uma nova tarefa desafiadora, mas de longo alcance: alta resolução em grandes escalas. imagens.Além disso, os autores propõem o HBD-Net, uma solução econômica adaptada para detecção geral de pontes em imagens de grande porte.Com base no conjunto de dados GLH-Bridge proposto,Os autores estabeleceram um benchmark e verificaram empiricamente a eficácia da HBD-Net proposta. Em trabalhos futuros, os autores continuarão a enriquecer o tamanho da amostra e as anotações de subcategorias do conjunto de dados GLH-Bridge. Além disso, os objetivos dos autores incluem generalizar o HBD-Net proposto para satisfazer a detecção de objetos multiclasse em imagens de grande porte. Os autores se esforçam para explorar métodos que possam melhorar a precisão da ponte em grande e pequena escala, expandindo assim a aplicabilidade e eficácia do HBD-Net em vários cenários.