기술나눔

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

이 기사는 화웨이의 오타와 무선 고급 시스템 역량 센터 및 무선 기술 연구소에서 나온 것입니다. 저자 중에는 유명한 Tong Wen이 있습니다.

1. 자체 인코딩 아키텍처를 갖춘 글로벌 트랜시버가 직면한 주요 문제

이 기사에서 가장 영감을 받은 부분은 자체 인코딩 아키텍처를 사용하는 글로벌 트랜시버가 직면한 주요 문제를 언급했다는 것입니다.
질문 1: 확률적 경사하강법을 기반으로 역전파 알고리즘을 사용하여 오토인코더를 훈련하려면 송신기의 심층 신경 계층과 수신기의 심층 신경 계층을 연결하기 위해 하나 이상의 미분 가능한 채널 모델 계층이 필요합니다. 실제 채널은 많은 비선형 구성 요소(예: 디지털 또는 아날로그 전치 왜곡 및 변환)를 포함해야 하고 업샘플링 및 다운샘플링과 같은 미분 불가능한 단계를 포함하므로 트랜시버의 심층 신경 계층에 의해 훈련된 모델은 구성된 채널을 기반으로 합니다. 실제 채널보다 실제 채널 시나리오에서는 이렇게 얻은 모델이 추론 단계에서 성능 손실을 초래할 수 있습니다.

질문 2: 모든 숨겨진 레이어 또는 중간 레이어는 입력 신호의 사후 확률을 기반으로 학습됩니다. 오토인코더 글로벌 트랜시버에서 수신기의 심층 신경 계층의 첫 번째 계층은 입력 신호가 현재 채널 왜곡에 민감한 중간 계층입니다. 이 효과는 필연적으로 수신자의 모든 심층 신경층에 침투합니다. 채널이 훈련 기대치를 초과하는 정도로 변경되면 추론 단계에서 수신기가 실패하게 됩니다.

문제 3: 신경층 간 해석성이 부족하여 어떤 뉴런과 신경층 사이의 어떤 연결이 최종 학습 정확도에 효과적으로 영향을 미치는지 알 수 없습니다. Goodfellow et al.은 잡음이 없는 이미지로 잘 훈련되었지만 여전히 잡음이 있는 팬더 이미지를 긴팔원숭이로 잘못 분류할 수 있는 심층 신경망 분류기의 예를 제시했습니다. 이 예는 심층 신경망을 기반으로 하는 분류기가 최종 결정을 내릴 때 일부 "중요 경로"("로컬 특징"이라고도 알려진 팬더 이미지의 일부 픽셀 참조)에 크게 의존한다는 것을 보여줍니다. 주요 경로가 손상되지 않은 경우 올바른 분류가 이루어지며, 주요 경로가 방해를 받으면 잘못된 분류가 이루어집니다. 동시에, 잡음으로 인한 이러한 종류의 오분류는 부가적인 무작위 잡음이 있는 경우에 발생하는 경우일 뿐이며, 이는 심층 신경망이 잡음 채널에 의해 "주요 경로"가 처리된다는 가정에 의존한다는 것을 보여줍니다. 손대지 않은. 심층 신경망은 부가적인 무작위 잡음에 취약하며, 이는 무선 트랜시버 설계에 적용하는 데 거의 치명적입니다.

이 세 가지 문제의 본질은 동일한 핵심 문제, 즉 무선 채널의 무작위 변화에 직면할 때 심층 신경망의 일반화 성능이 너무 좋지 않다는 데 기인할 수 있습니다. 어떤 모델(매우 우수한 채널 모델이라도)은 가능한 모든 무선 전파 시나리오를 완벽하게 포착할 수 없으므로 OOD(배포 외) 샘플 또는 이상값 처리는 자동 인코더가 항상 직면해야 하는 작업입니다.
설상가상으로 이러한 문제에 대한 기존 솔루션은 여전히 ​​많은 장애물에 직면해 있습니다. 왜냐하면 제안된 솔루션은 무선 통신 장비 및 인프라에 대한 낮은 에너지 소비, 낮은 대기 시간 및 낮은 오버헤드라는 실제 요구 사항을 충족해야 하기 때문입니다. 한편으로는 동적 환경에서 오토인코더 트랜시버 자체의 축적, 강화 및 재훈련 비용이 너무 높은 반면, 축적, 강화 및 재훈련의 전체 프로세스 자체도 "심층 신경망"을 위반합니다. "일회성(Once-for-All)" 전략, 즉 한 번 학습하여 장기적으로 효과적인 전략은 실제 요구 사항과 에너지 소비 요구 사항을 잘 충족할 수 없습니다.

무선 시나리오에서는 채널의 무작위 변경으로 인해 이상값이 발생하는 경우가 많습니다. 추론 단계에서 채널이 훈련 단계에서 사용된 채널 모델에서 벗어나 변경되는 경우 이상치 문제가 특히 두드러집니다. 추론이 진행됨에 따라 더 많은 이상값이 나타나며 이는 수신된 신호의 분포 형태에 영향을 미칩니다. Bengio는 딥러닝의 일반화 성능이 좋지 않은 이유를 설명합니다. 현재 전이 훈련, 주의 기반 순환 네트워크 또는 강화 학습을 포함한 추가 훈련과 같은 몇 가지 해결 방법이 있습니다. 그러나 미래의 무선 통신에서 낮은 에너지 소비, 낮은 대기 시간 및 낮은 제어 오버헤드라는 요구 사항에 직면하여 이러한 해결 방법은 실용적이지 않고 실행 가능성도 부족합니다.

기사에서 제안한 MPA 방법과 관련하여 기사에서는 아래 검정색으로 표시한 부분을 중심으로 솔루션 아이디어도 분석합니다.
"먼저, 미분화를 달성하기 위해서는 채널 모델을 단순화해야 하는데, 이러한 단순화는 오토인코더 트랜시버의 성능을 저하시킵니다. 성능 손상의 이유는 오토인코더를 훈련시키는 데 사용되는 채널 모델이 단순화된 모델이기 때문입니다. 즉, 훈련 단계에서 사용되는 단순화된 채널 모델과 추론 단계에서 처리되는 실제 채널 사이에 오프셋이 발생하며, 이 오프셋이 예상보다 증가하면 전체 오토인코더 트랜시버가 실패하게 됩니다. 이러한 성능 저하를 완화하기 위한 두 가지 해결 방법이 있습니다. 첫 번째는 강화 학습을 사용하여 채널 상태를 지속적으로 기록하고 정책 DNN 및/또는 평가 DNN을 지속적으로 훈련시키는 것입니다. 그러나 차원의 복잡성 측면에서 보면 강화학습으로 처리되는 차원이 실제로 AlphaGo보다 훨씬 크기 때문에 강화학습은 무선 시스템에 비해 너무 복잡합니다. 따라서 강화학습을 기반으로 한 조정 메커니즘은 실현 가능하지 않습니다. 두 번째는 GAN(Generative Adversary Network)을 사용하여 대규모 심층 신경망 모델에 최대한 많은 채널 시나리오를 학습하는 것입니다.그러나 이는 실증적인 방법이므로 이 방법이 모든 채널 시나리오를 포괄할 수 있다고 입증할 수는 없습니다.。

위의 문제를 고려하여 MPA가 있는 오토인코더는 다른 기술 경로를 취합니다. 추론 단계에서 MPA는 각 데이터 전송에 대한 현재 채널 측정 기능의 차원 축소 계층 계수를 조정합니다. 따라서 적응형 추론은 훈련 단계에서 '거친 학습'이라고 부르는 대략적인 채널 모델을 사용합니다. 거친 학습이 훈련 단계와 추론 단계 모두에서 동일하거나 유사한 채널 모델을 시뮬레이션하는 경우 거친 학습의 장점을 입증하기는 어렵지만 실제 현장 테스트에서 이러한 장점을 입증할 수 있습니다.

둘째, MPA가 포함된 자동 인코더는 생성적 적대 네트워크를 기반으로 하는 채널 모델과 공동으로 작동할 수 있습니다. 경험상 대부분의 채널의 실제 조건은 고층 건물, 언덕, 도로 등과 같은 사용자 위치 및 환경 토폴로지에 따라 달라집니다. 조건부 생성 적대 네트워크를 사용하여 알 수 없는 채널을 모델링하고 우수한 성능을 달성한 참고 자료입니다.이 방법을 사용하여 훈련 단계에 대한 좋은 지원을 제공하는 채널 모델을 구축할 수 있습니다.。

추론 단계에서는 파일럿의 채널 추정치, 채널 측정 피드백 또는 채널 상호성을 활용하여 최신 채널 조건을 얻는 것이 좋습니다. MPA는 또한 희소성의 이점을 누리고 오프셋 및 오프셋을 더 잘 견딜 수 있는 것으로 알려져 있습니다(이것이 LDPC 디코더가 효과적으로 작동할 수 있는 이유입니다). 이러한 관점에서 보면 전체 차원 채널 측정을 수행할 필요가 없으며 특정 추정 오류가 있더라도 우리의 방식은 전체 성능 측면에서 여전히 좋은 견고성을 갖습니다. 또한 잔차는 오류 허용 범위가 더 높은 심층 신경층을 수신하여 처리할 수 있습니다. 차원 감소 계층은 추론 및 훈련 단계에서 조정되었으므로 차원 감소 계층을 전체 전송 체인의 프리코더로 사용할 수 있으므로 심층 신경 계층을 재훈련할 필요가 없습니다. 이는 에너지 절약 이점을 가져올 뿐만 아니라 사용자 장치의 배터리 수명을 연장하는 데에도 큰 이점이 됩니다. "

2. 기사 빠르게 읽기

사실 저는 개인적으로 이 글에서 제안한 방법에 대해 아직도 회의적입니다. 기사 작성 방법을 간단히 살펴보겠습니다.

기사 요약

이 기사에서는 무작위 채널 변경을 처리할 때 기존 오토인코더의 일반화 성능이 좋지 않은 문제를 해결하기 위해 메시지 전달 알고리즘(MPA)을 기반으로 하는 오토인코더 트랜시버를 제안합니다. MPA를 자동 인코더에 도입함으로써 저자는 다양한 사용 시나리오에서 더 나은 일반화 성능을 제공할 수 있는 유연한 트랜시버를 구현합니다. 이 접근 방식을 사용하면 훈련 단계에서는 대략적인 학습이 가능하고 추론 단계에서는 적응형 추론이 가능합니다.

해결된 주요 문제

1. 일반화 성능 문제: 기존의 오토인코더 트랜시버는 무작위 채널 변경에 직면할 때 훈련이 완료되면 뉴런이 고정되므로 일반화 성능이 좋지 않습니다.
2. 모델과 실제 채널 간의 편차: 확률적 경사하강법과 역전파 알고리즘을 기반으로 학습된 오토인코더의 사용은 실제 채널이 아닌 구축된 채널 모델에 의존하므로 추론 단계에서 성능 손실이 발생할 수 있습니다.
3. 채널 변경에 대한 적응성: 채널 변경이 훈련 기대치를 초과하는 경우 자동 인코더 글로벌 트랜시버로 인해 수신기 오류가 발생할 수 있습니다.
4. 유통되지 않은 샘플 처리: 무선 채널의 무작위 변경으로 인해 분포 이탈 샘플 또는 이상값이 발생하며 기존 솔루션은 무선 통신 장비의 낮은 에너지 소비, 낮은 대기 시간 및 낮은 오버헤드 요구 사항을 충족하기 어렵습니다.

주요 방법

• 메시지 전달 알고리즘(MPA): 채널이 동적으로 변경될 때 트랜시버의 일반화 성능을 향상시키기 위해 프리코더 계층을 통해 적응형 조정을 달성하는 MPA 기능을 도입합니다.
• 차원 감소 레이어: 오토인코더 프레임워크에 차원 감소 레이어를 삽입하고, 선형 차원 감소 변환을 수행하고, MPA를 통해 차원 감소 레이어 계수를 반복적으로 조정합니다.
• 독립형 MPA 반복: 원래 오토인코더의 역전파에 의존하지 않고 순방향 반복(비선형 서포트 벡터 머신과 유사) 및 역방향 반복(주의 깊은 신경망과 유사)을 사용하여 차원 감소 계층을 독립적으로 조정합니다.
• 글로벌 연결 학습: 계열 훈련 방식을 통해 차원 축소 계층과 심층 신경 계층을 별도로 훈련하여 대략적인 학습과 적응적 추론을 달성합니다.
• 거친 학습 및 적응적 추론: 훈련 단계에서는 대략적인 학습을 위해 단순화된 채널 모델을 사용하고, 추론 단계에서는 MPA를 통해 차원 축소 계층을 조정하여 현재 채널 측정 상황에 적응합니다.

이러한 방법을 통해 이 기사에서는 무작위 채널 변경 시 오토인코더 트랜시버의 성능과 일반화 능력을 향상시키는 것을 목표로 합니다.

기사의 MPA 방법에 대해서는 그림 16과 17을 보면 개요를 얻을 수 있습니다.
가장 중요한 것은 전송 벡터와 채널 간의 차원 변환을 완료하기 위해 MPA 계층을 추가하는 것입니다. 그런 다음 훈련 중에 MPA 계층이 먼저 전체 트랜시버의 훈련을 완료한 후 MPA 계층이 반복적으로 훈련됩니다. MPA 계층은 전송을 위한 프리코딩 매핑으로 간주될 수 있으며, 여기서는 채널에 대해 공통 다중 경로 가정이 여전히 채택됩니다. MPA 계층의 훈련은 수신된 신호와 전송된 벡터 사이의 주의에 의존합니다.Attention Deep Neural Network는 서로 다른 차원 간 두 특징의 유사성을 측정하는 효과적인 방법입니다. . 주목해야 할 수는 수신된 신호의 수, 즉 L보다 작습니다.