Berbagi teknologi

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Artikel ini berasal dari Pusat Kompetensi Sistem Canggih Nirkabel dan Laboratorium Teknologi Nirkabel Huawei di Ottawa. Salah satu penulisnya adalah Tong Wen yang terkenal.

1. Masalah utama yang dihadapi oleh transceiver global dengan arsitektur self-encoding

Bagian artikel yang paling menginspirasi bagi saya adalah menyebutkan masalah utama yang dihadapi oleh transceiver global dengan arsitektur self-encoding:
Pertanyaan 1: Berdasarkan metode penurunan gradien stokastik, penggunaan algoritme propagasi balik untuk melatih autoencoder memerlukan satu atau lebih lapisan model saluran yang dapat dibedakan untuk menghubungkan lapisan saraf dalam pada pemancar dan lapisan saraf dalam pada penerima. Karena saluran nyata harus mengandung banyak komponen nonlinier (seperti predistorsi dan konversi digital atau analog), dan melibatkan tahapan yang tidak dapat dibedakan seperti upsampling dan downsampling, model yang dilatih oleh lapisan saraf dalam transceiver didasarkan pada saluran yang dibangun. daripada saluran sebenarnya. Dalam skenario saluran nyata, model yang diperoleh dengan cara ini dapat menyebabkan hilangnya kinerja selama fase inferensi.

Pertanyaan 2: Semua lapisan tersembunyi atau lapisan perantara dilatih berdasarkan probabilitas posterior dari sinyal masukan. Dalam transceiver global autoencoder, lapisan pertama dari lapisan saraf dalam penerima adalah lapisan perantara yang sinyal masukannya rentan terhadap distorsi saluran saat ini. Efek ini pasti akan meresap ke seluruh lapisan saraf dalam penerima. Jika saluran berubah ke tingkat yang melebihi ekspektasi pelatihan, hal ini akan menyebabkan penerima gagal selama fase inferensi.

Masalah 3: Interpretabilitas antar lapisan saraf kurang, dan tidak mungkin mengetahui neuron mana dan koneksi antar lapisan saraf mana yang akan secara efektif memengaruhi akurasi pembelajaran akhir. Goodfellow dkk. memberikan contoh pengklasifikasi jaringan saraf dalam yang, meskipun telah dilatih dengan baik dengan gambar yang tidak berisik, masih mungkin salah mengklasifikasikan gambar panda yang berisik sebagai siamang. Contoh ini menunjukkan bahwa pengklasifikasi berdasarkan jaringan neural dalam sangat bergantung pada beberapa "jalur kritis" (mengacu pada beberapa piksel pada gambar panda, juga dikenal sebagai "fitur lokal") saat membuat keputusan akhir. Jika jalur kritis utuh maka akan dibuat klasifikasi yang benar; jika jalur kritis terganggu maka akan dibuat klasifikasi yang salah. Pada saat yang sama, kesalahan klasifikasi yang disebabkan oleh kebisingan ini hanya merupakan situasi sesekali dengan adanya kebisingan acak tambahan, yang menunjukkan bahwa jaringan saraf dalam bergantung pada asumsi bahwa "jalur kritis" diproses oleh saluran kebisingan utuh. Jaringan saraf dalam rentan terhadap gangguan acak tambahan, yang hampir berakibat fatal bagi penerapannya dalam desain transceiver nirkabel.

Inti dari ketiga masalah ini dapat dikaitkan dengan masalah inti yang sama, yaitu kinerja generalisasi jaringan saraf dalam terlalu buruk ketika menghadapi perubahan acak pada saluran nirkabel. Tidak ada model (bahkan model saluran yang sangat unggul) yang dapat sepenuhnya menangkap semua kemungkinan skenario propagasi radio, sehingga pemrosesan sampel atau outlier di luar distribusi (OOD) adalah hal yang selalu harus dihadapi oleh autoencoder.
Lebih buruk lagi, solusi yang ada untuk masalah ini masih menghadapi banyak kendala, karena solusi yang diusulkan harus memenuhi persyaratan praktis berupa konsumsi energi yang rendah, latensi rendah, dan overhead rendah untuk peralatan dan infrastruktur komunikasi nirkabel. Di satu sisi, dalam lingkungan yang dinamis, biaya akumulasi, peningkatan, dan pelatihan ulang transceiver autoencoder itu sendiri terlalu tinggi; di sisi lain, seluruh proses akumulasi, peningkatan, dan pelatihan ulang itu sendiri juga melanggar "jaringan saraf dalam". Strategi "Sekali untuk Semua" - yaitu, belajar sekali dan efektif dalam jangka panjang, tidak dapat memenuhi kebutuhan aktual dan kebutuhan konsumsi energi.

Dalam skenario nirkabel, outlier sering kali disebabkan oleh perubahan acak pada saluran. Selama fase inferensi, jika saluran berubah dan menyimpang dari model saluran yang digunakan dalam fase pelatihan, masalah outlier akan sangat menonjol. Seiring berjalannya penalaran, lebih banyak outlier akan muncul, yang akan memengaruhi bentuk distribusi sinyal yang diterima. Bengio mengaitkan buruknya kinerja generalisasi pembelajaran mendalam dengan hal ini. Saat ini ada beberapa solusi, seperti pelatihan tambahan, termasuk pelatihan transfer, jaringan berulang berbasis perhatian, atau pembelajaran penguatan. Namun, karena adanya kebutuhan akan konsumsi energi yang rendah, latensi rendah, dan overhead kendali yang rendah dalam komunikasi nirkabel di masa depan, solusi ini menjadi tidak praktis dan tidak dapat dilaksanakan.

Mengenai metode MPA yang diusulkan dalam artikel, artikel tersebut juga menganalisis ide solusi, dengan fokus pada bagian yang saya tandai dengan warna hitam di bawah ini:
"Pertama, untuk mencapai diferensiasi, model saluran perlu disederhanakan, tetapi penyederhanaan ini merugikan kinerja transceiver autoencoder. Alasan kerusakan kinerja adalah karena model saluran yang digunakan untuk melatih autoencoder adalah model yang disederhanakan, bukan a model nyata. Artinya, ada offset antara model saluran yang disederhanakan yang digunakan dalam fase pelatihan dan saluran nyata yang diproses dalam fase inferensi. Offset ini menyebabkan hilangnya kinerja jika offset meningkat melebihi ekspektasi adalah dua solusi untuk mengurangi penurunan kinerja ini. Yang pertama adalah menggunakan pembelajaran penguatan untuk terus mencatat status saluran dan terus melatih DNN kebijakan dan/atau DNN evaluasi. Namun dari segi kompleksitas dimensinya, pembelajaran penguatan terlalu rumit untuk sistem nirkabel, karena dimensi yang diproses oleh pembelajaran penguatan sebenarnya jauh lebih besar daripada AlphaGo. Oleh karena itu, mekanisme penyesuaian berdasarkan pembelajaran penguatan tidak layak. Yang kedua adalah menggunakan Generative Adversary Network (GAN) untuk mempelajari sebanyak mungkin skenario saluran ke dalam model jaringan neural dalam yang besar.Namun metode ini bersifat empiris dan belum dapat dibuktikan bahwa metode tersebut dapat mencakup seluruh skenario saluran.。

Karena mempertimbangkan masalah di atas, autoencoder dengan MPA mengambil jalur teknis yang berbeda. Pada fase inferensi, MPA akan menyesuaikan koefisien lapisan reduksi dimensi pada fungsi pengukuran saluran saat ini untuk setiap transmisi data. Oleh karena itu, inferensi adaptif akan menggunakan model saluran kasar pada tahap pelatihan, yang kami sebut "pembelajaran kasar". Jika pembelajaran kasar mensimulasikan model saluran yang sama atau serupa untuk tahap pelatihan dan inferensi, sulit untuk membuktikan keunggulan pembelajaran kasar, namun keunggulan ini dapat ditunjukkan dalam uji lapangan yang sebenarnya.

Kedua, autoencoder dengan MPA dapat bekerja sama dengan model saluran berdasarkan jaringan permusuhan generatif. Dari pengalaman, kondisi sebenarnya sebagian besar saluran bergantung pada lokasi pengguna dan topologi lingkungan, seperti gedung bertingkat, bukit, jalan, dll. Referensi diusulkan menggunakan jaringan permusuhan generatif bersyarat untuk memodelkan saluran yang tidak diketahui dan mencapai kinerja yang baik.Kita dapat menggunakan metode ini untuk membangun model saluran guna memberikan dukungan yang baik untuk fase pelatihan。

Selama fase inferensi, kami merekomendasikan untuk mengandalkan estimasi saluran dari uji coba, umpan balik pengukuran saluran, atau timbal balik saluran untuk mendapatkan kondisi saluran terkini. Diketahui bahwa MPA juga mendapat manfaat dari ketersebaran dan lebih mampu mentolerir penyeimbangan dan penyeimbangan (itulah sebabnya dekoder LDPC dapat bekerja secara efektif). Dari perspektif ini, tidak perlu melakukan pengukuran saluran berdimensi penuh, hanya sebagian dimensi yang perlu diukur. Bahkan jika ada kesalahan estimasi tertentu, skema kami masih memiliki ketahanan yang baik dalam hal kinerja secara keseluruhan. Selain itu, residu dapat ditangani dengan menerima lapisan saraf dalam dengan toleransi kesalahan yang lebih tinggi. Karena lapisan reduksi dimensi telah disesuaikan selama tahap inferensi dan pelatihan, kita dapat menggunakan lapisan reduksi dimensi sebagai precoder dari seluruh rantai transmisi, sehingga tidak perlu melatih ulang lapisan neural dalam. Hal ini tidak hanya membawa manfaat penghematan energi, namun juga merupakan keuntungan besar dalam memperpanjang masa pakai baterai perangkat pengguna. "

2. Membaca artikel dengan cepat

Faktanya, saya pribadi masih skeptis dengan metode yang diusulkan dalam artikel tersebut. Mari kita lihat sekilas metode artikelnya.

Ringkasan Artikel

Artikel ini mengusulkan transceiver autoencoder berdasarkan Message Passing Algorithm (MPA) untuk memecahkan masalah kinerja generalisasi yang buruk dari autoencoder tradisional ketika menangani perubahan saluran acak. Dengan memasukkan MPA ke dalam autoencoder, penulis mengimplementasikan transceiver fleksibel yang dapat memberikan kinerja generalisasi lebih baik dalam skenario penggunaan yang berbeda. Pendekatan ini memungkinkan pembelajaran kasar pada fase pelatihan dan inferensi adaptif pada fase inferensi.

Masalah utama terpecahkan

1. Masalah kinerja generalisasi: Ketika transceiver autoencoder tradisional menghadapi perubahan saluran acak, karena neuron diperbaiki setelah pelatihan selesai, kinerja generalisasinya buruk.
2. Penyimpangan antara model dan saluran nyata: Penggunaan autoencoder yang dilatih berdasarkan metode penurunan gradien stokastik dan algoritma propagasi mundur bergantung pada model saluran yang dibangun daripada saluran sebenarnya, yang dapat menyebabkan hilangnya kinerja pada tahap inferensi.
3. Kemampuan beradaptasi terhadap perubahan saluran: Transceiver global autoencoder dapat menyebabkan kegagalan penerima ketika perubahan saluran melebihi ekspektasi pelatihan.
4. Pemrosesan sampel di luar distribusi: Perubahan acak pada saluran nirkabel menyebabkan sampel atau outlier tidak terdistribusi, dan solusi yang ada sulit memenuhi konsumsi energi yang rendah, latensi rendah, dan persyaratan overhead peralatan komunikasi nirkabel yang rendah.

metode utama

• Algoritma Penyampaian Pesan (MPA): Memperkenalkan fungsi MPA untuk mencapai penyesuaian adaptif melalui lapisan precoder guna meningkatkan kinerja generalisasi transceiver ketika saluran berubah secara dinamis.
• Lapisan pengurangan dimensi: Masukkan lapisan reduksi dimensi ke dalam kerangka autoencoder, lakukan transformasi reduksi dimensi linier, dan sesuaikan koefisien lapisan reduksi dimensi secara berulang melalui MPA.
• Iterasi KKP yang berdiri sendiri: Gunakan iterasi maju (mirip dengan mesin vektor dukungan nonlinier) dan iterasi mundur (mirip dengan jaringan saraf dalam perhatian) untuk secara mandiri menyesuaikan lapisan reduksi dimensi, tanpa bergantung pada propagasi belakang autoencoder asli.
• pembelajaran gabungan global: Melalui skema pelatihan seri, lapisan reduksi dimensi dan lapisan saraf dalam dilatih secara terpisah untuk mencapai pembelajaran kasar dan penalaran adaptif.
• Pembelajaran kasar dan penalaran adaptif: Model saluran yang disederhanakan digunakan untuk pembelajaran kasar pada fase pelatihan, sedangkan lapisan reduksi dimensi disesuaikan melalui MPA pada fase inferensi untuk beradaptasi dengan situasi pengukuran saluran saat ini.

Melalui metode ini, artikel ini bertujuan untuk meningkatkan kinerja dan kemampuan generalisasi transceiver autoencoder dalam perubahan saluran acak.

Untuk artikel metode MPA, gambaran umum dapat dilihat pada Gambar 16 dan 17.
Hal utama adalah menambahkan lapisan MPA untuk menyelesaikan transformasi dimensi antara vektor transmisi dan saluran. Kemudian selama pelatihan, lapisan MPA dibekukan terlebih dahulu. Setelah menyelesaikan pelatihan transceiver secara keseluruhan, lapisan MPA dilatih secara berulang. Lapisan MPA dapat dianggap sebagai pemetaan prakode untuk transmisi. Dimensi spesifik dapat diperoleh dengan mengukur saluran. Di sini, asumsi multijalur umum masih diadopsi untuk saluran tersebut. Pelatihan lapisan MPA bergantung pada perhatian antara sinyal yang diterima dan vektor yang ditransmisikan.Jaringan saraf dalam perhatian adalah metode yang efektif untuk mengukur kesamaan dua fitur antara dimensi yang berbeda . Perlu diperhatikan bahwa jumlah perhatian lebih kecil dari jumlah sinyal yang diterima, yaitu L