Обмен технологиями

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Эта статья написана Центром разработки передовых беспроводных систем и Лабораторией беспроводных технологий Huawei в Оттаве. Среди авторов — знаменитый Тонг Вэнь.

1. Основные проблемы, с которыми сталкиваются глобальные трансиверы с архитектурой самокодирования

Самая вдохновляющая для меня часть статьи — это то, что в ней упоминаются основные проблемы, с которыми сталкиваются глобальные трансиверы с архитектурой самокодирования:
Вопрос 1. На основе метода стохастического градиентного спуска для использования алгоритма обратного распространения сигнала для обучения автокодировщика требуется один или несколько слоев дифференцируемой модели канала для соединения глубокого нейронного слоя передатчика и глубокого нейронного слоя приемника. Поскольку реальный канал должен содержать множество нелинейных компонентов (таких как цифровое или аналоговое предыскажение и преобразование) и включает в себя недифференцируемые этапы, такие как повышающая и понижающая дискретизация, модель, обученная глубоким нейронным слоем трансивера, основана на построенном канале, а не на его основе. чем настоящий канал. В сценариях реальных каналов полученная таким образом модель может привести к снижению производительности на этапе вывода.

Вопрос 2: Все скрытые или промежуточные слои обучаются на основе апостериорной вероятности входного сигнала. В глобальном приемопередатчике автокодировщика первый уровень глубокого нейронного слоя приемника является промежуточным слоем, входной сигнал которого подвержен текущим искажениям канала. Этот эффект неизбежно пронизывает все глубокие нейронные слои приемника. Если канал изменится в степени, превышающей ожидания обучения, это приведет к сбою приемника на этапе вывода.

Проблема 3: между нейронными слоями отсутствует интерпретируемость, и невозможно узнать, какие нейроны и какие связи между нейронными слоями будут эффективно влиять на конечную точность обучения. Гудфеллоу и др. привели пример классификатора глубокой нейронной сети, который, хотя и хорошо обучен работе с незашумленными изображениями, все же может ошибочно классифицировать шумные изображения панд как гиббонов. Этот пример показывает, что классификатор, основанный на глубоких нейронных сетях, в значительной степени полагается на некоторые «критические пути» (имеются в виду некоторые пиксели изображения панды, также известные как «локальные особенности») при принятии окончательного решения. Если критический путь не поврежден, будет выполнена правильная классификация, если критический путь нарушен, будет выполнена неверная классификация; В то же время такого рода неправильная классификация, вызванная шумом, является лишь случайной ситуацией при наличии аддитивного случайного шума, что показывает, что глубокая нейронная сеть опирается на предположение, что «критический путь» обрабатывается шумовым каналом Стилла. нетронутый. Глубокие нейронные сети чувствительны к аддитивному случайному шуму, что почти фатально для их применения в конструкции беспроводных трансиверов.

Суть этих трех проблем можно отнести к одной и той же основной проблеме, а именно к слишком низкой производительности обобщения глубоких нейронных сетей при случайных изменениях в беспроводных каналах. Ни одна модель (даже очень совершенная модель канала) не может полностью охватить все возможные сценарии распространения радиосигнала, поэтому обработка выборок вне распределения (OOD) или выбросов — это то, с чем автокодировщикам всегда приходится сталкиваться.
Что еще хуже, существующие решения этих проблем по-прежнему сталкиваются со многими препятствиями, поскольку предлагаемые решения должны соответствовать практическим требованиям низкого энергопотребления, низкой задержки и низких накладных расходов для оборудования и инфраструктуры беспроводной связи. С одной стороны, в динамической среде стоимость накопления, совершенствования и переобучения самого приемопередатчика автоэнкодера слишком высока, с другой стороны, весь процесс накопления, совершенствования и переобучения сам по себе также нарушает «глубокую нейронную сеть»; Стратегия «один раз для всех», то есть обучение один раз и эффективность в долгосрочной перспективе, не может полностью удовлетворить реальные потребности и потребности в потреблении энергии.

В беспроводных сценариях выбросы часто вызваны случайными изменениями в канале. Если на этапе вывода канал меняется и отклоняется от модели канала, используемой на этапе обучения, проблема выбросов становится особенно заметной. По мере продолжения рассуждений будет появляться больше выбросов, которые повлияют на форму распределения полученного сигнала. Бенджио объясняет этим плохую эффективность обобщения глубокого обучения. В настоящее время существуют некоторые средства правовой защиты, такие как дополнительное обучение, в том числе обучение переносу, повторяющиеся сети, основанные на внимании, или обучение с подкреплением. Однако, учитывая требования низкого энергопотребления, низкой задержки и низких затрат на управление в будущих беспроводных коммуникациях, эти меры стали непрактичными и невыполнимыми.

Что касается метода MPA, предложенного в статье, в статье также анализируются идеи решения, уделяя особое внимание частям, которые я отметил черным цветом ниже:
«Во-первых, чтобы добиться дифференцируемости, модель канала необходимо упростить, но это упрощение ухудшает производительность приемопередатчика автокодировщика. Причина снижения производительности заключается в том, что модель канала, используемая для обучения автокодировщика, является упрощенной моделью, а не просто То есть, существует смещение между упрощенной моделью канала, используемой на этапе обучения, и реальным каналом, обработанным на этапе вывода. Это смещение приводит к потере производительности, если смещение превышает ожидания. Это два средства смягчения этого снижения производительности. Первый — использовать обучение с подкреплением для непрерывной записи состояния канала и непрерывного обучения DNN политики и/или DNN оценки. Однако с точки зрения сложности измерений обучение с подкреплением слишком сложно для беспроводных систем, поскольку измерения, обрабатываемые с помощью обучения с подкреплением, на самом деле намного больше, чем AlphaGo. Следовательно, механизм корректировки, основанный на обучении с подкреплением, невозможен. Второй — использовать генеративно-противоположную сеть (GAN) для изучения как можно большего количества сценариев каналов в большой модели глубокой нейронной сети.Однако это эмпирический метод, и невозможно доказать, что он может охватить все сценарии каналов.。

Учитывая вышеизложенные проблемы, автоэнкодеры с MPA выбирают другой технический путь. На этапе вывода MPA будет корректировать коэффициенты слоя уменьшения размерности в текущей функции измерения канала для каждой передачи данных. Таким образом, адаптивный вывод будет использовать грубую модель канала на этапе обучения, которую мы называем «грубым обучением». Если грубое обучение моделирует одну и ту же или аналогичную модель канала как на этапе обучения, так и на этапе вывода, трудно доказать преимущество грубого обучения, но это преимущество можно продемонстрировать в реальных полевых испытаниях.

Во-вторых, автоэнкодеры с MPA могут работать совместно с моделями каналов, основанными на генеративно-состязательных сетях. Опыт показывает, что фактические условия большинства каналов зависят от местоположения пользователя и топологии окружающей среды, например, высотных зданий, холмов, дорог и т. д. В ссылках было предложено использовать условные генеративно-состязательные сети для моделирования неизвестных каналов и достигнута хорошая производительность.Мы можем использовать этот метод для построения модели канала, чтобы обеспечить хорошую поддержку на этапе обучения.。

На этапе вывода мы рекомендуем полагаться на оценки канала от пилотов, отзывы об измерениях канала или взаимность каналов, чтобы получить последние данные о состоянии канала. Известно, что MPA также выигрывает от разреженности и лучше переносит смещения и смещения (именно поэтому декодеры LDPC могут работать эффективно). С этой точки зрения нет необходимости выполнять полномерное измерение канала, необходимо измерить только часть измерений. Даже если существует определенная ошибка оценки, наша схема все равно имеет хорошую надежность с точки зрения общей производительности. Кроме того, остатки можно обрабатывать, получая глубокие нейронные слои с более высокой устойчивостью к ошибкам. Поскольку уровень уменьшения размерности настраивается на этапах вывода и обучения, мы можем использовать слой уменьшения размерности в качестве прекодера всей цепочки передачи, поэтому нет необходимости переобучать глубокий нейронный слой. Это не только обеспечивает экономию энергии, но также является огромным преимуществом в продлении срока службы батареи пользовательских устройств. "

2. Быстрое чтение статей

На самом деле лично я до сих пор скептически отношусь к предложенному в статье методу. Давайте кратко рассмотрим метод статьи.

Краткое содержание статьи

В статье предлагается трансивер автокодировщика, основанный на алгоритме передачи сообщений (MPA), для решения проблемы плохой производительности обобщения традиционных автокодировщиков при работе со случайными изменениями каналов. Внедряя MPA в автоэнкодер, автор реализует гибкий приемопередатчик, который может обеспечить лучшую производительность обобщения в различных сценариях использования. Этот подход позволяет осуществлять грубое обучение на этапе обучения и адаптивный вывод на этапе вывода.

Основные проблемы решены

1. Проблемы с производительностью обобщения: Когда традиционные трансиверы с автокодировщиком сталкиваются со случайными изменениями каналов, поскольку нейроны фиксируются после завершения обучения, производительность обобщения низкая.
2. Отклонение между моделью и реальным каналом: Использование автоэнкодеров, обученных на основе метода стохастического градиентного спуска и алгоритма обратного распространения ошибки, опирается на построенную модель канала, а не на реальный канал, что может привести к потере производительности на этапе вывода.
3. Адаптивность к изменениям канала: Глобальный приемопередатчик автоэнкодера может привести к сбою приемника, когда изменения каналов превышают ожидаемые результаты обучения.
4. Обработка образцов вне распределения: Случайные изменения в беспроводных каналах приводят к нераспределенным выборкам или выбросам, а существующие решения трудно удовлетворить требованиям к низкому энергопотреблению, низкой задержке и низким накладным расходам оборудования беспроводной связи.

основной метод

• Алгоритм передачи сообщений (MPA): введение функции MPA для достижения адаптивной настройки через уровень прекодера для улучшения производительности обобщения трансивера при динамическом изменении канала.
• Слой уменьшения размерности: вставьте слой уменьшения размерности в структуру автокодировщика, выполните преобразование уменьшения линейной размерности и итеративно настройте коэффициенты слоя уменьшения размерности через MPA.
• Автономная итерация MPA: Используйте прямую итерацию (аналогично нелинейной машине опорных векторов) и обратную итерацию (аналогично глубокой нейронной сети внимания) для независимой настройки слоя уменьшения размерности, не полагаясь на обратное распространение исходного автокодировщика.
• глобальное каскадное обучение: Посредством схемы серийного обучения уровень уменьшения размерности и слой глубоких нейронов обучаются отдельно для достижения грубого обучения и адаптивного рассуждения.
• Грубое обучение и адаптивное мышление: Упрощенная модель канала используется для грубого обучения на этапе обучения, а уровень уменьшения размерности настраивается с помощью MPA на этапе вывода для адаптации к текущей ситуации измерения канала.

С помощью этих методов статья направлена ​​на улучшение производительности и способности обобщения трансиверов автокодировщиков при случайных изменениях каналов.

Обзор метода MPA, описанного в статье, вы можете получить, посмотрев на рисунки 16 и 17.
Главное — добавить слой MPA для завершения размерного преобразования между вектором передачи и каналом. Затем во время обучения слой MPA сначала замораживается. После завершения обучения всего приемопередатчика уровень MPA обучается итеративно. Уровень MPA можно рассматривать как отображение предварительного кодирования для передачи. Конкретные размеры можно получить путем измерения канала. Здесь для канала по-прежнему принимается общее предположение о многолучевом распространении. Обучение уровня MPA основано на взаимодействии полученного сигнала и переданного вектора.Глубокая нейронная сеть внимания — эффективный метод измерения сходства двух функций в разных измерениях. . Следует отметить, что количество обращений меньше количества принятых сигналов, т.е. L