Обмен технологиями

Подборка точек знаний по сокращению моделей

2024-07-12

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Подборка точек знаний по сокращению моделей

Обрезкамодель глубокого обученияДва распространенных метода оптимизации используются для уменьшения сложности модели и повышения скорости вывода и подходят для сред с ограниченными ресурсами.

Обрезка

Сокращение — это метод уменьшения размера модели и вычислительных затрат путем удаления неважных или избыточных параметров в модели. Обычно обрезку делят на следующие виды:

1. Снижение веса

Обрезка веса уменьшает количество параметров модели за счет удаления элементов, близких к нулю, в матрице весов. Распространенными методами являются:

  • Неструктурированная обрезка: Удалить небольшие веса в матрице весов один за другим.
  • Структурированная обрезка: удалить веса по определенной структуре (например, целым строкам или целым столбцам).

Пример:

import torch

# 假设有一个全连接层
fc = torch.nn.Linear(100, 100)

# 获取权重矩阵
weights = fc.weight.data.abs()

# 设定剪枝阈值
threshold = 0.01

# 应用剪枝
mask = weights > threshold
fc.weight.data *= mask
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14

2. Обрезка каналов

Обрезка каналов в основном используется длясверточная нейронная сеть , уменьшая объем вычислений за счет удаления неважных каналов в сверточном слое. Распространенными методами являются:

  • Оценка по важности: вычислить оценку важности каждого канала и удалить каналы с более низкими оценками.
  • На основе редкости: При добавлении разреженных условий регуляризации некоторые каналы естественным образом будут разреженными во время процесса обучения, а затем будут сокращены.
import torch
import torch.nn as nn

class ConvNet(nn.Module):
    def __init__(self):
        super(ConvNet, self).__init__()
        self.conv1 = nn.Conv2d(3, 64, kernel_size=3, padding=1)
        self.conv2 = nn.Conv2d(64, 128, kernel_size=3, padding=1)
    
    def forward(self, x):
        x = self.conv1(x)
        x = self.conv2(x)
        return x

model = ConvNet()

# 获取卷积层的权重
weights = model.conv1.weight.data.abs()

# 计算每个通道的L1范数
channel_importance = torch.sum(weights, dim=[1, 2, 3])

# 设定剪枝阈值
threshold = torch.topk(channel_importance, k=32, largest=True).values[-1]

# 应用剪枝
mask = channel_importance > threshold
model.conv1.weight.data *= mask.view(-1, 1, 1, 1)

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24
  • 25
  • 26
  • 27
  • 28
  • 29

3. Обрезка слоев

При обрезке слоев удаляются целые сетевые слои, чтобы уменьшить глубину вычислений модели. Этот подход более радикален и часто используется в сочетании с поиском архитектуры модели (NAS).

import torch.nn as nn

class LayerPrunedNet(nn.Module):
    def __init__(self, use_layer=True):
        super(LayerPrunedNet, self).__init__()
        self.use_layer = use_layer
        self.conv1 = nn.Conv2d(3, 64, kernel_size=3, padding=1)
        self.conv2 = nn.Conv2d(64, 128, kernel_size=3, padding=1)
    
    def forward(self, x):
        x = self.conv1(x)
        if self.use_layer:
            x = self.conv2(x)
        return x

# 初始化网络,选择是否使用第二层
model = LayerPrunedNet(use_layer=False)

  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18