Κοινή χρήση τεχνολογίας

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

Σύνταξη σημείων γνώσεων για το κλάδεμα μοντέλων

Το κλάδεμα είναιμοντέλο βαθιάς μάθησηςΔύο κοινές τεχνικές βελτιστοποίησης χρησιμοποιούνται για τη μείωση της πολυπλοκότητας του μοντέλου και τη βελτίωση της ταχύτητας συμπερασμάτων και είναι κατάλληλες για περιβάλλοντα με περιορισμούς πόρων.

Κλάδεμα

Το κλάδεμα είναι μια μέθοδος μείωσης του μεγέθους του μοντέλου και της υπολογιστικής προσπάθειας αφαιρώντας ασήμαντες ή περιττές παραμέτρους στο μοντέλο. Το κλάδεμα χωρίζεται γενικά στους ακόλουθους τύπους:

1. Κλάδεμα βάρους

Το κλάδεμα βάρους μειώνει τον αριθμό των παραμέτρων του μοντέλου αφαιρώντας στοιχεία κοντά στο μηδέν στη μήτρα βάρους. Οι συνήθεις μέθοδοι είναι:

• Μη δομημένο κλάδεμα: Αφαιρέστε τα μικρά βάρη στη μήτρα βάρους ένα προς ένα.
• Δομημένο Κλάδεμα: Αφαιρέστε τα βάρη από μια συγκεκριμένη δομή (όπως ολόκληρες σειρές ή ολόκληρες στήλες).

Παράδειγμα:

import torch

# 假设有一个全连接层
fc = torch.nn.Linear(100, 100)

# 获取权重矩阵
weights = fc.weight.data.abs()

# 设定剪枝阈值
threshold = 0.01

# 应用剪枝
mask = weights > threshold
fc.weight.data *= mask
1
2
3
4
5
6
7
8
9
10
11
12
13
14

2. Κλάδεμα καναλιών

Το κλάδεμα καναλιών χρησιμοποιείται κυρίως γιασυνελικτικό νευρωνικό δίκτυο , μειώνοντας τον όγκο του υπολογισμού αφαιρώντας ασήμαντα κανάλια στο συνελικτικό επίπεδο. Οι συνήθεις μέθοδοι είναι:

• Βαθμολογία με βάση τη σημασία: Υπολογίστε τη βαθμολογία σπουδαιότητας κάθε καναλιού και αφαιρέστε κανάλια με χαμηλότερες βαθμολογίες.
• Με βάση την αραιότητα: Προσθέτοντας αραιούς όρους τακτοποίησης, ορισμένα κανάλια θα είναι φυσικά αραιά κατά τη διάρκεια της προπονητικής διαδικασίας και στη συνέχεια θα κλαδεύονται.

import torch
import torch.nn as nn

class ConvNet(nn.Module):
    def __init__(self):
        super(ConvNet, self).__init__()
        self.conv1 = nn.Conv2d(3, 64, kernel_size=3, padding=1)
        self.conv2 = nn.Conv2d(64, 128, kernel_size=3, padding=1)
    
    def forward(self, x):
        x = self.conv1(x)
        x = self.conv2(x)
        return x

model = ConvNet()

# 获取卷积层的权重
weights = model.conv1.weight.data.abs()

# 计算每个通道的L1范数
channel_importance = torch.sum(weights, dim=[1, 2, 3])

# 设定剪枝阈值
threshold = torch.topk(channel_importance, k=32, largest=True).values[-1]

# 应用剪枝
mask = channel_importance > threshold
model.conv1.weight.data *= mask.view(-1, 1, 1, 1)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

3. Κλάδεμα στρώσης

Το κλάδεμα επιπέδων αφαιρεί ολόκληρα επίπεδα δικτύου για να μειώσει το υπολογιστικό βάθος του μοντέλου. Αυτή η προσέγγιση είναι πιο ριζοσπαστική και χρησιμοποιείται συχνά σε συνδυασμό με την Αναζήτηση Αρχιτεκτονικής Μοντέλων (NAS).

import torch.nn as nn

class LayerPrunedNet(nn.Module):
    def __init__(self, use_layer=True):
        super(LayerPrunedNet, self).__init__()
        self.use_layer = use_layer
        self.conv1 = nn.Conv2d(3, 64, kernel_size=3, padding=1)
        self.conv2 = nn.Conv2d(64, 128, kernel_size=3, padding=1)
    
    def forward(self, x):
        x = self.conv1(x)
        if self.use_layer:
            x = self.conv2(x)
        return x

# 初始化网络，选择是否使用第二层
model = LayerPrunedNet(use_layer=False)

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18