Technology sharing

한어Русский языкEnglishFrançaisIndonesianSanskrit日本語DeutschPortuguêsΕλληνικάespañolItalianoSuomalainenLatina

1、nn.Module

torch.nn est modulus ad altam doctrinam specialiter destinatus. Core notificata structura torch.nn est Module, quae est conceptus abstractus qui repraesentare potest vel quoddam stratum in retis neurali vel reticulari neural continens multas stratas. In usu actuali, frequentissimus aditus est nn.Module hereditates et retiaculum tuum scribe. Primum inspice quomodo utaris nn. Module ad efficiendum proprium stratum plene connexum.Y=AX+B

import torch as t
import torch.nn as nn

class network(nn.Module):
    def __init__(self, input, output):
        super().__init__()
        # 定义权重矩阵a，它是一个可训练的参数，形状为(input, output)
        self.a = nn.Parameter(t.randn(input, output))
        # 定义偏置向量b，它也是一个可训练的参数，形状为(output,)
        # 注意：偏置向量的长度应与输出特征的维度相匹配
        self.b = nn.Parameter(t.randn(output))

    def forward(self, x):
        """
        定义前向传播过程

        参数:
            x (torch.Tensor): 输入数据，形状应为(batch_size, input)

        返回:
            torch.Tensor: 输出数据，形状为(batch_size, output)
        """
        # 首先，使用权重矩阵a对输入x进行线性变换
        # [email protected]执行矩阵乘法，x的每一行与a相乘，结果形状为(batch_size, output)
        x = x @ self.a
        # 然后，将偏置向量b扩展（通过broadcasting）到与x相同的形状，并加到x上
        # self.b.expand_as(x)将b的形状从(output,)扩展到(batch_size, output)
        # x + self.b.expand_as(x)将偏置加到每个样本的输出上
        x = x + self.b.expand_as(x)
        # 返回变换后的输出
        return x


a = network(4, 3)
# 创建输入数据，形状为(6, 4)，表示有6个样本，每个样本有4个特征
input = t.rand(6, 4)
# 通过网络前向传播得到输出
output = a(input)
# 打印输出，形状应为(6, 3)，表示有6个样本，每个样本的输出特征维度为3
print(output)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

• Consuetudo retis inhaerere debet nn.Module, et constructor nn. Module vocari debet in conditore suo, id est, super().in illud() vel nn.Module.in illudprimus usus commendatur;
• In constructore __init_, parametros discentes te definire debes et eas in Parametros encapsulare. Parameter Tensor specialis est, sed derivationes per defaltam requirit (requires_grad
  = Verum
• Munus deinceps exsecutionem processus propagationis deinceps exercet, et eius initus unum vel plures Tensores esse possunt;
• Non opus est munus scribere backpropagationis. Module autogrado uti potest ad reducendi propagationem automatice, quae multo simplicior est quam Function;
• Parametri discibilis in Module iteratorem referre possunt per nominatos parametros () vel parametros ().

2. Communiter neural network stratis

2.1 imago cognata tabulatum

Lamina imaginum relatarum principaliter includunt stratis convolutionis (Conv), stratas (Pool), etc. In actuali usu, hae strata dividi possunt in unum dimensivum (1D), duos dimensiva (2D) et tres dimensiones (3D) . Methodus conciliandi etiam dividitur in medias rationes (AvgPool), maximam collationem (MaxPool), adaptivam collationem (AdaptiveAvgPool), etc. Praeter communem convolutionem deinceps adhibitam, etiam stratum convolutionis inversam convolutionem (TransposeConv) habet et sic porro. Exemplum infra dabitur.

• Feature extraction
• Ponere notitia spatii structuram
• Transmutatio nonlinearibus post operationem convolutionis introducendam, munus activum (qualis ReLU, Sigmoid vel Tanh) applicari solet ad transformationem nonlinearem introducendam. Hae functiones activationis vim expressivam rhoncus augere possunt et efficere ut relationes nonlineres multipliciores discant.
• Improve efficientiam computationalem Per coniunctos usus operationum convolutionis et stratarum convolutionis, stratum convolutionis dimensionem spatialem plumae tabulae minuere potest, inde quantitatem calculi reducens et efficaciam computationalem exemplaris augens. Eodem tempore, collatio laxitatis augere etiam potest translationem invariationum notarum, exemplum robustioris ad parvas mutationes in initus notitiae faciendae.

convolutionis tabulatum

In alta doctrina, maximae retis structurae ad imaginem processus pertinentia est stratum convolutionis (Conv). Essentia retis neuralis convolutionis est superpositio laminis convolutionis, strati strati, activationis stratae et aliorum stratorum. Ergo magni momenti est ad intellegendum principium operandi stratum convolutionis operatio convolutionis.

# 导入PyTorch库  
import torch  
import torch.nn as nn  
  
# 从torchvision.transforms导入ToTensor和ToPILImage，用于图像张量和PIL图像之间的转换  
from torchvision.transforms import ToTensor, ToPILImage  
  
# 从PIL（Python Imaging Library，Pillow是其一个分支）导入Image模块，用于处理图像文件  
from PIL import Image  
  
# 使用PIL的Image.open函数打开指定路径的图片文件，并通过.convert("L")将其转换为灰度图像（单通道）  
img = Image.open("H:\PYTHON_Proj\handlearnpytorch\OIP-C.jpg").convert("L")  
  
# 实例化ToTensor转换对象，用于将PIL图像转换为PyTorch张量  
to_tensor = ToTensor()  
  
# 实例化ToPILImage转换对象，用于将PyTorch张量转换回PIL图像  
to_PIL = ToPILImage()  
  
# 使用to_tensor将PIL图像转换为PyTorch张量，并通过.unsqueeze(0)在批次大小维度上增加一个维度，使其形状变为(1, 1, H, W)  
img = to_tensor(img).unsqueeze(0)  
  
# 创建一个3x3的卷积核（滤波器），初始时所有元素都被设置为-1/9，然后将中心元素设置为1  
kernel = torch.ones(3, 3) / (-9.0)  
kernel[1][1] = 1  
  
# 创建一个Conv2d层，指定输入通道数为1（因为是灰度图像），输出通道数也为1，卷积核大小为3x3，步长为1，填充为1（保持输出尺寸与输入相同），且不使用偏置项  
conv = nn.Conv2d(1, 1, 3, 1, 1, bias=False)  
  
# 将之前定义的卷积核赋值给Conv2d层的权重，注意要调整形状以匹配Conv2d层的期望（out_channels, in_channels, kernel_size[0], kernel_size[1]）  
conv.weight.data = kernel.reshape(1, 1, 3, 3)  
  
# 对图像应用卷积操作，此时img是一个四维张量，Conv2d层会处理它并返回一个新的四维张量  
img = conv(img)  
  
# 使用to_PIL将卷积后的PyTorch张量转换回PIL图像，并通过.squeeze(0)移除批次大小维度  
img = to_PIL(img.squeeze(0))  
  
# 使用PIL的.show()方法显示图像  
img.show()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40

Collocare accumsan

Stratum meraminis considerari potest peculiaris strato convolutionis, quae maxime ad downsampling adhibetur. Stratum condensationis parametros discendos nullos habet et eius pondus fixum est. Variae stratae in torch.nn instrumentorum instrumentorum fasciculatae sunt. Communes includunt Max Pooling (MaxPool) et Mediocris Pooling (AvgPool). Praecipuus usus eius sic perstringi potest:

• Dimensionalitas reductionis (reducing the amount of calculation) : Conductio stratorum quantitatem calculi reducit et numerum parametri sequentium stratorum minuendo magnitudinem spatii datarum (i.e., altitudinis et latitudinis). Hoc valde utile est, ne superfluant et calculis accelerent.
• Pluma invariantia: Conpositio stratorum exemplum praebere potest ad discendum robustioris plumae repraesentationem, id est, immutabilem ad parvas mutationes in inputatione data (sicut translatio, gyratio, etc.). Causa est quod operationes componendi (ut max collatio, mera positio mediocris, etc.) selectas notas repraesentativas in area magis quam certis locorum informationibus fretus.
• Extract praecipuum notum: Per plicandas operationes, maximae notae in imagine extrahi possunt, aliquas parvas particulas ignorans. Hoc utile est ad sequentes ordines convolutionis ad ulteriora lineamenta alta extrahere.
• Dilatans agrum receptivum: Cum numerus laminis retis augetur, laxitas iacuit paulatim dilatare potest aream input (id est campum receptivum) unicuique neuron in subsequentibus stratis respondentem. Hoc adiuvat retis informationes magis global pluma discat.
• Reducere overfitting: Cum mera iacuit numerum parametri minuere, reducendo dimensionem datarum spatialem, hoc exemplar multiplicitatem quodammodo reducere potest, adiuvans ne superfluat.

Communes operationes collativae includuntur:

• Max Pooling: Elige maximum valorem in collatis fenestra sicut output. Aditus hic adiuvat informationem imaginis marginem et textura conservare.
• Mediocris Pooling: Adice mediocris omnium valorum intra fenestras collativas ut output. Accessus hic adiuvat ut curriculorum informationem imaginis conservet.
• Stochastic Pooling: Ex valore uniuscuiusque elementi in fenestra plicando, elementa passim eliguntur ut output secundum probabilitatem. Haec methodus commoda componit collationis max et mediocris collationis, sed altiorem complexionem computationalem habet.

In summa, stratum convolutionis necessariam partem retis neuralis convolutionis praebet. Doctrinam facultatem et observantiam totius retis praebet reducendo dimensionem spatialem notitiarum, lineamenta principalia extrahendo, campum receptivum augendo, et superabundantia praeveniens suscipio.

# 导入PyTorch库  
import torch  
  
# 导入PyTorch的神经网络模块，用于构建和训练神经网络  
import torch.nn as nn  
  
# 从torchvision.transforms模块导入ToTensor和ToPILImage，这两个转换工具用于图像数据的预处理和后处理  
from torchvision.transforms import ToTensor, ToPILImage  
  
# 从PIL库导入Image模块，用于图像的打开、显示等操作  
from PIL import Image  
  
# 创建一个ToTensor的实例，用于将PIL图像或numpy.ndarray转换为FloatTensor，并归一化到[0.0, 1.0]  
to_tensor = ToTensor()  
  
# 创建一个ToPILImage的实例，用于将Tensor或ndarray转换为PIL图像  
to_pil = ToPILImage()  
  
# 使用PIL的Image.open方法打开指定路径的图像文件，并将其转换为灰度图像（'L'模式）  
img = Image.open("H:\PYTHON_Proj\handlearnpytorch\OIP-C.jpg").convert('L')  
  
# 使用PIL的show方法显示图像  
img.show()  
  
# 使用ToTensor转换将PIL图像转换为Tensor，并增加一个维度使其成为[1, H, W]形状，即增加一个批次维度  
img = to_tensor(img).unsqueeze(0)  
  
# 创建一个平均池化层实例，使用2x2的窗口大小和步长为2进行池化  
pool = nn.AvgPool2d(2, 2)  
  
# 对图像Tensor应用平均池化层，然后移除批次维度（squeeze(0)），使其变回[H', W']形状  
img = pool(img).squeeze(0)  
  
# 将Tensor转换回PIL图像以便显示  
img = to_pil(img)  
  
# 再次使用PIL的show方法显示经过池化处理的图像  
img.show()
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38

aliis stratis

Praeter stratis convolutionum et stratis positis, sequentes stratis communiter etiam in alta doctrina adhibentur;

• Linearibus: stratum plene connexum;
• BatchNorm: iacuit ordinationem Batch, divisam in 1D, 2D et 3D. Praeter vexillum BatchNorm, adsit etiam stratum InstanceNorm quod vulgo migratio styli usitata est;
• Dropout: iacuit Dropout, ne superfitting usus, etiam dividitur in 1D, 2D et 3D.

3. Initialization belli

Initializatio parametri magni ponderis est in alta doctrina. Moduli parametri nn. Moduli in PyTorch plus rationabiliorem initializationem consilii capiunt, ideo vulgo non oportet considerare. Utique, etiam consuetudine initializationis uti possumus pro defectu systematis initializationis. Cum Parametro utimur, consuetudo initialization maxime momenti est. Hoc est, quia fax. Tensor () temere numerus in memoriam redit, quod verisimile est maximum valorem habere, quod redundantiam vel redundantiam in retiaculis retis efficiet . Modulus nn.init in PyTorch est modulus ad initializationem specialiter destinatus, qui instrumentorum strategies initializationis communiter usus est. Si certa initialisatio militaris nn.init non praebet, utentes etiam se ipsum directe initializent.

import torch  
from torch.nn import init  
from torch import nn  
  
# 创建一个线性层，其权重和偏置会被随机初始化（与torch.manual_seed无关，因为这是在调用torch.manual_seed之前发生的）  
linear = nn.Linear(3, 4)  
  
# 打印层创建时默认初始化的权重  
print("默认初始化的权重:")  
print(linear.weight)  
  
# 设置随机数生成的种子，以确保接下来的随机数生成是可重复的  
torch.manual_seed(2021)  
  
# 使用Xavier正态分布重新初始化权重  
# 这个初始化是受torch.manual_seed(2021)影响的  
init.xavier_normal_(linear.weight)  
  
# 打印重新初始化后的权重  
print("Xavier正态分布初始化后的权重:")  
print(linear.weight)
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21