pytorch_22_防止过拟合的方法

只要直接在 训练前 为optimizer设置正则化项的$\lambda$参数（这里不叫Regularization而是用了Weight Decay这个叫法）：

1

optimizer = optim.SGD(net.parameters(), lr=learning_rate, weight_decay=0.01)

正则化项目是用来克服over-fitting的，如果网络本身就没有发生over-fitting，那么设置了正则化项势必会导致网络的表达能力不足，引起网络的performance变差。

在PyTorch中还没有直接设置$L1$范数的方法，可以 在训练时Loss做BP之前 （也就是 .backward() 之前）手动为$Loss$​加上$L1$范数：

1
2
3
4
5

# 为Loss添加L1正则化项
L1_reg = 0
for param in net.parameters():
	L1_reg += torch.sum(torch.abs(param))
loss += 0.001 * L1_reg  # lambda=0.001

用上节的代码试了一下，使用L 1 L1L1正则化项时如果指定和使用$L2$正则化项时相同的$\lambda=0.01$会发生under-fitting，似乎如果要用$L1$正则化的话要把其系数设置的小一点，所以这里用了0.001。

其中$ \alpha$​是学习率。

来代替。即相当于原式子又减去了一个$\alpha \cdot \beta \cdot z_k$

这一项。其中$z$表征了上次更新的方向和大小，而$\nabla f(w)$则是梯度，所以新的式子综合考虑了梯度下降的方向和上次更新的方向，用$\beta$​来决定了惯性的大小。

1

optimizer = optim.SGD(net.parameters(), lr=learning_rate, momentum=0.78)

这里试了一下，仅添加了这个动量的参数，没加正则化项

选取合适的固定的学习率是很难的， 可以在训练的一开始选取比较大的学习率加快训练过程，然后逐渐让其衰减到比较小的值，最终让模型收敛。

1
2
3
4
5

from torch.optim.lr_scheduler import ReduceLROnPlateau

optimizer = ......
# 传入优化器让学习率受其管理,当连续200次没有减少loss时就会减少学习率(乘以0.7)
scheduler = ReduceLROnPlateau(optimizer, mode="min", patience=200, factor=0.7)

在每次训练时，改用这个 scheduler 来执行 .step() 方法，并传入要监控的量，这里即是传入计算出的loss：

1
2
3
4

optimizer.step()
# 传入要监控的量,每调用一次step就会监控一次loss
# 前面定义时的mode="min"即是监控量没有减少时触发减小lr的操作的
scheduler.step(loss)

在前面（带动量）的基础上运行了一下

定义优化器时：

1
2
3
4
5

from torch.optim.lr_scheduler import StepLR

optimizer = ......
# 每跑800个step就把学习率乘以0.9
scheduler = StepLR(optimizer, step_size=800, gamma=0.9)

训练时（注意不用传监控量进去了）：

1
2

optimizer.step()
scheduler.step()

但是没训练完怎么知道哪个点是最大值点呢？可以用经验来判断，比如当连续多个epoch上的验证集Acc.在下降时就停止训练。

使用:在PyTorch中直接在要加的有连接的相邻两层之间插入Dropout层：

1
2
3
4
5
6
7
8
9
10

self.model = nn.Sequential(
	nn.Linear(784, 200),
	nn.Dropout(0.5),  # 以0.5的概率断开
	nn.LeakyReLU(inplace=True),
	nn.Linear(200, 200),
	nn.Dropout(0.5),  # 以0.5的概率断开
        nn.LeakyReLU(inplace=True),
	nn.Linear(200, 10),
	nn.LeakyReLU(inplace=True),
)

在train时，模型使用前指明模式：

1
2
3

# 指明使用"训练用"的网络模式,这里的目的是开启使用
Dropoutnet.train()
logits = net(data)loss = ......

在validation或者test时，模型使用前指明模式：

1
2
3
4

# 在验证集上需要把Dropout去掉,只在训练的时候使用!这里是切换一下模式
net.eval()
logits = net(data)
test_loss += ......

注意，如上面这样的定义方式是在logit和非线性激活的直连上做了Dropout，而不是在线性模型层内部做了Dropout。

注意，PyTorch中 torch.nn.Dropout() 传入的参数是断开的概率，而TensorFlow中 tf.nn.dropout() 传入的参数是保持连接的概率，即1-断开的概率。

使用SGD的原因是训练集样本可能非常多，一方面显存不够把所有样本读进来，另一方面对所有样本计算梯度速度可能太慢了。所以在实际用的时候都不用原始的GD，而是用SGD来做的：