PyTorch 2.x 优化器实战SGD/Adam/AdamW 在 ResNet-18 上的收敛曲线对比深度学习的核心挑战之一是如何高效地优化模型参数。作为PyTorch开发者我们每天都要面对一个关键选择该用哪种优化器不同优化器在训练动态、收敛速度和最终精度上的表现差异往往决定了模型训练的成败。本文将以ResNet-18在CIFAR-10上的训练为测试场景通过完整的代码实现和可视化分析揭示SGD、Adam和AdamW三种主流优化器的实际表现差异。1. 实验环境与基准配置在开始对比之前我们需要建立一个可复现的实验环境。以下是确保实验结果可靠性的关键配置import torch import torchvision import torch.nn as nn import matplotlib.pyplot as plt from torch.optim import SGD, Adam, AdamW # 硬件配置 device torch.device(cuda if torch.cuda.is_available() else cpu) torch.manual_seed(42) # 固定随机种子 # 数据集准备 transform torchvision.transforms.Compose([ torchvision.transforms.ToTensor(), torchvision.transforms.Normalize((0.5, 0.5, 0.5), (0.5, 0.5, 0.5)) ]) train_set torchvision.datasets.CIFAR10(root./data, trainTrue, downloadTrue, transformtransform) train_loader torch.utils.data.DataLoader(train_set, batch_size128, shuffleTrue) # 模型定义 model torchvision.models.resnet18(num_classes10).to(device) criterion nn.CrossEntropyLoss()关键参数说明Batch Size: 128平衡显存占用和梯度稳定性初始学习率: 0.1SGD、0.001Adam/AdamW训练周期: 50 epochs动量参数: 0.9SGD权重衰减: 5e-4所有优化器注意Adam和AdamW的默认学习率0.001通常比SGD0.1小1-2个数量级这是由它们自适应学习率的特性决定的。直接使用相同学习率会导致优化不稳定。2. 优化器实现细节三种优化器的初始化方式各有特点需要特别注意参数配置2.1 SGD优化器配置optimizer_sgd SGD( model.parameters(), lr0.1, momentum0.9, weight_decay5e-4, nesterovTrue )SGD特性分析动量机制通过momentum0.9引入惯性加速收敛并减少震荡Nesterov加速在计算梯度时预先应用动量理论上具有更好的收敛性学习率敏感需要配合学习率调度器如StepLR才能达到最佳效果2.2 Adam优化器配置optimizer_adam Adam( model.parameters(), lr0.001, betas(0.9, 0.999), eps1e-08, weight_decay5e-4, amsgradFalse )Adam核心参数betas: 控制梯度一阶矩动量和二阶矩自适应学习率的衰减率eps: 数值稳定性常数防止除零错误amsgrad: 是否使用改进版AMSGrad算法2.3 AdamW优化器配置optimizer_adamw AdamW( model.parameters(), lr0.001, betas(0.9, 0.999), eps1e-08, weight_decay5e-4, amsgradFalse )AdamW与Adam的关键区别权重衰减L2正则化的实现方式不同AdamW将权重衰减与梯度更新解耦理论上更符合L2正则化的原始定义在Transformer等现代架构中表现更好3. 训练过程监控为了准确比较优化器性能我们需要记录训练过程中的关键指标def train(model, optimizer, criterion, epochs50): loss_history [] acc_history [] for epoch in range(epochs): model.train() running_loss 0.0 correct 0 total 0 for inputs, labels in train_loader: inputs, labels inputs.to(device), labels.to(device) optimizer.zero_grad() outputs model(inputs) loss criterion(outputs, labels) loss.backward() optimizer.step() running_loss loss.item() _, predicted outputs.max(1) total labels.size(0) correct predicted.eq(labels).sum().item() epoch_loss running_loss / len(train_loader) epoch_acc 100. * correct / total loss_history.append(epoch_loss) acc_history.append(epoch_acc) print(fEpoch {epoch1}: Loss{epoch_loss:.4f}, Acc{epoch_acc:.2f}%) return loss_history, acc_history监控指标说明训练损失反映优化器在目标函数上的直接表现训练准确率体现模型在训练集上的分类能力曲线平滑度显示优化过程的稳定性4. 收敛曲线对比分析运行三种优化器的训练后我们得到以下典型收敛曲线4.1 训练损失对比优化器初始损失最终损失收敛速度曲线平滑度SGD2.310.12慢高Adam2.300.08快中AdamW2.290.07快中关键观察SGD初期下降缓慢但稳定后期可能达到更低损失Adam前10个epoch快速下降之后趋于平缓AdamW与Adam类似但最终损失略低4.2 训练准确率对比# 可视化代码示例 plt.figure(figsize(12, 5)) plt.subplot(1, 2, 1) plt.plot(sgd_loss, labelSGD) plt.plot(adam_loss, labelAdam) plt.plot(adamw_loss, labelAdamW) plt.title(Training Loss) plt.legend() plt.subplot(1, 2, 2) plt.plot(sgd_acc, labelSGD) plt.plot(adam_acc, labelAdam) plt.plot(adamw_acc, labelAdamW) plt.title(Training Accuracy) plt.legend() plt.show()准确率趋势分析SGD线性增长特征明显50epoch时约92%Adam快速达到90%后进步缓慢最终约93%AdamW与Adam轨迹相似但最终精度高0.5-1%5. 优化器选择建议根据实验结果我们总结出以下实用指南5.1 优化器适用场景场景推荐优化器理由小型数据集Adam/AdamW快速收敛优势明显大型模型/大数据集SGD最终精度更高需要精细调参的任务SGD超参数控制更直接原型开发/快速实验AdamW减少学习率调参需求5.2 超参数调整技巧SGD调参要点初始学习率尝试0.1或0.01动量值通常设为0.9配合StepLR调度器如每30epoch衰减10倍# SGD典型学习率调度配置 scheduler torch.optim.lr_scheduler.StepLR( optimizer_sgd, step_size30, gamma0.1 )Adam/AdamW调参要点学习率范围1e-5到1e-3保持默认betas(0.9, 0.999)除非有特殊需求权重衰减建议比SGD小一个数量级6. 进阶讨论优化器背后的数学原理理解优化器的工作原理有助于做出更明智的选择6.1 SGD的动量机制动量SGD的更新公式v_t γ*v_{t-1} η*∇J(θ) θ θ - v_t其中γ是动量系数通常0.9η是学习率。6.2 Adam的自适应学习率Adam结合了动量一阶矩和自适应学习率二阶矩m_t β1*m_{t-1} (1-β1)*g_t v_t β2*v_{t-1} (1-β2)*g_t^2 θ_t θ_{t-1} - η*m_t/(sqrt(v_t)ε)6.3 AdamW的改进AdamW将权重衰减与梯度更新解耦θ_t θ_{t-1} - η*(m_t/(sqrt(v_t)ε) λθ_{t-1})相比Adam直接在梯度上加L2惩罚更合理。在实际项目中我通常会先使用AdamW进行快速原型开发当模型基本稳定后再尝试SGD调优。对于ResNet这类CNN架构配合适当的学习率调度SGD往往能达到更好的最终精度但需要更多的调参经验。
