《深度学习》李宏毅Task6：卷积神经网络全解析

在李宏毅教授的《深度学习》课程中，task6聚焦于卷积神经网络（Convolutional Neural Network, CNN），这一深度学习领域的核心技术。CNN因其强大的图像处理能力，在计算机视觉、自然语言处理等领域广泛应用。本文将从基础原理、网络结构、参数优化及实战技巧四个方面，系统梳理CNN的核心知识。

一、卷积神经网络的基础原理

卷积神经网络的核心思想是通过局部感知和权重共享降低参数数量，提升计算效率。与传统全连接网络不同，CNN通过卷积核（Filter）在输入数据上滑动，提取局部特征。例如，在图像分类任务中，卷积核可捕捉边缘、纹理等低级特征，再通过多层堆叠逐步抽象出高级语义信息。

关键概念解析：

1. 卷积操作：卷积核与输入数据的局部区域进行点积运算，生成特征图（Feature Map）。例如，输入为5×5的图像，使用3×3的卷积核，步长为1时，输出为3×3的特征图。
2. 填充（Padding）：在输入数据周围补零，控制输出尺寸。例如，零填充1层后，5×5输入经3×3卷积核可输出5×5特征图。
3. 步长（Stride）：卷积核滑动的步长。步长为2时，输出尺寸减半。

数学表达：
设输入为(X \in \mathbb{R}^{H \times W})，卷积核为(K \in \mathbb{R}^{k \times k})，输出特征图(Y)的第(i,j)个元素为：
[
Y{i,j} = \sum{m=0}^{k-1} \sum{n=0}^{k-1} X{i+m,j+n} \cdot K_{m,n}
]

二、卷积神经网络的典型结构

CNN的典型结构包括卷积层、激活函数、池化层和全连接层，以下分别阐述其作用与设计要点。

1. 卷积层：特征提取器

卷积层通过多个卷积核提取输入数据的不同特征。例如，LeNet-5中第一层卷积使用6个5×5卷积核，生成6个特征图。设计时需考虑：

• 卷积核数量：决定提取特征的多样性，通常随网络加深而增加。
• 卷积核大小：小核（如3×3）可捕捉细节，大核（如5×5）适合全局特征。
• 深度可分离卷积：将标准卷积拆分为深度卷积和点卷积，大幅减少参数量（如MobileNet）。

2. 激活函数：引入非线性

激活函数赋予网络非线性表达能力。常用函数包括：

• ReLU：(f(x)=\max(0,x))，计算高效，缓解梯度消失。
• LeakyReLU：(f(x)=\max(\alpha x, x))（(\alpha)为小常数），解决ReLU的“神经元死亡”问题。
• Sigmoid/Tanh：适用于二分类或输出范围受限的任务，但易饱和。

代码示例（PyTorch实现ReLU）：

import torch
import torch.nn as nn
relu = nn.ReLU()
input_tensor = torch.randn(2, 3)  # 随机输入
output = relu(input_tensor)
print(output)

3. 池化层：降维与平移不变性

池化层通过下采样减少特征图尺寸，增强模型对平移的鲁棒性。常见类型包括：

• 最大池化：取局部区域最大值，保留显著特征。
• 平均池化：取局部区域平均值，平滑特征。
• 全局平均池化：将整个特征图压缩为一个值，替代全连接层（如ResNet）。

设计建议：

• 池化窗口大小通常为2×2，步长为2，使输出尺寸减半。
• 避免过度池化导致信息丢失，可结合步长卷积替代池化。

4. 全连接层：分类与回归

全连接层将卷积层提取的特征映射到样本标签空间。设计时需注意：

• 参数量控制：全连接层参数量大，易过拟合，可通过Dropout或全局平均池化减少。
• 输出层设计：分类任务使用Softmax激活，回归任务直接输出。

三、参数优化与训练技巧

CNN的训练需解决梯度消失、过拟合等问题，以下介绍关键优化方法。

1. 权重初始化

合适的初始化可加速收敛。常用方法包括：

• Xavier初始化：适用于Sigmoid/Tanh，保持输入输出方差一致。
• Kaiming初始化：适用于ReLU，考虑非线性激活的方差变化。

代码示例（PyTorch初始化）：

conv_layer = nn.Conv2d(3, 64, kernel_size=3)
nn.init.kaiming_normal_(conv_layer.weight, mode='fan_out', nonlinearity='relu')

2. 批量归一化（BatchNorm）

BatchNorm通过标准化输入数据，缓解内部协变量偏移。实施步骤包括：

1. 计算批次均值(\mu)和方差(\sigma^2)。
2. 标准化：(\hat{x} = \frac{x - \mu}{\sqrt{\sigma^2 + \epsilon}})。
3. 缩放和平移：(y = \gamma \hat{x} + \beta)（(\gamma,\beta)为可学习参数）。

优势：

• 加速训练，允许更高学习率。
• 减少对Dropout的依赖。

3. 正则化与防止过拟合

• Dropout：随机丢弃部分神经元（如概率0.5），强制网络学习冗余特征。
• 数据增强：对图像进行旋转、翻转、裁剪等操作，扩充训练集。
• 权重衰减：在损失函数中加入L2正则化项，限制权重大小。

四、实战技巧与案例分析

1. 网络结构选择

• 轻量级网络：MobileNet、ShuffleNet适用于移动端，通过深度可分离卷积减少计算量。
• 残差连接：ResNet通过跳跃连接缓解梯度消失，实现超深网络训练。

2. 超参数调优

• 学习率调度：使用余弦退火或预热学习率，提升收敛稳定性。
• 批次大小选择：大批次加速训练，但需更高内存；小批次引入噪声，可能提升泛化能力。

3. 迁移学习应用

预训练模型（如ResNet50）在目标任务上微调，可显著提升性能。步骤包括：

1. 加载预训练权重，冻结部分层。
2. 替换最后的全连接层，匹配目标类别数。
3. 使用小学习率微调可训练层。

代码示例（PyTorch微调）：

import torchvision.models as models
model = models.resnet50(pretrained=True)
for param in model.parameters():
    param.requires_grad = False  # 冻结所有层
model.fc = nn.Linear(model.fc.in_features, 10)  # 替换全连接层

五、总结与展望

卷积神经网络通过局部感知、权重共享和层次化特征提取，成为深度学习的核心工具。从LeNet到ResNet，CNN的结构不断优化，性能持续提升。未来发展方向包括：

• 自动化架构搜索：使用神经架构搜索（NAS）自动设计高效网络。
• 注意力机制融合：结合Transformer的注意力机制，提升长距离依赖建模能力。
• 轻量化与部署优化：针对边缘设备优化模型，推动AI应用落地。

通过系统学习李宏毅教授的task6内容，读者可掌握CNN的设计原理与实战技巧，为解决图像分类、目标检测等任务奠定坚实基础。”