前馈神经网络：深度学习的基石

一、前馈神经网络的核心概念与数学基础

前馈神经网络（Feedforward Neural Network, FNN）是深度学习中最基础的架构，其核心特征是数据单向流动——从输入层经隐藏层传递至输出层，无反馈连接。这种结构使其成为监督学习的理想选择，尤其适用于分类与回归任务。

1.1 神经元与激活函数：非线性变换的核心

神经元是FNN的基本单元，其数学表达式为：
[
z = \sum_{i=1}^{n} w_i x_i + b, \quad a = \sigma(z)
]
其中，(x_i)为输入，(w_i)为权重，(b)为偏置，(\sigma)为激活函数。激活函数的作用是引入非线性，使网络能够拟合复杂函数。常见激活函数包括：

• Sigmoid：输出范围(0,1)，适用于二分类输出层，但存在梯度消失问题。
• ReLU：(f(x)=\max(0,x))，计算高效，缓解梯度消失，但可能导致“神经元死亡”。
• LeakyReLU：(f(x)=\max(\alpha x, x))，其中(\alpha)为小常数（如0.01），解决ReLU的零梯度问题。

实战建议：隐藏层优先使用ReLU或LeakyReLU，输出层根据任务选择Sigmoid（二分类）、Softmax（多分类）或线性激活（回归）。

1.2 前向传播与损失函数：从输入到输出的完整路径

前向传播是FNN的计算流程，以三层网络为例：

1. 输入层：接收特征向量(X \in \mathbb{R}^{d})。
2. 隐藏层：计算(Z^{(1)} = W^{(1)}X + B^{(1)})，应用激活函数(A^{(1)} = \sigma(Z^{(1)}))。
3. 输出层：计算(Z^{(2)} = W^{(2)}A^{(1)} + B^{(2)})，得到预测值(\hat{Y})。

损失函数衡量预测值与真实值的差异，常见选择包括：

• 均方误差（MSE）：适用于回归任务，(L(Y,\hat{Y}) = \frac{1}{n}\sum_{i=1}^{n}(Y_i - \hat{Y}_i)^2)。
• 交叉熵损失（CE）：适用于分类任务，(L(Y,\hat{Y}) = -\sum_{i=1}^{n} Y_i \log(\hat{Y}_i))。

代码示例（PyTorch实现）：

import torch
import torch.nn as nn
class FNN(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(FNN, self).__init__()
        self.fc1 = nn.Linear(input_size, hidden_size)
        self.relu = nn.ReLU()
        self.fc2 = nn.Linear(hidden_size, output_size)
    def forward(self, x):
        out = self.fc1(x)
        out = self.relu(out)
        out = self.fc2(out)
        return out
# 初始化模型
model = FNN(input_size=10, hidden_size=5, output_size=1)
criterion = nn.MSELoss()  # 回归任务

二、反向传播与优化算法：梯度下降的深度实践

反向传播是FNN训练的核心，通过链式法则计算损失对权重的梯度，并利用优化算法更新参数。

2.1 梯度下降与变体：从SGD到Adam

• 随机梯度下降（SGD）：每次迭代使用单个样本计算梯度，计算高效但收敛波动大。
• 动量法（Momentum）：引入动量项(vt = \beta v{t-1} + (1-\beta)\nabla_\theta J(\theta))，加速收敛并减少震荡。
• Adam：结合动量与自适应学习率，(mt = \beta_1 m{t-1} + (1-\beta1)g_t)，(v_t = \beta_2 v{t-1} + (1-\beta_2)g_t^2)，适用于大多数任务。

参数调优建议：

• 学习率初始值设为0.01或0.001，根据验证集表现调整。
• Adam的(\beta_1)（动量项）通常设为0.9，(\beta_2)（二阶动量）设为0.999。

2.2 正则化技术：防止过拟合的关键策略

过拟合是FNN的常见问题，可通过以下方法缓解：

• L2正则化：在损失函数中加入权重平方和，(L{reg} = L + \frac{\lambda}{2n}\sum{i} w_i^2)。
• Dropout：随机屏蔽部分神经元（如概率0.5），强制网络学习冗余特征。
• 早停（Early Stopping）：监控验证集损失，当连续若干轮未下降时停止训练。

代码示例（Dropout实现）：

class FNNWithDropout(nn.Module):
    def __init__(self, input_size, hidden_size, output_size):
        super(FNNWithDropout, self).__init__()
        self.fc1 = nn.Linear(input_size, hidden_size)
        self.dropout = nn.Dropout(p=0.5)  # 50%概率屏蔽神经元
        self.fc2 = nn.Linear(hidden_size, output_size)
    def forward(self, x):
        out = self.fc1(x)
        out = torch.relu(out)
        out = self.dropout(out)
        out = self.fc2(out)
        return out

三、实战案例：手写数字识别与参数调优

以MNIST数据集为例，构建一个两层FNN进行手写数字分类。

3.1 数据加载与预处理

from torchvision import datasets, transforms
transform = transforms.Compose([
    transforms.ToTensor(),
    transforms.Normalize((0.1307,), (0.3081,))  # MNIST均值与标准差
])
train_dataset = datasets.MNIST(root='./data', train=True, download=True, transform=transform)
test_dataset = datasets.MNIST(root='./data', train=False, transform=transform)
train_loader = torch.utils.data.DataLoader(train_dataset, batch_size=64, shuffle=True)
test_loader = torch.utils.data.DataLoader(test_dataset, batch_size=1000, shuffle=False)

3.2 模型训练与评估

model = FNN(input_size=784, hidden_size=128, output_size=10)  # 输入28x28=784维
criterion = nn.CrossEntropyLoss()  # 多分类任务
optimizer = torch.optim.Adam(model.parameters(), lr=0.001)
for epoch in range(10):
    for images, labels in train_loader:
        images = images.reshape(-1, 784)  # 展平为向量
        outputs = model(images)
        loss = criterion(outputs, labels)
        optimizer.zero_grad()
        loss.backward()
        optimizer.step()
    # 验证集评估
    correct = 0
    total = 0
    with torch.no_grad():
        for images, labels in test_loader:
            images = images.reshape(-1, 784)
            outputs = model(images)
            _, predicted = torch.max(outputs.data, 1)
            total += labels.size(0)
            correct += (predicted == labels).sum().item()
    print(f'Epoch {epoch+1}, Accuracy: {100 * correct / total:.2f}%')

3.3 参数调优与结果分析

• 隐藏层大小：从64增加到128后，测试准确率从92%提升至95%。
• 学习率：0.001时收敛稳定，0.01导致震荡。
• Dropout：加入后准确率提升1%，证明正则化有效。

四、总结与展望

前馈神经网络作为深度学习的起点，其设计理念（分层计算、非线性激活）与训练方法（反向传播、优化算法）奠定了后续复杂模型的基础。开发者在实际应用中需关注：

1. 结构选择：根据任务复杂度调整隐藏层数量与宽度。
2. 正则化策略：结合Dropout与L2正则化防止过拟合。
3. 优化算法：优先使用Adam，调参时关注学习率与动量项。

未来，FNN将与注意力机制、图神经网络等结构融合，在更复杂的场景（如时序预测、图数据分类）中发挥价值。掌握FNN的核心原理，是深入理解Transformer、ResNet等高级模型的关键一步。