港科大PHNet：MLP与CNN融合的医学图像分割新突破

引言：医学图像分割的挑战与机遇

医学图像分割是临床诊断、手术规划及疾病监测的核心技术之一，其精度直接影响诊疗效果。然而，传统卷积神经网络（CNN）在处理复杂解剖结构时，常因局部感受野限制导致全局信息丢失；而多层感知机（MLP）虽能捕捉长程依赖，却缺乏空间层次性。2023年，香港科技大学团队提出的PHNet（Pyramid Hybrid Network）通过将MLP与CNN巧妙结合，在医学图像分割任务中实现了精度与效率的双重突破，为领域研究提供了新范式。

一、技术背景：MLP与CNN的优劣分析

1. CNN的局限性

CNN通过局部卷积核逐层提取特征，其优势在于空间层次性和参数共享，但存在两大缺陷：

• 局部性限制：卷积核仅关注局部邻域，难以建模全局上下文（如跨器官依赖）。
• 计算冗余：深层网络中，重复卷积导致特征冗余，影响推理速度。

2. MLP的潜力与挑战

MLP通过全连接层直接建模像素间关系，其优势在于：

• 全局建模能力：可捕捉跨区域的长程依赖（如肿瘤与周围组织的关联）。
• 参数效率：在特定任务中，MLP的参数规模可能小于CNN。

但纯MLP架构（如MLP-Mixer）在医学图像中面临两大挑战：

• 空间归纳偏置缺失：缺乏对图像空间结构的先验假设，导致训练不稳定。
• 计算复杂度高：全连接操作在高分辨率图像中计算量指数级增长。

二、PHNet的核心创新：MLP与CNN的协同设计

PHNet通过金字塔式混合架构，将MLP的全局建模能力与CNN的空间层次性深度融合，其创新点可归纳为以下三方面：

1. 分层特征融合机制

PHNet采用编码器-解码器结构，其中编码器分为三级：

• 浅层（CNN主导）：使用3×3卷积提取局部纹理特征（如边缘、角点）。
• 中层（MLP-CNN混合）：引入空间MLP模块，对CNN特征图进行全局通道混合。具体实现为：

  # 空间MLP模块伪代码
  def spatial_mlp(x):
      # x: [B, C, H, W]
      # 通道混合（MLP）
      x = x.permute(0, 2, 3, 1)  # [B, H, W, C]
      x = MLP(x)  # 全连接层建模跨通道依赖
      x = x.permute(0, 3, 1, 2)  # [B, C, H, W]
      # 空间混合（CNN）
      x = Conv2d(x, kernel_size=3, padding=1)
      return x

• 深层（MLP主导）：通过金字塔MLP模块逐步聚合全局上下文，输出多尺度特征。

2. 动态权重分配机制

为平衡MLP与CNN的贡献，PHNet引入门控注意力模块，动态调整两者权重：

# 门控注意力伪代码
def gate_attention(cnn_feat, mlp_feat):
    # cnn_feat, mlp_feat: [B, C, H, W]
    gate = Sigmoid(Conv2d(cnn_feat + mlp_feat, out_channels=1))
    return gate * cnn_feat + (1 - gate) * mlp_feat

该机制使模型在局部细节（如血管边界）与全局结构（如器官轮廓）间自适应切换。

3. 轻量化设计策略

PHNet通过以下策略降低计算成本：

• 深度可分离卷积：替换标准卷积，减少参数量。
• 特征复用：解码器中复用编码器特征，避免重复计算。
• 渐进式上采样：采用转置卷积与双线性插值结合的方式，平衡精度与速度。

三、实验验证：超越SOTA的性能表现

1. 数据集与基准方法

实验在三个公开医学图像数据集上进行：

• ACDC（心脏MRI分割）
• LiTS（肝脏CT分割）
• BraTS（脑肿瘤MRI分割）

对比方法包括：

• 纯CNN模型：U-Net、DeepLabv3+
• 纯MLP模型：MLP-Mixer、CycleMLP
• 混合模型：TransUNet（CNN+Transformer）

2. 定量结果分析

PHNet在所有数据集上均取得最优表现：
| 方法 | ACDC Dice↑ | LiTS Dice↑ | BraTS Dice↑ | 参数量↓ | 推理速度（FPS）↑ |
|———————|——————|——————|——————-|————-|—————————-|
| U-Net | 92.1 | 94.3 | 88.7 | 14.7M | 45 |
| TransUNet | 93.5 | 95.1 | 89.2 | 23.4M | 32 |
| PHNet | 94.8 | 96.2 | 90.5 | 18.2M | 38 |

关键发现：

• PHNet在Dice系数上平均提升2.3%，尤其在边界模糊区域（如肿瘤浸润边缘）表现突出。
• 参数量较TransUNet减少22%，推理速度提升19%。

3. 定性可视化分析

通过梯度加权类激活映射（Grad-CAM）可视化发现：

• CNN分支更关注局部纹理（如血管壁），MLP分支则捕捉全局形状（如器官整体轮廓）。
• 门控注意力模块成功抑制了背景噪声（如脂肪组织），突出了目标区域。

四、实践价值与未来方向

1. 对开发者的启示

• 模型选择：PHNet适用于需要平衡精度与效率的场景（如移动端医疗设备）。
• 调优建议：可调整MLP与CNN的层级比例以适应不同任务（如细粒度分割需更多MLP层）。
• 迁移学习：预训练的PHNet编码器可作为其他医学视觉任务的骨干网络。

2. 临床应用前景

PHNet已在合作医院进行试点，初步结果显示：

• 肝脏肿瘤分割的假阳性率降低15%，有助于减少不必要的活检。
• 心脏MRI分割时间从手动标注的20分钟缩短至3秒，显著提升诊疗效率。

3. 局限性及改进方向

• 数据依赖：对小样本数据集的泛化能力需进一步验证。
• 多模态融合：未来可扩展至融合CT、MRI、超声的多模态输入。
• 实时性优化：通过量化与剪枝技术，将推理速度提升至60FPS以上。

结语：混合架构的范式革命

PHNet的成功证明，MLP与CNN并非替代关系，而是互补关系。其金字塔式混合设计为医学图像分割提供了新思路，也为其他需要全局与局部信息协同的任务（如3D点云处理、视频理解）提供了可借鉴的框架。随着硬件算力的提升与混合架构的优化，我们有理由期待，这类“跨界”模型将在医疗AI领域引发更深远的变革。