从Detectron2入门：机器学习物体检测与分割的实践指南

物体检测与实例分割是计算机视觉领域的核心任务，广泛应用于自动驾驶、工业质检、医疗影像分析等场景。对于开发者而言，如何高效入门这一领域成为关键问题。本文将以Facebook AI Research（FAIR）开源的Detectron2框架为核心，系统讲解如何快速上手物体检测与分割任务，覆盖从环境配置到模型部署的全流程。

一、Detectron2的核心优势：为何选择它作为起点

Detectron2作为Meta（原Facebook）开源的第二代检测框架，自2019年发布以来已成为学术界和工业界的标杆工具。其核心优势体现在三个方面：

1. 模块化设计：基于PyTorch实现，支持Mask R-CNN、RetinaNet、Faster R-CNN等20+种主流模型，开发者可自由组合主干网络（ResNet、ResNeXt）、检测头（FPN、PANet）等组件。
2. 预训练模型库：提供COCO、Cityscapes等数据集的预训练权重，支持零代码加载SOTA模型。例如，加载Mask R-CNN仅需3行代码：

   from detectron2.config import get_cfg
   from detectron2.engine import DefaultPredictor
   cfg = get_cfg()
   cfg.merge_from_file("configs/COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x.yaml")
   cfg.MODEL.WEIGHTS = "detectron2://COCO-InstanceSegmentation/mask_rcnn_R_50_FPN_3x/137849600/model_final_f10217.pkl"
   predictor = DefaultPredictor(cfg)

3. 生产级优化：支持多GPU训练、混合精度训练、TensorBoard可视化等企业级功能，其推理速度较Detectron1提升3倍。

二、环境配置：从零开始的完整指南

1. 系统要求与依赖安装

• 基础环境：Ubuntu 18.04/20.04、Python 3.7+、CUDA 10.2+
• 关键依赖：

  conda create -n detectron2 python=3.8
  conda activate detectron2
  pip install torch torchvision torchaudio  # 推荐1.10+版本
  pip install detectron2 -f https://dl.fbaipublicfiles.com/detectron2/wheels/cu113/torch1.10/index.html  # 根据CUDA版本选择

• 验证安装：

  import detectron2
  print(detectron2.__version__)  # 应输出0.6+

2. 数据集准备规范

Detectron2采用COCO格式标准，要求数据集包含：

• annotations/：JSON格式标注文件（含images、annotations、categories字段）
• train2017/、val2017/：训练/验证集图片

示例标注片段：

{
  "images": [{"id": 1, "file_name": "000001.jpg", "width": 800, "height": 600}],
  "annotations": [
    {"id": 1, "image_id": 1, "category_id": 1, "bbox": [100, 100, 200, 300], "segmentation": [[...]]}
  ],
  "categories": [{"id": 1, "name": "person"}]
}

三、模型训练：从预训练到微调的全流程

1. 配置文件解析

Detectron2使用YAML配置文件管理超参数，关键字段包括：

• MODEL.WEIGHTS：预训练权重路径
• MODEL.ROI_HEADS.NUM_CLASSES：类别数（需与数据集匹配）
• SOLVER.BASE_LR：初始学习率（通常设为0.02）
• DATALOADER.NUM_WORKERS：数据加载线程数

2. 自定义数据集训练

以自定义车辆检测任务为例：

1. 注册数据集：

   from detectron2.data import DatasetCatalog, MetadataCatalog
   DatasetCatalog.register("my_dataset", lambda: load_my_dataset())
   MetadataCatalog.get("my_dataset").set(thing_classes=["car", "truck"])

2. 配置训练参数：

   # configs/my_config.yaml
   MODEL:
   MASK_ON: False  # 关闭分割头（若仅需检测）
   ROI_HEADS:
    NUM_CLASSES: 2
   DATASETS:
   TRAIN: ("my_dataset_train",)
   TEST: ("my_dataset_val",)
   SOLVER:
   STEPS: (2000, 2500)
   MAX_ITER: 3000

3. 启动训练：

   python tools/train_net.py \
   --config-file configs/my_config.yaml \
   --num-gpus 2 \
   OUTPUT_DIR ./output

3. 训练优化技巧

• 学习率调整：当批量大小（batch size）变化时，按线性缩放规则调整学习率（如batch size从16增至32，学习率从0.02增至0.04）。
• 早停机制：监控验证集mAP，当连续5个epoch无提升时终止训练。
• 混合精度训练：添加--amp参数可减少30%显存占用。

四、模型部署：从推理到API服务

1. 基础推理示例

import cv2
from detectron2.utils.visualizer import Visualizer
img = cv2.imread("test.jpg")
outputs = predictor(img)
v = Visualizer(img[:, :, ::-1], metadata=MetadataCatalog.get("my_dataset"))
out = v.draw_instance_predictions(outputs["instances"].to("cpu"))
cv2.imwrite("result.jpg", out.get_image()[:, :, ::-1])

2. 性能优化策略

• 模型量化：使用TorchScript进行INT8量化，推理速度提升2倍：

  traced_script_module = torch.jit.trace(model, example_input)
  traced_script_module.save("model_quantized.pt")

• TensorRT加速：通过ONNX转换后部署，FP16模式下延迟降低至5ms。

3. REST API实现

使用FastAPI构建服务：

from fastapi import FastAPI
import numpy as np
app = FastAPI()
@app.post("/predict")
async def predict(image: bytes):
    np_img = np.frombuffer(image, np.uint8)
    img = cv2.imdecode(np_img, cv2.IMREAD_COLOR)
    outputs = predictor(img)
    # 返回JSON格式结果
    return {"boxes": outputs["instances"].pred_boxes.tensor.tolist()}

五、进阶方向与资源推荐

1. 模型改进：

   • 替换主干网络：尝试Swin Transformer、ConvNeXt等新型架构
   • 引入额外头：添加关键点检测、全景分割等任务头

2. 数据增强：

   • 使用Albumentations库实现Mosaic、MixUp等增强策略
   • 针对小目标检测，增加过采样和超分辨率预处理

3. 官方资源：

   • 模型库：https://github.com/facebookresearch/detectron2/blob/main/MODEL_ZOO.md
   • 教程：https://detectron2.readthedocs.io/tutorials/index.html

六、常见问题解决方案

1. CUDA内存不足：

   • 降低SOLVER.BASE_LR至0.005
   • 使用梯度累积（ITER_SIZE参数）

2. 标注错误处理：

   • 通过coco_eval.py脚本分析误检/漏检案例
   • 使用CVAT等工具修正标注

3. 跨平台部署：

   • Windows用户可通过WSL2运行Linux环境
   • 移动端部署推荐使用TensorFlow Lite转换模型

通过Detectron2框架，开发者可在数小时内完成从环境搭建到模型部署的全流程。其模块化设计和丰富的预训练模型极大降低了物体检测与分割的入门门槛。建议初学者从Mask R-CNN模型和COCO数据集开始，逐步掌握数据增强、超参数调优等高级技巧，最终实现工业级应用的落地。