树莓派4B部署YOLOv5模型全流程指南（含NCS2加速实战）

一、核心组件选型与原理

1.1 硬件配置方案

• 树莓派4B（4GB内存版推荐）作为主控单元
• Intel神经计算棒2代（NCS2）通过USB3.0连接
• 实测性能对比：
  • 仅CPU推理：~1.2FPS（640x640输入）
  • NCS2加速后：~12FPS（同分辨率）

1.2 软件架构设计

flowchart LR
    A[训练好的YOLOv5s.pt] --> B[ONNX转换]
    B --> C[OpenVINO IR格式]
    C --> D[树莓派+NCS2推理]

二、训练模型准备阶段

2.1 自定义数据集训练

# 典型训练命令（需提前安装ultralytics包）
python train.py --img 640 --batch 16 --epochs 50 \
                --data custom.yaml --weights yolov5s.pt

关键参数说明：

• --img-size：必须为32的倍数（与OpenVINO要求匹配）
• --batch：根据GPU显存调整

2.2 模型验证与导出

建议使用detect.py验证mAP后，执行：

python export.py --weights runs/train/exp/weights/best.pt \
                 --include onnx --simplify --img 640

三、OpenVINO环境部署

3.1 树莓派系统准备

# 推荐64位系统
sudo apt update && sudo apt full-upgrade -y
sudo apt install -y python3-opencv libopenblas-dev

3.2 OpenVINO工具链安装

wget https://apt.repos.intel.com/openvino/2023/GPG-PUB-KEY-INTEL-OPENVINO-2023
sudo apt-key add GPG-PUB-KEY-INTEL-OPENVINO-2023
sudo sh -c 'echo "deb https://apt.repos.intel.com/openvino/2023 all main" > /etc/apt/sources.list.d/openvino-2023.list'
sudo apt update
sudo apt install -y openvino openvino-opencv

四、模型转换与优化

4.1 ONNX到IR转换

source /opt/intel/openvino_2023/setupvars.sh
mo --input_model best.onnx \
   --output_dir openvino_model \
   --data_type FP16 \
   --scale 255 --reverse_input_channels

4.2 模型量化（可选）

pot -q default -m openvino_model/best.xml \
    -w openvino_model/best.bin \
    --engine simplified \
    --output-dir int8_model

五、推理代码实现

5.1 基础推理框架

from openvino.runtime import Core
core = Core()
model = core.compile_model("openvino_model/best.xml", "MYRIAD")
# 预处理示例
def preprocess(image):
    blob = cv2.resize(image, (640, 640))
    blob = blob.transpose(2, 0, 1)
    return blob[None,...]

5.2 多线程处理优化

import threading
class InferQueue:
    def __init__(self, model):
        self.queue = queue.Queue(maxsize=4)
        self.model = model
        threading.Thread(target=self._worker, daemon=True).start()
    def _worker(self):
        while True:
            input_data = self.queue.get()
            self.model(input_data)

六、性能优化技巧

1. 电源管理：

   • 使用5V/3A电源适配器
   • 禁用HDMI输出：sudo /opt/vc/bin/tvservice -o

2. 温度控制：

   • 安装散热片或风扇
   • 监控命令：vcgencmd measure_temp

3. 内存优化：

   • 增加swap空间：sudo dphys-swapfile swapoff && sudo nano /etc/dphys-swapfile

七、常见问题解决方案

7.1 NCS2设备识别失败

# 检查设备状态
lsusb | grep 03e7
# 添加USB规则
sudo usermod -a -G users "$(whoami)"

7.2 模型输出异常

可能原因：

• ONNX导出时未设置--dynamic参数
• 输入数据归一化方式不匹配

八、实际部署建议

1. 工业级部署方案：

   • 使用UPS不间断电源
   • 配置看门狗定时器
   • 实现远程监控接口

2. 持续集成流程：

   graph TB
    A[代码提交] --> B[自动训练]
    B --> C[模型验证]
    C --> D[自动部署到树莓派集群]

结语

本方案在智能门禁、工业质检等场景实测有效，通过NCS2加速可使树莓派4B达到接近Jetson Nano的推理性能。建议开发者关注OpenVINO的版本更新，2023版已显著提升对YOLOv5系列模型的支持度。