OpenCV Tutorials 26 - 相机校准与姿态估计

引言：为什么需要相机校准与姿态估计？

在计算机视觉任务中，相机作为图像采集的核心设备，其成像模型直接影响三维空间到二维平面的投影精度。相机校准（Camera Calibration）通过建立相机的几何模型，消除镜头畸变，恢复像素坐标与真实世界坐标的映射关系；而姿态估计（Pose Estimation）则通过已知特征点，求解相机或物体在三维空间中的位置与朝向。两者结合，是增强现实（AR）、三维重建、机器人导航等应用的基础。

一、相机校准：从理论到实践

1.1 相机成像模型与畸变类型

相机的成像过程可简化为针孔模型（Pinhole Model），即三维空间点 ( P(X,Y,Z) ) 通过透视投影映射到二维图像点 ( p(u,v) )。然而，实际镜头存在径向畸变（Radial Distortion）和切向畸变（Tangential Distortion），导致图像边缘弯曲或倾斜。OpenCV通过多项式模型描述畸变：

• 径向畸变：( x_{\text{distorted}} = x(1 + k_1 r^2 + k_2 r^4 + k_3 r^6) )
• 切向畸变：( x_{\text{distorted}} = x + [2p_1xy + p_2(r^2 + 2x^2)] )

其中 ( r^2 = x^2 + y^2 )，( k_1, k_2, k_3 ) 为径向畸变系数，( p_1, p_2 ) 为切向畸变系数。

1.2 校准流程与OpenCV实现

步骤1：准备标定板
使用棋盘格或圆形网格标定板，其角点或圆心坐标在真实世界中已知（如棋盘格方格大小为25mm）。

步骤2：采集多视角图像
从不同角度拍摄标定板（建议15-20张），确保覆盖整个视野范围。

步骤3：角点检测与优化
OpenCV提供cv2.findChessboardCorners()检测棋盘格角点，结合cv2.cornerSubPix()进行亚像素级优化。

步骤4：求解相机参数
使用cv2.calibrateCamera()计算内参矩阵（焦距、主点）和畸变系数：

import cv2
import numpy as np
# 假设已加载标定图像路径列表images和真实世界点object_points
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(
    object_points, 
    image_points, 
    (width, height), 
    None, 
    None
)

步骤5：评估校准质量
通过重投影误差（Reprojection Error）评估精度，误差越小校准越准确。

二、姿态估计：解算相机与物体的相对位置

2.1 基础原理：PnP问题

给定三维空间点集 ( {P_i} ) 及其对应的二维图像点集 ( {p_i} )，姿态估计旨在求解相机外参（旋转矩阵 ( R ) 和平移向量 ( T )）。OpenCV支持多种PnP解法：

• SOLVEPNP_ITERATIVE：迭代优化，适用于通用场景。
• SOLVEPNP_P3P：仅需3个点，适合无畸变情况。
• SOLVEPNP_EPNP：高效非线性优化，适合多点情况。

2.2 实现步骤与代码示例

步骤1：定义三维-二维点对
假设已知物体上4个点的三维坐标（如AR标记物的角点）及其在图像中的对应位置。

步骤2：调用solvePnP

# 假设object_points为三维点，image_points为二维点
ret, rvec, tvec = cv2.solvePnP(
    object_points, 
    image_points, 
    mtx, 
    dist, 
    flags=cv2.SOLVEPNP_ITERATIVE
)

步骤3：旋转向量转矩阵
使用cv2.Rodrigues()将旋转向量转换为旋转矩阵：

R, _ = cv2.Rodrigues(rvec)

步骤4：可视化结果
通过cv2.projectPoints()将三维点投影回图像，验证重投影误差。

三、高级技巧与优化

3.1 自适应标定板检测

针对低对比度或复杂背景，可结合边缘检测（Canny）和形态学操作预处理图像，提升角点检测鲁棒性。

3.2 多相机联合校准

在立体视觉中，需同步校准多个相机。OpenCV支持cv2.stereoCalibrate()，通过共同视野中的标定板求解两相机的相对位置。

3.3 动态姿态跟踪

结合光流法（Lucas-Kanade）或特征点匹配（SIFT/SURF），可实现动态物体的实时姿态跟踪。

四、常见问题与解决方案

问题1：校准误差过大

• 原因：标定板未完全覆盖视野、图像质量差、角点检测不准确。
• 解决：增加标定图像数量，确保标定板在图像中清晰可见，手动调整角点检测参数。

问题2：姿态估计不稳定

• 原因：特征点数量不足、三维-二维点对应错误。
• 解决：使用更多特征点（如AR标记物的多个角点），结合RANSAC剔除异常点。

五、应用场景与扩展

5.1 增强现实（AR）

通过姿态估计将虚拟物体叠加到真实场景中，如手机AR应用中的3D模型放置。

5.2 机器人导航

结合SLAM算法，利用相机姿态实现室内定位与路径规划。

5.3 三维重建

通过多视角姿态估计，恢复场景的三维结构，如文物数字化。

总结

相机校准与姿态估计是计算机视觉的基石技术。通过OpenCV提供的工具，开发者可高效实现从标定到姿态解算的全流程。本文从理论出发，结合代码示例与优化技巧，为读者提供了可操作的实践指南。未来，随着深度学习与多传感器融合的发展，这一领域将迎来更广阔的应用前景。