OpenCV Tutorials 26 - 相机校准与姿态估计

引言

在计算机视觉领域，相机校准与姿态估计是两项基础而关键的技术。相机校准用于确定相机的内部参数（如焦距、主点坐标）和外部参数（如旋转矩阵、平移向量），这些参数对于三维重建、增强现实、机器人导航等应用至关重要。而姿态估计则是指根据已知的物体模型或标记点，估计相机相对于该物体的位置和方向。OpenCV作为计算机视觉领域的开源库，提供了丰富的工具和函数来实现这些功能。本文将详细介绍如何使用OpenCV进行相机校准与姿态估计，包括理论解析、代码示例及实际应用建议。

相机校准基础

相机模型与参数

相机模型描述了三维空间中的点如何通过相机成像到二维图像平面上。常用的相机模型包括针孔相机模型和鱼眼相机模型。在针孔相机模型中，相机参数分为内部参数（内参）和外部参数（外参）。

• 内参：包括焦距（fx, fy）、主点坐标（cx, cy）和畸变系数（k1, k2, p1, p2, k3等）。焦距决定了图像的缩放比例，主点坐标是光轴与图像平面的交点，畸变系数用于校正镜头畸变。
• 外参：包括旋转矩阵R和平移向量t，描述了相机坐标系相对于世界坐标系的位置和方向。

校准方法

相机校准通常通过拍摄已知尺寸和形状的校准板（如棋盘格）来实现。OpenCV提供了cv2.calibrateCamera()函数，该函数接受校准板的角点坐标和对应的图像点坐标，输出相机的内参和外参。

代码示例：相机校准

import cv2
import numpy as np
import glob
# 设置棋盘格尺寸
chessboard_size = (9, 6)  # 内部角点数量
square_size = 25.0  # 棋盘格方格大小（毫米）
# 准备对象点，如 (0,0,0), (1,0,0), (2,0,0) ..., (8,5,0)
objp = np.zeros((chessboard_size[0] * chessboard_size[1], 3), np.float32)
objp[:, :2] = np.mgrid[0:chessboard_size[0], 0:chessboard_size[1]].T.reshape(-1, 2) * square_size
# 存储对象点和图像点的数组
objpoints = []  # 三维空间中的点
imgpoints = []  # 二维图像中的点
# 读取校准图像
images = glob.glob('calibration_images/*.jpg')
for fname in images:
    img = cv2.imread(fname)
    gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY)
    # 查找棋盘格角点
    ret, corners = cv2.findChessboardCorners(gray, chessboard_size, None)
    # 如果找到，添加对象点和图像点
    if ret:
        objpoints.append(objp)
        # 提高角点检测精度
        criteria = (cv2.TERM_CRITERIA_EPS + cv2.TERM_CRITERIA_MAX_ITER, 30, 0.001)
        corners2 = cv2.cornerSubPix(gray, corners, (11, 11), (-1, -1), criteria)
        imgpoints.append(corners2)
# 相机校准
ret, mtx, dist, rvecs, tvecs = cv2.calibrateCamera(objpoints, imgpoints, gray.shape[::-1], None, None)
print("相机内参矩阵:\n", mtx)
print("畸变系数:\n", dist)

姿态估计

姿态估计的目标是确定相机相对于已知物体或标记点的位置和方向。这通常通过解决PnP（Perspective-n-Point）问题来实现，即给定一组三维点及其在图像中的二维投影，估计相机的外参。

PnP问题求解

OpenCV提供了多种PnP求解方法，如cv2.solvePnP()函数，支持迭代法（如LEVENBERG-MARQUARDT）和直接法（如EPNP）。

代码示例：姿态估计

# 假设我们已经有了相机的内参mtx和畸变系数dist
# 以及一组三维点objp和对应的二维图像点corners
# 使用solvePnP估计姿态
ret, rvec, tvec = cv2.solvePnP(objp, corners, mtx, dist)
# 将旋转向量转换为旋转矩阵
rmat, _ = cv2.Rodrigues(rvec)
print("旋转矩阵:\n", rmat)
print("平移向量:\n", tvec)

实际应用建议

1. 校准板选择：选择尺寸合适、角点清晰的校准板，确保在不同距离和角度下都能准确检测角点。
2. 图像采集：采集校准图像时，应覆盖相机的整个视场，包括不同距离和角度的拍摄，以提高校准精度。
3. 畸变校正：在校准后，使用cv2.undistort()函数对图像进行畸变校正，以提高后续处理的准确性。
4. 姿态估计优化：对于实时应用，可以考虑使用RANSAC等鲁棒估计方法，以减少误匹配点对姿态估计的影响。
5. 多视图几何：结合多幅图像的姿态估计结果，可以提高整体估计的稳定性和准确性。

结论

相机校准与姿态估计是计算机视觉中的基础技术，对于三维重建、增强现实、机器人导航等应用至关重要。OpenCV提供了丰富的工具和函数来实现这些功能，通过本文的介绍和代码示例，开发者可以快速掌握相机校准与姿态估计的关键技能。在实际应用中，应注意校准板的选择、图像采集的策略以及姿态估计的优化方法，以提高系统的整体性能和稳定性。