一、三维视线估计的核心挑战与意义

三维视线估计的核心目标是在三维空间中精确预测人眼注视方向，其输出为视线向量（起点为眼球中心，方向指向注视点）。相较于二维屏幕坐标估计，三维视线估计需解决以下关键挑战：

1. 空间坐标系对齐：需将头部坐标系、相机坐标系与世界坐标系统一；
2. 深度信息缺失：单目摄像头无法直接获取深度，需通过多视角或模型推断；
3. 动态头部姿态补偿：头部运动会导致眼球坐标系变化，需实时更新变换矩阵。

其应用场景涵盖AR/VR交互、汽车驾驶员监测、医疗康复训练等。例如，在AR眼镜中，三维视线估计可实现“所见即所控”的自然交互，用户无需手动操作即可选中虚拟物体。

二、通用方法分类与技术实现

1. 基于3D模型的方法

原理：通过构建或拟合人脸/眼球的3D模型，直接计算视线向量。
实现步骤：

1. 3D人脸重建：使用多视角图像或深度传感器（如RGB-D相机）重建面部几何；
2. 眼球参数标定：通过CT扫描或通用眼球模型（如LeGrand眼球模型）定义眼球半径、角膜曲率等参数；
3. 视线向量计算：根据瞳孔中心与角膜曲率中心的相对位置，结合头部姿态变换矩阵，输出世界坐标系下的视线方向。

代码示例（简化版）：

import numpy as np
from scipy.spatial.transform import Rotation
def calculate_gaze_vector(eye_center, pupil_center, head_pose):
    # 头部姿态转换为旋转矩阵
    rot = Rotation.from_euler('xyz', head_pose, degrees=True).as_matrix()
    # 局部坐标系下的视线向量（眼球中心指向瞳孔）
    local_gaze = pupil_center - eye_center
    # 转换到世界坐标系
    world_gaze = rot.T @ local_gaze  # 旋转矩阵的逆等于转置
    return world_gaze / np.linalg.norm(world_gaze)  # 归一化

优势：物理意义明确，抗遮挡能力强；局限：依赖高精度3D重建，计算复杂度高。

2. 基于几何投影的方法

原理：利用瞳孔-角膜反射（Pupil-Center-Corneal-Reflection, PCCR）的几何关系，通过单目图像反推视线。
关键步骤：

1. 角膜反射点定位：检测红外光源在角膜上的反射点（Glint）；
2. 瞳孔中心检测：使用椭圆拟合或深度学习模型定位瞳孔；
3. 3D视线解算：基于眼球半径假设，通过几何公式计算视线方向。

数学模型：
设角膜中心为$O_c$，瞳孔中心为$O_p$，反射点为$G$，眼球半径为$r$，则视线方向$\vec{v}$可近似为：
$<br>\vec{v} = \frac{(O_p - O_c) \times (G - O_c)}{|(O_p - O_c) \times (G - O_c)|}<br>$
优势：硬件要求低（单目+红外光源）；局限：依赖眼球半径假设，个体差异影响精度。

3. 基于深度学习的方法

主流架构：

• 双分支网络：一支处理面部图像提取头部姿态，另一支处理眼部图像提取局部特征，融合后回归三维视线；
• Transformer架构：通过自注意力机制建模眼部与头部姿态的空间关系；
• 多模态融合：结合RGB图像、深度图与红外数据提升鲁棒性。

典型模型：

• MPIIGaze：基于全连接网络，输入归一化面部图像与头部姿态，输出三维视线；
• RT-GENE：使用生成对抗网络（GAN）合成多视角训练数据，解决数据稀缺问题；
• Gaze360：通过环形摄像头阵列采集数据，训练可处理极端头部姿态的模型。

代码示例（PyTorch简化版）：

import torch
import torch.nn as nn
class GazeEstimationModel(nn.Module):
    def __init__(self):
        super().__init__()
        self.face_encoder = nn.Sequential(
            nn.Conv2d(3, 64, 3), nn.ReLU(),
            nn.MaxPool2d(2),
            # ...更多卷积层
        )
        self.eye_encoder = nn.Sequential(
            nn.Conv2d(3, 64, 3), nn.ReLU(),
            # ...更多卷积层
        )
        self.fusion_layer = nn.Linear(256*2, 128)
        self.gaze_head = nn.Linear(128, 3)  # 输出三维视线向量
    def forward(self, face_img, eye_img):
        face_feat = self.face_encoder(face_img).view(-1, 128)
        eye_feat = self.eye_encoder(eye_img).view(-1, 128)
        fused = torch.cat([face_feat, eye_feat], dim=1)
        fused = self.fusion_layer(fused)
        gaze = self.gaze_head(fused)
        return gaze / torch.norm(gaze, dim=1, keepdim=True)  # 归一化

优势：无需显式建模几何关系，适应性强；局限：依赖大规模标注数据，模型可解释性差。

三、数据集与评估指标

1. 常用数据集

数据集名称	场景	数据类型	标注内容
MPIIGaze	日常场景	RGB图像+头部姿态	三维视线向量
Gaze360	360度头部姿态	多视角RGB-D	三维视线+注视点坐标
ColumbiaGaze	实验室控制环境	高分辨率RGB+红外	屏幕坐标+三维视线

2. 评估指标

• 角度误差（Degree Error）：预测视线与真实视线之间的夹角，常用均方根误差（RMSE）；
• 注视点误差（mm Error）：在屏幕或3D空间中的注视点预测误差；
• AUC（Area Under Curve）：通过ROC曲线评估模型在不同阈值下的性能。

四、开发者建议与未来方向

1. 数据增强策略：

   • 使用3D渲染引擎（如Blender）合成多视角、多光照条件下的训练数据；
   • 应用对抗训练（Adversarial Training）提升模型对遮挡、模糊的鲁棒性。

2. 轻量化部署：

   • 模型剪枝与量化：将FP32模型转换为INT8，减少计算量；
   • 硬件加速：利用TensorRT或OpenVINO优化推理速度。

3. 多模态融合：

   • 结合眼动仪（如Tobii Pro）的高精度数据与摄像头数据，构建半监督学习框架。

4. 未来方向：

   • 无监督学习：利用自监督任务（如瞳孔变形预测）减少对标注数据的依赖；
   • 跨域适应：解决不同用户、不同设备间的域偏移问题；
   • 实时动态估计：结合SLAM技术实现动态场景下的视线追踪。

三维视线估计正处于从实验室到工业应用的关键阶段。开发者需根据场景需求（如精度、实时性、硬件成本）选择合适的方法，并持续关注数据效率与模型泛化能力的提升。未来，随着多模态感知与边缘计算的发展，三维视线估计将成为人机交互的核心技术之一。