视频多模态模型的位置编码优化：从顺序分配到交错频率覆盖

一、问题背景：视频理解中的三维位置表示

在多模态大模型处理视频数据时，输入不再是一维文本序列，而是由大量时空 Patch 组成的三维结构。一个视频帧经过视觉编码后，会形成若干 Patch Embedding，每个 Patch 不仅携带内容语义，还对应一个明确的时空位置坐标，通常记作 (t, x, y)，分别表示时间帧序号、空间高度位置和空间宽度位置。

为了让 Transformer 结构能够感知这些 Patch 之间的相对位置关系，位置编码方案需要从一维扩展到三维。旋转位置编码作为一种被广泛采用的位置表示方法，在二维图像和文本序列上已被验证有效，但将其推广到三维视频数据时，维度分配策略会直接影响模型对长程和短程依赖的建模能力。

这一问题的核心在于：Embedding 向量的总维度是有限的，而时间、高度、宽度三个物理维度都需要被编码。如果分配方式不合理，某一物理维度可能被过度压缩到高频区域或低频区域，导致该维度上的长程关系或短程细节无法被充分表达。

二、传统 MRoPE 的顺序分配方式及其局限

2.1 基本结构

在多维旋转位置编码的早期实现中，常见的做法是按物理维度的顺序对 Embedding 维度进行切分。假设 Embedding 总维度为 D，每 6 个维度构成一个旋转组，则共有 D/6 个旋转组。以每组的维度索引来看：

• 第 0、1 维用于编码时间 t
• 第 2、3 维用于编码高度 x
• 第 4、5 维用于编码宽度 y

这种设计在实现上比较直观：将 Embedding 向量按固定步长切块，每块对应一个物理维度，代码逻辑简单清晰。

2.2 频率分布与物理维度的错配

旋转位置编码的频率由公式：

θ_i = 10000^(-6i/D)

决定，其中 i ∈ {0, 1, ..., D/6 - 1}。该频率随 i 增大而快速衰减。这意味着：

• i 较小的旋转组对应低频，擅长刻画远距离、全局性的位置关系
• i 较大的旋转组对应高频，擅长刻画近距离、局部的位置差异

在顺序分配方案下，时间维度 t 总是占据最靠前的旋转组，因而独占全部低频区域。空间维度 x 和 y 则被挤到中高频区域。

这一分配的后果在短视频场景下可能并不明显，但当视频长度显著增加时，问题会逐步暴露：

时间信息过度集中：时间维度同时承载着帧间长程依赖和短程变化。顺序分配下，时间维度的全部旋转组都位于低频段，导致高频细节无法被时间维度编码。长视频中快速动作、场景切换等需要高频时间信号的场景难以被准确表达。

空间理解受损：空间维度被推向高频区，失去了通过低频旋转组捕捉大范围空间关系的能力。例如，跨越画面大部分区域的物体运动、全局场景布局等需要低频空间信号的建模能力被削弱。

频率覆盖不均衡：三个物理维度的频率覆盖范围重叠度较低。模型在联合建模 (t, x, y) 的时空位置时，不同维度可用的频率资源差异巨大，限制了跨维度关系的学习。

三、Interleaved-MRoPE 的设计思路

3.1 从顺序分配到交错分配

交错式多维旋转位置编码的核心变化在于放弃“按物理维度分块”的粗粒度切分方式，转而以每个旋转组为单位进行循环交错分配。

具体而言，每个旋转组包含 2 个维度。对于第 i 个旋转组，其对应的物理维度按循环规则确定：

i mod 3 == 0  →  编码时间 t
i mod 3 == 1  →  编码高度 x
i mod 3 == 2  →  编码宽度 y

这样，时间、高度、宽度三个维度的编码维度不再集中于 Embedding 向量的某一段，而是均匀穿插在整个频率谱上。每个物理维度都能获得约三分之一的旋转组，并且这些旋转组覆盖了从低频到高频的完整范围。

3.2 频率计算公式保持不变

交错策略不改变旋转位置编码的频率计算方式。在三维场景下，基础频率仍然通过：

θ_i = 10000^(-6i/D)

计算，其中 i ∈ {0, 1, ..., D/6 - 1} 是旋转组索引，D 是 Embedding 维度。每个基础频率对应一个旋转组，作用于该组 2 个维度所编码的物理维度。

改变的是“哪个物理维度使用哪个频率”，而不是“如何计算频率”。

四、交错分配带来的关键优势

4.1 时间、空间维度均获得全频段覆盖

交错分配最直接的收益是频率资源分配的均衡化。时间、高度、宽度三个维度各自都拥有了从低频到高频的旋转组。这意味着：

• 时间维度既能通过低频旋转组捕捉长视频中的全局时间结构，也能通过高频旋转组捕捉相邻帧之间的细微变化
• 空间高度和宽度维度同样获得了低频旋转组，可用于表达大范围的空间关系和全局布局
• 三个物理维度在高频区域也都有对应的旋转组，近距离的时空局部模式可以得到充分编码

4.2 长视频时空连贯性的提升

在长视频理解任务中，模型需要持续跟踪目标在较长时间跨度内的运动轨迹，同时保持对其空间位置的精确感知。如果某一物理维度缺乏低频表示，那么该维度上的远距离依赖关系就难以被有效学习。

交错式设计让时间维度和空间维度都能利用低频旋转组建立长程依赖表示。当模型需要判断“某个物体在几十帧之后是否仍然保持空间相邻关系”时，它可以同时借助时间维度的低频分量和空间维度的低频分量共同完成判断。

4.3 跨维度的联合建模能力增强

三维位置编码的关键不仅在于各维度单独表示是否合理，还在于模型能否学习跨维度的组合关系。例如，一个物体从画面左下角移动到右上角，同时伴随着时间推进，这需要 t、x、y 三个维度的信息协同工作。

顺序分配下，时间维度集中在低频、空间维度集中在高频，跨维度频率错位可能导致三者在旋转操作中难以形成有效的联合表示。交错分配让三个物理维度在相同频率段都有对应的旋转组，跨维度的组合位置模式可以在多个频率层次上被并行编码。

这一点在涉及同时包含时间变化和空间位移的动态场景理解中尤为关键。

五、旋转操作在查询与键向量上的作用方式

交错式多维旋转位置编码的旋转操作直接作用在注意力机制中的查询向量 Q 和键向量 K 上。对于给定的 Patch Embedding，其对应的 (t, x, y) 位置信息通过如下流程注入：

1. 确定每个维度的角度：对于第 i 个旋转组，根据交错规则确定其对应的物理维度，然后用该物理维度的位置值乘以 θ_i 得到旋转角度。如果第 i 组对应时间维度，则旋转角度为 t × θ_i；对应高度维度则为 x × θ_i；对应宽度维度则为 y × θ_i。

2. 对查询和键向量执行二维旋转：每个旋转组内的 2 个维度构成一个二维平面。对于查询向量的 (q_2i, q_2i+1) 和键向量的 (k_2i, k_2i+1)，根据对应物理维度的旋转角度执行二维旋转操作。

3. 逐组叠加：将上述旋转操作应用到所有的 D/6 个旋转组上，完成整个 Embedding 的位置注入。值向量 V 不参与旋转操作，保持原始语义信息。

这一流程与文本序列中一维旋转位置编码的机制在数学上一致，差别在于每个旋转组对应的物理维度不再恒定，而是随组索引动态变化。

六、实践中的工程实现要点

6.1 旋转维度索引表的预计算

在实际工程实现中，交错分配规则可以预先计算并缓存。通过构建一个长度为 D/6 的维度映射表，记录每个旋转组对应的物理维度索引，可以避免在每次前向传播时重复计算模运算。这一映射表在模型初始化时确定，后续推理阶段仅需要根据位置坐标查找对应角度并执行旋转。

6.2 与视觉编码器的适配

视频数据经过视觉 Patch 化之后，每个 Patch 的位置坐标 (t, x, y) 来自视频帧序列的时空网格划分结果。位置编码模块需要接收这些坐标，并结合预计算的维度映射表生成旋转角度。在长视频场景下，时间坐标 t 的数值范围可能较大，这会放大旋转角度，实际应用中通常需要结合序列长度的上限进行合理的数值处理。

6.3 对分辨率和帧数的通用性

交错式分配方案不依赖特定的分辨率或帧数设定。只要 Patch 化后的时空网格坐标可以获取，位置编码模块就能正常工作。这使得该设计在不同视频长度和分辨率设置下具有较强的通用性。

七、总结

视频多模态模型从二维图像理解走向三维视频理解的过程中，位置编码的维度分配策略是一个容易被低估但实际上非常重要的设计问题。传统的顺序分配方式将时间维度固定在低频区域、空间维度固定在高频区域，在长视频场景下会导致频率资源分配失衡，限制模型对时空连贯性的建模能力。

交错式多维旋转位置编码通过以旋转组为单位的循环交错分配，让时间、高度、宽度三个物理维度均匀覆盖完整频率谱。每个维度都同时拥有低频和高频旋转组，从而在长视频理解中获得更均衡的时空位置表示能力。这一设计保持了频率计算方式不变，核心改动集中在维度分配策略层面，在实现上具有较好的可操作性和通用性。对于需要处理长视频理解任务的模型设计者而言，这一优化思路提供了一条值得参考的技术路径。