请解释位置编码（Positional Encoding）的种类及其作用。RoPE是什么？

作用：Transformer自注意力本身不感知token顺序，位置编码注入序列位置信息 种类：

• 绝对位置编码：Sinusoidal编码（正弦/余弦函数，无需学习）、Learnable Embedding（可学习位置向量，BERT/GPT）
• 相对位置编码：建模token之间的相对距离，如T5的Relative Position Bias

RoPE (Rotary Position Embedding)：

• 原理：通过旋转矩阵将位置信息编码到Q和K中，使注意力计算自动包含相对位置：

\(\text{Attention}(Q, K) = \text{softmax}(\frac{(R_i Q)(R_j K)^T}{\sqrt{d_k}})\)

其中\(R_i\)是位置i的旋转矩阵

• 优势：具有外推能力（训练短序列，推理长序列），无需额外参数，LLaMA、Qwen、Mistral皆采用
• 扩展：NTK-aware RoPE、YaRN进一步提升外推能力