旋转位置嵌入（RoPE）是一种在语言模型中广泛采用的位置编码技术，尽管其有效性显著，但在输入长度超过训练长度时会导致性能下降。已有分析指出，长输入会导致通道旋转“超出分布”，但额外的旋转如何与病态行为相关或导致病态行为尚不明确。通过实证和理论分析，提供了对RoPE下注意力行为的统一几何理解。研究发现，注意力机制导致分离的键和值潜在点云的紧密聚类，从而创建了“沉没令牌”：这些占位符使得注意力头在不需...