变换器模型在进行精细控制时表现出抗性。对被识别为关键的注意力头进行消融操作，所产生的行为变化微乎其微，因为分布式冗余能够补偿损失。这种“九头蛇效应”使得可解释性变得虚幻：虽然可以通过相关性识别组件，但无法预测或控制其因果作用。研究表明，架构干预可以揭示隐藏的模块化特性。该方法结合了双流处理，分离了标记和上下文表示，逐层监督在每个深度提供独立的梯度信号，以及门控注意力正则化，促使模型朝向离散激活模式...