混合专家（MoE）模型因其在保持稀疏激活和减少每个标记计算的同时扩展大型语言模型（LLM）能力而受到广泛关注。然而，在内存受限的推理环境中，专家权重必须转移到CPU，这在解码过程中造成了CPU与GPU之间的性能瓶颈。提出了一种专家预取方案，该方案利用当前计算的内部模型表示来推测未来的专家，从而使内存传输与计算重叠。通过多种MoE架构的实验，证明了这些内部表示能够可靠地预测未来的专家。此外，执行推测...