推测解码是一种利用多个语言模型加速推理的技术。以往的研究通过实验方法优化推理管道的吞吐量，这涉及到大规模语言模型（LLM）的训练，成本较高。该研究提出了一种理论，分析性地将预训练LLM的关键超参数与基于推测解码的下游推理系统的吞吐量效率联系起来。该理论能够在预训练之前预测推理系统各组件的吞吐量最优超参数，从而简化了优化过程。...