知识蒸馏通常通过监督或基于强化的优化，将教师模型的知识转移到学生模型的参数中。尽管这些方法有效，但需要反复更新参数和大量训练数据，这限制了其在资源受限环境中的适用性。TED是一种无训练的上下文基础蒸馏框架，旨在将蒸馏的更新目标从模型参数转移到注入学生提示中的上下文经验。对于每个输入，学生生成多个推理轨迹，而教师则独立产生自己的解决方案。教师随后将学生的推理轨迹与其自身的推理进行比较，以指导学生的学...