合成数据增强有助于语言模型在数据受限的领域学习新知识。然而，简单地通过训练更多的合成标记或使用更强的生成器来扩展现有的合成数据方法，往往会导致收益递减，性能低于 RAG。为突破 RAG 的性能瓶颈，提出了合成混合训练方法，该方法结合了合成问答和合成文档，利用它们互补的训练信号，使得随着合成数据量和生成器强度的增加，模型在性能上实现了对 RAG 的 2.6% 相对提升，特别是在长文档阅读理解基准 Q...