大型语言模型存在一个基本的局限性，即知识截止日期。它们对训练阶段的世界非常熟悉，但对用户的私有数据或近期事件却一无所知。为了解决上下文注入的问题，业界目前在两种竞争哲学之间分裂：一种是复杂的工程管道，另一种是粗暴的架构转变。检索增强生成（RAG）作为一种解决方案，虽然在技术上成熟，但其工程复杂性使得实施变得困难。相反，长上下文方法则试图通过改变模型架构来直接处理更长的输入信息，从而提升模型的上下文...