记忆对于基于大语言模型的代理在未来决策中保留过去观察至关重要，其中事实记忆是其基础部分。然而，现有构建事实记忆的方法面临多种限制。文本方法在上下文和索引上负担沉重，而参数化方法则遭遇灾难性遗忘和高成本。为了解决这些挑战，提出了NextMem，一个潜在事实记忆框架，利用自回归自编码器高效构建潜在记忆，同时确保准确重构。为优化效果，提出了两阶段训练过程，包括自回归重构对齐和渐进式潜在替代。...