准确性评估无法可靠地区分真正的泛化与记忆、泄漏或脆弱启发式等捷径，尤其是在小数据环境下。提出了一种机制感知的评估方法，结合任务相关的符号规则与机械可解释性，生成算法的通过/失败评分，明确显示模型在哪些方面实现了泛化，在哪些方面则是利用了模式。在NL-to-SQL的实验中，训练了两个相同架构的模型，分别在不同条件下：一个没有模式信息（迫使记忆），一个有模式信息（实现基础）。标准评估显示，记忆模型在未...