深度神经网络表现出一种简单性偏见，即倾向于选择简单函数而非复杂函数。通过最小描述长度原则，研究将监督学习形式化为最佳双部分无损压缩问题。该理论解释了简单性偏见如何通过模型复杂性（描述假设的成本）与预测能力（描述数据的成本）之间的基本权衡来影响神经网络中的特征选择。随着可用训练数据量的增加，学习者在特征选择上经历从简单的虚假捷径到复杂特征的质变。...