研究表明，经过自组织临界性预训练的PLDR-LLMs在推理时展现出推理能力。PLDR-LLM在临界状态下的演绎输出特征与二阶相变相似。在临界状态下，相关长度发散，演绎输出达到亚稳态。稳态行为表明，演绎输出从训练数据集中学习到的表示等同于缩放函数、普适性类和重整化群，从而在过程中实现了泛化和推理能力。可以根据模型演绎输出参数的全局统计定义一个序参量，以此来量化PLDR-LLM的推理能力。该模型的推理...