大型语言模型（LLMs）在连续向量空间中进行内部计算，但最终生成离散的标记，这一基本不匹配的几何后果尚不清楚。研究提出了一种数学框架，将LLM的隐藏状态解释为潜在语义流形上的点：一个配备费舍尔信息度量的黎曼子流形，其中标记对应于划分流形的Voronoi区域。定义了表达能力差距，这是一种从词汇离散化引起的语义失真几何度量，并证明了两个定理：任何有限词汇的失真下界，以及通过共面积公式得出的表达能力差距...