最近有一个演示展示了 iPhone 17 Pro 在本地运行一个 400B 参数的大型语言模型，而不是通过云 API 或者代理。这一现象引发了许多人的怀疑，认为这是不可能的，因为如此庞大的模型需要巨大的内存。实际上，这一切得益于巧妙的工程设计，解决了一个即将影响许多人的问题：如何在可用内存不足的情况下运行超大模型。对于一个 400B 参数的模型，即使是使用 FP16 格式，也需要大约 800GB ...