Ollama是运行本地LLM的最快途径，只需一条命令安装和一条命令运行。Mac Mini M4 Pro 48GB（约1999美元）被认为是性价比最高的硬件。Q4_K_M量化格式适合大多数用户使用。开放权重模型如GLM-5、MiniMax M2和Hermes 4在多种任务中表现出色。该指南涵盖了10种推理工具、各种量化格式、不同预算的硬件以及推动这一切的开发者。...