按手机内存选 GGUF 模型参数量
基本原理
GGUF 模型加载到手机内存后，整个文件待在 RAM 里——文件多大就要占用差不多的可用内存。这意味着你的手机剩余可用内存，直接决定了能跑多大的模型。
注意一个容易忽略的细节：可用内存 ≠ 标称内存。标称 8 GB 的手机，系统和后台应用通常会吃掉 2~3 GB，剩下的才是模型能用的。看可用内存时记得给系统留 1 GB 以上余量——加载失败或一对话就闪退，多半是这条没满足。
各档内存推荐
| 标称内存 | 推荐参数量 | 典型文件大小 | 量化档位 | 体验预期 |
|---|---|---|---|---|
| 6 GB | 1B~2B | 0.8~1.5 GB | Q4_K_M | 响应快（10+ token/s），回答质量有限 |
| 8 GB | 2B~3B | 1.5~2.5 GB | Q4_K_M | 日常问答够用，需要清后台 |
| 12 GB | 4B~7B | 3~4.5 GB | Q4_K_M / Q5_K_M | 中上体验，长对话稳定 |
| 16 GB+ | 7B 稳定 | 4~5 GB | Q5_K_M / Q8 | 手机上的天花板，接近 PC 端体验 |
量化档位怎么选
GGUF 支持多个量化档位，核心是质量与体积的取舍。档位名称里的数字代表每参数用多少 bit 存储：
- Q4_K_M（~4.8 bit/参数）：最常用的平衡点，体积约为 FP16 的 28%，质量损失约 2~3%。手机端首选
- Q5_K_M（~5.5 bit/参数）：质量更好，体积比 Q4_K_M 大约 20%。内存充裕时推荐
- Q8_0（8 bit/参数）：质量最接近原版，体积大很多。只有 16 GB+ 内存才考虑
- Q2 / Q3：体积最小，但质量下降明显，不推荐日常使用
简单记法：从 Q4_K_M 起步，内存还有富余再上 Q5_K_M。
主流模型在手机上的表现
以下是社区反馈较多、Local AI 能直接跑的模型系列（建议从魔搭社区下载对应的 GGUF 量化版本）：
| 模型系列 | 推荐参数量 | 适用场景 |
|---|---|---|
| Qwen2.5 / Qwen3 | 1.5B / 3B / 7B | 中文能力强，日常问答首选 |
| DeepSeek-R1-Distill | 1.5B / 3B / 7B | 推理任务表现好（蒸馏版） |
| Llama 3.2 / 3.1 | 1B / 3B / 7B | 英文原生，中文一般 |
| Gemma 2 | 2B / 4B / 9B | Google 开源，小模型表现不错 |
| Phi-3.5 | 1.5B / 3.8B | 微软小模型，代码能力好 |
避免踩坑
- 先下载一个小的试试，满意再换大的——大模型下载几 GB，Wi-Fi 下也要等很久
- 同时开多个大模型会爆内存。Local AI 默认一次只用一个，切换时自动释放前一个
- 旗舰机（骁龙 8 Gen 3+、天玑 9300+）跑 7B Q4_K_M 能到 15~20 token/s；中端机通常 5~10 token/s
- 过热降频后速度会明显下滑，保持亮屏、插电使用，跑长会话前关掉后台大应用