Local AI 离线大模型手机端使用指南

Local AI 是什么

Local AI（清鸽 LocalAI）是一款运行在安卓手机上的离线大模型对话应用。它不连接任何云端服务，推理全程在本机完成——装一个 GGUF 模型文件进去，飞行模式下就能照常对话。没有账号注册环节，聊天记录不离开设备。

产品档案

硬件速查

应用本体只是个运行器，真正决定体验的是手机运行内存。模型加载后整个待在内存里——文件多大就要占用差不多的可用内存。以下按标称内存对号入座，记得给系统留 1 GB 以上余量：

量化档位从 Q4_K_M 起步——体积与质量的平衡点；内存充裕再上 Q5 / Q8。

结构导览

装前判断 → 先搞清楚这款应用能做什么、你的手机能不能跑。

→ 产品定位与核心能力 → 谁适合用这款应用 → 手机内存怎么挑模型

安装与启动 → 从 APK 到模型就绪，四步走起来。

→ APK 安装四步走 → 魔搭社区一键下载

模型管理 → 下载、导入、切换、删除，模型是这款应用的核心。

→ 本地 GGUF 文件导入 → 多模型共存与切换

对话与调优 → 让输出更稳定、更有创意。

→ 系统提示词自定义 → 上下文轮数调整 → 停止词控制输出边界

多模态识图 → 搭配视觉模型，照片在本地分析。

→ 带视觉能力的 GGUF 模型 → 本地识票据场景

GGUF 精细配置 → 把每一 GB 内存和每一帧算力用在刀刃上。

→ GPU 层数分配 → mmap 与 mlock 内存策略 → Batch 与 U-Batch 参数

隐私与数据 → 了解对话记录和联网边界。

→ 本地存储机制详解 → 飞行模式下的完整功能

问题排查 → 加载失败、闪退、回复慢——这里有解。

→ 模型加载失败修复 → 闪退与 OutOfMemory → 回复很慢与机身发烫

开始之前

装好应用不等于能聊——Local AI 本体不带模型，必须先装入一个 GGUF 模型。第一次使用的最短路径是：装 APK → 进模型管理 → 从魔搭社区按内存挑一个 → 等状态变为就绪 → 开始对话。

下面的章节会逐步带你走完每一步。