Local AI 手機端離線 GGUF 模型實戰指南

Local AI 是什麼、能幹嘛、適合誰

這就是 離線AI 的典型形態——Local AI 是一款把大語言模型直接跑在你安卓手機上的本機 AI 助手——完全不需要網路連線就能對話、識圖、跑各種 GGUF 量化模型。對比市面上所有依賴雲端 API 的 AI 聊天應用，它最核心的差異只有一個：資料永遠不出你的手機。

這件事的實際意義比聽起來大。你可以在捷運上、地下室、或是任何沒有訊號的地方正常用 AI，而且不用擔心聊天紀錄被上傳到任何伺服器。對隱私有要求、對雲端延遲敏感、或是單純想把玩本地 LLM 的玩家來說，Local AI 打開了手機跑 AI 的另一條路。

它的底層是 llama.cpp，支援社區主流的 GGUF 量化格式，從 1.5B 到 7B 參數的模型都能載入，還能跑 VL 架構的多模態識圖模型。換句話說，你在魔搭社區或 Hugging Face 上能找到的大部分 GGUF，都可以直接丟進 Local AI 裡跑。

安裝

Local AI 的安裝包是標準 Android APK，大小約 193 MB，支援 Android 8.0 以上的裝置。安裝本身沒有什麼特殊前置條件，但有幾件事值得先確認：

平台與硬體門檻：雖然官方沒有明寫最低記憶體要求，但實測下來，順利載入 3B 模型至少需要手機有 6 GB 以上的可用 RAM（系統總記憶體通常要 8 GB 起步）。7B 模型建議 12 GB RAM 以上比較穩，載入後整個模型會常駐在記憶體裡，再加上應用本身的開銷，記憶體不夠就會直接閃退或卡死。

安裝方式：從 Local AI官網 下載 APK，直接點擊安裝即可。第一次開啟時，系統會要求授予「儲存空間」權限——這是必要的，因為 GGUF 模型檔案需要從手機儲存區讀取。如果拒絕這個權限，模型管理頁會一直顯示空白，無法載入任何模型。

首次啟動：安裝完成打開 Local AI，應用會進入空白的模型管理頁——這是正常的。Local AI 本身不內建任何模型，所有 GGUF 都需要你自己下載或導入。點畫面上的 + 按鈕，有兩個選擇：從魔搭社區下載（內建瀏覽器，直接搜尋並下載熱門模型），或是從手機儲存導入（你自己預先放好的 .gguf 檔案）。

安裝後的硬體常見坑：舊款手機的 CPU 如果不支援某些指令集（特別是較早的驍龍 6xx 或聯發科入門芯片），即使記憶體夠也可能在載入時報錯。遇到這種情況時，先試著在 GGUF 精細設定裡把 GPU Offload 關掉（「禁用 GPU 加速」打開）、只用 CPU 跑；如果還是不行，大概率是這台裝置本身跑不動本地 LLM，只能換設備。

前置條件：裝完之後先準備什麼

好，APK 裝完了、權限給了、應用打開了——接下來有兩件事要先搞定，再進入模型對話本身。

第一個：確認手機記憶體夠不夠。打開 Local AI 之前，先去系統設定 → 應用程式管理，把後台掛著的其他 App 全部划掉。本地跑模型是吃記憶體的任務，後台留個兩三個重 App（例如遊戲或導航），模型載入到一半閃退是常見狀況。記憶體越乾淨越好，必要時可以重開機一次再進。

第二個：選一顆合適的 GGUF 模型。Local AI 對模型架構沒有特別偏好，但 行動裝置 記憶體有限，從 3B 參數開始最合理。建議從魔搭社區找已經標示「手機友善」或「低資源」的版本，量化檔大小大概在 2 GB 到 4 GB 之間的都能接受。7B 模型不是不能跑，但需要 12 GB 以上記憶體的手機才穩，入門時不建議直接衝。

步驟一：下載或導入你的第一顆模型

打開 Local AI，進入模型管理頁，點右上角的 + 按鈕。這裡會彈出兩個選項：

• 從魔搭社區下載：內建瀏覽器會直接載入魔搭的模型清單，你可以在上面搜尋「Qwen」「Llama」「Gemma」等關鍵字，找到有 GGUF 量化版本的模型後點進去，頁面上會有「下載 GGUF」的按鈕。下載是 Wi-Fi 環境下進行比較穩，中途關閉 Local AI 或切換到其他 App 都可能導致檔案不完整。
• 從本地導入：如果你已經把 .gguf 檔案透過數據線或雲盤下載到手機裡，選這個選項會彈出手機的檔案瀏覽器，找到你的 .gguf 檔案點選就行。導入後 Local AI 會自動讀取檔案頭、解析架構和參數量，顯示為「就緒」狀態就可以用了。

導入完成後的模型清單上，每個模型條目應該會顯示參數量（例如 3B）、架構名（例如 qwen2、gemma2）和「就緒」狀態。如果狀態一直停在「載入中」或是直接報錯，八成是檔案在下載或傳輸過程中損壞了——刪掉重新下載一次就好。

步驟二：第一顆模型載入與首次對話

模型下載或導入完成後，在模型管理頁點一下那顆模型，Local AI 就會開始載入。載入時間跟模型大小和手機記憶體速度有關，3B 模型大概 30 秒到 1 分鐘，7B 可能要 2 分鐘以上。

載入完成後會自動跳轉到對話頁，這時你就可以開始跟模型聊天了。輸入框旁邊有一個 📷 按鈕——如果你的模型是 VL 架構的多模態版本，點這個按鈕可以從相簿選圖或拍照，模型會在本地分析圖片內容並回覆；純文字模型的話這個按鈕也存在，但實際上不會處理圖片。

第一次對話建議先做個小測試：輸入一句簡單的中文問句，例如「用一句話解釋什麼是 GGUF」。如果模型正常回覆、沒有閃退或卡死，說明環境跑通了；如果載入完一發送就閃退，去 GGUF 精細設定把 GPU Offload 關掉（「禁用 GPU 加速」打開），用純 CPU 模式再試一次。

步驟三：GGUF 精細設定，調到最適合你的手機

Local AI 預設的 GGUF 參數對大多數手機來說是安全的，但不一定是最快的。模型管理頁點進某顆模型 → 選「GGUF 精細設定」，裡面有幾個值得關注的參數：

• 批次大小（Batch）：模型一次處理多少 token 的批大小。預設值對 3B 模型通常是 512，如果你手機比較卡、長對話容易中途掛掉，可以調小到 256，每次處理更少 token，記憶體峰值更低。
• 物理批次大小（U-Batch）：分塊處理的批次上限，預設 128。一般不用動。
• 禁用 GPU 加速 / GPU 層數：GPU Offload 把手機的硬體加速單元利用起來，但如果你的手機 Vulkan 支援不好，開了反而會崩。最穩的做法是先開著「禁用 GPU 加速」用 CPU 跑，確認沒問題後再慢慢往上加 GPU 層數（從 2 開始試）。
• 上下文長度：模型架構層面的硬限制，決定最多能處理多少 token 的輸入。3B 模型預設 8192 或 16384 就夠用了，不要超過模型實際支援的上限——超了載入會失敗。

調整完記得點「儲存」，然後重新載入模型讓設定生效。一次只改一個參數，不要同時動三四個——出了問題你才知道是哪個參數導致的。

新手最容易翻車的三個點

記憶體不夠導致載入閃退——這是新手碰到頻率最高的問題。載入到一半卡死、進對話一發送就閃退，十有八九是 RAM 被佔滿了。解法：換小一號的模型（7B → 3B → 1.5B）、清乾淨後台 App、實在不行就手機重開機。Local AI 的底層 llama.cpp 對記憶體是硬需求，沒有任何軟體層的魔法可以繞過。

GGUF 檔案下載損壞——載入直接報錯、提示「檔案格式錯誤」或「無法解析」，通常是下載過程中網路不穩導致檔案頭損壞或中間資料缺失。解法很簡單：刪掉那顆模型，Wi-Fi 環境下重新下載，下載途中不要切換到其他重 App。

GPU Offload 開太猛——模型能載入但一開始對話就閃退，或是回覆速度極慢。這是 GPU 層數開太多、或是你的手機 Vulkan 支援不完整導致的。進 GGUF 精細設定，把「禁用 GPU 加速」打開、GPU 層數設為 0，用純 CPU 跑確認正常後，再慢慢往上加。

往下還能玩什麼

跑通第一顆文字模型之後，你可以試試 VL 架構的多模態模型（例如 Qwen2-VL-2B），把手機變成一個強大的 手機助手——讀截圖、識票據、解釋照片內容，全部在本機完成，不需要把圖片上傳到任何雲端。對隱私敏感的場景（例如識別工作文件、私密照片）來說，這個功能的實用性遠超你想像。

本文為個人基於網路公開資料整理編寫，非官方內容，僅供學習交流參考；軟體版權歸原作者所有，請支持正版；使用過程中遇到問題請查閱官方管道，本文不承擔任何責任。