舊iPhone 運行本地AI LLM 模型

iOS 26.1 推出之後，香港及台灣近兩年的iPhone (15pro/16/17) 終於有apple 內建的AI 用。 更舊的手機又有無辦法用AI LLM 模型呢？ 除左經瀏覽器用線上的AI, 其實舊一些的iPhone 效能亦足夠在本地運行非常細小的AI 模型，拿來做簡單對答或翻譯文字亦是足夠的。

一般而言，可以因應iPhone RAM 的大小，下載不超過RAM 1/3 大的模型。如果iPhone 較新，例如14 pro 有6GB ram, 已經可以運行大約2GB 大的AI 模型。較舊的例如iPhone 8 plus 有3GB ram, 可以運行大約1GB 大的模型。

不過可以運作不代表實際可以流暢使用，舊的iPhone 8 plus 由於iOS 版本較舊，並不能有效使用GPU/NPU 運行AI 模型，1GB 大的模型運作速度只有大約10tokens/sec, 遠遠未達到流暢的速度，如果用細一些的模型，例如約300MB 大的模型，速度達30 tokens/sec, 但對答錯誤明顯增多，AI 模型幫到手的事情就更少了。

即使是使用iOS 16 的舊iPhone 現時可以下載pocketpal 程式使用AI, 這程式支援從huggingface 下載AI 模型，可以選擇不同大小及性能的模型。最重要的要選擇適當的cache type(一般選擇Q4), 以及將context size 增大（至2048)，就可以更快得到AI 回應。建議可以嘗試下載LFM2-350M, 甚至可以下載LFM2-VL-450M的模型（包括vision 圖像分析功能）

額外閱讀：PocketPal AI 讓 iPhone 運行本地 AI 聊天機器人，支援從 Hugging Face 下載模型 - 電腦王阿達

較新的iOS users 可以下載locally 軟件，裡面注明不同模型適用的iPhone 類型，亦比較少設定需要使用。建議可以嘗試下載LFM2-1.2B 或更大體積的模型。