Portable SSD 小貼士

 最近買左附有USB-C 轉USB-A 轉接線的Portable SSD 先發現原來行USB-C 原生位駁notebook 比用轉接線駁USB-A 熱。 

舊iPhone 運行本地AI LLM 模型

iOS 26.1 推出之後，香港及台灣近兩年的iPhone (15pro/16/17) 終於有apple 內建的AI 用。 更舊的手機又有無辦法用AI LLM 模型呢？ 除左經瀏覽器用線上的AI, 其實舊一些的iPhone 效能亦足夠在本地運行非常細小的AI 模型，拿來做簡單對答或翻譯文字亦是足夠的。

一般而言，可以因應iPhone RAM 的大小，下載不超過1/3 大的模型。如果iPhone 較新，例如14 pro 有6GB ram, 已經可以運行大約2GB 大的AI 模型。較舊的例如iPhone 8 plus 有3GB ram, 可以運行大約1GB 大的模型。

不過可以運作不代表實際可以流暢使用，舊的iPhone 8 plus 由於iOS 版本較舊，並不能有效使用GPU/NPU 運行AI 模型，1GB 大的模型運作速度只有大約10tokens/sec, 遠遠未達到流暢的速度，如果用細一些的模型，例如約300MB 大的模型，速度達30 tokens/sec, 但對答錯誤明顯增多，AI 模型幫到手的事情就更少了。

iOS 16 的舊iPhone 現時可以下載pocketpal 程式使用AI, 這程式支援從huggingface 下載AI 模型，可以選擇不同大小及性能的模型。最重要的要選擇適當的cache type, 以及將context size 增大，就可以更快得到AI 回應。

較新的iOS users 可以下載locally 軟件，裡面注明不同模型適用的iPhone 類型，亦比較少設定需要使用。

如果要用iPhone 運行AI 本地繪圖，則要使用drawthings app, 這個app 在iPhone 14 pro 之下，使用較舊及少RAM 使用的SDXL turbo 模型行3 steps 繪畫，大約30-60秒就可以畫到一幅圖，部分非畫真人的圖畫效果亦不錯。不過畫真人場景就麻麻地，用線上網站會比較好。