
自 AI 熱潮爆發以來,越來越多科技用家從原本使用雲端伺服器運行的 AI,轉向追求「本地 AI」,即將大型語言模型直接下載至個人裝置執行,以保障對話私隱。然而,硬件配置能否支撐模型運作一直是不少用家的痛點,最怕便是下載後才發現裝置無法順暢運行。而這次要介紹的,一款名為「CanIRun.ai」的免費線上工具就可以幫到你!用家無需下載任何軟件,只需透過瀏覽器即可測試裝置運行本地模型的表現,不論是電腦、手機、平板都可以!
突破裝置限制 網頁版即時偵測硬件規格
對於本地 AI 而言,裝置最重要的是顯示卡(GPU)以及顯示卡記憶體(VRAM)。而過去用家若要檢測裝置的 AI 運算能力,往往需要下載特定工具(如 llmfit),且僅支援電腦端。因此 CanIRun.ai 則是個更便捷的方案,利用最新的 WebGPU 技術,能直接讀取裝置的硬件配置。用家只需進入網站,系統便會自動掃描並顯示 GPU、VRAM 及記憶體頻寬等資訊。
手機亦同樣,小編用自己的 iPhone 打開 CanIRun.ai 後,亦準確辨別出手機的硬件規格。
評級系統一目了然 支援多種量化格式評估
CanIRun.ai 提供直觀的評級系統。系統偵測硬件後,會針對 Llama、Qwen、Mistral 及 DeepSeek 等主流 AI 模型給出「極佳(Runs great)」、「良好(Runs well)」、「普通(Decent)」或「過載(Too heavy)」的評價。用家可藉此快速判斷哪些模型可以流暢運行,避免浪費時間下載超出硬件負荷的模型。
可以於上方篩選模型,將 All grades 切換成 Can run,網站便會向你推薦你能使用的 AI 模型。
小編的 iPhone 僅有三個 AI 模型的表現為「極佳」。
對於進階用家,該工具亦提供了極為詳盡的技術數據,包括:
- 推論速度: 以每秒生成字符數(token/s)計算預期速度。
- 內存需求: 標示模型運行所需的實際 VRAM。
- 上下文長度: 評估裝置能處理的對話記憶長度。
- 量化支援: 支援由 Q2 至 Q8 以及 F16 等多種量化格式的效能評估。
多功能過濾器 按任務類別精準推薦
考慮到現時 AI 模型種類繁多,用家亦可於上方自行搜尋某一款 AI 能否於自己的裝置上運行。例如可根據特定任務進行篩選 AI,例如聊天、程式編寫、邏輯推理或圖像視覺。
用家亦可按模型供應商,如 Google、OpenAI、NVIDIA、Alibaba 等進行分類。
除了自動偵測,網站亦容許用家手動調整硬件參數,模擬不同設備的配置效能,為有意升級硬件或購買新機的用家提供具價值的參考數據。CanIRun.ai 的出現,大幅降低了本地 AI 的入門門檻,讓用家在保障私隱的同時,能以最高效的方式配置個人本地 AI。
即刻【按此】,用 App 睇更多產品開箱影片
【熱門報道】
Source:ezone.hk
【相關話題】極危險!靜態照片「活化」變假片 央視起底 AI 詐騙黑產業:眨眼、張嘴全自動 認證系統瞬間崩潰
雖然不少人都深知「識用 AI 可以好好用」,但將 AI 用來作奸犯科的話,絕對是不要得的行為。近日央視新聞就報道一宗極危險的 AI 相關罪案,就是山東青島警方破獲 AI 詐騙黑產業,檢獲逾 5 萬條由靜態照片合成動態的人臉影片,作為虛假實名認證的詐騙來獲利。
Source:ezone.hk
【相關話題】AI 時代「這學科」將會逆襲 年薪可高達230萬港幣?
隨著企業正漸漸將 AI 引入職場,眾多打工仔開始擔心自己將被取代。儘管一開始大家認為,未來一定是理科生與「IT仔」的天下,但現在的 AI 不僅會打字,更會自行編寫代碼,理科生與文科生都似乎人人自危。然而,隨著 AI 開始從純技術開發,轉向應用落地與倫理治理,近年職場正經歷一場人才結構轉型。一直相對弱勢的文科生,竟然成為頂級 AI 企業爭相招攬的對象!多家科技大廠甚至已開出 3 萬至 5 萬元月薪,招聘人文學科背景的人才。
Source:ezone.hk
