Svmuu訊 Vitalik Buterin 發文分享其截至 2026 年 4 月的本地化、私有化 LLM 部署方案,核心目標是將隱私、安全與自主可控作為前提,盡量減少遠端模型及外部服務接觸個人資料的機會,並透過本地推理、檔案本地儲存及沙箱隔離等方式降低資料外洩、模型越獄及惡意內容利用風險。
在硬體方面,其測試了搭載 NVIDIA 5090 GPU 的筆記型電腦、AMD Ryzen AI Max Pro 128 GB 統一記憶體裝置及 DGX Spark 等方案,並使用 Qwen3.5 35B 與 122B 模型進行本地推理。其中,5090 筆記型電腦在 35B 模型下可達約 90 tokens/s,AMD 方案約 51 tokens/s,DGX Spark 約 60 tokens/s。Vitalik 表示,其更傾向於基於高效能筆記型電腦建構本地 AI 環境,同時使用 llama-server、llama-swap 及 NixOS 等工具搭建整體工作流程。
24小時熱榜
-
1
CRI幣(Crypto International)項目解析與市場現狀
-
2
SK海力士正與英特爾洽談潛在的美國內存生產協議
-
3
Fetch.ai (FET) 代幣解析:項目現狀與投資考量
-
4
XLM幣價值解析:Stellar Lumens的定位、進展與市場展望
-
5
Bybit 將調整部分永續合約(包括 1000XECUSDT 和 BLASTUSDT)的風險限額和槓桿倍數,新規將於 2026 年 9 月 18 日起生效
-
6
Anthropic在呼籲AI放緩後,於澳大利亞簽下首份數據中心租約,規劃總容量達2.16吉瓦
-
7
MCG幣解析:MetalCore、Microcap Gem與MicroChains Gov Token的現狀與前景
-
8
COB幣:Cobinhood交易所代幣的興衰與現狀
-
9
中國AI公司智譜CoWork業務進展迅速,GLM-5.3發佈一個月內行業訂單金額超10億元
-
10
日經:日本三菱日聯銀行將引入指導方針,為國防工業提供融資
今日行情
推薦閱讀







