Svmuu訊 智譜面向部分企業客户推出 GLM-5.1 高速版 API,其模型輸出速度達到 400 tokens/s,刷新全球大模型官方介面端到端速度紀錄。
據瞭解,該高速版在保留原有旗艦模型能力基礎上,由智譜與 TileRT 團隊聯合研發的高性能推理引擎驅動。該引擎透過重構 GPU 運行排程機制,將模型靜態編排為常駐 GPU 的 persistent Engine Kernel,以降低傳統推理中的核心啟動與顯存讀寫延遲。
在多卡場景下,TileRT 進一步將 8 卡 NVL 拓撲中的 GPU 節點特化為不同功能 Worker,以提升注意力層計算與跨卡通訊效率。
目前,該高速版服務已向智譜 MaaS 平台部分企業客户開放。未來將繼續優化 FP8 推理及超長上下文能力,面向 AI 程式設計、即時互動與即時語音等低延遲場景提供支援。
智譜發佈GLM-5.1高速版API,輸出速度達400 tokens/s
免責聲明:本內容僅代表作者個人觀點,不構成任何投資理財建議。如有發現違規內容點擊舉報
24小時熱榜
-
1
SpaceX IPO推動代幣化股票交易創紀錄,6月鏈上交易量達38.6億美元
-
2
Michael Coates:已出任Solana基金會首席信息安全官
-
3
微軟在部分應用中以自研AI模型取代OpenAI和Anthropic的模型
-
4
EIA:大多數原油產量將在今年年底前恢復至戰前水平
-
5
COTI幣價值與長期投資潛力分析
-
6
FLOW幣價值解析:值得長期投資嗎?
-
7
BENJIb與Meme幣永續合約:加密市場新風暴來襲!
-
8
DVPN 代幣的購買與交易指南及上線交易所
-
9
DEC幣是什麼?Dark Energy Crystals (DEC) 價格、總量和交易平台介紹
-
10
NOMAD幣是什麼?NOMAD幣的交易與現狀解析
推薦閱讀








