本篇文章更新時間：2026/01/16
如有資訊過時或語誤之處，歡迎使用 Contact 功能通知。
一介資男的 LINE 社群開站囉！歡迎入群聊聊～
如果本站內容對你有幫助，歡迎使用 BFX Pay 加密貨幣 或 新台幣 贊助支持。
內容目錄
FuriosaAI 推出 NXT RNGD Server：以更低能耗、快速部署打造下一代 AI 基礎設施
編輯前言：這篇來自 Introducing Furiosa NXT RNGD Server 的文章，談的不只是新硬體，而是一套讓企業真正能「把 AI 推論落地」的完整系統。我讀完後最大的感受是：FuriosaAI 正在從另一個角度挑戰 GPU 主導的市場，尤其是針對受限於電力、散熱與現有機房環境的企業。
核心觀點 (Key Takeaways)
- NXT RNGD Server 是一套開箱即可投入生產的 AI 推論專用伺服器，隨機附帶 Furiosa SDK 與 LLM runtime。
- 不需液冷、不需特殊互聯，3 kW 即可運行，適用於大多數傳統氣冷機房。
- 實測性能已被 LG AI Research 驗證，EXAONE 3.5 32B 在單機四卡配置下達到每秒 60 tokens。
深入解析
這款 NXT RNGD Server 的定位非常明確：不是要跟 GPU 搶訓練市場，而是專攻企業最頭痛的 AI 推論落地。原文強調它是一個完整的 turnkey system，意思是企業買了就能用，不需要花時間整合軟體、驅動、容器、環境。
原文提到：
系統預載 Furiosa SDK 與 Furiosa LLM runtime，應用程式在安裝後即可運作。
這點對企業部署至關重要，因為傳統 GPU 方案常需要大量調校與整合，而 Furiosa 的做法類似「AI 推論家電化」。
-
兼容性與低功耗：真正的痛點解法：文章指出 80% 的資料中心都是氣冷、且每 rack 只能跑到 8 kW 以下，這時 GPU 那種單台 10 kW 起跳、還需要液冷的設備根本放不進現有機房。而 NXT RNGD 的 3 kW 設計，讓它幾乎不需改動就能部署。
-
硬體規格強調推論最佳化：這台伺服器可搭載最多 8 張 RNGD 卡，提供高達 4 petaFLOPS FP8 性能。記憶體部分包含 384 GB HBM3（12 TB/s 帶寬）與 1 TB DDR5 系統記憶體，規格明顯為大模型推論所設計。
-
LG AI Research 實測成績亮眼：
EXAONE 3.5 32B，在 batch size 1 的情況下，4 張 RNGD 卡達到 60 tokens/s（4K context）、50 tokens/s（32K context）。
這代表 NXT RNGD Server 在「單用戶對話式生成」場景非常強，能滿足企業級的 LLM 即時回應需求。
筆者心得與啟發
讀完後，我覺得 FuriosaAI 踩到了一個很關鍵的產業痛點：多數企業不是缺 GPU，而是缺能部署 GPU 的環境。機房不支援液冷、電力不夠、運維負擔太重，這些都使得大模型推論的落地卡關。而 NXT RNGD Server 的思路完全相反，不是要求企業升級設備，而是把 AI 推論做成能直接進現有機房的形態。
這讓我想到一個重要趨勢：AI 基礎設施不會只往更大、更熱、更耗電走，也會往「更實用、更經濟、更容易部署」演化。從文章提供的資訊來看，FuriosaAI 正在打造一條平行於 GPU 的推論生態系，包括 SDK、runtime、Kubernetes 支援、OpenAI API 相容性等。
如果你是：
- 想在內網落地 AI 的企業
- 有隱私或法規需求、不能上雲的組織
- 現有機房受限於電力/散熱的 IT 團隊
NXT RNGD Server 很可能會是未來值得高度關注的一條路。