由於美國出口限制,中國很難獲得 HBM 等關鍵資源。對此,華為打算幫助中國科技市場不再依賴 HBM。根據市場消息,華為開發一款名為「統一快取管理器」(Unified Cache Manager,簡稱 UCM)的新軟體工具,無需使用 HBM 即可加速大型語言模型(LLM)的訓練與推理。
華為週二(12 日)在 2025 金融 AI 推理應用落地與發展論壇上發表 UCM 工具。該軟體根據不同記憶體類型的延遲特性,以及各類 AI 應用的延遲需求,將 AI 資料分配在 HBM、標準 DRAM 與 SSD 之間。
華為資料儲存產品副總裁躍峰指出,目前 AI 推理面臨三大問題:「推不動」(輸入內容太長超出處理範圍)、「推得慢」(回應速度太慢)、「推得貴」(運算成本太高)。
UCM 透過「分層記憶」的 Key-Value 快取架構,根據系統的可用資源速度最大化。
據介紹,華為這次發布的 UCM,是做為一款以 KV 快取(KV Cache)為中心的推理加速套件,融合多類型緩存加速演算法工具,分級管理推理過程中產生的 KV 快取記憶數據,擴大推理上下文視窗,實現高吞吐、低時延的推理體驗,並降低每 Token 推理成本。
UCM 在發表前已進行過長時間的實際應用測試。周躍峰指出,UCM 曾在中國銀聯中試用,應用場景包括「客戶語音分析、行銷規劃與辦公協助」。根據華為數據,搭配傳統快取與儲存技術的系統,在 AI 推理任務中使用 UCM,可將延遲降低最高達 90%,吞吐量提升至 22 倍。
華為計劃 9 月正式開源 UCM,屆時將在魔擎社區首發,後續逐步貢獻給業界主流推理引擎社群,並共享給業內所有 Share Everything(共享架構)儲存廠商和生態夥伴。
由於目前 HBM 晶片幾乎全由 SK 海力士、三星及美光生產,而美國一直致力於阻撓中國購買或自製 HBM,而 UCM 的出現有望擺脫美國牽制,加速中國晶片技術自主化。
(首圖來源:Flickr/Web Summit CC BY 2.0)
文章看完覺得有幫助,何不給我們一個鼓勵
請我們喝杯咖啡您的咖啡贊助將是讓我們持續走下去的動力
總金額共新臺幣 0 元 《關於請喝咖啡的 Q & A》 取消 確認(责任编辑:林肯公园)
”方晔顿说,“我们想做外国人在中国的MCN公司(Multi-channelNetwork,为内容生产者或生产商提供变现方案的公司),与创业者协作,让他们的内容加入到&lsquo...[详细]
雕爷牛腩的格局和视野很高,但依旧存在以下几个问题: 网络营销过度与消费者预期形成落差 雕爷牛腩通过一系列事件营销和话题炒作吸引了足够多的关注,也成功地提高了品牌辨识度。...[详细]传奇仍在继续!40岁C罗世界杯预选赛打入39球,成为世预赛射手王
因为信军和我都非常明白一点:不进则退。...[详细]
我忽然觉得我找到了交换友情链接的关键难点在哪里了,原来大家是一直困惑于找不到合适的网站交换,目标网站权重太高,根本不可能跟你交换。...[详细]
比如渡鸦科技在被百度收购前,最多只能凭借3款app搭上人工智能的潮流,其产品的简陋其实不足以支撑“智能”两字,而现在有了百度的背后支持,不仅90后创始人真真切切地火了一把,...[详细]
图一:(这是4个广告位的效果图) 上面我们也提到了判定一个广告位是否效果好,我们可以看它所在页面的点击量、转化量、转化明细数这些指标。...[详细]
武汉乐百龄生物科技公司张经理介绍称,其公司最好销售的地区是在上海,当场销了200万。...[详细]
支付方 支付方可以使用数据分析来促进整个医疗系统的价格透明度。...[详细]
3月27日,宣布正式裁员之后,礼物说仍保留其电商导购业务,“仍是很大的淘客”,同时,温城辉表示很看好微信上蓬勃生长的内容创业,将转型为这些内容创业者们提供电商服务和支持,对...[详细]
不过,隔行如隔山,网站建设公司给的建议只是参考同行业的一些经验以及技术优势,企业想要把网站做的更好,还要考虑一些细节问题。...[详细]