由於美國出口限制,中國很難獲得 HBM 等關鍵資源。對此,華為打算幫助中國科技市場不再依賴 HBM。根據市場消息,華為開發一款名為「統一快取管理器」(Unified Cache Manager,簡稱 UCM)的新軟體工具,無需使用 HBM 即可加速大型語言模型(LLM)的訓練與推理。
華為週二(12 日)在 2025 金融 AI 推理應用落地與發展論壇上發表 UCM 工具。該軟體根據不同記憶體類型的延遲特性,以及各類 AI 應用的延遲需求,將 AI 資料分配在 HBM、標準 DRAM 與 SSD 之間。
華為資料儲存產品副總裁躍峰指出,目前 AI 推理面臨三大問題:「推不動」(輸入內容太長超出處理範圍)、「推得慢」(回應速度太慢)、「推得貴」(運算成本太高)。
UCM 透過「分層記憶」的 Key-Value 快取架構,根據系統的可用資源速度最大化。
據介紹,華為這次發布的 UCM,是做為一款以 KV 快取(KV Cache)為中心的推理加速套件,融合多類型緩存加速演算法工具,分級管理推理過程中產生的 KV 快取記憶數據,擴大推理上下文視窗,實現高吞吐、低時延的推理體驗,並降低每 Token 推理成本。
UCM 在發表前已進行過長時間的實際應用測試。周躍峰指出,UCM 曾在中國銀聯中試用,應用場景包括「客戶語音分析、行銷規劃與辦公協助」。根據華為數據,搭配傳統快取與儲存技術的系統,在 AI 推理任務中使用 UCM,可將延遲降低最高達 90%,吞吐量提升至 22 倍。
華為計劃 9 月正式開源 UCM,屆時將在魔擎社區首發,後續逐步貢獻給業界主流推理引擎社群,並共享給業內所有 Share Everything(共享架構)儲存廠商和生態夥伴。
由於目前 HBM 晶片幾乎全由 SK 海力士、三星及美光生產,而美國一直致力於阻撓中國購買或自製 HBM,而 UCM 的出現有望擺脫美國牽制,加速中國晶片技術自主化。
(首圖來源:Flickr/Web Summit CC BY 2.0)
文章看完覺得有幫助,何不給我們一個鼓勵
請我們喝杯咖啡您的咖啡贊助將是讓我們持續走下去的動力
總金額共新臺幣 0 元 《關於請喝咖啡的 Q & A》 取消 確認(责任编辑:临沧市)
在产品制造上,格力有一个与众不同的设计理念,那就是不拿消费者当试验品。...[详细]
”拿川上量生的话来说,niconico超会议不仅提高了niconico用户的忠诚度,也成为了对外展示Dwango经营顺利最好的机会。...[详细]
2、定位错误,没有及时转型 刚开始时,俏江南的定位还是比较准的,虽然走的是高档餐饮,但还是以大众消费为核心,很快就成为了家喻户晓的知名企业。...[详细]上半年河北查办网络交易违法案件251件、虚假违法广告罚没1022万
” 李开复说“他是最优秀90后创业者” 有人说他是个张扬、高调的人,上电视节目侃侃而谈自己对世界、对90后的看法。...[详细]
在孙畅看来,当时的目标就是要活下来。...[详细]广东省市场监管局多举措强化网络订餐监管 全力守护消费者舌尖上的安全
“有在中国工作的国际足联B级足球教练;有牛津大学哲学、政治与经济学院毕业,跑来做中西融合音乐的英国小哥;还有北大导演系毕业的女导演,对中美合拍片特别不满意,要拍出更好的合拍片;还有,在...[详细]
作为需求方,需要与产品、设计、开发同学沟通,保证需求不变形,实现最终效果。...[详细]
“完全可以做渠道、做桥梁。...[详细]
7、如何跟踪应用内购买 使用第三方平台,并在APP中设置相关自定义归因代码,以跟踪用户在苹果竞价广告里安装应用后所做的一些操作。...[详细]今日要闻!国家林业和草原局原总经济师张鸿文接受纪律审查和监察调查
当时餐饮业在众多行业中脱颖而出,成为许多PE逆市投资的最重要选择。...[详细]