AI 推理性能大提升：华为 UCM 技术开源，系统吞吐猛增 22 倍

【导(dǎo)语(yǔ)】11月(yuè)5日(rì)，华(huá)为(wèi)宣(xuān)布(bù)开(kāi)源(yuán)AI推(tuī)理(lǐ)加(jiā)速(sù)关键技(jì)术(shù)UCM（Unified Cache Manager）推(tuī)理(lǐ)记(jì)忆(yì)数(shù)据(jù)管(guǎn)理(lǐ)，其(qí)通(tōng)过(guò)多(duō)层(céng)协(xié)同(tóng)破(pò)解(jiě)长(zhǎng)序(xù)列(liè)推(tuī)理(lǐ)难(nán)题(tí)，具(jù)备(bèi)四(sì)大(dà)关键能(néng)力，可显著提升AI推理性能，现已在ModelEngine社区开放相关资源。

　　11 月 5 日消息，华为宣布，该公司针对 AI 推理加速的关键技术 ——UCM（Unified Cache Manager）推理记忆数据管理正式宣布开源。

　　UCM 以 KV Cache 多级缓存和推理记忆管理为中心，通过推理框架、算力、存储的三层协同，宣称可破解长序列推理效率低、成本高的难题，为企业提供更优的 AI 推理体验。

　　UCM 融合了多类型缓存加速算法工具，可分级管理在推理过程中产生的 KV Cache 记忆数据。UCM 架构包含多个协同工作的关键功能模块，具体如下：

　　UCM 稀疏化模块（UcmSparseBase）：兼容多种稀疏算法的统一基类，负责稀疏 KV Cache Block 的卸载、加载与计算，实现“零感知”插拔式稀疏化。在不影响整体推理流程的前提下，能够灵活适配不同稀疏算法以提升推理效率。

　　稀疏化 KV 管理器（SparseKVManager）：面向算法级定制的 KV Cache Block 分配总控器，各稀疏算法以多态子类形式将自身分配逻辑注入框架，实现不同稀疏算法策略与推理引擎解耦，满足差异化推理场景需求。

　　KV Cache 存储组件（UcmKVStoreBase）：负责提供与外部存储通信的通用接口。该组件支持稀疏算法与存储后端解耦，可无缝对接任意存储系统，同时支持前缀缓存，为数据存储提供了灵活多样的选择。

　　UCM 连接器（UC Connector）：桥接 KV Cache 存储组件与推理引擎，保障数据在不同组件之间的高效传输，实现高可靠的前缀缓存能力。

　　基于以上架构，UCM 目前具备四大关键能力：稀疏注意力、前缀缓存、预填充卸载、异构 PD 解耦，实现首 Token 时延最高降低 90%，系统吞吐最大提升 22 倍，并达到 10 倍级上下文窗口扩展，显著提升了 AI 推理性能。

　　UCM 已在 ModelEngine 社区开放基础框架与工具链，开发者可通过社区获取 UCM 源代码与技术文档。