这一两年，大家都被内存、SSD、存储设备的涨价搞破防了吧？

跟AI大模型沾点边的“存储器”，都在猛涨！

请注意, 按照著名机构TrendForce预测, 在2026年的第三个季度之中, DRAM合约价格将会比上一个统计周期环比提升13%至18%程度, NAND Flash合约价格会出现10%至15%的上涨现象。

这种“涨不停”形成了让人无语的尴尬循环↓

大模型使得存储需求迎来了推高的情况, 而存储出现涨价的状况, 这又反过来将大模型的推理成本予以抬高了。

而偏偏这时候，推理需求彻底大爆发！

语境范围持续增大, 相互交流的轮次不断增多时, 大型模型越发难以承受运用成本, 其运行速度迟缓, 耗费资金高昂。

为什么大模型这么“吃存储”？

背后的所有一切, 都无法避开大模型推理的一项细节技术, 这项技术是, KV Cache。

KV Cache是个大冤种

KV Cache相当于大模型的“工作记忆”。

大模型的思维线路有点与众不同, 于回答问题之际, 每吐出一个新的字词单位, 都得将此前的上下文再度作为参考。

仿若有个傻乎乎的小子去爬楼, 每朝着上方爬一层之后, 都得回到一楼再度积攒力量, 然后把已经爬过的楼层再重新爬上一遍…

你说折腾不折腾。

为了解决大模型这种死脑筋，KV Cache机制就出现了。

它将先前已计算得出的Key以及Value保存在缓存内部, 在下次生成全新Token之际, 模型仅仅需要对新增部分进行计算, 历史结果直接自KV Cache当中获取。

具备了这份记忆, 大模型尽管依旧是那个思考路径, 然而却无需针对先前的内容开展重复运算了。

然而, 这份记忆是存在代价的, 它不但十分占地方, 而且还得优先放置于速度快、价格高这般的GPU HBM显存之中。

模型参数越大, 上下文越长, 对应的对话轮数越多, 并发用户越多, 在此情况下, KV Cache所占用的显存也就越大。

显存的价格高昂, 根本没办法全部都用于放置KV Cache, 而且还得用来放置模型权重, 以及激活值等等。

放不下怎么办呢，挪到便宜一点的DRAM内存和本地SSD里。

那种传统的KV Cache进行扩容的思路是既简单又显得粗暴的, 具体表现为, 要是GPU的显存已经不够用了, 那就去增加显存, 倘若内存不够了, 那就去增加内存, 然后再借助本地的SSD来承接出现了溢出情况的缓存。

实施这套方法, 的确能够承载更为冗长的上下文, 进而提升推理效率, 然而, 成本会跟随着业务规模一同增长。

一个更为突出的问题显现出来了, 传统的KV Cache, 常规地被限定于单次对话范围之内, 或者单块GPU之上, 又或者单个节点之中, 难以做到在整个集群范畴里进行共享。

与此同时, 当企业进行大模型部署之际, 数量众多的请求常常会运用于同一套系统提示词, 以及同一套知识库, 还有同一套行业文档, 另外还有同一套标准模板。

不同用户所提出的问题存在着差异, 然而前面部分的公共上下文则极有可能呈现出高度的相似性, 可是这些公共上下文所具有的KV Cache, 却被重复地进行了缓存。

集群规模越大，这种重复消耗也越容易被放大。

一者, KV Cache反复耗费存储空间, 二者, 存储产品（特别是显存/内存）价格再三上涨, 企业已然无法再扩充了。

压根儿你就没料到, 原本专门用以提升推理效率而被拿出来的KV Cache, 居然摇身一变成为了拖后腿的大冤种。

必须要对KV Cache下手了

在这般情形下, 于提升推理效率的目的达成之际, 且不会额外增添过多存储成本。

很多企业希望围绕KV Cache下手，进行优化↓

其实，破局的关键

是重新设计KV Cache的保存位置、复用范围和调度方式。

理儿都懂，但要商业化落地，却没有那么简单。

此时，国内顶流存储大厂中科曙光给出了解法↓

ParaCache高效管理系统

ParaCache依据存算协同理念, 建起分布式共享缓存体系, 构建起该体系。

在硬件的这一层面, 它将显存予以打通, 将内存予以打通, 将本地SSD予以打通, 还将集中式存储予以打通, 除此之外, 把分布式共享存储也予以打通。

从运行的层面来看, 它使得KV缓存脱离了原本属于本机的范畴, 达成了跨越请求的复用, 实现了跨越GPU的复用, 还实现了跨越节点的复用。

这里面的关键技术有三步↓

第一个步骤, 对缓存池进行重新塑造, 从而打造出能够被称作是在业界范围之内最为完整的KV Cache层级以及池化现象。

ParaCache会提供四级缓存层级, 它并非只有传统KV Cache所涵盖的三级缓存那般, 这三级缓存分别是显存, 内存, 以及本地SSD, 它还会将集中式存储FlashNexus纳入其中, 以此来替换本地SSD。

还有更具创新点的第4层, ParaCashe冲破了传统分布式存储仅可进行备份的限定, 使得ParaStor分布式存储摇身一变成为生产级L4 KV Cache共享缓存池。

ParaStor可以如同其他层级的缓存, 一同参与KV Cahe的所有跃迁行为, 然而其成本要远远低于其他层级。

第二步，智能跃迁，给不同“温度”的KV安排最合适的位置。

访问次数较为频繁的热KV被放置于显存之当中, 以此确保读取的速度, 而访问频率有所下降的温KV会进入到内存里, 随后依据温度按照等级逐步下放到本地SSD或者集中式存储, 进而再到分布式存储。

当然，这种智能分层不是一成不变的。

ParaCache会借助智能稀疏机制, 凭借动态淘汰机制, 依靠层级跃迁机制, 依据访问情况, 自动迁移缓存。

第三个步骤, 是进行全局元数据管理, 要将那些分散开来的KV Cache变为整个集群层面的共享资源。

凭借全局元数据管理, ParaCache构建起一个全局共享的“记忆池”, 致使计算结果于不同请求、GPU以及节点之间得以流动起来。

并通过全局预取、预热能力，提升推理性能。

曙光ParaCache带来了什么

ParaCache带来的价值，我们可以概括为“多快好省”。

先看推理用户感受最直观的快↓

首Token时延, 这被称作TTFT, 它属于一种直接体验指标, 凭借该指标能够去推理用户对于模型快不快的判断。

输入的长度处于120K这个数值时, ParaCache能够让单轮对话的TTFT得到降低, 降低幅度以最高达到百分之九十八点五为限, 实现的结果是降至400毫秒。

多轮会话TTFT降低超过80%，降至4.9秒。

再看衡量集群token生产效率的多↓

高并发场景中，大量请求共享相同的知识库、提示词和行业文档。

ParaCache促使这部分公共内容仅计算一回, 随后KV Cache能够被整个集群重复使用。

如此一来, GPU的算力能够去处理更多具有各种不同特点, 存在差异的Token , 进而使得整个集群在Token方面的吞吐能力得到极大程度的提升。

接下来看迁移上手是否好用↓

ParaCache在原生方面对LMCache开源生态是兼容的, 企业不用进行大规模地去重构现有的推理技术栈, 能够保留已有的技术投入, 以此来降低集群改造以及系统迁移的风险。

最后，面对内外存涨价压力，如何帮企业省一点↓

企业借助四级缓存以及冷热分层, 无需将全部的KV Cache留存于高成本的显存以及大容量的内存里。

凭借集中式同分布式存储, 削减推理系统对于本地大内存的依靠, 像曙光联合ParaCache特地推出FlashNexus Neo全闪, 进而构建 L3 KV Cache 池。

这表明企业存在着这样一种机会, 即能够运用成本更为低廉的硬件, 以承载超长的Token任务, 进而使得单次Token生成的硬件成本得以降低, 同时也让集群整体的TCO有所降低。

这一回，推理成本飞涨的压力，终于能缓解了。

在兼顾现有生态的情况下, 省硬件, 降时延, 提吞吐, 此次, 曙光对KV Cache采取的举措, 足够狠辣且精准。

而ParaCache缓存管理系统, 算得上是中科曙光AI数据工厂理念当中的一项重要技术实现落地了。

由于处在推理时代, 所以 AI 数据工厂的效率, 一方面取决于具备的算力数量, 另一方面取决于节省的算力数量。

Cache虽是小细节，拼的却是真功夫。