NAND闪存在AI应用中的作用

老牛

人工智能大型训练集、模型权重、检查点、向量数据库、RAG语料库、多模态数据、日志和推理结果都需要长期驻留在高容量存储中;训练时，大规模数据需要持续从对象存储和本地NVMe SSD送入GPU集群;推理时代则进一步产生海量KV Cache、长上下文、智能体状态和检索数据。HBM承担最高带宽的“热数据层”，DRAM承担系统工作内存，而企业级NAND SSD承担容量远大于HBM、成本更低的“温数据和持久化层”。因此，NAND不是替代HBM，而是在AI服务器的存储层级中与HBM、DRAM共同扩容。

尤其值得关注的是，$英伟达 (NVDA.US)$正在推动把部分超大规模、短生命周期KV Cache从昂贵的GPU显存扩展至机架或集群级闪存层。铠侠最新CM10系列正针对AI推理、KV Cache和NVIDIA CMX上下文存储方案设计，采用PCIe 6.0、NVMe 2.1及BiCS-10，容量覆盖1.6TB至61.44TB，顺序读取性能较上一代最高提升约92%，随机读取最高提升约85%，并支持冷板液冷。这意味着企业级SSD正从传统后台存储，升级为直接影响GPU利用率、首Token延迟和推理吞吐量的算力基础设施。

文章来源：https://news.futunn.com/post/769 ... et=1776952541657413