【美光：芯片存储注定长期短缺 AI数据中心的记忆体有五大层级】 美光科技Jeremy Werner称本轮记忆体繁荣与以往周期不同，记忆体不足会降低GPU算力利用率。KV缓存需求因上下文窗口变长、模型参数量大、用户增多而膨胀，上下文长度年增30倍。记忆体产能跟不上需求，全球晶圆厂不足，行业满负荷。云服务商资本开支潜力超多数人想象，AI应用场景未饱和，训练时代已过，推理时代开始，智能体和物理AI未大规模落地。AI数据中心记忆体分五层：HBM（紧贴GPU，10-100GB）、主记忆体（CPU连接，HBM的4-20倍）、扩充记忆体（光纤连接未量产）、上下文存储（SSD存KV缓存，黄仁勋提及，容量为HBM的1000倍）、数据湖（EB级SSD）。详情：美光：芯片存储注定长期短缺 AI数据中心的记忆体有五大层级