site stats
一个船新的感悟(其实是借鉴黄仁勋的),大模型推理时代,随着工作站单机(单卡、双卡、或者最多4卡,200G以内显存)推理能力的不断提升,可以预见到的是,会出现大量的一个公司N个人共用一张PCIE的H100(6000Pro或H200或B200等)的情况,在这样的场景下,KVCache量急剧上升,磁盘必然不够用,传统X86
发布时间:
1
数据加载中
Markdown支持
评论加载中...
您可能感兴趣的: