至此,中国大模型工程双霸正式诞生!对照之前,DeepSeek在整体架构、数据与奖励、后训练方法、精度处理、算子、通讯等偏算法侧、训练侧的工程上保持领先。而智谱如今在推理侧也逐渐掌握了霸权,长上下文、缓存、网络协同等都是智谱的重点方向,而它甚至把KV的容量、位置、搬运、复用、正确性等都当成了核心研发对象。
而基于我从智谱系企业道听途说的消息来看,智谱是第一个可以把推理集群全时GPU利用率做到85%以上的,通俗的说:
-常见闭口合同的账面收益约等于10-15%利用率
-客户量堆起来后,推理编排入口路由做的好,可以提升到20-40%
-系统化的搭建全闪存储层,优化KVCahce处理后,可以进一步推高到40%-60%
-继续搞各种奇技淫巧后,还有10%-20%的上升空间
-最后的5%-10%,需要在需求和入口路由侧,引入机器学习,来对用户的需求特征进行分析和预判,做最大程度的最后压榨
智谱虽然这会跌死定增机构了,自主推理系统分润模式已经跑通,未来(1年内)可期!
PS:远期(2年以上)看的话,所有的软件护城河都会消失,都要死翘翘,看命了!