4677 位用户此时在线
24小时点击排行 Top 10：
- 本站自动实时分享网络热点
- 24小时实时更新
- 所有言论不代表本站态度
- 欢迎对信息踊跃评论评分
- 评分越高，信息越新，排列越靠前
2
1
0
K 2 的技术报告也发布了
专家数量：384个专家，每次前向激活8个，提升了稀疏性和性能。
注意力机制：采用多头潜在注意力（MLA），隐藏维度7168，注意力头数64（相比同类模型减少一半，提升长文本推理效率）。
IT技术
(
twitter.com
)
由
歸藏(guizang.ai)
提交
K 2 的技术报告也发布了
专家数量：384个专家，每次前向激活8个，提升了稀疏性和性能。
注意力机制：采用多头潜在注意力（MLA），隐藏维度7168，注意力头数64（相比同类模型减少一半，提升长文本推理效率）。
优化器：创新性地提出了MuonClip优化器，将高效的Muon算法与QK-Clip权重裁剪机制结合，解决了大规模训练中的不稳定问题，防止注意力logit爆炸。
数据处理：预训练数据覆盖Web文本、代码、数学和知识四大领域，采用合成重写（rephrasing）技术提升token利用率，尤其在知识和数学领域通过多样化重写增强泛化能力。
训练规模：预训练总计15.5万亿高质量token，采用4096-token上下文窗口，后期通过YaRN方法扩展到128k上下文。
稀疏性Scaling Law：实验表明，在激活参数数固定的情况下，增加专家总数（提升稀疏性）能显著降低训练和验证损失，提升模型表现。
推理优化：减少注意力头数，降低长文本推理的计算开销，提升实际应用效率。
硬件：基于NVIDIA H800 GPU集群，采用多级并行策略和高效的激活存储与重计算技术，保证大模型训练的可扩展性和稳定性。
点击图片查看原图
1
2
1
1
2
2
1
1
3
2
1
1
5
6
5
5
6
2
1
1
7
2
1
1
8
6
5
5
9
2
1
1
10
2
1
1
11
3
2
2
12
3
2
2
13
2
1
1
15
2
1
1
16
2
1
1
17
2
1
1
18
2
1
1
19
2
1
1
20
2
1
1
21
6
5
5
22
4
3
3
23
2
1
1