4089 位用户此时在线
24小时点击排行 Top 10：
- 本站自动实时分享网络热点
- 24小时实时更新
- 所有言论不代表本站态度
- 欢迎对信息踊跃评论评分
- 评分越高，信息越新，排列越靠前
2
1
0
DeepSeek V3.1 出现了 Glitch Tokens 的问题，随机高频冒出 " extreme" / "极" / "極"。
在 post-training 时代之前，Glitch Tokens 通常指的是某些在自然语料里极少/异常的 token，会扰乱本应正常的生成行为。
在 post-training 时代，大量自制 DSL / 控制标记作为 added tokens
时政
(
twitter.com
)
由
马东锡 NLP
提交
DeepSeek V3.1 出现了 Glitch Tokens 的问题，随机高频冒出 " extreme" / "极" / "極"。
在 post-training 时代之前，Glitch Tokens 通常指的是某些在自然语料里极少/异常的 token，会扰乱本应正常的生成行为。
在 post-training 时代，大量自制 DSL / 控制标记作为 added tokens 被引入，用来更精细地驱动模型行为，例如
DS 的 Glitch Tokens 问题，看着非常像把 " extreme" / "极" / "極" 这类本是自然语言token，在某些上下文里学成了 DSL token，从而被异常地高概率选中。
一些思考：
自制 DSL 的本意是增强自然语言的准确性与可控性。但当 DSL 标记越加越多，如果部分 Glitch Tokens 与这些控制语义（无论显式还是隐式）发生了错误耦合，就可能在推理时反过来干扰自然语言的正常分布，值得警惕。
点击图片查看原图
1
2
1
1
2
2
1
1
3
3
2
2
4
2
1
1
5
2
1
1
7
2
1
1
8
2
1
1
11
4
3
3
12
2
1
1
13
2
1
1
14
2
1
1
15
4
3
3
16
2
1
1
17
2
1
1
20
2
1
1
23
2
1
1