5275 位用户此时在线
24小时点击排行 Top 10：
- 本站自动实时分享网络热点
- 24小时实时更新
- 所有言论不代表本站态度
- 欢迎对信息踊跃评论评分
- 评分越高，信息越新，排列越靠前
2
1
0
Andrej 为了解释 Word 和 Token 的区别，写了个小程序，把 Token 用 Emoji 表示，好帮助你直观的理解 LLM （大语言模型）看到的世界和我们看到的世界是不一样的。
简单来说一个单词会由一到多个Tokens组成，比如“strawberry”是一个单词，但是可能是“str”、“aw”和“berry” 3 个Token，而 Token
IT技术
(
twitter.com
)
由
宝玉
提交
Andrej 为了解释 Word 和 Token 的区别，写了个小程序，把 Token 用 Emoji 表示，好帮助你直观的理解 LLM （大语言模型）看到的世界和我们看到的世界是不一样的。
简单来说一个单词会由一到多个Tokens组成，比如“strawberry”是一个单词，但是可能是“str”、“aw”和“berry” 3 个Token，而 Token 存储的时候也不是字母，所以如果让 LLM 计算出 strawberry 里面有多少个 r，或者对其反转，那它是很困难的。
点击图片查看原图
1
2
1
1
3
2
1
1
6
2
1
1
8
4
3
3
10
2
1
1
11
3
2
2
14
2
1
1
15
2
1
1
16
2
1
1
17
2
1
1
18
2
1
1
20
2
1
1
22
2
1
1
23
2
1
1