site stats
我当年还在Meta做NLP技术的时候,Tokenizer就是“分词”的意思 显然,按照英文的文法,Token的意思就是“词” 当然我们之前也分析过,汉字因为方块字组合造词的缘故,几乎每一个字都已被“污染”,单独使用会充满歧义 所以一定要要加一个“元”,把它变得不伦不类、难读拗口
sign_in_with_google sign_in_with_google

5875 位用户此时在线

24小时点击排行 Top 10:
  1. 本站自动实时分享网络热点
  2. 24小时实时更新
  3. 所有言论不代表本站态度
  4. 欢迎对信息踊跃评论评分
  5. 评分越高,信息越新,排列越靠前