用FP16精度让34B的 Code LLama 跑在 M2 Ultra上，推理速度超过每秒20个token。这通常需要4块高端GPU才能运行，现在用800GB/s带宽的M2 Ultra也可以。答案是 Speculative Sampling 👍

分享一个链接

发表一篇文章

任何有趣的，图片，热点新闻，视频，文字...

9297 位用户此时在线

24小时点击排行 Top 10：

Wataa

Wataa

wataa

wataa😚

拿中国做比较，伊朗姑娘讲述伊朗动乱的原因。

【“斩杀线”火了，但讽刺的是谁？】 “美国人破产睡帐篷，中国人破产进派出所。” “美国有一条清晰的斩杀线，中国是一张无形的斩杀网。” 本想讽刺美国社会底层的脆弱，没想到中国网友集体“自嘲上线” 失业、35岁、婚育、房贷、言论、教育……哪一条是你的“斩杀线”？ #斩杀线 #中国斩杀线 #美国斩杀线

这是一个毫无漏洞的做局手段，看完让你惊出一身冷汗！一定要防范。

相声界无法逾越的巅峰时刻，骂的真难听

养不出感恩的孩子，父母都有一个共性。沈奕斐教授这番话值得家长们好好看看！

26年新年快乐！希望是一场痛快的牛回奏响火热的2026

共和党的市长候选人柯蒂斯·斯利瓦表示，佐赫兰·曼达尼作为纽约市市长拥有民意授权，并呼吁支持者给他一个治理这座城市的机会。《华尔街日报》记者问：“你会要求那些投票给你的纽约人给佐赫兰·曼达尼一个机会吗？”

他们可以随便说NO，我也跟他们说了声"NO”，但是代价很大

中国文化输出澳洲？ 1月2日前新疆官员、中共党员，现悉尼大学研究生学生会主席梁伟宏在小红书分享了其在悉尼街头看到的补课广告，并称这是“来自遥远东方的一点震撼”。这张在悉尼街头的补课班广告声称其有三不招： 1.不招学生每周玩手机超4小时 2.不招学生比家长凶 3.不招家长急功近利的心态

王石这娇妻怕是留不住了。男人年纪大了，就别在婚姻里嚯嚯年轻姑娘了，否则迟早一片阻挡不住的绿光。你那点魅力，本质上是权力和财富带来的幻觉，背后其实都是服从和算计。跟爱情没有一毛钱关系。

1月2日，“最快女护士”张水华通过社交平台发布视频宣布，已辞去在福建医科大学附属第一医院多年的护理工作。

1月1日，浙江省宁波市跨年夜，一名市民点燃烟花对着气球喷射，警察突然上前抢夺，致使烟花掉落地面并喷射向周围人群。

观察者网在抖音引用伊朗亲官方通讯社消息，称伊朗一警察局遭“暴徒”袭击，结果罕见地引起了其亲共基本盘观众的不满，高赞评论一边倒支持伊朗民众，反对“暴徒”标签： “正义必胜，伊朗人民必胜” “谁是暴徒？” “伊朗要解放了吗？” 更有网友评论： “第三方马上就来调停” 大胆影射中共正是伊朗当局的后台！

伊朗学习中国，试图在深夜屠杀清场自己老百姓

“老中医看了都沉默：吹风机吹对地方，病痛瞬间缓解”

发财了👍，投资5000万开的酒店，一个月就赚5231.79元😂👍

1月1日，据国内媒体报道，29岁渐冻症患者小刘在接受采访时表示，自己连续使用蔡磊团队研发的治疗药物已两年，病情未再恶化，目前能够站立、独立生活，并兼任兼职工作。

当年不逃现在也逃了，此乃中国人之宿命。

1月2日，北京市，国家体育馆，田震巡回演唱会北京站。在致谢环节中，歌手田震逐一“这些”批准其演出的相关部门，引得台下一片哄堂大笑。

平时我很喜欢看芙宁娜娜的推文，但是对这条，我觉得失去了其原有的灵动和创意，显得那么陈旧，甚至成了其曾经反对的模样。 1，习近平下台，共产党倒台，肯定是好事；但这件事哪怕就是明天或未来的某天发生，作为截图中其中一人的我也不会回到中国生活，而是祝福那里的人民选出真正的国家管理者；

这是个人博客的意义。

本站自动实时分享网络热点
24小时实时更新
所有言论不代表本站态度
欢迎对信息踊跃评论评分
评分越高，信息越新，排列越靠前

2

1

0

用FP16精度让34B的 Code LLama 跑在 M2 Ultra上，推理速度超过每秒20个token。

这通常需要4块高端GPU才能运行，现在用800GB/s带宽的M2 Ultra也可以。

答案是 Speculative Sampling 👍
IT技术
( twitter.com )

2年前由宝玉提交

1周内 1个月内 1年内全部时间

1
2
3
4
5
6
...
400
下一页

1

2

1

1

Phind 用羊驼精调出来的模型已经给GPT-4破功啦！开源牛逼！

Beating GPT-4 on HumanEval with a Fine-Tuned CodeLlama-34B

时政
( www.phind.com)

2年前 • ShīnChvën • -- 点击 0 评论

2

2

1

1

为什么要直接做成 Agent 而不是直接使用 Claude Code 呢？
因为这个 Agent 是专门用来基于某个内部 Design System 生成 UI 代码，虽然 Claude Code 也可以完成这样的任务，但是有几个原因：
1. 使用难度
- 能让 Claude Code 基于某个没有训练的 Design Sytem
IT技术
( twitter.com)

2个月前 • 宝玉 • -- 点击 0 评论

3

3

2

2

Claude Code 如何做任务进度跟进？
先说结论：每一个新需求，让Claude Code帮你自动生成一个对应md文件，该文件包含plan和progress
Claude Code自带一个"内存版的todo list"，就是在面临新需求的时候，它会自动拆解，但是这个仅仅是用于更好的让用户查看当前进度，以及LLM自己保持前后一致性，
时政
( twitter.com)

6个月前 • BadUncle • -- 点击 0 评论

4

3

2

2

@ ll雪雪Christina：
1964年的老报纸
时政
( twitter.com)

1年前 • 朱韵和 • -- 点击 0 评论

5

2

1

1

给清华开源的中英双语对话模型 ChatGLM-6B 的第二代版本ChatGLM2-6B 做了一个 Colab，目前跑在默认情况下，模型以 FP16 精度加载，运行需要大概 13GB 显存。…
IT技术
( twitter.com)

2年前 • lewang🍥 • -- 点击 0 评论

6

2

1

1

+1，用了一段时间，KDE 默认的等宽字体，辨析度不错，比 Source Code Pro 稍显“高挑”，比 Fira Code 稍显“流线”
图片
( twitter.com)

5年前 • twitter机器人 • -- 点击 0 评论

7

2

1

1

→ code of #pinetwork 开源代码进度
①pailot code lines about 3500+
②Dcert, code open source update about 120,000…
币圈
( twitter.com)

2年前 • PI记者报International news • -- 点击 0 评论

8

2

1

1

如果说 Claude 模型和 Claude Code 啥关系，就好比 Claude 是个剑客高手，Claude Code 就是它最趁手的武器；GPT 也是个高手，但习惯用刀，Codex CLI 就是 GPT 最趁手的宝刀，你让 GPT 模型去用 Claude Code，就好比让刀客去用剑，也能耍，但效果要打折扣。
GLM、Kimi、DeepSeek
IT技术
( twitter.com)

昨天 • 宝玉 • -- 点击 0 评论

9

2

1

1

浴室胶带ll 预售最后一天啦
推特精选
( twitter.com)

4年前 • twitter机器人 • -- 点击 0 评论

10

4

3

3

我們就坦誠相見吧 : )
Credit:Reddit u/Mansa-Ll
#meme
#memetranslation
时政
( twitter.com)

2年前 • 迷因翻譯 • -- 点击 0 评论

11

2

1

1

Baber，PP，LL的组合阵容打败特鲁多没啥问题吧？
时政
( twitter.com)

3年前 • twitter机器人 • -- 点击 0 评论

12

2

1

1

LLM 通常使用 16 位浮点参数 (即 FP16 或 BF16) 进行训练。因此，存储一个权重值或激活值需要 2 个字节的内存。如果参数能从16位降低到8位或者4位，就能对模型大小进行压缩，而不会降低模型精度。

前些天的一篇论…
IT技术
( twitter.com)

2年前 • 宝玉 • -- 点击 0 评论

13

2

1

1

百度搜索Visual Studio Code前六个结果：广告、广告、广告、百度百科、微软Azure的友情链接（进去可以跳转到VS Code官网）、CSDN教程

百度搜索VS Code前六个结果：广告、知乎专栏介绍、百度百科、51…
时政
( twitter.com)

3年前 • twitter机器人 • -- 点击 0 评论

14

2

1

1

试了下，用 ChatGPT 的 Code Interpreter 制作动画

1/ MidJourney 生成 36:9 的大宽幅
2/ 上传到 Code Interpreter…
IT技术
( twitter.com)

2年前 • 黄赟 • -- 点击 0 评论

15

2

1

1

刚刚有人要跪LL车，一个大叔冲上去就泼了一身矿泉水。举着提督刀说，别他妈让我再看见你(@45_应援赛高)
图片
( ww4.sinaimg.cn)

10年前 • 有趣图片 • -- 点击 0 评论

16

2

1

1

看论文看到哈哈大笑，用「弱智吧」标题+GPT-4回答微调后的Yi-34B模型评估结果超过了精心收集的 SFT 指令集数据，安全性评估也是第二名。
弱智吧就是百度弱智吧，里面的帖子是这种画风：「既然监狱里全是罪犯，👮♀️为什么不去监狱里抓人？」
论文：
时政
( arxiv.org)

1年前 • 九原客 • -- 点击 0 评论

17

2

1

1

用 Grok 找 Promo Code 这个用法不错👍
IT技术
( twitter.com)

10个月前 • 宝玉 • -- 点击 0 评论

18

2

1

1

推荐一个超实用的网站，Papers with code，
IT技术
( paperswithcode.com)

2年前 • Barret李靖 • -- 点击 0 评论

19

2

1

1

伦敦族群比例分布图，白人百分之30，逐年下降。 (@l嘉嘉ll)
图片

8年前 • 流精岁月 • -- 点击 0 评论

20

2

1

1

深度分析下 DeepSeek-R1 用华为昇腾，推理集群大概多大？
重磅消息，昨天的新闻，DeepSeek-R1 真的能在华为的昇腾AI加速卡上跑了。
根据华为官方，Atlas（昇腾） 300I Pro 推理卡单卡拥有 140 TOPS INT8 和 70 TFLOPS FP16这个性能足够推理用，但关键的内存则使用了LPDDR4X 24 GB，总带宽204.8 GB/s
时政
( twitter.com)

11个月前 • karminski-牙医 • -- 点击 0 评论

21

2

1

1

我不想黑哪个模型，但是审查到这种程度的我还是第一次见。图片来自在 Claude code 中使用 GLM 4.5 的群友
时政
( twitter.com)

5个月前 • Jason Young • -- 点击 0 评论

22

2

1

1

Cursor + Grok Code 的另类用法，写 X 小说
注意不要用 Agent 模式
IT技术
( twitter.com)

4个月前 • 宝玉 • -- 点击 0 评论

23

2

1

1

全世界Claude Code用户激情辩论中 —— 使用Claude Code $200美元的包月套餐，积极使用高级功能用于编码工作，一个月消耗了价值$50K美元的Token，算是滥用吗？
————————————————————————
周五的时候，突然发现，我好像是全世界使用Claude Code的最多人，没有之一，一个月内使用了五万美金的Token。
时政
( twitter.com)

4个月前 • 刘小排 • -- 点击 0 评论

24

2

1

1

Claude Code 正在重构Agent系统的开发模式！
Claude Code远不仅仅是一个AI编程工具，它是一套可高度定制的Agent系统
它和LangGraph这类Agent框架最大的区别是，Claude Code本身就是一个自主选择执行路径的智能体
而Claude Code
时政
( twitter.com)

5个月前 • Stephan • -- 点击 0 评论

1
2
3
4
5
6
...
400
下一页

0.07299 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特