好吧，有一点我确实是忽略了，就是在一个rack内部，72个GPU之间的通信可能比我想象的要频繁比如如果infra将模型分成了多个expert，或者将不同层的模型放在不同的gpu上，那么同一个inference，特别是agentic

发布时间: 2026-05-18 11:00:27

2分

数据加载中

关注推特

收听电报

3

2

1

好吧，有一点我确实是忽略了，就是在一个rack内部，72个GPU之间的通信可能比我想象的要频繁
比如如果infra将模型分成了多个expert，或者将不同层的模型放在不同的gpu上，那么同一个inference，特别是agentic
时政
( twitter.com )

16小时前由勃勃OC 提交

好吧，有一点我确实是忽略了，就是在一个rack内部，72个GPU之间的通信可能比我想象的要频繁

比如如果infra将模型分成了多个expert，或者将不同层的模型放在不同的gpu上，那么同一个inference，特别是agentic inference任务可能会在不同主板的gpu/hbm中计算，最后reduce到一个cpu上汇总，这需要板间通信。

这种model/expert parallelism是我刚才忽略的地方，毕竟现在模型太大，一个gpu确实放不下，甚至2个也放不下。

但问题是，rack里面用nvlink/nvswitch就够了，这是铜线。等到scale-up到一个rack里有144，288，甚至1000多个gpu的时候，那么铜线交换机带宽不足，确实会要用到cpo，但那一定是2028年之后才会发生的事

这个光的叙事逻辑，以及它对推理的重要性，其实和存储完全不同

存储是现在就需要，而且他能直接影响inference speed。

hbm处理kv-cache，超过部分offload到nand，所以两者的订单，价格和营收暴涨

我觉得如果投资存储和光通信，你一定要明白这些看起来没用的道理

谢谢大家

Markdown支持

评论加载中...

您可能感兴趣的：

1

378

377

377

平时女神范的学姐其实是一个喜欢刺激和学弟们无套4p的骚货呀。
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 4 评论

2

109

108

108

玩开了之后，蒙上眼睛，靠着舌尖的点点触感，想要猜出哪根是自己老公的吊？#4p
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

3

491

490

490

尝尽了男欢女爱,人生也没有什么遗憾了呀。
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 4 评论

4

394

393

393

如果你喜欢乖的又拒绝不了骚的我就白天叫你老公晚上叫你爸爸白天披头发晚上双马尾又乖又骚
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 3 评论

5

165

164

164

宝子们，我不加微信不要问我要了，我也不要礼物不要门槛，聊的来的就在推特或者电报联系，合适的大家就聚聚，彼此平等、公平的和朋友一样对待就行了！能够想明白的人再私信我，最近比较忙，没有意义的招呼太多就不一一回复了！
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 1 评论

6

299

298

298

一时的鬼迷心窍却被猥琐店长摁到在地上，丢失了自己的第一次还被射满了小穴，我下次再也不敢了~

（更多H动漫成人视频请留意评论区，或还可全屏视频点击链接）
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

7

677

676

676

两头都忙不过来了，美女们都456了
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 6 评论

8

90

89

89

上个视频吧，最近找不到什么衣服拍了，你们还有什么想看的可以给我提议哦，前提是180能穿得下的，没准我下次就上身了
porn
( twitter.com)

5年前 • twitter机器人 • 下载视频 0 评论

9

188

187

187

大幂幂救命，想要同款过春节
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

10

168

167

167

爸爸，谢谢你收养我！无以为报，唯有以身相许！

完整版链接在评论区首条或视频中间弹幕
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

11

35

34

34

人生在世，吃喝玩乐
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

12

226

225

225

Watch video
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 1 评论

13

470

469

469

#精东影业这是健身教练偷拍的从没有发过的录像，平时男友有时候心血来潮让我跪下给他口，我要么说地上脏，或者说跪着累拒绝他，然而面对健壮的肌肉教练，跪的如此卖力熟练顺滑且标准，可能这就是给男友最好的回报吧～
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 4 评论

14

276

275

275

连着被小弟弟搞了3天，逼逼都被玩肿了，弟弟也被我榨干精尽了，今晚终于能休息了，，，
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 1 评论

15

365

364

364

男人只顾着自己爽，虽然我是带鸡吧骚秘书，那就拿你养的小情人发泄一下。

（更多H动漫请留意评论区，或还可全屏视频点击链接）
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 2 评论

16

618

617

617

老公既然同意了,那享受就完了。
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 3 评论

17

9

8

8

Kisses and hugs are never too much

白色的床单是空旷的平原，而我们是两座纠缠的、起伏的山峦。
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

18

67

66

66

好久没发视频了
发一个存货⑧
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

19

102

101

101

用小穴给哥哥们变个魔术
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

20

46

45

45

早安,提前祝大家国庆快乐
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 1 评论

21

270

269

269

又要睡着了，抓紧时间发
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

22

12

11

11

Watch video
porn
( twitter.com)

5年前 • twitter机器人 • 下载视频 0 评论

23

19

18

18

昨天全身汗。今天全身酸。
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

24

22

21

21

问就是在喝酒蹦他个十天八天
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论

25

57

56

56

天然温泉
冬天泡个温泉是最舒服的事了
porn
( twitter.com)

4年前 • twitter机器人 • 下载视频 0 评论