进入2024年，平板/手机终端LLM能力和半年前比，进步还是很明显的半年前在iPhone/Galaxy上用GPU跑7B模型大概能到6 token/s，现在已经能接近20 token/s了主要提升来自于两方面：一个是启用NPU优化提升到10 token/s，另外一个是新技术speculative decoding再提升一倍（原理如图）…

分享一个链接

发表一篇文章

任何有趣的，图片，热点新闻，视频，文字...

2148 位用户此时在线

24小时点击排行 Top 10：

网友投稿：一名视频博主挑战在日本景点挥舞中国国旗，博主惊呼：“居然没有人阻止，日本人难道不爱国吗？”

传统型小粉红论述

10月31日，有小红书网友晒出了国内某学校发的紧急通知：要求政教处、班主任、生管老师做好思想工作，加强宿舍巡逻。发现本班学生在社交媒体发布万圣节相关信息的第一时间截屏留证报给政教处，并要求马上删贴。

网友投稿：河南某大学要求学生拒绝过“洋节”，不参与万圣节相关活动。

JUST IN: President Trump calls for removal of the filibuster

川习会开场相互恭维，但实质上并沒有太多惊喜，原本四个小时的会谈，只有90分钟就匆匆结束，如果去掉翻译的时间，应该不到一个小时。既沒有见记者，也沒有联合公报，与外界的期待有很大差距。川习会结束后，川普直接登上空军一号返回美国，而把主场留给了习近平，习近平还要对韩国进行国事访问，出席亚

川習會剛結束，結果還沒公布，美國市場第一反應不太好。

10月26日，广东湛江，为迎接省人居环境整治督查组的领导检查，湛江指挥办领导发出明确指示：10月28日至11月2日期间，全域范围内鸡鸭鹅狗等家禽畜类须全部圈养，不得在国、省、县、乡、村道上出现任何活禽。

今天是十月31日，2007年的10月31日，徐景贤因突发心脏病过世了。有人问，徐景贤是谁？

I could watch these all day 😂

APEC首脳会議前に、控室で中国の習近平国家主席と挨拶を交わしました。

紐約大街爬滿了伊斯蘭寄生蟲，牠一天到晚不務正業，不斷以蛤垃的鬼哭狼嚎，騷擾紐約人的正常生活⋯⋯

抖音评论区已经有了😂

10月26日，北京永定门，国家信访局，一名访民称：自己在北京九敬庄访民收容所啃了四天馒头后，被户籍地截访人员强制带离北京。#维权

The greatest dancer of all time! ✨

小粉红最牛逼的就是自适应能力习主席，就是完美的模版习主席讲话看小本本，看小本本的领导人就是最棒的习主席小学文化，小学文化治国就是合理的习主席是全能的完人😆😆😆

10月26日，广东省广州市慧慧皮具科技有限公司被曝老板失联，员工集体讨薪。多名员工反映，公司已拖欠工资数月，至今未发放。

😁当外宾当久了真不知道你国电视台泛滥到什么程度了，县级电视台有什么存在的意义吗，除了到点转播新闻联播再补几条本县家长里短之后直接关台全天雪花屏，以前你还能说什么通知一下紧急事务，现在一个微信公众号就能解决的事非要养着几十号人搞两个频道占用资源，真有大事上级电视台也能通知要你何用？

Five years ago: EVs will save China. Today: EVs removed from the Five-Year Plan. Even central planning can’t plan oversupply and Chinese doesn’t understand the concept of value add.

虽然这个周期币圈赚钱难度显著增加，但还是局部有赚钱效应啊，IQ高的赚IQ低的，认知高的赚认知低的，有独立思考能力的赚瞎jb冲的，没有一点赚钱效应，这个市场不需要喷，自然早就死了。龙王昨天白天吐槽为什么在币圈，晚上就在套利捡钱，所以，为什么要离开呢？？😂😂😂

【预测川习会结果】明天的川习会，本质是一场短期政治利益与长期战略风险的交易。我判断双方极有可能达成贸易协议。原因很清楚：对习而言，他亟需以虚假承诺换取战略喘息期来脱困，为实现十五五争霸战略目标赢得时间；对川而言，他希望借此展示自己的“交易才华”，缓解基本盘对农产品出口（如大豆）受阻

This was the iPhone moment for robotics…

I will be making my LPGA Tour debut in November at The ANNIKA driven by Gainbridge at Pelican! See you November 10-16 - at Pelican Golf Club in Belleair, FL. Visit for more information.

bilibili好像是油管+网飞？

原来这是女性下腹部隆起的真相

本站自动实时分享网络热点
24小时实时更新
所有言论不代表本站态度
欢迎对信息踊跃评论评分
评分越高，信息越新，排列越靠前

2

1

0

进入2024年，平板/手机终端LLM能力和半年前比，进步还是很明显的
半年前在iPhone/Galaxy上用GPU跑7B模型大概能到6 token/s，现在已经能接近20 token/s了
主要提升来自于两方面：一个是启用NPU优化提升到10 token/s，另外一个是新技术speculative decoding再提升一倍（原理如图）…
IT技术
( twitter.com )

1年前由 fin 提交

进入2024年，平板/手机终端LLM能力和半年前比，进步还是很明显的

半年前在iPhone/Galaxy上用GPU跑7B模型大概能到6 token/s，现在已经能接近20 token/s了

主要提升来自于两方面：一个是启用NPU优化提升到10 token/s，另外一个是新技术speculative decoding再提升一倍（原理如图）

NPU的优化主要是对带宽利用方面，压缩带宽之类的技术

speculative decoding则是巧妙的用一个小LLM先快速做一轮下一个单词的预测，然后用大LLM来同步验证，速度会快一倍，这个技术现在应用也很广泛了

下一次芯片LLM能力主要升级估计是一年半之后，毕竟从去年LLM大火开始构思新架构到面世，通常需要两年的时间

至于升级的部分，我猜测可能主要是带宽，这部分的升级对提升token数的作用是最大的

大胆预测一下，明年年底左右（2025年），随着各种芯片和各层底层软件的优化，我们应该可以看到LLaMa 3的7B模型在平板/手机/汽车上跑到40~50 token/s

那么7B就不再是手机终端的sweet point，也许2026之后会升级成主流13B的模型，占用8GB内存（感觉利好存储厂商）

那个时候的手机13B模型，可能会有今天GPT3.5的能力（现在最接近GPT3.5的小模型是Mistral 7X8模型），那就真的能做很多事情了

点击图片查看原图

1周内 1个月内 1年内全部时间

1
2
3
4
5
6
...
372
下一页

1

2

1

1

好家伙，能手机部署LLM大模型来了。MiniCPM: 是面壁智能与清华大学自然语言处理实验室共同开源的系列端侧大模型，MiniCPM-2B 仅有 24亿（2.4B）的非词嵌入参数量。与 Mistral-7B相近（中文、数学、代码能力更优），整体性能超越 Llama2-13B、MPT-30B、Falcon-40B 等模型。
IT技术
( github.com)

1年前 • Geek • -- 点击 0 评论

2

2

1

1

一进入2024年，果然不同反响——
时政
( twitter.com)

1年前 • 高伐林 • -- 点击 0 评论

3

2

1

1

总感觉时代是个轮回
从00年代的图标3D化，再到10年代的扁平化，再到重回3D
手机也是，从大到小再到大，从厚到薄再到厚，从重到轻再到yt
什么时候3.5mm耳机孔才能再次出现在高端手机上？
时政
( twitter.com)

1年前 • 柑橘小波奇🐱🎄 • -- 点击 0 评论

4

2

1

1

推荐一套The Full Stack的免费 LLM 在线教程：LLM Bootcamp - Spring 2023
包含了提示工程、LLM运维、LLM App开发、LLM基础等内容。
第一次访问需要输入邮箱。
IT技术
( fullstackdeeplearning.com)

1年前 • 宝玉 • -- 点击 0 评论

5

2

1

1

Jim Fan 预言：距离机器人 AI 的 ChatGPT 时刻大约还有 3 年时间
以下为其推文转译：
除了大语言模型（LLM）之外，2024年最重大的领域无疑是机器人学。我们距离实体 AI 智能体实现 ChatGPT 式的突破仅有大约三年的时间。长期以来，我们一直受到莫拉维克悖论（Moravec's…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

6

2

1

1

AI iPhone前奏？苹果发表论文，提出“在手机内存上运行LLM（大语言模型）的方法”
大陆资讯
( wallstreetcn.com)

1年前 • 拉拉么 • -- 点击 0 评论

7

4

3

3

新年快乐！愿世界和平，邪恶终结！！
感谢推友们在 2023 年的支持。
祝乌克兰在 2024 年击败俄罗斯 ✊🇺🇦👊🎖️💪🎖️👊
时政
( twitter.com)

1年前 • 乌克兰战争•最新进展🇺🇦 • -- 点击 0 评论

8

2

1

1

1月31日，有博主“恶意回忆”了2016年人民日报的文章：中国预计从2024年开始进入高收入阶段。
时政
( twitter.com)

1年前 • 李老师不是你老师 • -- 点击 0 评论

9

2

1

1

2024年，注定将是诡谲多变。俄乌战争势必延展到2025年，巴以战争会推进到2024年底。
这是美国目前确定，在2024年要面对的两条战线。2024年美国大选，必定会因民主党铁定羁押川普入狱，而纷争内起，如果被奥巴马掺入种族批判因素，动荡将会波及美国军队。…
时政
( twitter.com)

1年前 • 昆侖 • -- 点击 0 评论

10

2

1

1

美的和格力各自的2024年年会。
时政
( twitter.com)

1年前 • 曹山石 • -- 点击 0 评论

11

2

1

1

波士顿动力的机器人练习唱歌跳舞这么多年，终于开始进厂干活了。中间似乎还发了脾气
大陆资讯
( m.weibo.cn)

1年前 • 墙头看世界 • -- 点击 0 评论

12

2

1

1

1月31日，中央网信办称，将开展2024年春节网络环境整治专项行动。其中，整治对象包括“利用年终盘点、返乡见闻等形式编造不实内容，渲染极端情绪”等。
时政
( twitter.com)

1年前 • Jacobson🌎🌸贴贴BOT • -- 点击 0 评论

13

2

1

1

这家外资行明年“离谱”预测来了，盛宝银行2024年十大惊人猜想：美国资本主义终结、油价翻倍、AI引爆欧美安全危机
大陆资讯
( wallstreetcn.com)

1年前 • 黄牛票 • -- 点击 0 评论

14

2

1

1

快2024了，这些年轻人却用上了「老人机」
大陆资讯
( www.ifanr.com)

1年前 • 观摩团 • -- 点击 0 评论

15

3

2

2

维吾尔人权项目即将举行的活动📢📢📢
《伊力哈木．土赫提：维吾尔和平推动者与 2024年诺贝尔和平奖》
📅2024年01月17日（周三）
⏲️美东时间早上10点至11点30分
🚏请至维吾尔人权项目
更多信息：
时政
( chinese.uhrp.org)

1年前 • 维吾尔人权项目 • -- 点击 0 评论

16

2

1

1

“家书抵万金”。
近日有网友爆料称，浦发银行所有分行，年终奖化为一封家书。据悉，该行采取了基本工资加年终奖的模式。普通员工的年收入主要依赖于年终奖，这意味着整年的努力只能换来一封家书。有员工吐槽称，两天无法平静，百日攻坚连三月，一封家书抵万金。
时政
( twitter.com)

1年前 • 李老师不是你老师 • -- 点击 0 评论

17

2

1

1

【加拿大收紧留学“闸门”】1月22日，加拿大移民、难民和公民部(IRCC)宣布，将在两年内限制进入该国的外国学生人数，以应对加拿大住房和医疗保健压力。据IRCC数据显示，2024年学签获批指标约36万份，同比减少35%。2025年的指标将在2024年底重新评估。
大陆资讯
( www.jiemian.com)

1年前 • 妹特思棒味 • -- 点击 0 评论

18

2

1

1

习近平亲自指示：「哪怕一毫米领土也绝不让步，必须不断加强保护钓鱼岛主权的斗争」
这是他在2023年11月底时，对中国海警局下达的最新命令
受此影响，中国海警局计划自2024年起，每天都派船进入日本尖阁列岛海域，必要时还将进入日本渔船进行检查
据称，习认定钓鱼岛问题「只能前进，不许后退」
时政
( twitter.com)

1年前 • 纵横日本 • -- 点击 0 评论

19

2

1

1

2024年的体育比赛终于有点上个世纪末科幻电影的感觉了
IT技术
( twitter.com)

1年前 • Bear Liu • -- 点击 • 下载视频 0 评论

00:00:26

20

3

2

2

吉林大学：自2024年起停止高水平运动队招生
大陆资讯
( www.thepaper.cn)

1年前 • 三聚氰胺 • -- 点击 0 评论

21

2

1

1

财政部终于发布了全年财政收支数据，放进数据表里，简单分析一下。
2023年中国总财政赤字水平达到了8.84万亿，史上第二高，仅次于新冠封控最残忍的2022年。
注意，2023年增值税全面补缴，因此财政公共预算收入还有比较明显的增长，21.68万亿，较2022年的20.37万亿，增幅6.4%。2024年没有了增值税补缴…
时政
( twitter.com)

1年前 • 老蛮频道 • -- 点击 0 评论

22

2

1

1

2024年，極有可能迎來的社會現狀
时政
( twitter.com)

1年前 • 賣男孩的小火柴 • -- 点击 0 评论

23

2

1

1

“非洲手机之王”传音年终奖涨30%？多名员工确认：至少多发5位数，年前到账
大陆资讯
( www.time-weekly.com)

1年前 • 吊死团 • -- 点击 0 评论

24

2

1

1

习近平曾经雄心勃勃的“东升西降”论于2024寿终正寝。造成这种终极烂尾的原因到底是什么？去年年底“财新”发表社论，重温邓小平提出的“实事求是”思想路线，连同引用习近平的金句“历史反复证明，坚持实事求是，就能兴党兴国；违背实事求是，就会误党误国”也一并被封杀。这说明习近平对“实事求是”的态度发生…
时政
( twitter.com)

1年前 • Xiang Yang 向阳 • -- 点击 0 评论

1
2
3
4
5
6
...
372
下一页

0.08701 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特