在树莓派集群运行650亿参数大模型？ llama.cpp最新更新加入了基于MPI的分布式推理支持，每个节点可以只进行一部分推理操作，这样用一堆非常老的机器理论上也可以跑超大模型。感觉LLM分布式共享推理服务有的搞了…

分享一个链接

发表一篇文章

任何有趣的，图片，热点新闻，视频，文字...

2251 位用户此时在线

关注推特

收听电报

男子的父亲出车祸获赔200万，还了房贷车贷还剩100万被姑姑拿走理财，结果全部亏完。大冰给他支了一招。

这种魔术揭秘挺好

突发！10月25日，北京。刚刚结束四中全会的三里屯街头。有一位勇士挂起两面横幅： “共产党的本质是反人类的邪教，它们必将给中国带来无尽的灾难。” “开放党禁，自由组党，自由竞争，自由选择，建立自由，人性，法治的新中国”。——pque2025

应该是马云人生中最风光的一幕了

10月24日，美国总统特朗普表示，他会在与中国国家主席习近平的会谈中，推动释放香港壹传媒集团创始人黎智英。

特斯拉全自动驾驶汽车躲避从天而降的飞机

中共軍犬訓練

10月25日，北京，永定门，国家信访局，访民正在被保安驱赶上大巴拉往收容所。

清丰帝万岁🥹🤗🤗！

This is absolutely brilliant. An incredible version of Boléro. 🎶

中國的新能源幾乎全是騙局，上騙補貼，下騙韭菜⋯⋯

10月21日，湖南省益阳市高新区，访民反映：高新区与赫山区迎宾西苑的多户安置居民因十余年来始终未拿到政府承诺的拆迁安置房，当天虽下着小雨，仍有人撑伞聚集在益阳市政府门前，要求兑现安置承诺。#维权

近日，广州市陈家祠地铁站内，有网友拍到一名男子穿着一件带有红字白色上衣伸冤。

插队的二货太多，应该见一个曝光一个。

2007年春晚的黑色三分钟！当你觉得自己捅了篓子时，来看看这个 …

B站爆火350万播放，AI编曲，AI作词，AI演唱，3A大作！网友一首黑熊精《差一点》汗颜了多少音乐制作人，AI还会给世界带来多少改变，将来还会有多少虚拟明星，AIGC奇点来临！

10月24日，湖北襄阳，“科技狠活”达人辛吉飞在湖北襄阳拍摄美食视频时突发癫痫，口中倒沫子、身体抽搐，被送往医院。据辛吉飞接受媒体采访时称，当时他口吐白沫、浑身抽搐且失去意识，直到送至医院抢救才醒过来。医院初步临床诊断为癫痫，因脑电检查结果轻度异常，他需要进一步检查。

太逆天了，你还信网络女主播吗？

中國造不出一輛好車，但是這樣的傻屌，每日能造幾億。

转贴供参考——

体制内人员，谁会最先失业？

In 1997, Murphy's Irish Stout released an anime cyberpunk commercial

伊斯蘭六十歲的老人，帶着他十歲懷孕的童媳。這就是伊斯蘭教法下的多元文化，伊斯蘭教法保護強奸兒童的畜牲，把女童當生育工具。伊斯蘭之所以人口眾多、品質低劣，就是因為牠們像老鼠一樣亂倫，不分年齡、不分血緣⋯⋯

🚨加州州长纽森和安大略省省长道格.福特联手亲自出演的新广告 --让川粉再次破防的新广告延续里根的主题：自由贸易、无税合作道格发帖说：

本站自动实时分享网络热点
24小时实时更新
所有言论不代表本站态度
欢迎对信息踊跃评论评分
评分越高，信息越新，排列越靠前

在树莓派集群运行650亿参数大模型？

llama.cpp最新更新加入了基于MPI的分布式推理支持，每个节点可以只进行一部分推理操作，这样用一堆非常老的机器理论上也可以跑超大模型。

感觉LLM分布式共享推理服务有的搞了…
时政
( twitter.com )

2年前由 nash_su 提交

1周内 1个月内 1年内全部时间

在 4gb 的树莓派（Raspberry Pi 4）上运行 LLaMA 7B 参数的模型

虽然现在推理的速度还很慢，但是已经证明了 LLM 能够在消费级硬件上运行了，这仅仅是一个开始。

LLM 的 Stable Diffusi…
推特中文圈
( twitter.com)

2年前 • Jiayuan • -- 点击 0 评论

部署在树莓派 (Raspberry Pi)上 GPT 语音助手，使用开源的大型语言模型（LLM）响应请求，转给爱折腾的小伙伴。
IT技术
( github.com)

1年前 • Geek • -- 点击 0 评论

阿里云研发的 #通义千问大模型系列的70亿参数规模的模型Qwen-7B和Qwen-7B-Chat，在魔塔社区上开源，支持用户在消费级显卡上部署和运行模型。

时政
( twitter.com)

2年前 • 外汇交易员 • -- 点击 0 评论

早晨起来大模型的新闻又炸了
斯坦福微调了 7B LLaMA 模型，只用了 52K 的数据，达到了和达芬奇003类似的效果，并且可以跑在消费级设备上，比如树莓派。
推特中文圈
( github.com)

2年前 • orange.ai • -- 点击 0 评论

微软今天发布小模型 Phi-2 的新闻关注度还蛮大的，只有2.7B参数（Llama 2最小的模型都是 7B的），模型越小就对设备要求越低，甚至于移动设备都能运行。但模型的能力又跟模型的训练量和参数量息息相关，数据量越大参数越大能力越强。…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

【清华虚拟学生“华智冰”背后的“悟道2.0”巨模型】是中国首个全球最大万亿模型，比有1.6万亿个参数的谷歌最大模型Switch Transformer多了1500亿个参数；是OpenAI GPT-3模型参数量的10倍。智源研究团队认为，AI⼤模型未来将成为类似“电⽹”的新平台。
大陆资讯
( mp.weixin.qq.com)

4年前 • 微信公众号 • -- 点击 0 评论

闪电预览

【大佬在苹果MacBook上跑LLaMA，130亿参数大模型仅占8GB】语言模型的成本已经下降到个人电子设备也可用的地步。经过4-bit量化之后，模型被缩小，LLaMA甚至可以在配备M1芯片的MacBook上运行。
大陆资讯
( zhidx.com)

2年前 • 墙头看世界 • -- 点击 0 评论

闪电预览

我是少数改变 Raspberry Pi 树莓派落灰宿命的人

前几年尚未流行智能家居，我用树莓派把家里车库门改成了智能遥控的，原理很简单：

树莓派跑 web 服务，远程点按钮后，从 GPIO 输出一个脉冲、接通继电器、接通开关，…
推特中文圈
( twitter.com)

4年前 • twitter机器人 • -- 点击 0 评论

开源之光:RedPajama重塑大语言模型的未来
LLaMA最强平替，超12万亿训练数据，全开源
1. 开源12万亿训练数据，参考LLaMA数据集配比。
2. 模型马上开源
*标题由Claude生成…
推特中文圈

开源推荐
( twitter.com)

2年前 • nash_su • -- 点击 0 评论

根据英伟达的幻灯片显示，GPT-4 是 1.8T 参数的混合专家模型。现在用 Blackwell 系统实际上可以在大约十天内训练一个像 GPT-4 这样拥有 1.8 万亿参数的大模型，而在两年前 Hopper 世代开始时，即使是几百亿参数的模型也很难在几个月内完成训练。
IT技术
( baoyu.io)

1年前 • 宝玉 • -- 点击 0 评论

4月5日 Meta发布了其新一代开源大语言模型Liama4，其拥有超过4000亿参数，Meta宣称该模型是同类中最好的多模态模型（可以处理图像输入输出），在参数量更少运行门槛更低的情况下，编程和推理能力上和DeepSeek V3相当。
并且该模型完全免费开源，用户可以从Liama官网下载并部署在本地。
时政
( twitter.com)

6个月前 • 李老师不是你老师 • -- 点击 0 评论

nvidia jetson agx orin
树莓派4b
性能上：1 v 55
价格上：1 v 11

树莓派4b 4gb目前售价约1000
如果你有11个树莓派4b，就能换得当今最强小电脑
推特精选
( twitter.com)

3年前 • twitter机器人 • -- 点击 0 评论

kotoro-TTS 荣登 TTS Arena 排行榜第一名，录了个视频大家可以看下它中文的语音合成效果。
值得一提的是，这个模型只有 82M，树莓派都能跑。而且是 MIT 协议的。
排行榜地址：
在线测试地址：
时政
( twitter.com)

9个月前 • karminski-牙医 • -- 点击 • 下载视频 0 评论

00:01:41

对用Mac Mini组建AI集群的可以关注一下这个M4 Mac Mini AI 集群测试
使用的 Thunderbolt 5 互连技术（80Gbps 带宽）在 4 台 M4 Pro Mac Mini 上分布运行大语言模型（LLM）。
该集群体积很小（图片中有 iPhone 作为参考）。它目前以 8 个 token/秒的速度运行 Nemotron 70B，并且可以扩展到
IT技术
( twitter.com)

11个月前 • 宝玉 • -- 点击 0 评论

5620亿参数，最大多模态模型控制机器人，谷歌把具身智能玩出新高度
大陆资讯
( www.jiqizhixin.com)

2年前 • 猪八戒 • -- 点击 0 评论

微软被曝正自研AI大模型：5000亿个参数，与谷歌和OpenAI竞争
大陆资讯
( www.thepaper.cn)

1年前 • 你的溢达 • -- 点击 0 评论

闪电预览

树莓派基金会正式发布“树莓派400”，一个内置树莓派4的紧凑型键盘，售价70美元。用户只需将其两个micro HDMI端口之一插入显示器，插入microSD卡，连接电源线，然后插上USB鼠标，便可获得一台处理日常任务、媒体播放的计算机。
大陆资讯
( mp.weixin.qq.com)

5年前 • 微信公众号 • -- 点击 0 评论

羊驼的Lora 来了，树莓派可用。
推特中文圈
( github.com)

2年前 • orange.ai • -- 点击 0 评论

马斯克的大模型 Grok-1 开源了，这是一款拥有3140亿参数的先进混合专家模型，截止目前参数量最大的开源大语言模型。
这个版本包含了Grok-1在2023年10月完成预训练阶段时的基础模型数据。这意味着模型尚未经过针对特定应用（如对话系统）的微调。
根据Apache…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

微软称其13亿参数AI超千亿级GPT-3.5效果!

微软最近发布了一款名为phi-1的13亿参数的语言模型，该模型的训练数据来自网络的"教科书等级"的高质量资料集，甚至包括了由GPT-3.5处理过的"逻辑严密"的内容。微软的研发…
IT技术
( twitter.com)

2年前 • GPTDAOCN • -- 点击 0 评论

马斯克旗下大模型公司xAI宣布正式开源3140亿参数的混合专家（MoE）模型“Grok-1”。Grok-1为当前参数量最大的开源大语言模型。
不过与目前推特X平台付费版的Grok不同，Grok-1从头开始训练，没有针对任何特定应用进行微调。
时政
( twitter.com)

1年前 • 外汇交易员 • -- 点击 0 评论

目前英文 7B 规模的 SOTA 模型是 zephyr-7b-beta。它放弃了质量参差不齐的开源数据集，使用ChatGPT和GPT-4 全新标注了 UltraChat 和 UltraFeedback 数据集（已开源）。是 llama-index 项目实测出来唯一能够支持 Agent 的小参数模型。

与之相比，中文开源模型虽多，数据集却很少开源。
时政
( twitter.com)

2年前 • 九原客 • -- 点击 0 评论

GPT-4参数最新爆料！1.76万亿参数，8个2200亿MoE模型，PyTorch创始人深信不疑

近来，美国知名骇客George Hotz在接受采访时透露，GPT-4由8个220B模型组成。这么算来，8 x 220B = 1.7…
IT技术
( twitter.com)

2年前 • GPTDAOCN • -- 点击 0 评论

看了两篇最近比较火的论文，里面说的内容太过于牛逼，让我感觉有点吹牛 😂：

1. QLoRA：最大亮点是降低微调模型所需的硬件资源。使用这个技术，只需要用 48G 的 GPU 就能微调 650 亿参数的模型，同时还保留 16 位微…
推特中文圈
( twitter.com)

2年前 • JimmyWong • -- 点击 0 评论

时政

在 4gb 的树莓派（Raspberry Pi 4）上运行 LLaMA 7B 参数的模型 虽然现在推理的速度还很慢，但是已经证明了 LLM 能够在消费级硬件上运行了，这仅仅是一个开始。 LLM 的 Stable Diffusi… 推特中文圈 ( twitter.com)

推特中文圈

部署在树莓派 (Raspberry Pi)上 GPT 语音助手，使用开源的大型语言模型（LLM）响应请求，转给爱折腾的小伙伴。 IT技术 ( github.com)

IT技术

阿里云研发的 #通义千问 大模型系列的70亿参数规模的模型Qwen-7B和Qwen-7B-Chat，在魔塔社区上开源，支持用户在消费级显卡上部署和运行模型。 时政 ( twitter.com)

时政

早晨起来大模型的新闻又炸了 斯坦福微调了 7B LLaMA 模型，只用了 52K 的数据，达到了和达芬奇003类似的效果，并且可以跑在消费级设备上，比如树莓派。 推特中文圈 ( github.com)

推特中文圈

IT技术

大陆资讯

【大佬在苹果MacBook上跑LLaMA，130亿参数大模型仅占8GB】语言模型的成本已经下降到个人电子设备也可用的地步。经过4-bit量化之后，模型被缩小，LLaMA甚至可以在配备M1芯片的MacBook上运行。 大陆资讯 ( zhidx.com)

大陆资讯

推特中文圈

开源之光:RedPajama重塑大语言模型的未来 LLaMA最强平替，超12万亿训练数据，全开源 1. 开源12万亿训练数据，参考LLaMA数据集配比。 2. 模型马上开源 *标题由Claude生成… 推特中文圈 开源推荐 ( twitter.com)

推特中文圈

开源推荐

IT技术

时政

nvidia jetson agx orin 树莓派4b 性能上：1 v 55 价格上：1 v 11 树莓派4b 4gb目前售价约1000 如果你有11个树莓派4b，就能换得当今最强小电脑 推特精选 ( twitter.com)

推特精选

kotoro-TTS 荣登 TTS Arena 排行榜第一名，录了个视频大家可以看下它中文的语音合成效果。 值得一提的是，这个模型只有 82M，树莓派都能跑。而且是 MIT 协议的。 排行榜地址： 在线测试地址： 时政 ( twitter.com)

时政

IT技术

5620亿参数，最大多模态模型控制机器人，谷歌把具身智能玩出新高度 大陆资讯 ( www.jiqizhixin.com)

大陆资讯

微软被曝正自研AI大模型：5000亿个参数，与谷歌和OpenAI竞争 大陆资讯 ( www.thepaper.cn)

大陆资讯

大陆资讯

羊驼的Lora 来了，树莓派可用。 推特中文圈 ( github.com)

推特中文圈

IT技术

IT技术

时政

时政

GPT-4参数最新爆料！1.76万亿参数，8个2200亿MoE模型，PyTorch创始人深信不疑 近来，美国知名骇客George Hotz在接受采访时透露，GPT-4由8个220B模型组成。这么算来，8 x 220B = 1.7… IT技术 ( twitter.com)

IT技术

推特中文圈

创建一个新帐户

登录

在 4gb 的树莓派（Raspberry Pi 4）上运行 LLaMA 7B 参数的模型

虽然现在推理的速度还很慢，但是已经证明了 LLM 能够在消费级硬件上运行了，这仅仅是一个开始。

LLM 的 Stable Diffusi…
推特中文圈
( twitter.com)

部署在树莓派 (Raspberry Pi)上 GPT 语音助手，使用开源的大型语言模型（LLM）响应请求，转给爱折腾的小伙伴。
IT技术
( github.com)

阿里云研发的 #通义千问大模型系列的70亿参数规模的模型Qwen-7B和Qwen-7B-Chat，在魔塔社区上开源，支持用户在消费级显卡上部署和运行模型。

时政
( twitter.com)

早晨起来大模型的新闻又炸了
斯坦福微调了 7B LLaMA 模型，只用了 52K 的数据，达到了和达芬奇003类似的效果，并且可以跑在消费级设备上，比如树莓派。
推特中文圈
( github.com)

【大佬在苹果MacBook上跑LLaMA，130亿参数大模型仅占8GB】语言模型的成本已经下降到个人电子设备也可用的地步。经过4-bit量化之后，模型被缩小，LLaMA甚至可以在配备M1芯片的MacBook上运行。
大陆资讯
( zhidx.com)

开源之光:RedPajama重塑大语言模型的未来
LLaMA最强平替，超12万亿训练数据，全开源
1. 开源12万亿训练数据，参考LLaMA数据集配比。
2. 模型马上开源
*标题由Claude生成…
推特中文圈

开源推荐
( twitter.com)

nvidia jetson agx orin
树莓派4b
性能上：1 v 55
价格上：1 v 11

树莓派4b 4gb目前售价约1000
如果你有11个树莓派4b，就能换得当今最强小电脑
推特精选
( twitter.com)

kotoro-TTS 荣登 TTS Arena 排行榜第一名，录了个视频大家可以看下它中文的语音合成效果。
值得一提的是，这个模型只有 82M，树莓派都能跑。而且是 MIT 协议的。
排行榜地址：
在线测试地址：
时政
( twitter.com)

5620亿参数，最大多模态模型控制机器人，谷歌把具身智能玩出新高度
大陆资讯
( www.jiqizhixin.com)

微软被曝正自研AI大模型：5000亿个参数，与谷歌和OpenAI竞争
大陆资讯
( www.thepaper.cn)

羊驼的Lora 来了，树莓派可用。
推特中文圈
( github.com)

GPT-4参数最新爆料！1.76万亿参数，8个2200亿MoE模型，PyTorch创始人深信不疑

近来，美国知名骇客George Hotz在接受采访时透露，GPT-4由8个220B模型组成。这么算来，8 x 220B = 1.7…
IT技术
( twitter.com)