可商用！复旦大学开源了160B参数的大模型MOSSMOSS是一个支持中英双语和多种插件的对话语言模型，基座模型在约七千亿中英文以及代码单词上预训练得到。具备多轮对话能力及使用多种插件的能力很多训练语料都使用ChatGPT AP…

发布时间: 2023-04-22 09:13:41

1分

数据加载中

关注推特

收听电报

可商用！复旦大学开源了160B参数的大模型MOSS
MOSS是一个支持中英双语和多种插件的对话语言模型，基座模型在约七千亿中英文以及代码单词上预训练得到。具备多轮对话能力及使用多种插件的能力
很多训练语料都使用ChatGPT AP…
推特中文圈
( twitter.com )

2年前由 nash_su 提交

Markdown支持

评论加载中...

您可能感兴趣的：更多

复旦团队：全参数微调用于资源有限的大语言模型

单台机器能够微调65B参数的LLaMA

这项技术使得一个只有8块RTX 3090显卡（每块显存24GB）的单一机器能够完全微调一个拥有65B参数的模型。

代码库：…
IT技术
( twitter.com)

2年前 • GPTDAOCN • -- 点击 0 评论

【复旦MOSS升级版开源上线，能搜索信息、生成图像，还能解数学应用题】“MOSS的道德感也很强，”复旦大学自然语言处理实验室博士生孙天祥说，对于有负能量的指令，它也可以给出令人满意的回复。
大陆资讯
( web.shobserver.com)

2年前 • 猪莉夜 • -- 点击 0 评论

目前英文 7B 规模的 SOTA 模型是 zephyr-7b-beta。它放弃了质量参差不齐的开源数据集，使用ChatGPT和GPT-4 全新标注了 UltraChat 和 UltraFeedback 数据集（已开源）。是 llama-index 项目实测出来唯一能够支持 Agent 的小参数模型。

与之相比，中文开源模型虽多，数据集却很少开源。
时政
( twitter.com)

2年前 • 九原客 • -- 点击 0 评论

马斯克的大模型 Grok-1 开源了，这是一款拥有3140亿参数的先进混合专家模型，截止目前参数量最大的开源大语言模型。
这个版本包含了Grok-1在2023年10月完成预训练阶段时的基础模型数据。这意味着模型尚未经过针对特定应用（如对话系统）的微调。
根据Apache…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

又写了一篇万字文章，Meta 这篇文论太顶了。

LLaMA 2：免费可商用的开源大语言模型

IT技术
( mp.weixin.qq.com)

2年前 • lencx • -- 点击 0 评论

闪电预览

马斯克旗下大模型公司xAI宣布正式开源3140亿参数的混合专家（MoE）模型“Grok-1”。Grok-1为当前参数量最大的开源大语言模型。
不过与目前推特X平台付费版的Grok不同，Grok-1从头开始训练，没有针对任何特定应用进行微调。
时政
( twitter.com)

1年前 • 外汇交易员 • -- 点击 0 评论

开源之光:RedPajama重塑大语言模型的未来
LLaMA最强平替，超12万亿训练数据，全开源
1. 开源12万亿训练数据，参考LLaMA数据集配比。
2. 模型马上开源
*标题由Claude生成…
推特中文圈

开源推荐
( twitter.com)

2年前 • nash_su • -- 点击 0 评论

开源社区Hugging Face开放了ChatGPT的“平替”——HuggingChat，可在线免费使用。目前与Open Assistant一样，都是基于300亿参数的LLaMA模型。…
时政
( twitter.com)

2年前 • 外汇交易员 • -- 点击 0 评论

网友：今晚复旦大学在抖音直播公开课，讲马列哲学，用的账号是“复旦哲学”，8点20就突然断播了，评论区至少90%内容翻车了，可以了解一下，光顾着笑，没截图，有点后悔。
时政
( twitter.com)

2年前 • 新闻调查 • -- 点击 0 评论

推特中文圈

复旦团队：全参数微调用于资源有限的大语言模型 单台机器能够微调65B参数的LLaMA 这项技术使得一个只有8块RTX 3090显卡（每块显存24GB）的单一机器能够完全微调一个拥有65B参数的模型。 代码库：… IT技术 ( twitter.com)

IT技术

大陆资讯

时政

IT技术

又写了一篇万字文章，Meta 这篇文论太顶了。 LLaMA 2：免费可商用的开源大语言模型 IT技术 ( mp.weixin.qq.com)

IT技术

时政

开源之光:RedPajama重塑大语言模型的未来 LLaMA最强平替，超12万亿训练数据，全开源 1. 开源12万亿训练数据，参考LLaMA数据集配比。 2. 模型马上开源 *标题由Claude生成… 推特中文圈 开源推荐 ( twitter.com)

推特中文圈

开源推荐

开源社区Hugging Face开放了ChatGPT的“平替”——HuggingChat，可在线免费使用。目前与Open Assistant一样，都是基于300亿参数的LLaMA模型。… 时政 ( twitter.com)

时政

网友：今晚复旦大学在抖音直播公开课，讲马列哲学，用的账号是“复旦哲学”，8点20就突然断播了，评论区至少90%内容翻车了，可以了解一下，光顾着笑，没截图，有点后悔。 时政 ( twitter.com)

时政

创建一个新帐户

登录

复旦团队：全参数微调用于资源有限的大语言模型

单台机器能够微调65B参数的LLaMA

这项技术使得一个只有8块RTX 3090显卡（每块显存24GB）的单一机器能够完全微调一个拥有65B参数的模型。

代码库：…
IT技术
( twitter.com)

又写了一篇万字文章，Meta 这篇文论太顶了。

LLaMA 2：免费可商用的开源大语言模型

IT技术
( mp.weixin.qq.com)

开源之光:RedPajama重塑大语言模型的未来
LLaMA最强平替，超12万亿训练数据，全开源
1. 开源12万亿训练数据，参考LLaMA数据集配比。
2. 模型马上开源
*标题由Claude生成…
推特中文圈

开源推荐
( twitter.com)

开源社区Hugging Face开放了ChatGPT的“平替”——HuggingChat，可在线免费使用。目前与Open Assistant一样，都是基于300亿参数的LLaMA模型。…
时政
( twitter.com)

网友：今晚复旦大学在抖音直播公开课，讲马列哲学，用的账号是“复旦哲学”，8点20就突然断播了，评论区至少90%内容翻车了，可以了解一下，光顾着笑，没截图，有点后悔。
时政
( twitter.com)