西北工业大学开源了一个语音理解模型：OSUM，支持8种语音理解任务，从ASR到情感识别，以及语音到文本的深度理解支持语音识别(ASR) 带时间戳的语音识别(SRWT) 声音事件检测(VED) 语音情感识别(SER) 说话风格识别(SSR) 说话者性别分类(SGC) 说话者年龄预测(SAP) 语音到文本对话(STTC)

分享一个链接

发表一篇文章

任何有趣的，图片，热点新闻，视频，文字...

3141 位用户此时在线

24小时点击排行 Top 10：

一定是中国人

新能源自動火化

网友投稿：一位外卖小哥在送餐途中被警察拦下，理由是“今天是西方万圣节，不准任何装扮，万圣节只在国外承认，在中国不被承认”。民警当场登记了他的身份信息，并要求小哥“整改”。不久后，小哥换上东北花袄继续送外卖，又在路上被拦下，被要求“整改”。

20K-50K 招聘远程 Python AI 工程师（图片与文本处理方向）

So cute 🤗🤗

11月1日，上海，一名cos被警察要求当场卸妆。浙江杭州，in77，蝙蝠侠被当街逮捕。浙江杭州，龙翔桥附近，红爷cos被警察驱赶。上海愚园路附近，警察拍打公交车车窗要求车内的cos摘下面具。

A wonderful unforgettable moment by her. He is a gentleman.

Women dancing for Trump’s Mar-a-Lago guests

10月28日，山西，一位国企员工向网友展示了其丰盛的午餐，评论区的体制内网友也不甘示弱，纷纷晒出了自己豪华且低廉的工作餐。

11月1日，据韩国媒体报道，习近平在韩国庆州期间，除了与韩国总统李在明会面，二人又互赠礼物。习近平向李在明夫妇赠送小米旗舰的曲面手机和文房四宝。李在明开玩笑问小米手机通讯保密如何，习近平则叫李在明查看电话有没有后门，二人大笑。

Dancers at Trump’s Halloween party as people begin losing food stamps under his administration

河南農村的夜生活，男女老少適宜。

11月1日，广东，一位网友在镜头前双膝跪地，恳求道：“求求我们的国家，能尽快实现全民5天8小时工作制，每个人都有双休，不用加班，工资涨一涨，普罗大众的生活不被工作占据绝大部分的时间，可以的话请尽快实施，拜托了。”话音落下，他还朝镜头磕了一个头。

Good morning to everyone that says it back ❤️

老照片，你看到了什么？

突發事件：亨廷頓火車上多人被刺傷。消息稱，有10人被刺傷！在場的當地人說，行凶者有兩名，當時高喊「真主至大」。

10月29日，江西省九江市，登高未来城业主堵门抗议停车费问题。

习近平在中国人心目中的实际地位！

网友投稿：10月31日，陕西西安某万圣节活动场所附近，一位coser化身“大白”，手持棉签为来往行人“做核酸”。以此来讽刺疫情封控时期“一刀切”的防疫政策。

汪文斌在B站现已享受习近平同等待遇，加入正国级🈲评套餐 #园长

That smile when he realizes someone caught the moment

近日，有网友曝光，在饿了么旗下“蜂跑”平台，一些外卖员想接单必须向小队长“上供”送烟，否则连送外卖的资格都没有，一单算上补贴才3块钱。视频中，一名站长与外卖员对话，明确要求对方“买条极品烟，到幸福万家放着就行”，按规定这样只能“跑两周”。

#翻墙教学用 TLS 分段绕过防火长城。自 Mozilla Firefox 加入 QUIC 的 SNI 分段以来，Chromium 的隐私分叉 Cromite 也在俄国墙民建议下加入了类似的反审查功能。经测试只要 2 项设置就可击败防火长城的 SNI 审查，直连品葱、BBC、纽约时报等网站。 1. 设置 - 安全和隐私 - 安全 DNS -

11月1日，中美贸易协议全文公布，据协议细节，中国承诺提供稀土通用出口许可，确保全球供应链稳定；每年采购2500万吨美国大豆，支持美农产品出口；加强芬太尼前体化学品管制与执法合作；取消对美国农产品的所有关税壁垒，并废除所有报复性非关税措施；同时，终止针对美国半导体供应链企业的反垄断调查

伊斯蘭恐怖主義分子，正在對尼日利亞基督徒進行種族滅絕。埃澤基爾·達喬莫牧師留下遺言：“我已經告訴我的家人，下一個可能是我，如果他們（伊斯蘭主義者）來抓我，不要給我一分錢，我會讓他們快點殺了我。” 勇士們，我的血將升騰，我的血將帶來尼日利亞基督徒的解放。

本站自动实时分享网络热点
24小时实时更新
所有言论不代表本站态度
欢迎对信息踊跃评论评分
评分越高，信息越新，排列越靠前

3

2

1

西北工业大学开源了一个语音理解模型：OSUM，支持8种语音理解任务，从ASR到情感识别，以及语音到文本的深度理解
支持语音识别(ASR)
带时间戳的语音识别(SRWT)
声音事件检测(VED)
语音情感识别(SER)
说话风格识别(SSR)
说话者性别分类(SGC)
说话者年龄预测(SAP)
语音到文本对话(STTC)
时政
( twitter.com )

8个月前由 AIGCLINK 提交

西北工业大学开源了一个语音理解模型：OSUM，支持8种语音理解任务，从ASR到情感识别，以及语音到文本的深度理解

支持语音识别(ASR)
带时间戳的语音识别(SRWT)
声音事件检测(VED)
语音情感识别(SER)
说话风格识别(SSR)
说话者性别分类(SGC)
说话者年龄预测(SAP)
语音到文本对话(STTC)

它结合了Whisper和Qwen2，采用ASR+X训练策略，支持多任务同时训练优化

#语音理解模型 #语音识别 #OSUM

1周内 1个月内 1年内全部时间

1
2
3
4
5
6
...
400
下一页

1

2

1

1

Google提出AudioPaLM：一个可以说话和听的大型语言模型。

论文页面：

我们介绍了AudioPaLM，这是一个用于语音理解和生成的大型语言模型。AudioPaLM将基于文…
IT技术
( twitter.com)

2年前 • 宝玉 • -- 点击 0 评论

2

2

1

1

#AI开源项目推荐#：AudioGPT
这是一个借助大语言模型（LLM）处理音频的工具，可以：
- 生成音乐 🎶
- 背景音效 🎵
- 音频生成字幕 🎤
- 文字生成音频 🗣️
- 文字生成音频并模拟声音 📢
- 根据图片生成音频…
推特中文圈
( twitter.com)

2年前 • 宝玉 • -- 点击 0 评论

3

2

1

1

来自北京大学和微软研究院的一篇论文，MusicAgent是一款基于大语言模型（LLM）为音乐创作打造的 AI 智能体，可以理解成音乐界的 AI Copilot 。

它借助了 LLM 的任务规划能力、工具选择能力和…
IT技术
( twitter.com)

2年前 • 宝玉 • -- 点击 0 评论

4

2

1

1

Google刚刚发布了开源大语言模型 Gemma，这是对标 LLAMA 2 的开源大语言模型。
Gemma是一系列基于创建Gemini模型所使用的相同技术与研究的、在其领域内技术领先的轻量级开源模型。…
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

5

2

1

1

发现了个好东西，这个老哥开源了一门课程《从头开始构建大型语言模型》，这门课程将一步步地指导你创建自己的LLM。
每个阶段都有清晰的文本、图表和实例来解释相关概念。
课程内容包括： 1. 从基础理解注意力机制
2. 构建并预训练一个类似于GPT的模型
3. 学习如何加载预训练的权重
4.…
IT技术
( twitter.com)

1年前 • 歸藏 • -- 点击 0 评论

6

2

1

1

大语言模型微调之道1——介绍

#大语言模型微调之道

欢迎来到由Sharon Zhou主讲的《大语言模型微调之道》课程。这门课程将教你如何在自己的数据上进一步训练开源LLM。

虽然你可能已经知道如何提示一个大语言模型，但这门课程会深入讲解另一个重要工具：微调。…
IT技术
( twitter.com)

2年前 • 宝玉 • -- 点击 • 下载视频 0 评论

00:02:59

7

2

1

1

【乔布斯全新采访曝光，然而…】这个AI播客背后的公司名为Play.ht。他们主营业务为 AI 文本转换语音生成器，今年9月，发布了第一个语音模型Peregrine，据称，其模型原理与大型语言模型(如 DALE 和 GPT-2 )相近，采用自监督方式训练AI能模仿特定某人的语气和情绪。
大陆资讯
( www.qbitai.com)

3年前 • 猪八戒 • -- 点击 0 评论

8

2

1

1

一个开源的多模态 LLM Unified-IO 2。
比较离谱的是它可以实现语音理解和动作理解还有图像标记这种任务，还可以理解空间关系。真正的 All in one 。
甚至还可以驱动机器人做对应的操作。
项目简介：
Unified-IO 2，这是第一个能够理解和生成图像、文本、音频和动作的自回归多模态模型。…
IT技术
( twitter.com)

1年前 • 歸藏 • -- 点击 0 评论

9

2

1

1

#AI开源项目推荐#：PKU-YuanGroup/ChatLaw

来自北京大学ChatExcel课题组开源的中文法律大模型ChatLaw，极大的解决了GPT的幻觉问题。

这个系列有三个版本：
- ChatLaw-13B：这是基…
IT技术
( twitter.com)

2年前 • 宝玉 • -- 点击 0 评论

10

3

2

2

不少学生涌入西北工业大学B站账号，要求学校给一个合理的解释，披露该事件更多细节。
时政
( twitter.com)

11个月前 • 李老师不是你老师 • -- 点击 0 评论

11

2

1

1

# AI 开源模型分享
最强语音识别和说话人分离模型
Reverb 推出最强开源语音识别 (ASR) 和说话人分离 (Diarization) 模型, 评测结果击败 OpenAI 推出的 Whisper large-v3！
# Reverb ASR 模型
- 使用 20 万小时的人工转录数据训练
- 达到了最新的词错误率 (WER) 水平
- 支持可定制的逐字转录
#
时政
( twitter.com)

1年前 • meng shao • -- 点击 0 评论

12

3

2

2

阿里巴巴起诉前核心员工周畅
指其在离职后违反了竞业协议，加入字节跳动并从事相关 AI 大模型工作。
周畅 2017 年博士毕业于北京大学计算机软件与理论专业，随后加入阿里巴巴，花名“钟煌”，是阿里通义千问大模型的技术负责人，曾和团队推出一系列语言模型、多模态模型。
时政
( twitter.com)

11个月前 • 小互 • -- 点击 0 评论

13

2

1

1

这两天最令人兴奋的概念可能是Karpathy大神提出了LLM OS（大语言模型操作系统）了：
模型即芯片，与人和环境互动即输入，完全嵌入工作流程。
在此基础上提出的agent代理驱动组织（ADO，--
创业者John Rush
时政
( twitter.com)

2年前 • rick awsb ($people, $people) • -- 点击 0 评论

14

2

1

1

我大鹅厂也开始开源了，希望别烂尾。
腾讯正式公布，旗下混元文生图大模型已完成升级，并对外开源。
此次升级的模型采用了与Sora相同的DiT架构，不仅能够支持文生图，也能作为视频等多模态视觉生成的基础。
这是业界首个中文原生的DiT架构文生图开源模型，支持中英双语输入及理解，15亿参数。
时政
( twitter.com)

1年前 • Leo Xiang • -- 点击 0 评论

15

2

1

1

#工程师工具发现一个可以免费跑开源大语言模型的在线地址「FastChat」，支持 Vicuna、Koala、Dolly、ChatGLM、Alpaca、LLaMA，使用下来有一种 GPT3.5 的水平，开源很大程度促进了国产 AI…
推特中文圈
( twitter.com)

2年前 • Tw93 • -- 点击 0 评论

16

2

1

1

#工程师工具发现一个很适合小白本地玩语言模型的开源 Mac 工具「LLamaChat」，可下载 LLama、Alpaca 和 GPT4All 模型后直接进行聊天，省去了麻烦的配置过程，很开箱即用，有兴趣的同学可以玩玩看。
🤖…
推特中文圈
( twitter.com)

2年前 • Tw93 • -- 点击 0 评论

17

2

1

1

李沐的语音LLM，在文本大模型基础上加入语音输入输出，开源训练方法与权重。需要10-12 GB VRAM
没有这种模型之前，AI直播、AI语音、AI客服等基本靠纯文本大模型加语音识别生成，响应容易慢。而且大段文本不一定适合念出来，念出来也不一定符合“情感”
时政
( twitter.com)

3个月前 • Gantrol • -- 点击 0 评论

18

2

1

1

DeepSeek 开始搞多模态了。
开源了一个多模态理解和生成一体的模型 Janus，既可以理解图片内容又可以生成图片。
Janus的核心创新是将视觉编码分为两个独立的部分:一个用于多模态理解,一个用于图像生成。
IT技术
( twitter.com)

1年前 • 歸藏(guizang.ai) • -- 点击 0 评论

19

2

1

1

部署在树莓派 (Raspberry Pi)上 GPT 语音助手，使用开源的大型语言模型（LLM）响应请求，转给爱折腾的小伙伴。
IT技术
( github.com)

1年前 • Geek • -- 点击 0 评论

20

2

1

1

发现了一个宝藏资源！
这位大神开源了一门课程《从头开始构建大型语言模型》，课程将逐步带你创建自己的LLM。
每个章节都配有详尽的文字说明、图表和实例来讲解关键概念。
课程内容包含：
基础知识：深入理解注意力机制
模型构建：创建并预训练类似于GPT的模型
权重加载：掌握如何加载预训练权重
时政
( twitter.com)

11个月前 • Y11 • -- 点击 0 评论

21

2

1

1

Meta 昨天推出了 Voicebox，一个全能语音生成模型，这是一个支持六种语言和多种语音处理功能的模型，功能包括

基于上下文的文本转语音合成
跨语言风格转换
跨语言风格转换
多样化的语音采样

详细的功能介绍和原理在下面🧵：
IT技术
( twitter.com)

2年前 • 歸藏 • -- 点击 • 下载视频 0 评论

00:02:43

22

2

1

1

关于大语言模型的理解力的问题。
大陆资讯

2年前 • 猪八戒 • -- 点击 0 评论

23

2

1

1

DeepSeek 发布了一个新型 OCR文档理解模型：DeepSeek-OCR
它不仅解析图像文档达到了一流水平
还探索出了一个大胆的想法👇🏻
大语言模型（比如 GPT）在处理长文章时，消耗的计算量会爆炸性增长。
但如果把文字“画成图片”，模型只需要很少的“视觉 token”就能理解同样内容。
时政
( twitter.com)

12天前 • 小互 • -- 点击 0 评论

24

2

1

1

🐶 Bark
开源的文字生成音频模型。
- 非常真实自然的语音
- 英文效果最佳，其他语言还欠佳
- 支持通过文本生成歌曲
- 支持生成背景噪音、简单的音效
- 支持大笑、叹息、哭泣
- 开源模型，自己可以下载玩，也可以去官方排队…
推特中文圈
( twitter.com)

2年前 • orange.ai • -- 点击 0 评论

1
2
3
4
5
6
...
400
下一页

0.14071 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特