最近完善了下自己的中文模型能力评测集，包含如下部分：指令遵循：参考ifeval 设计，考察模型遵守指令的能力，如结构化输出。阅读理解：关注长上下文的阅读理解和回答能力。长文本检索：将LLM作为rerank 代码生成：参考HumanEval 设计。工具调用：目前只设计了单轮调用，不涉及plan和reflect。…

分享一个链接

发表一篇文章

任何有趣的，图片，热点新闻，视频，文字...

2396 位用户此时在线

24小时点击排行 Top 10：

历史不会记住耗资2亿金碧辉煌的宴会厅，但会记住白宫这简陋的小木桌。

金正恩是中国权力的试金石。看看他对李强的不屑，再对比他在习近平跟前的小心翼翼，堪称国际斗争大师的金三胖，最清楚谁掌握着中国的至高权力。那些等待四中全会惊天之变的热心人，洗洗睡吧。

10月20日，陕西西安，在连续9天8夜的讨薪行动后，西安高科集团总部大楼内，一名女工人情绪失控，当场痛哭。

10月21日，一位江苏网友在观看纪录片《沉默的农药》后称“心情久久不能平静”。身为程序员的他自制了一款名为“归家”的App，面向台湾民众和台军，号称可用于“投诚登记”。视频显示，用户可在App中实名登记“回归祖国”的意愿，其中台北市登记人数达28,456人，为最多地区。

律师支招，男性如何防范一夜情后被告强奸。

10月18日，一名网约车司机在行车途中与乘客闲聊，不久后便接到滴滴救援中心来电，对方提醒他“抓好方向盘，不要与乘客闲聊”。

这才是中国人该唱的《国歌》:

日本皇上正式任命新首相。

小米车主，最高飙车时速272km，还拍摄视频显摆！果然应了那句话：小米，年轻人的最后一辆车。

现在的游戏平台已经把家长逼疯了，家长拿平台没办法，拿自己的娃没办法，只有狂扇自己耳光…

The original voice clip. We understand money is needed and most of the time the well off Chinese are from red families. Hence the host country is tolerating them.

https://t.co/OmcTogbbXP

中国留学生在保加利亚装了五天日本人，就为了偷用冰箱。话说日本室友慷慨让她用冰箱，还介绍她跟其他日本同学一起认识避免她留学生活过于寂寞孤独，换来的是她这种反馈。

3个月的鸡大家不敢吃，3个月的汽车那是真香啊!

台灣威而鋼VS美國進口威而鋼大比拼：價格差在哪？功效有何差異？一次看懂不踩雷！

A 13-year-old crashed into a taxi — and the judge held her fully responsible. Some say it’s too harsh for a child. Others say it’s about time someone learned what “consequences” mean. 向巨婴惯着的社会，总要有人第一个为现实买单。 (In a society that keeps indulging its children,

高市首相接受天皇的任命自民党总裁高市早苗（64岁）在 10 月 21 日召开的临时国会上被指名为第104任日本首相。这是日本首位女性首相。画面中，高市早苗在皇宫“松之间”接受天皇陛下的任命，中央为前首相石破茂（皇居·宫殿）。

10月20日，微博博主他认为，随着第十一批药品集采即将启动，原研药可能再度“全军覆没”。在2024年第十批集采申报会上，几乎所有原研药已被“驱逐”出局，原研药企因无法承受报出低到亏损的报价，只能选择主动退出中国市场。

一伊斯蘭爛民試圖在法國火車上強姦女孩。這名女孩是巴西遊客，後來另一名女子拍攝他，並嚇跑了他，女孩才獲救。「他一言不發地朝我走來。我驚慌失措，站了起來。然後他推了我一下，仍然一言不發。我試圖逃跑，但他卻拉下了我的褲子。很明顯，他想強姦我，」她告訴法國媒體。

1912年一1949是民国，不是旧社会。

10月21日，广东江门新会区，有网友拍到，当地一体育场内在大量儿童玩耍期间，一架无人机在场地旁喷洒消毒液。

10月17日，湖南省，中国铁建有限公司，工人因被拖欠工资，驾驶挖掘机和搅拌车堵门讨薪。同日，江西省九江市德安县联盛快乐城店员工反映，公司已拖欠工资长达七个月，并以各种理由推诿不发。新疆哈密中豪建业（北京）有限公司工人称，项目完工后仍未收到工资，甚至连返乡路费都无着落。

网友投稿：百度App的“刷视频领钱”活动中，坚持半年多时间，终于积累到19.99元现金离提现门槛仅剩0.01元时，账号突然被封，系统提示“异常”。更离谱的是，从19.99元到20元竟需300万积分，这笔积分远超此前从1元到19.99元的所有积累总和，让人感觉像掉进了精心设计的“钓鱼”陷阱。百度通过设置高额积分门槛

10月20日，广东省深圳市，外卖员集体前往深圳携手势网络科技有限公司讨要说法。多名外卖员反映，该公司员工长期订餐后拒付餐费，涉嫌“集体吃霸王餐”，并多次恶意投诉、差评骑手。骑手沟通无果后，选择集体上门维权。

10月18日，北京市，中国交通建设股份有限公司门前，一名网友反映自己为讨薪已在此坚持半个月。期间多次尝试进入公司讨要工资，却被多名保安拦截，不允许靠近。拍摄视频时，其中一名保安还试图上前抢夺手机。#维权

本站自动实时分享网络热点
24小时实时更新
所有言论不代表本站态度
欢迎对信息踊跃评论评分
评分越高，信息越新，排列越靠前

2

1

0

最近完善了下自己的中文模型能力评测集，包含如下部分：
指令遵循：参考ifeval 设计，考察模型遵守指令的能力，如结构化输出。
阅读理解：关注长上下文的阅读理解和回答能力。
长文本检索：将LLM作为rerank
代码生成：参考HumanEval 设计。
工具调用：目前只设计了单轮调用，不涉及plan和reflect。…
时政
( twitter.com )

1年前由九原客提交

最近完善了下自己的中文模型能力评测集，包含如下部分：

指令遵循：参考ifeval 设计，考察模型遵守指令的能力，如结构化输出。
阅读理解：关注长上下文的阅读理解和回答能力。
长文本检索：将LLM作为rerank
代码生成：参考HumanEval 设计。
工具调用：目前只设计了单轮调用，不涉及plan和reflect。
Text2SQL，参考了sql-eval。
数学计算：参考gsm8k，考验cot能力。
行测：公务员行测最新考题，包含常识、逻辑、语言理解。

限于精力，每个子集只有30-100道不等。所有的Prompt 和数据都是中文，大量利用GPT-4辅助合成，抓取最新数据避免污染。

评估数据应该不会开放，但是评估代码在重构，重构后应该会放出。

有兴趣建设自己的模型评测数据集的可以参考。

1周内 1个月内 1年内全部时间

1
2
3
4
5
6
...
400
下一页

1

2

1

1

最近密集测试了最新的多款支持中文的模型，做如下推荐：

1. 商用请选择 Aquila 或者 baichuan（需申请）。
2. 预训练模型推荐 baichuan-7B 或 Aquila-7B。
3. 开箱即用的 Chat 模型，…
推特中文圈
( twitter.com)

2年前 • 九原客 • -- 点击 0 评论

2

2

1

1

最近两个月大家肯定看到各家模型都号称超越 ChatGPT 性能，霸榜各大测试数据集，但实际使用效果却很一般。背后最大的原因是，学术界现有的测试方法无法完善地评价 LLM 的综合能力。这篇由 Berkeley、UCSD、CMU 联合…
IT技术
( twitter.com)

2年前 • Quinn Leng • -- 点击 0 评论

3

2

1

1

文档识别模型，我一般就用这个图测试。
大家可以猜猜哪个模型最好，也可以自己测试下。
时政
( twitter.com)

29天前 • 九原客 • -- 点击 0 评论

4

2

1

1

我们做了一个大模型测试集「Z-Bench」，300个问题全方位考察大语言模型能力
大陆资讯
( mp.weixin.qq.com)

2年前 • 三聚氰胺 • -- 点击 0 评论

5

2

1

1

【斯坦福教授诱导GPT-4写出自己的“越狱计划”】Michal Kosinski 今年2月曾提出，心智理论可能自发地出现在大型语言模型中。最近他测试发现，GPT-4解决心智任务的能力已经达到了健康成年人的水平。
大陆资讯
( www.qbitai.com)

2年前 • 吊死团 • -- 点击 0 评论

6

2

1

1

当 AI 能考上一本，十年寒窗苦读还有意义吗？
这两天被一条新闻刷屏，就是极客公园做的一个测试，找了九个大模型测试 2024 年高考试卷，结果有四个大模型文科成绩上了一本线，整体表现最强的是 GPT-4o（文科 562 分），国内模型中表现最好的是字节的豆包（文科 542.5）。相比文科，AI
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

7

3

2

2

最近又密集做了一波应用，换了很多模型，感受：国内模型相比于顶尖国外模型还有差距，尤其是在真实生产环境（包括RAG、Agent、数据合成等应用中）：
- 最好的推理模型o1
- 最好的代码模型claude sonet
- 最好的多模态输入模型 gemini flash 2.0
-
时政
( twitter.com)

10个月前 • 九原客 • -- 点击 0 评论

8

2

1

1

达克效应：
1. 能力最差的人对自己的评价离事实最远；
2. 能力中间偏前的人对自己的评价最准；
3. 中间偏后一点的人，对自己的评价最高；
4. 能力最强的人对自己的评价偏低。
图片
( twitter.com)

2年前 • 章工GPT • -- 点击 0 评论

9

2

1

1

nano-banana 大展宏图！开个我的图像编辑测试大合集贴！
目的：
✅探索模型能力边界
✅模型各有所长，方便大家根据细分场景找到最合适自己的模型
✅方便整活/灵感
参与对比模型（当前版本四强/各有所长）：
1️⃣nano-banana（Gemini2.5FlashImg
2️⃣GPT-Img
3️⃣Flux-Kontext-Pro
4️⃣Qwen-Img-Edit
1/n
时政
( twitter.com)

1个月前 • -Zho- • -- 点击 0 评论

10

3

2

2

目前英文 7B 规模的 SOTA 模型是 zephyr-7b-beta。它放弃了质量参差不齐的开源数据集，使用ChatGPT和GPT-4 全新标注了 UltraChat 和 UltraFeedback 数据集（已开源）。是 llama-index 项目实测出来唯一能够支持 Agent 的小参数模型。

与之相比，中文开源模型虽多，数据集却很少开源。
时政
( twitter.com)

2年前 • 九原客 • -- 点击 0 评论

11

2

1

1

微软推出了一个专门用于评估大语言模型的整合性工具库：PromptBench
提供了一系列工具，包括创建不同类型的提示、进行数据集和模型加载、执行对抗性提示攻击（即测试模型对恶意输入的抵抗力）等。
以支持研究人员从不同方面对LLMs进行评估和分析。
主要特点和功能：…
IT技术
( twitter.com)

1年前 • 小互 • -- 点击 0 评论

12

2

1

1

马斯克X AI发布Grok-1.5 Vision 多模态模型
Grok-1.5V能够处理文本以及各种视觉信息，包括文档、图表、截图和照片。
基准测试中，Grok-1.5V 的能力和GPT 4V不相上下，多项指标甚至超过GPT 4V！
在新RealWorldQA真实世界物理空间基准中的表现超过GPT 4V等所有模型！…
时政
( twitter.com)

1年前 • 小互 • -- 点击 0 评论

13

2

1

1

藏师傅第一时间测试了一下 Sora 2，这玩意太吊了
不能用常规的 AI 视频模型评判标准去看待
它只需要两秒的音频就可以完美克隆你的音色，而且不止可以生成英文语音，中文也行！
而且模型具有世界知识，可以自主规划每个分镜，跟一个成熟的导演一样！
下面是详细的测试👇：
IT技术
( twitter.com)

21天前 • 歸藏(guizang.ai) • -- 点击 • 下载视频 0 评论

00:00:29

14

2

1

1

#工程师学习你知道当前 AI 语言模型在中文中能力水平如何吗？刷Github 看到一个评估套件叫做「C-Eval」，一个全面的中文基础模型评估套件，包含了 13948 个多项选择题，涵盖了 52 个不同的学科和四个难度级别，对当…
IT技术
( twitter.com)

2年前 • Tw93 • -- 点击 0 评论

15

2

1

1

一个高质量PDF内容提取工具：PDF-Extract-Kit
PDF-Extract-Kit通过集成多个模型实现了PDF高质量提取，适用于学术论文、教科书、研究报告和财务报表等多种文档类型，在扫描模糊或有水印的情况下也能保持高鲁棒性
1、布局检测采用LayoutLMv3模型进行区域检测，包括图像、表格、标题、文本等
时政
( twitter.com)

1年前 • AIGCLINK • -- 点击 0 评论

16

2

1

1

B站 BiliBili开源了Index-1.9B模型
Index-1.9B系列是Index系列模型中的轻量版本
1.9B包含：
Index-1.9B base : 基座模型，具有 19亿非词嵌入参数量，在2.8T 中英文为主的语料上预训练，多个评测基准上与同级别模型比处于领先
Index-1.9B pure :
时政
( twitter.com)

1年前 • AIGCLINK • -- 点击 0 评论

17

2

1

1

【如何用人工智能帮你读论文？】这个应用叫 Explainpaper，基于GPT-3模型。尽管这个应用还缺乏中文解释能力，但由于GPT-3本身就能识别中文，所以我传了一篇自己的论文上去测试，发现这个应用是可以用英文解释中文论文的。
大陆资讯
( mp.weixin.qq.com)

3年前 • 微信公众号 • -- 点击 0 评论

18

2

1

1

让 AI Agent 处理 23W 行代码，归根结底就是两点：
1. 记忆：借助文档帮助模型快速了解项目，快速定位，而不必重头开始
- 初始化好 Agents MD 文件
- 各个模块下都有相关文档说明，从 Agents MD 文件可以方便检索到
2. 反馈：让模型可以自己获得反馈
- 通过自动化测试让模型能自己获得反馈
-
IT技术
( twitter.com)

20天前 • 宝玉 • -- 点击 0 评论

19

2

1

1

OpenAI 在2017年用亚马逊网站的用户评论训练了一个模型，本来用于预测用户评论的下一个字符是什么词性或符号。

做好模型后，他们好奇这个模型能否做传统NLP的文本情感分析（判断用户评价正面还是负面）

令人震惊的事情出现了，…
IT技术
( twitter.com)

2年前 • 向阳乔木 • -- 点击 0 评论

20

3

2

2

最新阿里发布的 QWen2-VL-7B 的视觉语言模型有点强⚡️
OCR 能力达到同级开源模型 SOTA 效果！英文基础测试手写字识别准确度 “100%”🤯🤯 而且中文支持还不错！🔥
在线体验 👉
时政
( huggingface.co)

1年前 • Tom Huang • -- 点击 0 评论

21

2

1

1

随着越来越多的模型性能接近GPT-4，几个主要的评测手段都已经无法进行有效区分。
1. MMLU，分数均80+分，已缺乏区分度。
2. MT-Bench，裁判员是GPT-4，能力不足以分辨模型之间的能力差别。
3. Arena
时政
( twitter.com)

1年前 • 九原客 • -- 点击 0 评论

22

2

1

1

怎么写好一个 Prompt？官网的这篇文章写的十分清楚：

GPT 不是一个具有知识理解能力的模型，而是通过对训练数据中的模式进行建模来生成回应；给定一段输入文本，模型会尝试预测下一个…
推特中文圈
( twitter.com)

2年前 • Barret李靖 • -- 点击 0 评论

23

2

1

1

谁在评价大模型？AI大模型评测榜单乱象调查
大陆资讯
( www.jiemian.com)

2年前 • 牛郎侄女 • -- 点击 0 评论

24

2

1

1

可以拿这图去测试各大模型的多模态能力😄
IT技术
( twitter.com)

1年前 • 宝玉 • -- 点击 0 评论

1
2
3
4
5
6
...
400
下一页

0.1403 Second , Gzip Enable.本网所有言论均来自网络，不代表本网站立场。联系方式: [email protected]

©2012.11.21 bad.news All rights reserved. 社区自动运营第 -- 年零 -- 天
This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.

关注推特