清华发布2024年3月版《SuperBench大模型综合能力评测报告》
最近，由清华大学基础模型研究中心联合中关村实验室研制的SuperBench大模型综合能力评测框架，正式对外发布2024年3月版《SuperBench大模型综合能力评测报告》。评测共包含了14个海内外具有代表性的模型，结果显示：文心一言4.0表现亮眼。
图片来源于网络，如有侵权，请联系删除
例如在人类对齐能力评测中，文心一言4.0表现优异，位居国内第一，其中在中文推理、中文语言等评测上，文心一言遥遥领先，和其他模型拉开明显差距，中文理解上，文心一言4.0领先优势明显，领先第二名GLM-4 0.41分，GPT-4系列模型表现较差，排在中下游，并且和第一名文心一言4.0分差超过1分。
在语义理解中的数学能力上，文心一言4.0与Claude-3并列全球第一； GPT-4系列模型位列第四五，其他模型得分在55分附近较为集中，明显落后第一梯队；而在语义理解中的阅读理解能力上，文心一言4.0超过GPT-4 Turbo、Claude-3以及GLM-4拿下榜首。
而在企业选择大模型最看重的安全性评测上，国内模型文心一言4.0表现亮眼，拿下最高分（89.1分），Claude-3仅列第四。
自去年3月16日文心一言首发至今，用户数已突破2亿，每天API调用量也突破了2亿。
【责任编辑:冉晓宁】
阅读下一篇：
扫描二维码推送至手机访问。
版权声明：本文由每日快讯发布，如需转载请注明出处。
“清华发布2024年3月版《SuperBench大模型综合能力评测报告》” 的相关文章
据联合国日前发布的第四版《全球电子废弃物监测报告》，不断增长的全球电子废弃物数量是有文件记载的电子废弃物回收再利用数量的5倍。图片来源于网络，如有侵权，请联系删除 据国际电联和联合国训练研究所（UNITAR）报告，2022年产生的6200万吨电子废弃物将装满155万辆载重40吨的卡车，这些卡车...
新华社北京4月15日电 题：“中国AI”当有“中国志向”图片来源于网络，如有侵权，请联系删除 新华社记者胡喆图片来源于网络，如有侵权，请联系删除 近日，有“中国智能科技最高奖”之称的吴文俊人工智能科学技术奖颁发，一批在中国智能科技领域取得突破的项目及个人获奖，折射中国智能科技发展的新动向，彰...
新华社“雪龙2”号4月16日电 题：行程8万海里：“雪龙兄弟”带回来什么？图片来源于网络，如有侵权，请联系删除 新华社记者王立彬、周圆 4月16日，执行中国第40次南极考察的“雪龙”号、“雪龙2”号全部返回上海母港。 翻阅航行日记、数据库、样品箱，看看考察队都带回了哪些成果。 这是一组定...
当地时间周三（4月17日），欧洲央行管委约阿希姆·内格尔（Joachim Nagel）重申了他先前的观点，即该行6月份首次降息的可能性有所增加。图片来源于网络，如有侵权，请联系删除 这位德国央行行长在采访中坚持了这一立场，同时他补充道欧元区的通胀率可能无法在2025年达到2%的目标。与之相...
神舟十八号载人飞船计划将于近日择机发射，今天（4月21日），酒泉卫星发射中心组织各单位展开全系统合练。图片来源于网络，如有侵权，请联系删除 此次合练按照正式发射程序进行，在发射场系统的统一调度下，塔架、火箭、飞船等分系统进行功能检查，从飞行准备、点火起飞到船箭分离，实施全过程模拟演练。神舟十八...
周四（4月25日）美股盘前，经济分析局公布的最新报告显示，美国第一季度实际GDP增速大幅不及预期，引发美股期货短线跳水。图片来源于网络，如有侵权，请联系删除 具体数据显示，美国2024年Q1实际GDP年化环比增长1.6%，为2023年Q1以来最低，较市场预期的2.5%低了0.9个百分点，2...
