当前位置:首页 > 环球风云 > 数据觉醒时代,华为重新定义数据存储

数据觉醒时代,华为重新定义数据存储

2024年05月07日76379

  5月7日,以“数据觉醒,构建AI-Ready的领先数据基础设施”为主题的2024创新数据基础设施论坛在德国柏林举行。华为公司副总裁、数据存储产品线总裁周跃峰发表题为“数据觉醒时代,华为重新定义数据存储”主题演讲,他表示,具备极致性能、数据韧性、全新数据范式、高扩展性、绿色节能、数据编织能力的数据存储是AI时代存储演进的必由之路。

数据觉醒时代,华为重新定义数据存储
图片来源于网络,如有侵权,请联系删除

华为公司副总裁、数据存储产品线总裁 周跃峰

数据觉醒时代,华为重新定义数据存储
图片来源于网络,如有侵权,请联系删除

  从上世纪90年代至今,随着企业的应用由单机、数据库/虚拟化、文件共享、大数据、高性能数据分析等应用的变迁,数据存储经历了从DAS到SAN/NAS,再到非结构化存储的变革与演进。直到如今生成式AI的出现,对数据存储提出了新的诉求。

  AI大模型集群规模已迈入万卡、十万卡时代,集群规模增加带来更加频繁的故障和训练中断,重复的CheckPoint数据写入、断点续训导致算力资源闲置,集群可用度不足50%。此外,到2026年,全球数据中心的耗电量预计将达到2022年的2.3倍,其中数据中心一半以上的电力消耗都将被AI占据。

  AI时代呼唤新一代数据存储。过去的数据存储主要关注性能、可靠、数据范式三个方面;面向未来,AI存储还应增加三个维度:高扩展性、绿色节能与数据编织。数据觉醒时代,华为将重新定义数据存储,聚焦于六个方面的创新,持续引领:

 1.极致性能:超越传统存储10倍的性能,支持PB级带宽以及亿级IOPS,极大提升生成式AI全流程效率;

 2.数据韧性:通过架构和技术创新,实现99.9999%高可靠性,通过内置防勒索引擎,实现侦测准确率提升至99.99%,并将AI训练过程中CheckPoint恢复时间缩至1分钟以内;

  3.全新数据范式:使能多维“张量”格式的数据,通过智能检索引擎,具备快速的张量数据检索能力;通过内嵌知识库,利用RAG技术消除AI大模型幻觉;

  4.高扩展性:存储集群支持EB级容量横向扩展;每个引擎可支持多GPU、DPU或NPU纵向扩展,以支持近存计算;

 5.绿色节能:通过存储介质应用创新和整机硬件创新,实现小于1Watt/TB的存储能效和1PB/U的存储密度;

 6.数据编织:基于存储元数据管理及检索能力,实现全局数据可视、可管,并支持10倍的数据流动效率提升。

  基于以上创新,华为推出全新A系列高性能存储OceanStor A800,专为AI而生,可有效提升AI集群可用度30%。性能方面,OceanStor A800带宽是同类产品的4倍,IOPS达同类产品的8倍;支持EB级容量扩展,最大支持扩容至4096张算力卡,512个存储控制器;从空间能耗来看,密度高达1PB/U,能耗低至0.7Watt/TB;结合向量化索引、张量格式数据、RAG知识库,使能全新数据范式;数据韧性方面,勒索攻击侦测准确率从99.9%提升至99.99%;通过数据编织能力,实现数据资产管理。

  此外,存储介质创新助力可持续发展。华为新推出128TB大容量SSD盘,相比业界,每PB节约88%空间,节省92%能耗,相同空间实现10倍容量提升,进一步降低数据中心能耗。

  同样,AI-Ready的前提是Data-Ready。DME内置的Omni-Dataverse全局文件系统实现企业全域数据资产可视、可管、可流动,构筑AI数据湖存储底座。

  最后,周跃峰表示,华为将聚焦数据觉醒时代客户面临的挑战和需求,重新定义数据存储,构筑AI-Ready的领先数据基础设施,为客户创造价值。

【责任编辑:周靖杰】
    阅读下一篇:

              扫描二维码推送至手机访问。

              版权声明:本文由每日快讯发布,如需转载请注明出处。

              “数据觉醒时代,华为重新定义数据存储” 的相关文章

              2024全球6G技术大会在南京召开

              2024全球6G技术大会在南京召开

                4月16日至18日,由国家6G技术研发推进工作组和总体专家组指导,由未来移动通信论坛、紫金山实验室主办的2024全球6G技术大会在南京召开。本次大会以“创新预见6G未来”为主题,旨在以国际电信联盟6G愿景为牵引,探讨6G技术和业务的未来蓝图,在6G标准启动前凝聚共识。图片来源于网络,如有侵权,请...

              发展大模型关键在应用

              发展大模型关键在应用

                发展大模型,要立足实际走差异化路线,关键在应用。以应用为导向,立足已有优势,与垂直行业深度结合,不仅能激发产业新动能,也能锻造技术新优势。企业要立足实际,结合自身业务场景,综合考虑行业专业性、数据安全、持续迭代和综合成本等因素,构建适合自己的专属大模型。图片来源于网络,如有侵权,请联系删除  工...

              受到美元走强冲击 印度卢比下跌考验稳经济

              受到美元走强冲击 印度卢比下跌考验稳经济

                近期,由于受到美元走强的冲击,印度卢比跌至创纪录低点。公开数据显示,4月19日,卢比对美元汇率下跌至1美元兑83.5585卢比,突破了2023年11月触及的83.50的盘中低点,并且外界推测,卢比下跌趋势还将持续。受卢比疲软影响,印度股市同样表现不佳,标普印度SENSEX指数下跌0.5%。图片来...

              卡尔动力入选交通部第二批智能交通先导应用试点单位

              卡尔动力入选交通部第二批智能交通先导应用试点单位

                近日,交通运输部办公厅公布第二批智能交通先导应用试点项目(自动驾驶和智能建造方向)名单。卡尔动力与多家单位参建的“鄂尔多斯市公路货运与城市出行服务自动驾驶先导应用试点”入选。这是本批试点中的干线货运自动驾驶重卡项目。图片来源于网络,如有侵权,请联系删除图片来源于网络,如有侵权,请联系删除卡尔动力...

              东风着陆场完成最后一次全系统综合演练 准备就绪迎接神十七航天员回家

              东风着陆场完成最后一次全系统综合演练 准备就绪迎接神十七航天员回家

                新华社酒泉4月26日电 东风着陆场26日下午按照全系统、全状态、全流程组织完成神舟十七号搜救回收任务最后一次全系统综合演练,全面模拟空中搜救、地面处置以及测量、通信等设备技术状态和工作流程。图片来源于网络,如有侵权,请联系删除  “全系统综合演练旨在进一步检验着陆场系统搜救回收任务组织能力、指挥...

              江新林:太空出差这半年,每天都过得非常充实、神奇和美妙

              江新林:太空出差这半年,每天都过得非常充实、神奇和美妙

              图片来源于网络,如有侵权,请联系删除  4月30日,神舟十七号载人飞船返回舱在东风着陆场成功着陆,现场医监医保人员确认航天员汤洪波、唐胜杰、江新林身体状态良好,神舟十七号载人飞行任务取得圆满成功。江新林表示,太空出差这半年,每天都过得非常充实、神奇和美妙。  记者:李国利 张云龙 梅元龙 彭源 叶紫...