海量非结构性数据存储面临新挑战
来源:中国经济网—《经济日报》 2021-07-29 08:41:17
随着数字化转型升级和新技术的普遍应用,海量非结构性数据存储成信息产业新挑战。在近日举行的2021大数据产业峰会上,中国信息通信研究院云计算与大数据研究所大数据与区块链部副主任姜春宇表示,伴随着信息产业的迅猛发展和普及,数据存储技术已成为现代信息产业架构中不可或缺的底层基座。然而,日益增长的数据存储需求,要求数据存储技术在介质、架构、协议、应用与运维模式等方面不断发展演进。
当前,全球正进入数字经济时代,各种大、中、小型数据中心已经成为数字经济的基础设施。大量新技术新商业应用将催生出对边缘计算和数据中心的海量需求。据互联网数据中心(IDC)预测,2025年,全球数据量将达到175ZB(泽字节),5年年均复合增长率31.8%,而数据中心存储量占比将超过70%。作为数据中心越来越重要的存储介质,企业级固态硬盘在2020年出货量达到3560万个,平均容量达到2.7TB(太字节),出货总容量较2019年增长近30%。
过去,传统存储面对的应用主要是数据库、文件和流媒体等传统应用;今天,在新兴技术驱动下,存储主要面对的是云计算、大数据和人工智能等大规模数据应用场景。传统存储在性能、安全性、可靠性上的局限性,让它们在面对这些新兴应用时,往往表现出了很大的不适应。
以无人驾驶为例,数据显示,每辆车每天产生的数据量高达几十TB。传统存储只能通过反复擦除的模式予以保存,但会造成大量有价值数据的流失。与此同时,传统存储在管理方面也存在很大弊端,很难形成有效的存储资源池。
相较于传统存储,源于大型互联网数据中心的“软件定义存储”技术,天生具有的可扩展性以及灵活性,为新基建时代带来了革命性的数据储存手段。
“通俗理解,软件定义存储就是利用统一软件对存储硬件进行管理和控制,即利用通用硬件进行存储,但功能和性能都由软件来决定。”数据基础设施技术平台提供商星辰天合CEO胥昕表示,通过集合大型互联网技术与现代企业存储功能,软件定义存储可以实现存储资源的虚拟化、抽象化、自动化,最终使得存储系统具备灵活、弹性和高可用等特点。
胥昕介绍,以星辰天合近日发布的企业级软件定义存储新品为例,通过一个存储操作系统和两个存储产品以及一项存储核心技术,便可实现“一个数据中心一套存储”承载全部业务场景,解决来自云、端等复杂结构的数据存储、管理难题,帮助政企机构建立起一个全协议统一、全场景统一的数据管理平台,快速整合和管理数据。在这个过程中,能够让政企机构数字化转型升级的成本降低三分之一,同时IT系统的整体性能提升50%以上。
业内人士认为,新型应用的快速普及给存储带来了全新的应用场景。同时,随着移动互联网的发展,企业的系统架构发生很大变化,导致企业存储需求急速扩张。两者将共同带动软件定义存储市场加速发展。
有机构预测,未来5年,中国软件定义存储市场将以10.1%的复合年增长率增长,到2024年,市场容量将接近24.6亿美元。市场规模形成的同时,核心供应商体系也逐步确立。据IDC市场份额排名,星辰天合与华为、新华三、中科曙光一同构成了中国软件定义存储市场核心供应商的第一梯队。
“对于传统存储基础设施的研发起步,中国晚于国外对标技术企业约20年;但在软件定义存储领域,就研发和应用而言,中国和国际领先的厂商起步竞争大致处于3年以内的同一起跑线。”胥昕说,目前国内软件定义存储技术已有相当的技术自信,并且通过国产自研的存储技术和数字订阅服务模式的双创新,赋能下沉市场。