新兴技术的发展带来了海量数据的爆发,企业亟需更为高效的网络存储系统。与此同时,以闪存为代表的新一代存储介质出现,使文件、块、对象三种形式的存储进一步融合,在此背景下,更为贴合企业用户需求的分布式存储应运而生。

目前,互联网公司搭建的大数据处理平台,往往对实时数据和历史数据进行严格区分,但这样既带来了数据存储空间的浪费,同时也加大了应用程序开发的负担。

在此背景下,以戴尔易安信ECS为代表的对象存储平台凭借其“可扩展性能、容量、数据安全、操作性”等特性成为了释放数据红利和价值的有效解决方案。

此次,比特网有机会与戴尔科技集团大中华区非结构化数据存储事业部技术总监胡渊汶聊一聊戴尔易安信ECS和非结构化数据存储的那些事儿。

戴尔科技集团大中华区非结构化数据存储事业部技术总监胡渊汶

对象存储正当红

近年来,席卷全球的数字化浪潮颠覆了各行各业固有的生产和运行方式,使得很多业务模式面临严重挑战。目前,利用非结构化存储实现业务数字化,进而实现业务转型正是业内普遍认可的方式。因此,如何寻找到正确的存储方式成为企业搭建现代化信息平台的焦点。

2019年的IDC报告指出,到2023年全球的数据总量会达到当时数据总量的3倍,这意味着从2019年开始,此后的三四年时间产生的数据是现有数据量的两倍。这里面的数据80%都是非结构化数据,这也意味着非结构化数据的体量越来越大。

通常企业和机构的非结构化数据主要有三大部分:

一、部门管理的数据,包括文件共享,主目录,文件档案库,甚至包括视频监控;

二、行业应用的数据,每个行业都有自己行业应用,比如媒体里面有4K编辑、播出系统和媒资系统,生命科学有基因测序分析、石油能源、气象、地震的高性能计算,EDA、ADAS(汽车自动驾驶辅助系统),银行后督影像等等;

三、新兴的业务,这里的新兴业务是指互联网和移动互联网出现以后,最新出现的很多新的技术,如AI、Big Data、Cloud、IoT、虚拟现实,区块链等等。今后还会有更多的新兴技术不断出现,这些技术会产出大量的非结构化数据。

另外一方面,很多用户倾向于不随便删除数据了。因为即使是一些数据灰尘,它实际上都记录了真实发生的事情,其中的价值你可以从不同的角度去分析和挖掘。

而对象存储之所以能够帮助企业解决非结构性数据的问题,主要有四点:

一、扩展性:基本都会产生横向的扩展架构,加节点,在系统不停机的情况下,把系统扩到很大规模,有效地应对数据增长。

二、简单性:使用也简便,管理也简便,一个存储管理员可以管PB级数据,简易性是传统存储达不到的。

三、元数据:用户可以利用元数据定义业务标签,这是非常重要的特点,比如在人工智能机器学习上元数据,元数据特性可以帮助定义特定数据集。

四、API:S3协议已经是对象存储的事实标准,整个基于S3的生态也在蓬勃发展,大多数现代化应用和云原生应用都是能够兼容S3 API。

在对象存储领域,戴尔科技集团已经耕耘超过了20年,胡渊汶表示:“对象存储具有很好的扩展性,能够实现横向的扩展架构,在系统不停机的情况下就可以加节点,这样可以把系统扩大到很大的规模,由此有效地应对数据增长。”

另外,直接通过元数据定义业务标签,如在人工智能、机器学习利用元数据,就可以帮助定义特定的数据集;更为重要的是,就是其存储协议支持S3,而大多数现代化应用和云原生应用都能够兼容S3,这就让对象存储有了更多的价值的体现。

戴尔ESC的能力

从2016年开始,戴尔ECS在每年Gartner Group发布的针对对象技术和文件存储系统的魔力象限图都遥遥领先。

据介绍,国内的一个大型商业银行与戴尔合作之后取得很好的效果,其对象存储主要服务手机银行应用中,因为在手机银行应用需要大量频繁迭代,传统的应用开发部署做法不能满足的要求,便逐步把手机的业务转到云原生,因此其底层存储中采用了ECS。

目前,该银行在戴尔ECS上已经部署超过200个应用,其中有一个季度其上线了50个应用,这在以前是不可想象的,目前他们的对象数量已经超过100亿,每天请求量是2亿左右。

现阶段,戴尔ECS有三种部署方式,一个是交钥匙方式,软件硬件捆绑在一起提供,这个好处就是它是经过验证的,戴尔科技公司提供全面的质量保证和服务,有保证,上线快,可以信任的交付方式。

另外一个是软件定义,用户可以购买ECS的软件,企业自己提供硬件,不过这个硬件一定是需要认证过的,虽然从理论上讲软件定义的方式是完全可行的,但目前戴尔来说还没有提供这个方式。

还有一种方式就是运营商来提供,云计算运营商可以使用他的硬件,用ECS的软件,在数据中心搭建一套对象存储,这套对象存储可以对用户提供S3云服务。目前国内还没有开展。

比特网了解到,海通证券采用戴尔ECS对象存储的扩展性建立新的存储资源池,此举有效降低了初期成本投入和TCO ,并且解决了传统磁带库性能较低、可靠性不足等问题,并为其数据全生命周期管理、人工智能技术应用在后续业务中发展打下了良好的基础。

另外,基于ECS对象存储提供的REST的接口,大大提高了图片、视频等非结构化数据的检索与访问性能,使得数据释放出更大价值,促进海通证券在业务办理时效率得到进一步提升。

写在最后

比特网发现,对象存储对于人工智能、物联网、分析和云原生应用等场景有非常好的适应性。其中,云原生技术可以非常有效地加速企业传统业务,而人工智能、机器学习等技术随着价值的不断提升,也在推动企业部署对象存储。

在采访最后,胡渊汶表示:“在非结构化数据这个领域,戴尔科技不是一时兴起,而是一个有愿景的长期战略。”对于戴尔来讲,在对象存储领域中,无论是产品还是服务都已经准备好,而在这个新风口中,他们能不能借助风势扬帆远航呢?我们拭目以待。戴尔易安信ECS和非结构化数据存储的那些事儿

推荐内容