随着技术发展和开源社区的成熟,企业建设方向从IaaS转向PaaS,而且容器、Kubernetes、微服务架构等新技术在弹性伸缩、资源使用率提升、业务快速迭代、运维效率提升等方面表现出色,容器化需求在金融行业由试用转向大规模推广应用,建设企业级容器云平台也成金融行业新一代基础架构。在容器化建设过程中,也需要对数据进行存储、迁移。目前集中存储具有稳定可靠性好、数据服务丰富、接口标准兼容性广泛、性能强等优点。同时存在着扩展性等方面的限制。分布式存储扩展集群规模大、硬件成本低廉,同时也存在着单节点性能低、延时高、数据弱一致性、标准不统一且非常依赖网络环境和带宽的弱点。分布式存储和集中式存储主要区分可在业务类型上,分布式存储主要的特点在扩展性和高并发下的聚合带宽上,集中式存储主要特点在IO处理能力和延迟上,所以银行在容器云平台的存储技术路线的选择上尤为重要,需要根据自己的业务量、业务特点等方面进行评估考量。社区近期组织的相关主题探讨,邀请银行行业专家和戴尔科技集团金融专家进行线上分享和答疑,以上是对本次交流内容的系统整理。包括五个方面:本次交流活动达成的共识;在容器云平台建设场景下,分布式和集中式存储的对比;当前银行业务场景下,分布式存储架构引入的必要性和适用场景;银行容器云平台建设存储选型及设计规划。希望能给大家带来有价值的参考。
一、本次交流活动达成的共识
(1)集中存储和分布式存储目前都在广泛应用,对大多数城商行用户而言,不会只有一种形态的存储存在。集中存储发展成熟、可用性高、易于管理维护,分布式存储是后起之秀,采用分布式横向扩展体系架构。;
(2)容器本身是开源的项目,从这个角度来说,同样源于开源的分布式存储更适合,需要从管理,运维,成本,性能等综合来考虑。
(3)集中式的存储依然是目前不可替代的,一般用于企业的生产、办公等交互频繁的关键业务。因为集中存储效率高,速度快,这是分布式存储不具备的优势,分布式由于数据分布在不同的区域保存,应用存取自然会损耗一定的存取时延。
(4)在集中式存储无法满足业务的扩展需要场景下,需要使用到分布式存储。集中式的软硬件资源始终有瓶颈或极限。而相对于集中存储方式或架构来说,分布式存储可以根据需要进行资源弹性的水平或垂直扩容来应对更多业务数据的存储或者计算。
二、分布式和集中式存储的对比
本部分探讨了分布式存储和集中式存储各自的优缺点,在性能、安全性方面的区别,分布式存储对协议和接口的支持情况,以及分布式存储运维管理达到的水平。
1、能否对比一下集中式存储分布式存储优缺点?分布式存储是否是未来的方向?
@wdmfyx003 戴尔科技集团工程师:
集中存储和分布式存储目前都在广泛应用,对大多数城商行用户而言,不会只有一种形态的存储存在。
集中存储发展成熟、可用性高、易于管理维护,分布式存储是后起之秀,采用分布式横向扩展体系架构。用户应该根据各家银行的发展规划、实际的应用需求进行选择,根据稳态和敏态等不同业务各自的需求特点进行选择。
@潘延晟 系统工程师:
其实就好像早些年讨论超融合是否会替代传统的服务器架构一样。分布式和传统的集中式存储各有各的优缺点,应用的场景也有各自的的特点。当企业应用规模不大,没有特殊业务需求的情况下。两者是在一定程度上都能满足的。但随着业务的发展到一定规模时,两者的区别也会越来越明显。选择性也越来越明确,集中式存储io性能更好,架构稳定。可靠性高。适用在海量计算的数据库环境中分布式存储扩展性好。维护简单,适用在对IO要求不高,容量大,文件多的非结构化数据环境中。
2、分布式存储和集中式存储的性能对比如何,分布式存储的各种技术路线性能对比如何?
@顾黄亮苏宁消费金融有限公司 技术总监:
如果在数据结构之外谈性能,将会毫无意义,抛开数据结构和场景之外,从国外权威的测试结果看,集中式存储和分布式存储的性能都能满足基本上所有的场景需求。
回到性能,一般来说,存储的性能单元分为三种,一般性能块存储、均衡性能块存储、高性能块存储。存储自身也分为全闪或混闪,提供服务能力的是计算平台。因此性能是一个综合性的话题,需要根据实际情况和预算对性能进行选择,所以选择存储或者技术路线,是由性能指标和投入成本决定的。
3、集中式存储和分布式存储的安全性?分布式存储的数据安全性是否较集中式存储更安全?信息的调取时效性,集中式是不是会较分布式存储更快?
@顾黄亮苏宁消费金融有限公司 技术总监:
毫无疑问,集中式存储的安全性更高,这个论点是基于集中式存储和分布式存储都有足够强的容错机制下。
为什么说安全性更好,有几个理由,如果我们将存储作为一个终端,集中式存储是通常是一个一体化的终端,使用专用的操作系统,而分布式存储是X86终端,使用通用的Linux系统,在病毒的防护方面,集中式存储具备天然的优势。
在全局时钟方面,这是分布式存储绕不开的问题,由于分布式存储软件管理众多的X86服务器, 缺乏一个全局的始终控制序列,可能会导致一些极端场景下的一些问题,而集中式存储不会。
在信息调取时效性方面,并不存在集中式比分布式快的情况,如果极端的场景,比如说每秒过万的TPS,比如银行的海量数据跑批,会出现这样的情况,这是副本机制导致的。
4、目前分布式存储对协议、接口、主流编程语言的支持力度情况如何?
@顾黄亮苏宁消费金融有限公司 技术总监:
推荐一本讲分布式对象存储系统的书,书名是《分布式对象存储——原理、架构及 GO 语言实现》。代码是用go实现的,但是大体的思路和应该实现的功能都讲到了,还是不错的。至少在思路指导上。还有这种系统业界的标准是亚马逊的 AWS S3 那么参考它们的 SDK API 来一一实现是有必要了。里面就有很大篇幅的协议和接口的内容。
@wdmfyx003戴尔科技集团工程师:
分布式存储涉及的面比较广泛,主要是块、文件和对象三大类。文件的接口主要是NFS和CIFS,对象的接口主要是S3和Swift。
5、分布式存储在运维方面较集中式略复杂,国内厂商在分布式存储解决方案上,是否能达到或接近vSAN的水平?
@wdmfyx003戴尔科技集团工程师:
分布式存储是目前的热点,分布式系统技术比传统集中系统更复杂,需要复杂的技术来平衡一致性、分区、可用性、高性能等各个方面,对传统的运维方式提出新的要求。vsan是优秀的分布式存储解决方案。除此之外,国内外都有优秀的产品,可以了解Dell Emc的isilon 和powerflex等。
@顾黄亮苏宁消费金融有限公司 技术总监:
完全达到了,vSAN其实比较局限,只能为ESXI主机提供文件存储服务,或者说只能为VMware虚拟机提供文件服务。而国内的很多分布式存储产商的解决方案,在丰富度上,是远高于vSAN的。
三、在容器云平台建设场景下,分布式和集中式存储的对比
容器云平台存储与云计算平台的存储有什么区别?规划上如何考虑?分布式和集中式存储哪种更适合?看看大家如何讨论。
1、容器云平台存储与云计算平台存储的主要区别点是什么?
@NealZhang 戴尔科技集团 CPS:
简单来说,容器云平台是云计算平台的一种实现方式,一般定义为CaaS容器即服务,当然也可以基于容器云平台提供应用平台服务PaaS以及软件平台服务SaaS。
@顾黄亮苏宁消费金融有限公司 技术总监:
本质上没有区别。
2、容器云平台存储的选择上是否有区别,在规划上需要如何考虑?
【问题描述】容器云平台的存储主要有以下部分:容器云平台自身需要的存储、应用数据持久化存储、镜像存储、中间件存储等,这些存储的选择上是否有区别,在规划上需要如何考虑?
@顾黄亮苏宁消费金融有限公司技术总监:
首先,我们要了解集中式存储和分布式存储有哪些优点,相关的资料在网络上非常多,在此不再多赘述,总体而言,二者核心的选型关键在于几点。
(1)硬件标准化,或者说硬件非标的比率方面,如果硬件标准化完成,建议选择分布式存储。
(2)容量和性能可以水平扩展的需求,对于数据增长不规律或者突增的情况下,建议选择分布式存储,只有分布式存储才能更好的适配数据快速增长的要求。
(3)存储生命周期,一般而言,集中式存储的生命周期大概在8-10年左右,超过10年的风险就较大,而分布式存储可以通过批量的硬件迭代完成存储生命周期的重构。
(4)业务友好,两者对业务都非常友好,如果有一些海量数据归档、 底层操作、数据隔离的需求,分布式存储更好一些。
以上是二者在选择性方面的考虑。
@NealZhang戴尔科技集团CPS:
从需求上,容器云平台需求简单分成容器运行存储,容器应用存储以及应用开发存储,它们的需求完全不同,如容器应用根据应用的需求对存储的需求也大不相同,包含性能,容量,扩展性,高可用性等等。
3、集中式存储和分布式存储哪个更适合部署容器云平台?
【问题描述】集中式存储已经稳定运行多年,分布式存储近年来也发展态势迅猛,对近期比较火的容器云平台哪类存储更加适合?选择依据是什么?不通类型的存储对于容器云平台部署是否有限制?
@NealZhang戴尔科技集团CPS:
这个问题可以从多个角度来看:
容器本身是开源的项目,从这个角度来说,同样源于开源的分布式存储更适合,但是有一个问题:容器云一旦用于生产环境,客户是选择采用类似于云厂商的基于开源架构自己运维,还是选择企业级的产品组合架构?
另一个简单的场景,现在单个磁盘容量越来越大,单节点服务器的容量越来越大,若客户的容量需求在几个节点就能满足的情况下,是使用分布式还是集中式?需要从管理,运维,成本,性能等综合来考虑。
@YDX147258369 北银金融科技有限公司系统运维工程师:
容器云存储的选型,还是要根据承载的工作负载进行具体分析。譬如在容器云上部署关系型数据库,且数据库的数据是重要的业务系统数据,则选择集中式存储为宜。如果是业务应用系统的日志,或者是配置文件,则建议优先选择分布式存储,在扩展性和成本收益上更佳。所以需要客观评估选择自己适合的就可以。
@顾黄亮苏宁消费金融有限公司 技术总监:
脱离了场景谈适合,本身就不适合。
给出一点参考意见, 存算分离场景和融合模式场景。
(1)存算分离,架构比较容易理解,计算端和存储端各自建设,通过存储协议连接(iSCSI、NVMf),架构扩容相对独立,适合较大规模的金融机构基础架构建设。(计算与存储资源需求不均衡场景)
(2)融合模式,将分布式存储前移,与计算端(虚拟化/容器)融合,共用底层服务器,将原来的三层结构减少到二层,扩容节点,同时扩容了计算和存储能力,较适合中小型金融机构的基础架构建设。(计算与存储资源需求相对均衡场景)
4、分布式存储在容器云场景下较集中存储有哪些优劣势,是否有成熟可落地的容灾建设方案?
@顾黄亮苏宁消费金融有限公司 技术总监:
为什么选择分布式存储系统?
(1)云计算时代,传统存储不能满足虚拟化、容器对存储的需求
传统存储缺少灵活性,虚拟机、容器的部署及其负载是快速变化的,并且容器还是快速迁移的。
传统存储缺少自动化。
传统存储缺少细粒度控制。
传统存储的配置是非常严格的。
(2)构建存储的 TCO( 总拥有成本 ) 十分高昂
数据量成指数级增长,但存储的预算却没有相应的增长,传统存储的价格是无法承受之痛。
数据规模快速增长,企业往往需要过度预算,过度采购,因为传统存储的扩展,升级和替换是十分昂贵的。
(3)高昂的存储系统运营成本 (OPEX)
需要专业的存储管理团队,不仅需要学习专业的存储知识,还要学习存储厂商指定的技巧。
处理存储系统问题是相当花费时间。
当然开源分布式存储系统,只解决了第 1, 2 点,第 3 点并没有得到有效的解决,反而有点加深的趋势。
5、分布式存储和集中式存储在支持容器云平台方面运维复杂度对比?
【问题描述】分布式存储在支持容器云平台较集中式存储在后期运维管理方面时更简单还是更复杂?能否从运维管理角度做几个对比说明?
@顾黄亮苏宁消费金融有限公司 技术总监:
总的而言,分布式存储的运维更难一些。
主要两个方面,分别是技术难度和运维便捷度。
技术难度:IO的读写,集中存储中数据只要写入一个磁阵就算成功了,分布式存储中是写入大部分的节点才算成功,如果写入全部节点IO性能有影响,写入少量节点即是写入失败。这是一个方面,还有一个方面,可靠性保障,集中式存储是一体机,而分布式存储是若干台X86,也可以说若干个终端,有非常突出的终端安全问题。
运维困难:监控上,要采用分布式prometheus来采集各个节点的数据,节点多的时候,监控范围较大。出现故障时, 要判断节点与节点间的相互作用,诊断难度加大。数据平衡上,集中式存储的数据复制通过硬件进行,分布式存储通过软件算法进行,因此海量数据平衡容易导致业务的波动,这是目前分布式存储遇到最大的问题之一。
@NealZhang戴尔科技集团CPS:
集中式存储是专用的存储设备,更符合专用特定应用的场景,在专用特定应用场景下运维也会相对简单。
分布式存储是软件定义的存储,可以通过软件定义实现标准化和自动化,从而加快云化服务,从IT整体场景下,更符合现代化运维的标准,在大规模复杂场景下运维相对简单。
而且运维不只是关于技术,而且与人和流程密切相关,在传统的IT运维流程下,分布式存储也不一定会简单,因为会涉及多个团队和技术。
6、容器云平台频繁挂载,是否会导致整个存储平台的卡顿直至崩溃?
@顾黄亮苏宁消费金融有限公司 技术总监:
理论上是不会的,容器云对分布式存储进行挂载是通过协议的方式进行的,协议是存储插件API的核心。比如说,Docker 对存储卷定义了一组简单的接口,外部存储只要实现简单的接口便可以和外部存储对接。Docker 容器是通过 mount 的方式将外部存储挂载到本地目录,尽量使内部应用程序对存储是无感知的,应用程序就像使用本地目录一样使用外部存储卷,而将外部存储的管理交给存储 Plugin 负责(如 Flocker、Rancher Convoy,REX-Ray 等)。
@NealZhang戴尔科技集团CPS:
存储挂载可以看成是协议对话连接,主要看连接协议的稳定性和健壮性,以及和CSI的兼容性。
7、传统存储运维人员如何应对容器有状态应用的扩展带来的运维压力和挑战?
【问题描述】容器云平台运维管理需求:随着容器有状态应用的增长,对传统存储运维工作也会带来挑战,整体方案需要兼顾运维敏捷和安全。所以在存储架构选型上需要如何进行考虑和兼顾?毕竟传统存储运维人员随着设备的增加以及技术的更新引入,应该如何能更好的把握?
@NealZhang戴尔科技集团CPS:
其实不光是针对容器平台,现在的IT运维人员主要面对的挑战包含两个方面,一个是数据中心的现代化,也就是如何采用新的技术进行创新,一个是混合多云的运维,就是如何在边缘-数据中心-多云平台进行统一的运维。
自动化运维是其中无法回避的,但异构架构的自动化运维是非常挑战的,这也是为何大量客户会采用和云厂商相似的超融合和分布式架构,因为自动化的前提是要先做标准化,所以软件定义存储会是业内重要的趋势。
@wdmfyx003戴尔科技集团工程师:
随着容器云扩展,有状态应用的增长,银行用户还需要考虑容器的容灾和备份。需要保护容器云的配置信息状态信息,如etcd,需要保护有状态的信息,如pv等。数据保护和容灾方案往往与存储技术相关,建议在设备选项之初考察存储设备的容灾、备份技术,能否与容器云的保护方案相互配合。
@顾黄亮苏宁消费金融有限公司 技术总监:
最通用的说法,普通的运维人员对于分布式存储的运维方式有下列方式。
(2)标准化故障处理、增加节点的流程。
(3)建立存储服务交付,存储使用配额的管理等等。
如果是运维架构师或者运维团队负责人,我建议还需要考虑一些场景。
(1)分布式存储对不同场景的可用性和可靠性指标,如数据库场景,大数据场景以及IO密集型场景。
(2)容器云的存储插件原理,RESTful API的步骤和顺序,如握手、挂载、寻址、卸载、删除以及volume的一些内容。
(3)数据规模的预测和容量管理。
四、当前银行业务场景下,分布式存储架构引入的必要性和适用场景
当前银行业务中,已经建设有成熟的存储解决方案,此时是否还有必要引入分布式存储架构?特别是中小银行机构,是否有必要引入?改造的技术路线如何选择?分布式存储在银行业务系统中心的适用场景有哪些?以下是本次交流中的分享。
1、中小银行进行存储架构改造的必要性?
【问题描述】中小银行在已有PowerVC、虚拟化资源池等架构基础上,是否有必要进行架构改造、如何核算相关改造的投入产出比及是否应进行全部替换式改造?
@潘延晟 系统工程师:
我觉得对存储架构的改造是否必要主要要看以下几点,
(1)业务的重要程度,虽然提到是中小银行,但毕竟是金融行业,对数据是比较敏感的,所以我觉得在这点上入如果是我,那么还是尽可能的考虑安全可行的存储架构以及容灾方案,毕竟对于银行来说丢失数据可不是闹着玩的。
(2 )技术现状,充分评估现有的存储架构,业务系统以及设备健康程度等因素,考虑是否现有的存储架构存在安全风险,是否具有良好的扩展性和可替换资源,是否可以增加容灾架构来提高系统的可靠性,如果存在风险则要进一步考虑改造的必要性。
(3)资金和运维技术储备,如果现有的架构存在老化,陈旧,架构无法升级,设备无法更换等隐患时,那就应该尽早考虑改造方案。综合资金投入和运维技术的现状选择最适合的技术架构来消除隐患
@顾黄亮苏宁消费金融有限公司 技术总监:
如果说必要性,其实有一个方法论进行概括,只要命中其中的条件,都可以进行改造。
(1)核心应用在数据存储中面临的挑战
当前存储设备已使用多年,无论是存储设备可靠性、存储容量、性能以及扩展性都已无法满足当前以及未来业务需求。
(2)核心应用业务连续性面临的挑战
如果核心存储设备为单台架构,可能会带来了数据可靠性与安全性双重压力,尽管这些存储本身内部通过RAID机制对存储磁盘做了一定的安全保障。
(3)核心应用数据保护面临的挑战
核心业务系统针对核心生产数据的安全和保护措施不够健全。
(4)原有投资的合理保护和利用
在系统升级,设备更新换代,新设备上线后,原有设备的淘汰必然会造成较大浪费,无形中降低了系统的投资回报。能否在系统升级后,对原有设备能否合理的利旧。
2、中小城商行存储架构改造技术路线选择?
【问题描述】中小城商行在存储架构改造过程中的技术路线选择:针对银行传统应用,在存储架构改造实施过程中,应如何考虑迭代?先外围系统后重要业务类系统or根据系统重要程度进行批次改造?
@顾黄亮苏宁消费金融有限公司 技术总监:
分布式和集中式存储有各自使用的业务场景和访问特性,并且提供不同的性能、接口方式和数据保护方式,应根据业务特性选择适合的存储类型,考虑到业务数据不断增大、对性能和容量的要求不断增多,如果前期没有选择适用的存储类型,后期进行存储改造的难度和成本将是非常巨大。
核心业务选择集中式存储,集中存储发展时间长,各种高级特性相比分布式存储更加完善以及安全,可保证核心业务的业务连续性。其他非核心业务可以选择共用集中式或分布式存储。复用要求高、架构要求灵活扩展建议使用分布式存储。业务数据规模稳定、需求场景单一建议采用传统集中式存储。
3、金融企业集中式存储容量性能已满足要求,是否还有必要引入分布式存储,如要引入,主要用在哪些场景?
【问题描述】集中式存储比分布式存储更稳定,且价格越来越便宜,对于中小城商行而言,数据量和增量远不如大行,集中式存储的容量已能满足数据存储容量的要求,在此情形下,是否还有必要引入分布式存储,如要引入,除了大数据平台外,还适合用在哪些场景?容器云平台如果采用分布式存储对城商行来说运维压力和风险是否能很好控制?
@顾黄亮 苏宁消费金融有限公司 技术总监:
对于中小银行而言,选择集中式存储更好,理由有三点。1、集中式存储随着国产化的发展,性能越来越高,价格也越来越低,维护相对而言也比较简单。2、双活机房或灾备的建设方面,集中式存储省去了很多中间步骤,相应的维护工具也比较成熟。3、由于中小银行的技术相对而言比较薄弱,因此集中式存储在备份,传输的环节管理比较简单。4、安全性考虑,集中式作为一体化终端,不容易感染病毒。
如果引入分布式存储,窃以为,主要有几点考虑。1、必须和容器云相结合,才能够满足技术和管理的双重要求。2、必须在硬件标准化的基础上,才能发挥最大的作用。3、必须有容量和性能可以水平扩展的需求,否则技术的迭代和扩展会带来新的运维压力。
场景方面,除了IO密集型的场景,比如银行的日终跑批,基本上都适合。
@wdmfyx003 戴尔科技集团 工程师:
主要根据银行自身的需求和实际的应用规模来选择,对于城商行而言,如果集中存储存储的容量和性能等都能够满足需求,还需要考虑管理和维护等, 毕竟引入分布式存储,新引入的技术栈势必增加管理维护的工作量。
@潘延晟 系统工程师:
对存储的扩展主要还是要根据现有业务和将来可能发生的业务,按描述来看。如果目前集中存储能够满足数据存储的要求,重点:并且在未来几年之后能够满足业务的增长,那么则不是必须要引入分布式存储,毕竟银行的业务首要的是稳定和高io运算,分布式存储更多的应用场景倾向于非结构化的业务,虚拟化,或者影像,文件。即使引入分布式,也应该是侧重在虚拟化业务层,或者是银行的双录存档方面,传统的业务数据库可以保留在集中式存储上。当然。一切的规划还是要看实际银行现有业务,未来扩展需求,资金投入和技术储备。
4、银行业务中,哪些场景比较适合集中式存储,哪些场景适合分布式存储?
@顾黄亮苏宁消费金融有限公司 技术总监:
在集中式存储无法满足业务的扩展需要场景下,需要使用到分布式存储。集中式的软硬件资源始终有瓶颈或极限。而相对于集中存储方式或架构来说,分布式存储可以根据需要进行资源弹性的水平或垂直扩容来应对更多业务数据的存储或者计算。
在具体的场景方面,如果在银行业务中,涉及跑批的,建议使用集中式存储,其他业务,均可以通过分布式存储承载。
5、城商行哪些业务的数据存储需要分布式架构?
【问题描述】应用容器化过程中,针对一般规模的城商行的业务,哪些系统需要用到分布式存储架构,在云化过程中,会有哪些影响?通常有状态服务不应该在容器运行吧。
@wdmfyx003戴尔科技集团工程师:
近年来,看到许多城商行客户在历史数据查询系统等分布式架构应用建设的成功案例。大数据是当前行业热点,构建在 hadoop 分布式架构的大数据系统能够让海量历史数据 “活起来”,消除数据孤岛,充分发挥数据资产的价值
@顾黄亮苏宁消费金融有限公司 技术总监:
需要根据核心系统架构本身决定。传统核心系统大多采用的还是传统的集中式架构的存储,分布式核心系统多采用分布式数据库和分布式存储架构。可以咨询 贵 单位核心业务系统厂商未来业务发展和研发方向。
目前采用全闪的集中式存储的性能和扩展性对于一般的银行的核心系统来说一般都是没有问题的,核心系统的瓶颈一般很难体现在存储端(传统机械盘除外),主要还是考虑核心系统数据库数性能的优化。对于中小银行而言,集中式存储基本满足。
目前有很多分布式存储应用于金融行业,只是存储本身架构采用分布式架构,多副本技术,但是对于我们来讲是感受不到的,上层跑还是我们的传统系统,也不需要很多的维护。另外还有一些大数据、大容量备份存储也采购分布式存储。
为应对互联网金融业务快速发展,可以以传统业务体系为基础,建设新的互联网金融业务核心系统,形成传统集中式和分布式架构并存的 “ 双核心 ”IT 架构。原来的核心系统是作为稳态的系统,仍然采用传统数据库 高可用的全闪存储;互联网金融作为敏态的系统,采用互联网金融整体解决方案,架构不单单体现在存储是分布式,而是整个体系的分布式。
@NealZhang戴尔科技集团CPS:
一般来说,业内会把应用分成稳态和敏态,敏态的业务由于具有无法预估性能和容量需求的特性,比较适合分布式架构软件定义存储架构。
五、银行容器云平台建设存储选型及设计规划
分布式存储在银行容器云平台中有哪些适用场景?银行系统在选择容器平台的时候存储是选择集中式存储还是分布式存储?某些业务做容器化改造的注意事项有哪些?有哪些成熟的解决方案?
1、银行创新业务扩展能力通常都是横向扩展,需要容器云具备这种能力,那么底层存储架构设计上如何规划 ?
@顾黄亮苏宁消费金融有限公司 技术总监:
分布式存储系统采用可扩展的架构,不仅能提高存储的效率和数据的安全性,还可以进行性能和容量的横向扩展,解决大规模、高并发场景下的存储访问问题。
2、银行容器云平台存储技术路线如何选型?集中式存储or分布式存储,选型依据有哪些?
@wdmfyx003戴尔科技集团工程师:
存储选型与应用需求的容量、性能、功能、可用性、易维护性等等有关系,对于城商行来说 每个银行的应用情况不一样,运维管理团队配置不同,可以根据实际的情况来决定。
考虑选择集中存储和分布式存储时候,还需要考虑应用规模。因为分布式系统的优势在于规模效应,规模越大收益越大,较小的分布式系统规模,不利于发挥规模效应,同时增加了运维管理的难度。
@顾黄亮苏宁消费金融有限公司 技术总监:
首先,我们要了解集中式存储和分布式存储有哪些优点,相关的资料在网络上非常多,在此不再多赘述,总体而言,二者核心的选型关键在于几点。
1、硬件标准化,或者说硬件非标的比率方面,如果硬件标准化完成,建议选择分布式存储。
2、容量和性能可以水平扩展的需求,对于数据增长不规律或者突增的情况下,建议选择分布式存储,只有分布式存储才能更好的适配数据快速增长的要求。
3、 存储生命周期,一般而言,集中式存储的生命周期大概在8-10年左右,超过10年的风险就较大,而分布式存储可以通过批量的硬件迭代完成存储生命周期的重构。
4、 业务友好,两者对业务都非常友好,如果有一些海量数据归档、 底层操作、数据隔离的需求,分布式存储更好一些。
以上是二者在选择性方面的考虑。
3、集中日志中心和影像平台在存储选型和容器化方面上有哪些注意事项?原来的日志中心在容器化过程中有哪些注意事项,非结构化数据的影像平台应用容器化改造过程中会受到影响吗?
@wdmfyx003戴尔科技集团工程师:
从数据类型看归档日志集中保存、如图片、音视频等影像类非结构化数据,数据量大、数增长迅猛,由于监管的要求,往往需要长期保存,这类型数据的并发量要求不是很高、 IO 延迟不是特别敏感,适合采用扩展灵活、性价比友好的分布式存储,支持横向扩展,建设数据湖也是当前一个方向。
@顾黄亮苏宁消费金融有限公司 技术总监:
在容器云上部署关系型数据库,且数据库的数据是重要的业务系统数据,则选择集中式存储为宜。如果是业务应用系统的日志,或者是影像平台的海量小文件,则建议优先选择分布式存储,在扩展性和成本收益上更佳。
3、Dell EMC分布式存储如何支持多场景?Dell EMC存储是否支持数据库、虚拟化、容器多场景,在双活和异地容灾提供哪些能力?
@NealZhang戴尔科技集团CPS:
Dell EMC的分布式存储主要有分布式SAN PowerFlex,分布式NAS Isilon以及分布式对象存储ECS,可以分别或组合对应客户不同的需求场景,一般来说数据库和虚拟化场景推荐分布式SAN PowerFlex,三个产品支持容器不同需求场景,同时支持容灾以及双活架构。
@顾黄亮苏宁消费金融有限公司 技术总监:
简单概括, 数据量大、高吞吐量、高性能、高扩展的场景适合用分布式存储。
4、Dell EMC针对容器环境有哪些存储解决方案?现在有哪些行业案例?
@顾黄亮苏宁消费金融有限公司 技术总监:
其实,这是容器云的持久化存储的选型的问题,EMC是集中式存储,对于容器云而言,是持久化存储,集中式存储在通用的容器云场景中,不能说不适合,只能说有一些浪费,不过在金融行业内,还是有一些场景需要用持久化存储。
具体还是要根据承载的工作负载进行具体分析。譬如在容器云上部署关系型数据库,且数据库的数据是重要的业务系统数据,则选择集中式存储为宜。如果是业务应用系统的日志,或者是配置文件,则建议优先选择分布式存储,在扩展性和成本收益上更佳。
@wdmfyx003戴尔科技集团工程师:
针对容器云存储需求 , Dell EMC主要的存储产品线都有良好的集成,如 PowerFlex 、 PowerMax 、 PowerScale 、 PowerStore 、 Unity 等都提供了 CSI driver ,还针对存储高级功能与 K8S 的集成提供了专用的 Dell EMC Container Storage Modules (CSM) 模块, CSM 模块包括 5 大类功能,如 Authorization 、 Observability 、 Replication 、 Resiliency 和 Volume Group Snapshotter 。
此外银行用户都很重视的备份需求,Dell EMC还针对 K8S 应用环境的备份需求,提供了 PowerProtect Data Manager 备份解决方案,支持 K8S 的备份恢复。
5、是否可以用数据中心现有的Isilon作为容器云存储?相比其它传统NAS存储或分布式存储有哪些优势?
@cpc1989 存储工程师 , 某保险公司:
谈一些个人看法:
1.isilon配合容器存储CSI插件,可以对接容器持久化存储需求;
2.优点:Isilon本身就是一种分布式集群存储架构,所以相比于一般的NAS存储来说,IO性能优异,并行性很好;
3.需要补充的是:Isilon更适合非结构化数据、大数据分析场景,但相比于一般集中式NAS存储来说,IO SIze比较大,如果是小IO场景其实是不适合的,性能优势不明显,存储容量也会有一定的浪费,最好还是根据数据场景来选择更合适的存储;
@YDX147258369 北银金融科技有限公司系统运维工程师:
数据中心是可以用 Isilon作为容器云存储的,目前我们就是用的这个Isilon存储,为上层应用提供多种不同类型,不同等级的存储资源,稳定性也是可以的。
@顾黄亮苏宁消费金融有限公司 技术总监:
完全可以,Isilon支持符合行业标准的各种协议,理论上说支持任何场景,包括容器云。
@NealZhang戴尔科技集团CPS:
Isilon是DELL EMC高端分布式横向扩展NAS存储设备,是很多全球金融客户都采用Isilon作为数据湖云平台,在性能、用户体验、数据安全保护以及管理方面都有独到的优势,是针对非结构化数据以及半结构化数据云存储的业内最好的选择。
@wdmfyx003戴尔科技集团工程师:
Isilon 是Dell EMC分布式数据湖存储,适合文件、对象等多种数据类型、以及大数据分析等多种应用类型,这些特性也适合作为容器云存储,特别是DELL EMC还提供了针对容器云存储的CSI driver,方便Isilon 与K8S的对接,此外isilon还具备丰富的存储高级功能,例如远程容灾复制,适合对高可用性有高要求的金融行业用户。
下载 twt 社区客户端 APP