证券行业超融合架构方案设计

一、证券行业现状

这些年金融科技在不断的发展，促进了证券行业依托信息技术系统和互联网为广大用户提供服务。证券企业在信息技术领域的投入稳步增长，各新兴技术的研究和实践逐渐在传统业务、营销服务、风险管理等场景中普及。

证券企业的业务内容从传统单一的证券经纪业务发展到目前投资咨询、资产管理、投资银行等业务，现在又添加了融资融券、保险资金管理、 股指期货、证券投资基金等交易品种，证券业务的发展带动了企业信息化建设，软硬件设备不断上线， 证券公司传统数据中心，每个业务系统建设都是一套硬件设备对应一套应用的建设方式，因此产生了越来越多的信息孤岛。随着业务系统逐步增加，这种竖井式 IT 架构的问题逐渐暴露出来，如运维管理复杂、机房设备多、利用率低能耗高等。

二、证券企业痛点

1. 业务系统部署的时效性需要提升：生产环境能够更好的响应业务创新带来的变化，开发测试部门越发迫切需求高效易用的 IT 基础设施环境，一个新业务系统在上线时，要先通过开发测试环境进行开发和充分的测试验证后，再迁移到生产系统，整个过程下来需要一个月的时间。

2. 资源的利用率需要提升：当前的开发测试环境由几十台服务器和 10 多台存储组成，品牌繁多，有 X86 服务器，有小型机、有联想存储、华为存储、还有其它品牌存储等等，有的设备利用率 90% 多，而有的设备利用率只有 20% 或是更少。

3. 运维效率需要得升：在现有的条件下对存储系统进行升级时，需要购买物理硬盘或者扩展柜，更新微码、停机、加盘和连接扩展柜等等一系列操作。如果对计算资源进行升级时，需要购买物理服务器，提前规划好操作系统、分区、存储空间占用、上架安装和安装应用软件等一系列操作，运维的工作量很大。

4. 业务连续性需要提升：上线业务系统需要先增加服务器、存储、光纤交换机等硬件设备，而增加的设备只能满足一定数量级的业务需求，并不能提高系统性能，当维护人员配置不当时，会造成系统性能明显下降。新增设备安装部署工作量大，操作繁琐，为减少数据风险，一般需要把整个系统全部停机后操作 , 在某此情况下会影响生产系统的业务连续性及工作效率。

三、业务需求分析

证券公司现有业务系统是典型的 5×4 （ 5 天，每天 9 ：30 到 11 ：30 ， 13 点到 15 点）类型的交易，迅速成长的业务量给证券公司的信息化系统带来很大的压力。主要反映在日间交易系统交易量急剧上升、响应时间变慢出现堵单的情况；夜间的清算系统负载过大，清算时间冗长，一旦出现问题不能保证开市时间；需要成熟的同城异地容灾方案保障系统稳定运行。经过对证券公司的业务特点及负载特点进行梳理总结并提出急需 解决如下问题：

1. 提升硬件平台的整体性能，实现交易系统和清算系统资源共享，需要提供 同城异地容灾中心建设方案。

2. 加快业务系统部署，业务系统上线速度越快，越能增强企业的竞争力，现在业务系统是基于服务器虚拟化加集中存储的架构，业务系统的部署受网络、服务器和存储三个层面的制约，需要在三个层面进行平衡。

3. 基于服务器虚拟化的云计算技术虽然有效降低了硬件采购成本，提升了运维效率，在一定程度上缓解了 IT 建设面临的诸多压力。但是，虚拟机所连接的网络和存储却发展缓慢，在千兆网络的云计算环境中，多个虚拟机的同时迁移往往会发生拥塞导致系统崩溃。

4. 存储系统的建设需要连接 SAN 网络，不同品牌的存储需要单独的一套运维管理软件，在投入使用前需要对其进行初始化和卷管理等操作，无法使用统一的云管理平台对各品牌存储设备进行管理，灵活性受到极大制约。

5. 需要进一步促进业务和信息资源的整合，提高信息资源的利用率，降低企业信息化总体运维成本。降低网络、服务器与存储系统等信息系统基础设施的管理复杂度，提高应用信息系统部署的时效性，超融合技术的运用势在必行。

四、技术路线选择

超融合技术，是指在单个一体化基础架构中同时具备计算、存储、网络和虚拟化等资源和技术的架构。超融合架构打破了传统的服务器、网络和存储的孤立界线，将 CPU 、内存、存储、网络、虚拟化技术整合在一台设备上，每一台设备作为一个单元节点，多节点通过网络聚合实现模块化的无缝横向扩展，形成统一的资源池。

超融合系统是新一代的基础架构解决方案，全面集成虚拟化和分布式存储软件，是证券行业部署云环境的最佳基础架构解决方案，也是部署云平台最简单和快捷的方式。

超融合无须停机便可无缝地添加其它超融合节点，从而线性地提高系统性能和数据存储, 动态群集的方法使得计算和存储能够每次扩展一个节点，因此无须过度部署基础设施，使系统扩展不存在任何不确定性。超融合系统相对于传统架构具有以下优势：

1. 实现了计算、存储和网络资源的统一融合：传统架构下的计算资源和存储资源是分离的，服务器通过SAN交换机与存储设备连接获取存储空间。超融合技术改变了传统服务器、存储、网络相互孤立的基础架构，实现计算资源、存储资源和网络资源的统一融合，每一台超融合节点单元可同时提供计算资源和存储空间。超融合架构采用软件定义的体系结构，不再依赖于硬件，计算、存储、网络完全虚拟化并由软件控制。服务器和存储得到了统一的部署和管理，并为整个虚拟化体系提供了简单、通用的管理和自动化平台。

2. 实现了设备的快速交付：超融合技术通过软硬件一体化的融合，实现设备快速交付、架构弹性伸缩、业务敏捷部署和系统精简运维。超融合一体机在出厂时已根据需求完成硬件的集成和软件的安装，设备上架开机即可交付使用，极大简化了设备安装调试的复杂度。

3. 实现了资源的动态扩展：超融合技术基于虚拟化和软件定义，构建扁平化、随需而变、弹性可扩展的敏捷架构，所有资源均可按需部署、灵活调度和动态扩展。

4. 提升了运维效率：传统架构下的计算资源、存储资源和网络资源由不同的设备提供，管理者必须分别通过不同的管理工具管理多种设备，超融合架构下只需通过单一的平台即可同时管理计算、存储和网络资源，降低运维难度，实现精简运维。

5. 提升了系统的可靠性：超融合技术实现了计算、存储和网络资源的融合，原来分散在不同服务器和存储设备上的数据全部集中在超融合节点本地磁盘上，系统及数据的安全风险随即凸显。超融合架构采用集群管理方式，系统出现故障时能够自动在其他节点设备上重启，避免物理环境的单点故障。

6. 保障了业务连续性和数据安全：数据多副本机制实现数据分散存放，不同数据副本放在不同的超融合节点上，当一个节点出现故障时，仍然可以依靠其他节点上的数据副本继续对外提供服务，有效保障业务连续性和数据安全。

五、产品选型

超融合架构（简称HCI）是实现软件定义数据中心的技术途径。HCI在目前国内市场销量很大，除了传统的硬件厂商，还有一些新兴的厂商，甚至还有一些安全厂商也在做HCI产品。这些厂商每个产品有自己不同于其他厂商的特点，可以适应多种不同的应用场景和环境。HCI市场能够实现快速的增长，一是随着软件定义技术逐渐走向成熟，带动X86开放架构市场的兴起，HCI成为了IT基础设施进化的必然结果。二是对传统架构的创新，在IT资源的分配和管理上相比传统架构更加灵活，特别是超融合系统的分布式存储架构。下面是几款超融合产品的对比图：

产品选型需要遵循的原则：

1. 可靠性：该产品必须是经过很长时间市场考验的，能够稳定可靠的运行，包括产品从硬盘故障处理、节点故障处理、机架故障处理、机房故障以及异地灾备处理能力等方面评估系统的高可用和数据保护能力。

2. 稳定性与可用性：该产品有很好的系统性能，包括有一个好的技术架构，有良好的技术基础 ，有良好的售后服务体系支持，并且系统安装运维简易，故障易于排查处理。

3. 可扩展性：包括产品是否可以在线扩展，扩容对业务的影响情况，数据是否可以自动均衡，以及扩展后的性能是否可以线性增长。

通过对市场上主流的超融合产品的对比，并结合证券公司的实际需求与选型原则，本方案选用H厂商的超融合产品构建证券公司的云平台。它遵循开放架构标准，在机框中融合刀片服务器、分布式存储及网络交换机为一体，无需外置存储、交换机等设备，并预集成了分布式存储引擎、虚拟化平台及管理软件，资源可按需调配、线性扩展。

1. 群集配置：最小群集是一个3单元的节点，每次扩充是以1节点单元为单位扩充，最大群集规模则是256个服务器节点。

2.兼容多种主流虚拟化平台，支持为虚拟化平台提供统一的计算、存储和网络资源。支持虚拟化平台软件的预安装和自动安装部署。

3. 内置分布式存储系统为业务提供存储服务。

4. 支持多种数据冗余保护机制，如2副本、3副本等；在此基础上支持设置灵活的数据可靠性策略，允许将不同的副本放在不同的服务器上，保证在服务器故障的情况下，数据仍然不丢失、仍然可访问。

5. 具有丰富的存储高级功能：包括精简配置、卷快照、链接克隆，基于增量快照提供链接克隆。

该超融合平台集成了分布式存储引擎，资源可按需调配、线性扩展。能更好的满足日间交易系统对性能的要求，同时保障了夜间清算系统的按时完成。因为交易系统和清算系统是错峰运行的，超融合平台可以在日间或是夜间利用更多的空闲资源为峰值业务系统提供服务。

六、方案设计

根据证券公司当前信息化建设的现状和痛点，基于现有硬件环境，结合未来证券业务发展，与证券公司共同规划了开发测试云平台。开发测试云平台以现有虚拟化平台为基础，从保持系统稳定可靠易用的角度出发，考虑未来5年规划发展的要求。该平台包括以下三个层面：

在硬件平台建设方面，逐步淘汰现有的x86服务器集群和存储服务器集群，采用超融合架构设备集群，提供云平台中的高性能I/O服务。采用超融合架构搭建的集群，可以融合计算、存储和虚拟化于一体，提供云平台所需要的通用资源池。对于其他服务器，作为云平台的补充，为少数专用业务提供服务。

本方案采用了超融合一体机搭建开发测试云。该超融合产品特点是实现了一个分布式存储系统，把计算和存储有效的融合起来，彻底解决了I/O的性能问题，大幅度的提升了业务系统部署的时效性，提升了资源的利用率和运维的效率，增强了业务系统的连续性。

下面是实施流程图：

在进行方案的IP地址规划之前说明几个易混淆的概念，一是该产品的虚拟化解决方案通过在服务器上部署虚拟化软件，使一台物理服务器可以承担多台服务器的工作。通过整合现有的工作负载并利用剩余的服务器以部署新的应用程序和解决方案，实现较高的整合率。二是该产品的云操作系统软件，主要负责硬件资源的虚拟化，以及对虚拟资源、业务资源、用户资源的集中管理。该产品的云操作系统包含管理平面、存储平面、业务平面这三个通信平面：

节点与虚拟机规划统计表：

部分虚拟机列表：

业务系统备份方案

针对证券公司重要的业务系统提供备份方案，可以采用备份产品实现对内置分布式存储系统的多重防护。

业务系统容灾方案

该超融合内置分布式存储系统为业务提供存储服务，支持多种数据冗余保护机制，支持多副本技术；支持设置灵活的数据可靠性策略，允许将不同的副本放在不同的服务器上，保证在服务器故障的情况下，数据仍然不丢失、仍然可访问。超融合架构结合数据库复制技术可以为关键业务数据库数据提供一套完整的数据容灾保护解决方案，方案易维护、总投入成本低、可扩展性强。因容灾方案涉及方面较多在此不作过多展开。

七、实施难点分析

对证券公司业务系统及其所使用的资源进行有效的梳理和规划是超融合平台建设的基本工作内容，考虑公司未来5年规划发展的要求，对CPU、内存、存储、网络等资源进行如下规划：

1、CPU资源的规划

为简化计算过程，所有管理、计算和存储虚拟化软件节点的CPU资源开销按照10%进行计算，内存资源开销按照每台物理机100GB进行估算。

注：CPU和内存的开销需要按照预计采购的超融合系统进行修正。

总vCPU数=预计部署的每台VM虚拟机的vCPU数量的总和

注：vCPU是衡量一台虚拟机计算能力的主要指标，类似物理服务器的CPU。vCPU核数类似服务器CPU的核数（core）。一个利用率100％的vCPU的处理能力等于物理CPU一个超线程的处理能力。

1. 根据计算能力总需求估算

CPU总物理核数=roundup（总vCPU数/单核超线程数/CPU利用率）

2. 估算所需的服务器数量

物理服务器数量=roundup{[(CPU总物理核数/(服务器CPU个数CPU物理核数）90%]（1+服务器冗余率）}结果向上取其整数即可。如果数量≤3，那么至少配置3台。

总vCPU的数量为100，服务器冗余率设定为30%，CPU利用率不超过70%，部署所有管理、计算和存储虚拟化软件节点的CPU资源开销为10%，拟定选择的超融合服务器为2颗12核心处理器2线程处理器。那么：

CPU总物理核数=roundup（总vCPU数/单核超线程数/CPU利用率）

= roundup（100/2/0.7）

=72

物理服务器数量为=roundup{[(72/(212）90%]（1+30%）}

= roundup{4.3}

物理服务器数量：需要5台。

2、内存资源的规划

1. 内存总需求

总内存=预计部署的每台VM虚拟机的内存数量的总和

注：内存大小是指虚拟机内存的最大规格值。

2. 根据内存总需求估算

根据内存资源需求估算的服务器数量= roundup[(总内存/（单服务器内存容量-100GB）（1+服务器冗余率）]结果向上取其整数即可。如果数量≤3，那么至少配置3台。如果数量太多，请增加单台服务器的内存容量。

总内存的数量为360GB，服务器冗余率设定为30%，部署所有管理、计算和存储虚拟化软件节点的内存资源开销为100GB，拟定选择的超融合服务器为256GB内存（至少100GB以上）。

物理服务器数量=roundup[(总内存/（单服务器内存容量-100GB）（1+服务器冗余率）]

=roundup[(360GB/（256GB-100GB）×（1+30%）]

=roundup[3]

物理服务器数量：需要3台

3、存储资源的规划

存储资源的规划在本方案中以存储容量的计算为主，设定总的有效容量=x，磁盘标称容量=z，磁盘空间利用率=q，副本数=k

总的硬盘数量=roundup[总的有效容量/(zq)k]（向上取整）

现有需要迁移的数据，总计20000GB，预计购买的超融合服务器每台的磁盘标称容量z=1200GB，磁盘空间利用率q=0.95，副本数k=3.

按容量计算，硬盘数量为：

则利用上述公式：

总的硬盘数量= roundup[20000/(1200GB0.95)3]

总的硬盘数量= roundup[20000/(1140)×3]

总的硬盘数量= roundup[52.633]

总的硬盘数量为53块硬盘，每块盘容量至少为1200GB。

如果要加入SSD固态硬盘做热点迁移和自动分层，需要按照超融合系统要求的比例，购买SSD固态硬盘。

4、网络资源的规划

在超融合架构中，因为虚拟机之间是通过共享网络进行数据交换的，在虚拟交换机的网络中采用划分VLAN的方式实现子网的隔离与网络安全。下面是超融合网络架构图：

超融合网络架构包括生产网络（业务平面）、数据交换网（存储平面）和管理网络三个部分：

1. 生产网络（原有生产网络，同时也是客户机和虚拟化服务器之间的网络通讯）可采用双链路千兆以太网络，如果原有双链路万兆网络，那么可以继续延用。当用户的客户机访问虚拟服务器时，通过生产网络可分流后端存储流量并且进行隔离。

2. 数据交换网（ X86 物理服务器之间的内部通讯网络）至少采用双链路万兆光纤网络，由于分布式存储数据交换和虚拟机之间的通讯都需要占用大量的网络带宽，当发生密集的写 IO 时，万兆网络能保证提供足够带宽满足节点之间的 IO 同步流量。建议单独配置 1 块万兆网卡。

3. 管理网络（管理 X86 物理服务器节点）可采用双链路千兆以太网络，主要用于节点管理。建议单独配置 1 块千兆网卡，实现管理网络与业务网络、存储网络分离。可以最大限度保证管理的灵活性和安全性。

八、方案总结

本方案实施后，开发测试云顺利上线，截止目前业务运行平稳，业务系统部署的时效性得到了提升、资源的利用率也更加均衡、运维效率和业务连续性都得到了提升，具体表现在以下几个方面：

1.  整合计算、存储能力，其计算、存储垂直融合架构，为开发测试云运行提供高性能高可靠的业务平台，新业务系统上线只需要几十分钟就可以完成。

2. 空间节约：原计划采购 10 多台服务器 + 存储，现 3 台 超融合产品共占用 12U 空间，相比原定的 40U 计划空间，节约了 70% ；

3. 性能提升：数据恢复缩短至 10 分钟，基本相当于高配的物理机性能，相比原来提升 2.5 倍；

4. 简化管理：原本的开发测试环境设备需要 3-4 个人管理，现在只需要 1 人即可管理；

5. 绿色节能：解决了数据中心供电不足的困境， 对电能的需求降低了 60% 。

以上就是证券行业超融合架构方案设计的介绍，微云网络作为专业的网络服务商，我们有着丰富的海外专线解决方案，感兴趣的可以直接联系我们客服咨询。