企业网盘多密区异地灾备方案?

最近部署了一个对高可用及数据安全要求极高的客户,在和客户IT沟通多种方案后,选用了一种性价比高并且兼顾安全于灾备的方案。已顺利实施,在这里分享给大家,抛砖引玉,欢迎讨论。

背景

客户目前所需的存储量大概在100TB左右,要求可以横向扩展。同时有密区和非密区,各需要部署一套相对独立的巴别鸟,密区和非密区间需要可控的数据摆渡,并且都要做到冗余高可用。同时客户有一个备用机房,需要在备用机房也部署一套,当主机房出现断电断网的问题时,能手动快速切换到备用机房使用,备机房要求利旧现有硬件。

关键问题,预算有限,需要一个高性价比又靠谱的方案。

方案分析

目前仅100TB的存储量如果采用3台或者4台服务器组成的分布式存储集群成本会超过客户预算且浪费严重。如果采用虚拟化存储集群,又有点自欺欺人(懂的都懂)。最终我们选择了搭建2台对象存储服务器方案(主备),如果其中一台对象存储出现问题,切换到另外一台即可。如果要横向扩展,只需增加一套新的对象存储即可(巴别鸟支持对接多个对象存储源)。这样,单台通用2U服务器可以做到 16TB*12 SAS,物理存储空间192TB,按4块冗余来算,可用空间为128TB。

同时利用巴别鸟中间件支持备份到NFS的特性,备机房利用现有资源,采用虚拟化部署NFS存储方案,使用NFS存储,并且在备用机房虚拟机上也部署一套巴别鸟业务服务器,数据库存储做同步。如果主机房出现问题,切换到备机房的服务器也可以临时使用,主机房恢复后,数据同步完成又可以切回主机房。

这里要利用巴别鸟企业网盘几个特性:

  • 多套巴别鸟之间本身就有带审批的数据摆渡功能。
  • 巴别鸟支持对接多个存储源(如:对接多个对象存储的桶)
  • 巴别鸟中间件支持异构存储的同步。
  • 巴别鸟业务服务器支持主从部署。
  • 巴别鸟可分模块部署,可以在主机房部署到4-8台虚拟机上强调性能,但也可在备用机房部署到1台虚拟机上节约资源。

最终方案

1. 服务器拓扑

                                              服务器角度的拓扑图

  • 主业务服务器集群为虚拟化集群。每个集群由4台虚拟机构成。可部署于一台物理服务器上。
  • 存储服务器推荐采用对象存储服务器(推荐)。但也支持NFS(NAS或直接挂载)
  • 备机房业务服务器集群最少可由3台虚拟机组成。备机房存储服务器可采用NFS(NAS或直接挂载)

2. 服务器配置要求

1. 主业务服务器集群(推荐配置)密区和非密区各一套

  • 主业务服务器集群可以在单独的物理机上使用虚拟机搭建,如果有超融合等虚拟化系统,只要性能符合要求就都可以。CPU单核性能参照志强银牌4314,推荐使用志强金牌CPU

编号

服务器类型

配置要求

操作系统

服务器用途

备注

1

虚拟机

8核CPU 64G内存
500G系统盘

openEuler、Ubuntu、CentOS 8.5 及以上

主业务服务器

只要支持docker的linux都可以

2

虚拟机

8核CPU 32G内存 500G系统盘

openEuler、Ubuntu、CentOS 8.5 及以上

搜索服务器

只要支持docker的linux都可以

3

虚拟机

8核CPU 32G内存 500G系统盘

openEuler、Ubuntu、CentOS 8.5 及以上

主数据库服务器

只要支持docker的linux都可以

4

虚拟机

6核CPU 16G内存 200G系统盘

windows 2012

转码服务器

Windows2012及以上

5

存储

支持S3接口的对象存储系统

存储服务器

本方案选用有巴别鸟团队在通用服务器上搭建对象存储系统

2. 主存储服务器(推荐配置)密区和非密区各一套

  • 存储系统服务器采用在通用服务器上部署对象存储系统的方案。可以大幅节约购买对象存储服务器的成本

编号

服务器配置

存储硬盘

操作系统

1

R750:3.5*12盘位/4314 (2.4G,
16C/32T)*2/32G*2/480G SATA SSD*2含BOSS卡/16T SAS*12/CX512-25G双口网卡含模块/HBA355i/1100W*2/导轨/3年

12*16TB SAS raid模式直通 120T可用

openEuler、Ubuntu、CentOS 8.5 及以上

3. 从业务服务器及从存储服务器。密区和非密区各一套

  • 采用和主存储服务器及主业务服务器相同的配置即可。从业务服务器和从存储服务器可以随时按需架设(可以刚开始部署只有主后面增加从)。数据同步成功后即可启用。
  • 前端网关需要有F5网关类的设备负责负载均衡、心跳监控及故障自动切换。如果没有类似设备,出现服务器故障只能手动切换。(手动切换时间5-10分钟)

4. 备用机房服务器配置。密区和非密区各一套

  • 备用机房相对于主机房服务器独立,同步主服务器的用户信息、数据库、及存储。备用机房服务器可以随时按需架设。数据同步成功后即可启用。也支持独立使用。

编号

服务器类型

配置要求

操作系统

服务器用途

备注

1

虚拟机

8核CPU 64G内存 500G系统盘

openEuler、Ubuntu、CentOS 8.5 及以上

业务服务器

只要支持docker的linux都可以

2

虚拟机

8核CPU 32G内存 500G系统盘

openEuler、Ubuntu、CentOS 8.5 及以上

数据库服务器

只要支持docker的linux都可以

3

存储

可使用NFS或S3接口的存储方式。支持NAS、或直接挂载硬盘到主业务服务器

  • 只要有符合要求的虚拟机资源就可以安装。推荐使用超融合系统。
  • 搜索服务器合并到业务服务器中,以节约资源。
  • 日常该服务器只供备份增量写入,不提供服务。如主机房出现断网等故障,手动切换(DNS或IP)至该服务器并登录即可使用(组织结构和用户信息也同步主服务器),等主服务器恢复后,需要数据同步完成后才能切换到主服务器(同步数据一致性问题)

3. 巴别鸟服务器集群结构-逻辑图

1. 每个高可用部署,两台主业务服务器同时提供服务

2. 每个高可用部署,两台数据库服务器采用双主结构,互为主备。

  • 实时切换:假设两台数据库服务器分别是A、B,正常情况下A主B备,当A宕机时,实时切换成B主A备。这个技术由mysql官方提供支持,已经非常成熟。
  • 读写分离:为了提高吞吐量,充分利用服务器资源,两台数据库服务器也同时提供服务,正常情况下,主数据库负责写,备数据库负责读,实现读写分离。

3. 文件存储服务器使用巴别鸟的存储中间件进行同步,支持异构存储

4. 存储同步方案-支持多地异构存储


最终,方案顺利在客户预算范围内完成了客户的要求。顺利运行,皆大欢喜。

发表评论

电子邮件地址不会被公开。 必填项已用*标注