最近部署了一个对高可用及数据安全要求极高的客户,在和客户IT沟通多种方案后,选用了一种性价比高并且兼顾安全于灾备的方案。已顺利实施,在这里分享给大家,抛砖引玉,欢迎讨论。
背景
客户目前所需的存储量大概在100TB左右,要求可以横向扩展。同时有密区和非密区,各需要部署一套相对独立的巴别鸟,密区和非密区间需要可控的数据摆渡,并且都要做到冗余高可用。同时客户有一个备用机房,需要在备用机房也部署一套,当主机房出现断电断网的问题时,能手动快速切换到备用机房使用,备机房要求利旧现有硬件。
关键问题,预算有限,需要一个高性价比又靠谱的方案。
方案分析
目前仅100TB的存储量如果采用3台或者4台服务器组成的分布式存储集群成本会超过客户预算且浪费严重。如果采用虚拟化存储集群,又有点自欺欺人(懂的都懂)。最终我们选择了搭建2台对象存储服务器方案(主备),如果其中一台对象存储出现问题,切换到另外一台即可。如果要横向扩展,只需增加一套新的对象存储即可(巴别鸟支持对接多个对象存储源)。这样,单台通用2U服务器可以做到 16TB*12 SAS,物理存储空间192TB,按4块冗余来算,可用空间为128TB。
同时利用巴别鸟中间件支持备份到NFS的特性,备机房利用现有资源,采用虚拟化部署NFS存储方案,使用NFS存储,并且在备用机房虚拟机上也部署一套巴别鸟业务服务器,数据库存储做同步。如果主机房出现问题,切换到备机房的服务器也可以临时使用,主机房恢复后,数据同步完成又可以切回主机房。
这里要利用巴别鸟企业网盘几个特性:
- 多套巴别鸟之间本身就有带审批的数据摆渡功能。
- 巴别鸟支持对接多个存储源(如:对接多个对象存储的桶)
- 巴别鸟中间件支持异构存储的同步。
- 巴别鸟业务服务器支持主从部署。
- 巴别鸟可分模块部署,可以在主机房部署到4-8台虚拟机上强调性能,但也可在备用机房部署到1台虚拟机上节约资源。
最终方案
1. 服务器拓扑
- 主业务服务器集群为虚拟化集群。每个集群由4台虚拟机构成。可部署于一台物理服务器上。
- 存储服务器推荐采用对象存储服务器(推荐)。但也支持NFS(NAS或直接挂载)
- 备机房业务服务器集群最少可由3台虚拟机组成。备机房存储服务器可采用NFS(NAS或直接挂载)
2. 服务器配置要求
1. 主业务服务器集群(推荐配置)密区和非密区各一套
- 主业务服务器集群可以在单独的物理机上使用虚拟机搭建,如果有超融合等虚拟化系统,只要性能符合要求就都可以。CPU单核性能参照志强银牌4314,推荐使用志强金牌CPU
2. 主存储服务器(推荐配置)密区和非密区各一套
- 存储系统服务器采用在通用服务器上部署对象存储系统的方案。可以大幅节约购买对象存储服务器的成本
3. 从业务服务器及从存储服务器。密区和非密区各一套
- 采用和主存储服务器及主业务服务器相同的配置即可。从业务服务器和从存储服务器可以随时按需架设(可以刚开始部署只有主后面增加从)。数据同步成功后即可启用。
- 前端网关需要有F5网关类的设备负责负载均衡、心跳监控及故障自动切换。如果没有类似设备,出现服务器故障只能手动切换。(手动切换时间5-10分钟)
4. 备用机房服务器配置。密区和非密区各一套
- 备用机房相对于主机房服务器独立,同步主服务器的用户信息、数据库、及存储。备用机房服务器可以随时按需架设。数据同步成功后即可启用。也支持独立使用。
- 只要有符合要求的虚拟机资源就可以安装。推荐使用超融合系统。
- 搜索服务器合并到业务服务器中,以节约资源。
- 日常该服务器只供备份增量写入,不提供服务。如主机房出现断网等故障,手动切换(DNS或IP)至该服务器并登录即可使用(组织结构和用户信息也同步主服务器),等主服务器恢复后,需要数据同步完成后才能切换到主服务器(同步数据一致性问题)
3. 巴别鸟服务器集群结构-逻辑图
1. 每个高可用部署,两台主业务服务器同时提供服务
2. 每个高可用部署,两台数据库服务器采用双主结构,互为主备。
- 实时切换:假设两台数据库服务器分别是A、B,正常情况下A主B备,当A宕机时,实时切换成B主A备。这个技术由mysql官方提供支持,已经非常成熟。
- 读写分离:为了提高吞吐量,充分利用服务器资源,两台数据库服务器也同时提供服务,正常情况下,主数据库负责写,备数据库负责读,实现读写分离。
3. 文件存储服务器使用巴别鸟的存储中间件进行同步,支持异构存储
4. 存储同步方案-支持多地异构存储
最终,方案顺利在客户预算范围内完成了客户的要求。顺利运行,皆大欢喜。