云平台实施方案
1 / 25
文档属性
属 性 保密级别 文档级别 文档编号 编 写 人 审 核 人 内 容
文件修订记录
序号 版本号 1 V1.0 简要说明 创建 修订日期 20180605 李 变更人 审核人 备注 2 / 25
目录
一、概述 ................................................................................................................................................. 4 1.1 方案编写目的 .................................................................................................................................. 4 1.2 方案适用人员 .................................................................................................................................. 4 1.3 方案内容与范围 .............................................................................................................................. 5 二、项目总架构图 ................................................................................................................................. 5 2.1 物理拓扑设计图................................................................................................ 错误!未定义书签。 2.2 软件架构图 .................................................................................................................................... 10 三、网络规划 ....................................................................................................................................... 11 3.1 网络VLAN规划 .............................................................................................................................. 11 3.2 网络IP规划 .................................................................................................................................... 11 四、OpenStack组件HA及分布 .......................................................................................................... 13 4.1 控制节点服务HA ........................................................................................................................... 13 4.2 所有节点服务列表 ......................................................................................................................... 15 五、分布式存储设计 ........................................................................................................................... 17 六、服务器需求 ................................................................................................................................... 22 6.1 云平台服务器磁盘RAID配置 ....................................................................................................... 22 6.2 云平台服务器BIOS配置 ................................................................................................................ 23 七、服务器网卡接线示意图 ............................................................................................................... 24 八、云平台实施步骤 ........................................................................................................................... 25
3 / 25
一、概述
1.1 方案编写目的
撰写此文的主要目的是为了指导“云平台项目” 的顺利实施，根据客户的现状和发展需求，确定 云平台的实施方案。
在实际实施工作中，将网络和服务器的需求任务明确。
1.2 方案适用人员
本文档主要面向负责“ 云平台项目”的设计和实施的网络设计人员、 管理人员、管理人员以及 实施小组成员，以便通过参考本文档资料顺利完成项目沟通和实施。
4 / 25
1.3 方案内容与范围
本方案主要就以下几点进行了分析和阐述： ➢ 项目总架构 ➢ 网络规划明细
➢ OpenStack 组件分布HA 服务器配置需求 ➢ 分布式存储 Ceph 需求 ➢ 服务器接线示意 ➢ 云平台项目实施步骤
二、项目总架构图
云平台部署简述：
5 / 25
➢ 环境共需求 14台服务器：部署节点1个，控制节点 3 台，计算存储融合节点 10 台。
➢ 本次为标准环境部署，业务网络走二层。 ➢ 存在的风险：
1、网卡没有冗余；
2、所有网络流量均走一块千兆网卡，ceph rebalance是会造成网络阻塞
3、服务器的千兆网口所连交换机为百兆交换机，会造成性能低下
➢ 本次安装要有1个部署节点，为了支撑后续的扩容和在部署节点上安装云平台监控系统，部署节点的服务器配置与控制节点一样即可。
编号 1 部署节点 角色 配置 数量 1 服务器型号： SAS 盘：3 x 147GB 内存大小：8G CPU 型号：Intel E5406(8 核) 6 / 25
CPU 主频：2.3GHz CPU数：1个 网卡数：2 x 2端口千兆板载网卡 Raid卡：支持raid1,raid要有2G cache卡配锂电池
➢ 控制节点 3 台组成 HA，保证 OpenStack 服务高可用，可随机宕掉任意节点不影响云平台正常运行。
编号 1 控制节点 角色 配置 数量 服务器型号： SAS 盘：3x 600GB 内存大小：64G CPU 型号：Intel E5-2667 v4(8 核) CPU 主频：2.3GHz CPU 数：2 个 3 7 / 25
网卡数：2x 2 端口万兆网卡 1 x 2 千兆板载网卡 Raid卡：支持raid1,raid要有2G cache卡配锂电池
➢ 融合节点10台服务器，将会设置HOST HA功能，保证某个计算节点意外宕机，该计算节点内虚机可以迁移到其他计算节点，保证业务继续运行。
编号 2 融合节点 角色 配置 数量 服务器型号： SAS 盘：2 x 300GB SAS盘：3 x 600GB SSD盘：1 x 240GB 内存大小：128GB 8 8 / 25
CPU 型号：Intel E5-2667 v4(8 核) CPU 主频：2.7GHz CPU 数：2 个 网卡数：2 x 2 端口万兆网卡 1 x 2 千兆板载网卡 Raid卡：支持raid1,raid要有2G cache卡配锂电池
9 / 25
2.1 软件架构图
图2-2：OpenStack软件架构图
1. 所有用户通过Horizon登陆Dashboard并使用Keystone认证，认证用户
可进行云平台管理和日常操作。
2. Nova 和 Neutron 分别进行计算和网络资源的虚拟化，Glance 提供镜像服
务，通过 Glance、Nova 和 Neutron 等组件用户可以完成虚机的部署以及日常操作。
3. Cinder基于Ceph提供云硬盘服务，给虚机提供持久化的存储后端。
10 / 25
三、网络规划
3.1 网络VLAN规划
网络类型 PXE Public MGMT Ceph Pub Storage Private VXLAN IPMI 图 3-1：云平台网络 VLAN 规划
VLAN ID 1000 1001 1002 1003 1004 1005-1009 1010 1000 网段 10.10.1.0/24 192.168.1.0/24 192.168.2.0/24 192.168.3.0/24 192.168.4.0/24 / 192.168.5.0/24 10.10.1.0/24 网关 / 192.168.1.254 / / / / / / 地址范围 / / / / / / / /
3.2 网络IP规划
11 / 25
服务器角色 网卡 Bond VLAN 1000 1001 1002 1003 1004 1005-1009 1010 1000 1000 1001 1002 1003 1004 1005-1009 1010 1000 1000 1001 角色 PXE Public Private MGMT Storage Ceph Pub VXLAN IPMI PXE Public Private MGMT Storage Ceph Pub VXLAN IPMI PXE Public 控制节点 Eth0 千兆电口 / / 管理口 / Eth0 融合节点 千兆电口 / / 部署节点 Eth0 管理口 / 千兆电口 / 图 3-2：云平台网络 IP 规划
3.3 网络角色介绍
网络类型 用途 用于推送操作系统已经 PXE OpenStack DashBoard访问以及 public floating网络 部署操作系统和OpenStack，内部网络 云平台DashBoard访问网络，需要外部访 问 存储网络，内部网络,ceph南北向流量的 网络 备注 CephPublic Ceph读写数据流量 12 / 25
Ceph内部Cluster流量，副 本的同步、rebalance流量络，存储网络，内部网络， ceph东西向流量的 Storage t 网络 Mgmt OpenStack内部通信 生产网络 用于OpenStack各个组件通信，内部网络 Private 虚拟机业务网络 需要与控制节点的Public网络互通，实 现Host HA IPMI 服务器的带外管理口网络 VXLAN Overlay网络 Overlay网络 表 3-3：网络类型说明
四、OpenStack组件HA及分布
4.1 控制节点服务HA
Pacemaker 管理的是有状态的服务
13 / 25
➢ Pacemaker 管理服务列表(crm status)
Ceilometer:
openstack-ceilometer-central(单活) openstack-ceilometer-alarm-evaluator(单活)
Mysql(全活)
Rabbitmq-server(全活)
Haproxy(全活)
Neutron：
neutron-openvswitch-agent(全活) neutron-metadata-agent(全活) neutron-dhcp-agent(全活) neutron-l3-agent(全活)
Haproxy 代理的是无状态的 API 访问，起到 loadblance 的作用
14 / 25
horizon keystone nova-api nova-metadata-api cinder-api neutron-api
glance-api glance-registry
ceilometer-api rabbitmq mysqld radosgw
nova-novncproxy
4.2 所有节点服务列表
15 / 25
Glance glance-api Nova Neutron Cinder Ceilometer Ceph nova-cert neutron-l3-age cinder-api nt ceilometer-col mon lector 16 / 25
glance-registry nova-novncpr neutron-ns-m cinder-volume ceilometer-ag radosgw oxy etadata-proxy ent-central nova-objectsto neutron-serve cinder-schedul ceilometer-ala re r er rm-notifier ceilometer-api ceilometer-ag ent-notificatio n Cinder nova-consolea neutron-open uth vswitch-agent nova-api neutron-rootw rap Glance Nova Neutron Ceilometer Ceph nova-schedule neutron-meta data-agent r nova-conducto neutron-dhcpagent r nova-api
五、分布式存储设计
Nova，Glance和Cinder提供了超融合的分布式存储后Ceph，
17 / 25
其提供了丰富的REST API以供OpenStack调用，两个完美结合实现存储资源的虚拟化。
图5-1：OpenStack与Ceph融合架构
Cinder采用Ceph后端，为虚机提供多样化、持久性的云硬盘。
图5-2：Cinder架构图
18 / 25
为了使分布存储系统发挥最高性能，把存储的访问网络（前端）和存储集群内部数据同步网络（背面）网络分开，存储系统功能包括：
1. 存储池横向扩展：Ceph资源池的规模和容量没有限制，可以轻松扩展至
PB级；理论上，Ceph分布式存储的性能也是随着集群的横向扩展线性增加。
2. 网络隔离：存储系统分为Public(前端网络，主要是虚机等client端针对
Ceph的读写流量)和Cluster(后端网络，主要是Ceph内部数据同步流量)两个网络，实现了流量的有效隔离，在进行数据同步的同时尽量不影响业务生产。
3. 云硬盘：基于Ceph提供云硬盘服务，在web UI以及后端命令行实现云硬
盘的创建、挂载、扩展和删除等功能。并且为了确保云硬盘的可用性，在删除云硬盘之前必须先从云主机内部取消映射。
4. 备份功能：云硬盘提供了多种备份功能，例如快照和完全备份，保证了数据
的安全性和完整性。
5. 超融合存储：基于Ceph提供统一存储，Nova、Cinder和Glance均采用
Ceph作为其存储后端。
19 / 25
以下是我们为云平台设计的存储池：
20 / 25
图5-3：Ceph存储架构
1. Ceph 存储池的 Ceph Monitor 安装在三台控制节点，并做了集群，保证
Monitor的高可用。
2. 南北向为Ceph Public流量，为Ceph内部通信流量和外部client访问
Ceph存储进行读写的流量。
3. 东西向为Ceph内部Cluster流量，副本的同步、OSD down以及HOST
down 机时发生的rebalance流量。
4. 推荐副本数为三份，三份数据会分别落在不同主机的 OSD 上，保证数据
的安全性。
5. 本方案中容量型存储采用900GB的SAS盘作为Ceph OSD，由于SAS的
性能较低，采用SSD作为OSD的日志盘。由于Ceph每次操作都要先将描述写入日志，然后才把操作应用到文件系统，以此提高读写性能。 6. 我们推荐Ceph日志盘和数据盘的比率是1:4，最高不建议超过1:5。
21 / 25
六、服务器需求
6.1 云平台服务器磁盘RAID配置
\\ 节点 角色 系统盘/RAID 日志盘+ SAS存储资源池OSD 部署节点 Roller node-1 Deploy 900G SAS *4 --> RAID5 900G SAS *2 -> RAID1 900G SAS *2 -> RAID1 / / / / 控制节点 node-2 node-3 node-4 node-5 node-6 node-7 Controller 计算节点 node-8 node-9 node-10 node-11 node-12 Compute 900G SAS *2 -> RAID1 / 22 / 25
node-13 node-14 node-15 存储节点 node-16 node-17 node-18 表 5-1：生产环境服务器磁盘配置需求表 Storage 900G SAS *2 -> RAID1 (日志盘)800G SSD *3 ->non-RAID or JBOD (OSD)900G SAS * 15 -> 单盘RAID0
注：服务器 RAID 卡必须带有专有电池，优先将磁盘阵列配置为 write-back 模式。
6.2 云平台服务器BIOS配置
➢ 进 BIOS 内，调整服务器启动顺序，将 PXE 设为第一启动项，将磁盘启动设第二
启动项。
➢ 进入 BIOS，禁用 UEFI 启动改为 legacy-only 启动，设置管理网络的网卡为
PXE 启动，其他网卡禁止从 PXE 启动。
➢ 按照前面的系统盘、日志盘和存储 OSD 的 RAID 规划配置磁盘的 RAID 信息。 ➢ CPU 需要支持虚拟化技术，BIOS 中启用 intel-VT or AMD-d 技术，一般 BIOS
默认开启。
➢ BIOS开启性能模式，服务器默认可能是此模式，也有可能是平衡或者节电模式。
服务器磁盘 RAID 和 BIOS 配置还需要贵司在项目实施前安排人员进行设置。
23 / 25
七、服务器网卡接线示意图
➢ 此仅为示意图，如是双网卡绑定的情况，可参考此示例，如为单网卡接入，可忽
略；
➢ 图中示意主要为双网卡绑定的示例，两个绑定的网口必须分布在不同的网卡上，以
达到冗余的目的；
24 / 25
➢ 所有服务器网卡插槽如均一致，请确保相同资源池的接线顺序也保持一致。
如对接线方式有疑问，可与我司实施人员联系确认。
八、云平台实施步骤
云平台项目实施步骤如下：
1. 甲方根据乙方提供的网络需求准备网络环境，包括网络交换机上架、线路连接、交换机配置等工作(前置工作)。
2. 甲方需要根据乙方提供的服务器配置需求，提前上架服务器并配置服务器的
BIOS和磁盘RAID划分等工作(前置工作)。
3. 乙方到现场进行网络和服务器环境 check，并和甲方沟通现场环境与后续工作。 4. 安装部署服务器操作系统和Roller部署工具。
5. 检查确认物理服务器网线连接情况，并开始部署OpenStack，如遇网络问题，需甲方网络工程师在现场协助解决。
6. 生产环境资源池物理服务器部署Openstack云平台。 7. OpenStack与存储联调，存储测试及调优。 8. 云平台整体测试与调优。 10.其他收尾工作。
25 / 25
因篇幅问题不能全部显示，请点此查看更多更全内容