FusionSphere 6.3.1环境嵌套部署
by lblneva
2019.12.13
一、一些废话
本文也是早就做了准备，但是一直没动笔。
咸鱼了这么多年，在多次下定决心后终于来了个270°？！的翻身。看看以后能不能翻个180°。
工作早已进入舒适区，想想平时涉猎一堆技术（主要是感兴趣），也在工作中也对乱七八糟的各类系统做出部署及维护。合作或关系户出了问题过去扯皮解决，加上有公司合作的教学任务（还真是简单的东西），感觉技术掌握相当杂乱。周边也没几个好的技术氛围。
扪心自问，掌握的技术越是了解与使用，越是感觉自己不知道的越多，也不敢说对任何技术有精通。所以干脆以HCIE云计算方向做为开始，逼下自己，看下自己到底有多咸。
感慨结束，开始正题。
二、部署流水账
云计算重要的支撑技术就是虚拟化，目前主流开源闭源虚拟化技术有很多。
华为以KVM再次开发的FusionSphere虚拟化套件（主要是里面的FusionComputer）为作为其企业虚拟化的解决方案（6.3前记得是Xen）。其云计算解决方案则是以Openstack为基础（带独立修改加固的KVM计算节点）。2个互相独立，可以通过API间接（任务下达到VRM由其处理）进行纳管。
HCIE考试会涉及到FusionComputer6.3（下面简称FC），所以就准备这个环境。
如果用过vmware的vSphere系列， FC6.3中有很多值得吐槽的地方。就学习成本来说，FC也高出不少。
FC的安装很简单，但是环境搭建很麻烦。目前想要搭建测试及学习环境，就我了解可靠方法有2种：
-
KVM下嵌套环境
-
直接以真实服务器（裸机）安装
这次硬件以手头空闲的2台服务器和一台Cisco交换机，技术使用上面提到的KVM嵌套虚拟为例，搭建了测试环境。
服务器配置为伊拉克淘汰配置，大体如下：
-
CPU: E3-1226 v3
-
RAM:32G
-
HD:500G X2
-
3个千兆网卡
简单规划：
-
2台服务器安装Linux搭建KVM环境（一台为debain，一台为ubutu。顺带熟悉下工作中用的少的debain系发行版本）
-
每个服务器中2个网卡做LACP捆绑，用以存储。另外一个网卡作为业务使用
-
1台服务器搭建Raid0，并配置NFS
-
1台服务器系统安装到服务器的一个磁盘，另外一个磁盘作为target的lun提供给FC
其他见拓扑，详细如下：
三、环境实施步骤：
-
安装Linux。
安装过程就略了。顺带吐槽下，Debain的安装做的真比Redhat系差太多。尤其磁盘内已经存在系统有复杂分区情况下，安装脚本会出错，引导建立也出问题，手动修正还真折腾。
最小化安装，装好系统如下图：
ea:
eb:
-
安装后的调整
-
调整python默认版本。我习惯使用3：
-
- 开启内核转发，修改内容如下：
-
调整apt源。以Debain为例：
-
系统的升级与软件的安装
-
debain系使用的是APT。新系统升级还是很省事，2个命令结束：
-
apt update
apt full-upgrade
-
然后安装一些必要软件。看了下历史命令记录，我将其暂时分为2类。
-
现在安装的：
apt install -y vim cdpr ethtool python3-pip ifenslave openvswitch-switch bridge-utils vlan
-
服务配置前安装即可的：
apt install -y qemu-kvm libvirt-clients libvirt-daemon-system libguestfs-tools virtinst libosinfo-bin xorg fonts-arphic-uming bridge-utils virt-manager nfs-kernel-server firefox-esr firefox-esr-l10n-zh-cn wget curl vsftpd ftp
-
系统网络调整
-
添加模块支持绑定与802.1Q：
-
按照debain官方文档的绑定配置：
-
创建网桥及vlan。防止debain系的网络脚本出错（做完后想想，我应该用OVS的，比这个省事多了……）
-
存储为了效率高些，我启用了巨帧：
-
-
以eb服务器为例：
-
交换机：
-
IP配置啥的网上到处都是，这里就略了
-
规划服务的配置
这里我规划了3个服务，分别是NFS（eb）,FTP（2台都有）,iSCSI（ea）。其中NFS使用/fc/nfs目录，FTP使用/fc目录。
-
eb服务的NFS,FTP服务配置:
-
ea的iSCSI服务配置，需要安装tgt或其他target工具：
-
虚拟机的创建及安装。
安装很简单，可以参考我以前安装FC5的版本。或者网上搜一下。就一个Linux的安装。不过需要注意限制。这里附上我KVM虚拟机的配置：
-
CNA:
注意点就4个。CPU要嵌套，磁盘至少70G，网卡e1000,内存我这里给了20G:
安装就是傻瓜化安装，按需填写即可，注意IP和那个麻烦的密码策略：
-
VRM:
内存至少5G，磁盘至少140G，CPU核数+线程数>=4即可。不需要嵌套：
-
虚拟IPMI的安装与配置
为了体验DPM，需要在虚拟机创建后在创建虚拟BMC，这里使用vbmc这个程序来实现。FC只支持IPMI默认端口，这点注意，其他在没啥。
-
以eb为例（发现3个CNA足够实验，4个有些浪费。第四个CNA被我吃了 233）：
-
做完后别忘了在VRM中添加BMC管理：
至此，整个环境就配置完成。这样嵌套虚拟化后跑是没问题，不过性能损耗极其厉害。也就磨磨蹭蹭跑跑实验了
如果有用过其他类型的虚拟化工具，如Vmware的vSphere或oVirt啥的，那么整个FusionComputer的操作都很简单。毕竟很多原理和业务都是相通的。
不过就体验来说，对比VMWare来说，FC做的还是差距的。对比技术类似的红帽的RHEV（oVirt）来说（其主要缺点我感觉是丑！），一些地方还是能感觉到差距。如虚拟机模板快速发放，资源占用等。毕竟已经跳入这坑，希望FC能越做越强。