天气与日历 切换到宽版
扫描二维码关注官方公众号
12下一页
返回列表 发布新帖

[讨论/分享] 4盘位黑群晖迁移到基于ESXi的8盘位组装系统

10350 26
发表于 2017-8-11 14:48:35 | 显示全部楼层 阅读模式

来吧兄弟,一起玩一起讨论!

您需要 登录 才可以下载或查看,没有账号?注册

×
本帖最后由 yaleyu 于 2017-8-11 15:38 编辑

1、前言
这只是一个记录,可以让自己将来再次迁移做些参考,毕竟好记性不如烂笔头,也可以给有类似需求的朋友指明一些坑,少走点弯路。

2、背景
前几年家里宽带升级到100M之后,就上了NAS系统,当时是用4盘位的U-NAS成品机,装了黑群晖,里面装了optware, aria2, vlmcsd, xware等等,考虑到万一DSM挂了,数据要挂其他机子上修复,没有用群晖的SHR,而是用了RAID544T盘可用空间在11T左右。期间也从5.0升级到5.1再到5.2再到6.1,没出过问题。

最近磁盘使用空间超过80%,该考虑扩容了,目标指向8盘位,白群晖价格高高在上,并且灵活性不高,网上搜一圈,参考了无数多帖子,衡量了家里空间,最后决定参考tramp202哥们的帖子:https://tieba.baidu.com/p/4949131952,全虚拟化,配置做了一定的改变。

3、硬件清单
CPUIntel Xeon E3-1235L v5 (淘宝)
主板:MSI C236M(淘宝)
内存:Kingston HyperX DDR4 2400 8g * 2(主板店家)
系统盘:WDC WDS240G1G0A 240G SSD(天猫)
数据盘:WDC WD40EFRX * 1 (原U-NAS用)(京东)
数据盘:Seagate ST4000VN000 * 3(原U-NAS用)(美亚)
数据盘:Seagate ST4000VN008 * 2 (先扩容两块)(京东)
网卡:Dell Broadcom 5720(天猫)
阵列卡:LSI SAS 9207-8i 6Gb PCI-E3.0 HBA(天猫)
数据线:AMPHENOL 36p to 7p minisas SFF 8087 to SATA 56-82cm * 2(天猫)
电源:XFX XTR650(京东)
机箱:Node 804(天猫)
散热器:采融 变形金刚(淘宝)

小插曲1:本来是要用ECC内存的,查了主板资料,只支持unbuffered ECC,于是买了三星UDIMM 16G一条,直接主板点不亮,EZ Debug灯报DRAM错误,和卖家交流没反应,还好主板卖家就在附近城市,淘宝上交流了很久最后决定直接带CPU主板内存过去测,最后确定是内存问题,换了两条8G神条,一切OK,赞有责任心有耐心的主板卖家一个。估计三星内存有问题,淘宝申请了退货,目前还在等待退货状态。

小插曲2:去测主板时候,主板卖家对这个CPU散热器赞不绝口,风扇几乎没声,用到现在各种折腾,散热器鳍片只是有点温而已。

小插曲3:本来是不想买网卡的,觉得用主板自带的就行了,在等配件期间查ESXi的资料,几乎都提到ESXi不支持这块主板自带的Realtek RTL8111H网卡,也找不到ESXi的驱动,Intel的原装网卡太贵,寨卡网评都是稳定性很差,于是就买了基于BCM5720Dell网卡,和卖家确认ESXi直接支持。

小插曲4:主板自带6SATA口,因为系统盘要接到主板SATA口上,数据盘要直通给群晖,直通只能基于设备不能基于某个口,只能用HBA接数据盘了。


经验:不想太折腾硬件的话,还是带着配置去电脑城找一家靠谱的店,让他们配比较好,虽然比自己淘会贵,但是淘宝到货期不一样,全到了才能测,某个配件出问题还得等。


评论26

yaleyu楼主Lv.3 发表于 2017-8-11 14:49:35 | 显示全部楼层
本帖最后由 yaleyu 于 2017-8-11 15:02 编辑

4、硬件组装
就不多说了,反正很业余,多年没接触硬件了,打开CPU盖板知道要拉档杆,但是怎么拉都要问主板店家。理线水平也很差,比起网上晒的一些理线图,汗颜。

5、系统安装
BIOS设置
BIOS里面打开VT-D,才能直通设备,这里有个小坑,新版BIOSVT-D开启在OC里面,其实说明书上已经说到了,我想我又不超频 ,没注意到,在SETTINGS里面找了很久。
oc.png

ESXi安装配置
这个前前后后折腾了很多次,最早装了6.5U1,觉得Web Client比较慢,装了vSphere Client又连不上,老是说要从服务器0.0.0.0下载更新,不明觉厉,为了能用vSphere Client,又改成了6.0U3,但是里面的虚拟机鼠标发飘。几次取舍,还是装回了6.5U1

没在BIOS打开VT-D之前,ESXi主机设备管理里面,HBA设备显示不支持直通,还以为ESXi不支持9207-8i的直通,查了很多资料,确认支持的,才反应过来是BIOS里面没打开。

切换直通前
  1. esxcli hardware pci list
复制代码
能看到这张卡
  1. esxcli storage core device list
复制代码
也能看到这张卡上插的硬盘

切换直通后,后一条命令就看不到硬盘了,说明直通起作用了。

虚拟机规划:
  • 虚拟机1DSM2C/4G/16G厚置备,估计2G内存,1G硬盘也够,毕竟之前的U-NAS就是2G内存,硬盘就是装个loader而已
  • 虚拟机2Windows2C/4G/100G精简置备
  • 虚拟机3Ubuntu, 2C/4G/80G精简置备
·         
回复 点赞

使用道具 举报

yaleyu楼主Lv.3 发表于 2017-8-11 14:49:57 | 显示全部楼层
本帖最后由 yaleyu 于 2017-8-12 00:12 编辑

6、黑群晖安装
黑群辉安装就不多说了,网上很多,反正基本就是下载Jun’sloader,然后挂载synoboot.img,改grub.cfg里面的MACSN,然后把synoboot.img写到硬盘,这里就是虚拟机1的本地硬盘。

这里有两个坑:1,换了无数多的PE,启动进去都发现键盘鼠标不能用,就无法把synoboot.img写到虚拟机硬盘上,不知道是ESXi的问题还是PE的问题,弄了很久一发狠,挂上U-NAS里面拿出来的盘, U盘启动,能看到所有硬盘,然后把ESXi铲掉,直接把synoboot.img写到SSD,主机就一个DSM系统,启动进去发现一个待迁移的系统,说明群晖是支持这张HBA的,上面也说了,ESXi也支持这张HBA,那么2,只能以为是群晖不支持这张HBAESXi直通,安装完成之前又没办法登录进DSM查看,都打算用DRM了,可惜DRM要破坏现有的数据,又是找了很多资料才把坑填掉。

填坑1
上传改好MACSNsynoboot.imgESXi的存储空间,比如ISO子目录下,把Ubuntu DesktopISO挂载为CDROM,设置下次启动进BIOS,然后启动虚拟机1,直接进BIOS,选从CDROM启动,这本来就是一个LiveCD,进去之后选试用,就出来一个完整的Ubuntu系统,然后打开终端,运行下面命令查看虚拟机硬盘编号
  1. sudo fdisk -lu
复制代码


我的是/dev/sda,那么再运行下面命令就可以吧synoboot.img写到虚拟机硬盘
  1. scp root@esxi:/vmfs/volumes/datastore1/ISO/synoboot.img /tmp
  2. sudo dd if=/tmp/synoboot.img of=/dev/sda
复制代码


填坑2
LSI 9207-8i直通不是缺省的这个设置
Snipaste_2017-08-12_00-01-32.png
而是要添加PCI设备,然后选这个
Snipaste_2017-08-12_00-02-22.png
之后
挂上原来的4块盘启动虚拟机1,就能发现一个待迁移的系统,点一下迁移很快就完成,黑群就在虚拟机上装好了,数据配置都在。

这里有个问题,直通了
PCI设备后,要求虚拟机预留内存,我设了预留8G,以后在主机监控界面,这个虚拟机内存占用一直都是4G以上,黑群需要这么大内存吗?还是说如果设成2G预留4G,内存占就是2G左右了?
回复 点赞

使用道具 举报

yaleyu楼主Lv.3 发表于 2017-8-11 14:50:26 | 显示全部楼层
本帖最后由 yaleyu 于 2017-8-11 15:26 编辑

7、数据迁移
因为都是用DS3517XSLoader,相当于是同机型的数据迁移,按照“2.1在两台型号相同的Synology NAS 之间迁移”就行了,把一块新的盘当做临时盘。

全部安装完成进到DSM,存储管理器里面发现问题,其实就是新加的两块硬盘没有初始化,点修复,一会就初始化好了,然后到存储空间里面添加这两块硬盘,因为是RAID5,条带数据要从原来的4块盘扩张到6块盘,估计要几天时间。
sg.png
回复 点赞

使用道具 举报

yaleyu楼主Lv.3 发表于 2017-8-11 14:51:27 | 显示全部楼层
本帖最后由 yaleyu 于 2017-8-12 00:42 编辑

请教几个问题
我是在MacBook上用Firefox打开ESXi的Web Client,然后在Windows虚拟机里面的键盘映射有点不习惯,比如Command键被映射成Windows键,而Control键已经被macOS完全接管,不管在什么位置Control+空格都是打开Spotlight搜索,在macOS的虚拟软件Parallels Desktop的方案是把Command键映射成Ctrl键,这样拷贝粘贴中英文输入切换等都能实现。

问题1:如何在macOS上设置ESXi虚拟机的键盘映射,起码找到最常用的Ctrl键吧?
回复 点赞

使用道具 举报

水寒Lv.3 发表于 2017-8-11 19:45:59 | 显示全部楼层
ESXi才是精华部分,一直想搞都不敢下手,感觉有些难!
回复 点赞

使用道具 举报

dgiuobinLv.10 发表于 2017-8-12 13:18:07 | 显示全部楼层
3个虚拟机,这个配置有点过剩了。
回复 点赞

使用道具 举报

yaleyu楼主Lv.3 发表于 2017-8-12 19:18:27 | 显示全部楼层
dgiuobin 发表于 2017-8-12 13:18
3个虚拟机,这个配置有点过剩了。

开始三个,将来看情况应该会起更多虚拟机。

基于ESXi的好处体现出来了,目前经过几十小时RAID5扩容完成了,应该是稳定运行状态,在群晖里面看CPU占用不到2%,ESXi看主机CPU占用也是不到2%,群晖里面看内存占用20%,但是ESXi里面看内存占用5G以上,我觉得是因为直通给群晖预留了内存的原因,考虑减少群晖为2G内存预留4G。
回复 点赞

使用道具 举报

moyawangLv.10 发表于 2017-8-12 21:58:44 | 显示全部楼层
这款机箱不错~
回复 点赞

使用道具 举报

dgiuobinLv.10 发表于 2017-8-13 19:32:27 | 显示全部楼层
yaleyu 发表于 2017-8-12 19:18
开始三个,将来看情况应该会起更多虚拟机。

基于ESXi的好处体现出来了,目前经过几十小时RAID5扩容完成 ...

我也有两部ESXI,刚开始也是ALL IN ONE,什么都往里面装,运行也很稳定,速度跟裸机没什么区别。但一出现问题要停机停机维护时,所有服务都要暂停了。
我现在的方案是把储存分开,NAS+ESXI(虚拟一部备份的NAS)。这样就算无网络或其中一部NAS断线,也能访问资料。
回复 点赞

使用道具 举报

RenQYLv.6 发表于 2017-8-13 21:33:16 | 显示全部楼层
All in One强帖,感谢分享。
回复 点赞

使用道具 举报

yaleyu楼主Lv.3 发表于 2017-8-14 10:22:12 | 显示全部楼层
两层楼编辑之后要审核,貌似被吃掉了,都3天了
回复 点赞

使用道具 举报

meerkatLv.2 发表于 2017-8-14 13:44:06 | 显示全部楼层
yaleyu 发表于 2017-8-14 10:22
两层楼编辑之后要审核,貌似被吃掉了,都3天了

我想请教一下关于ESXi的问题,我也安装了6.5u1,但是没有vSphere client啊,找不到在哪下载,是不是必须得安装vcenter才有的啊?那个vcenter太吃资源了,必须得至少10G内存才行。你的这个vSphere client是不是就是官网上说的那个c#编写的基于Windows的客户端啊?
回复 点赞

使用道具 举报

yaleyu楼主Lv.3 发表于 2017-8-14 13:57:04 | 显示全部楼层
本帖最后由 yaleyu 于 2017-8-14 14:02 编辑
meerkat 发表于 2017-8-14 13:44
我想请教一下关于ESXi的问题,我也安装了6.5u1,但是没有vSphere client啊,找不到在哪下载,是不是必须 ...

vsphere client只到6.0,后面不更新了,反正我测了6.0连不上6.5U1的主机,老报错。6.0的Client下载很多的 http://www.prolved.com/vsphere-client-downloads/ 这个网页里面都是指向VMWare官网链接的,放心下。一个主机的话没必要上vcenter,那是同一个界面管理多个主机用的,一般公司里面会用。
回复 点赞

使用道具 举报

woshiwaxiuLv.10 发表于 2017-8-14 15:05:22 | 显示全部楼层
dgiuobin 发表于 2017-8-13 19:32
我也有两部ESXI,刚开始也是ALL IN ONE,什么都往里面装,运行也很稳定,速度跟裸机没什么区别。但一出现 ...

4KB大神看来投票结果出来了,还是分开了NAS和虚拟化。
回复 点赞

使用道具 举报

moyawangLv.10 发表于 2017-8-14 15:09:44 | 显示全部楼层
yaleyu 发表于 2017-8-14 13:57
vsphere client只到6.0,后面不更新了,反正我测了6.0连不上6.5U1的主机,老报错。6.0的Client下载很多的  ...

6.0的Client可以连接6.5的EXSI,我就是这么用的
回复 点赞

使用道具 举报

yaleyu楼主Lv.3 发表于 2017-8-14 15:38:02 | 显示全部楼层
moyawang 发表于 2017-8-14 15:09
6.0的Client可以连接6.5的EXSI,我就是这么用的

我的报要从服务器0.0.0.0下载更新,然后点更新就报错说连不上,能连上0.0.0.0到怪了,不懂它要干嘛。
回复 点赞

使用道具 举报

yaleyu楼主Lv.3 发表于 2017-8-14 15:39:13 | 显示全部楼层
下一步打算在Ubuntu里面装个Plex,和群晖的套件比比看。
回复 点赞

使用道具 举报

dgiuobinLv.10 发表于 2017-8-14 16:15:58 | 显示全部楼层
woshiwaxiu 发表于 2017-8-14 15:05
4KB大神看来投票结果出来了,还是分开了NAS和虚拟化。

是的,最后用的比较顺手的是。。NAS主机+ESXI主机。
回复 点赞

使用道具 举报

yaleyu楼主Lv.3 发表于 2017-8-14 17:39:56 | 显示全部楼层
dgiuobin 发表于 2017-8-14 16:15
是的,最后用的比较顺手的是。。NAS主机+ESXI主机。

看到你的投票贴了,我因为是HBA直通给群晖的,并且设的RAID5,而没有用群晖的SHR,比较方便,群晖关机再直通HBA给Ubuntu,就能直接访问硬盘,方便群晖出问题时候拯救数据。

两个都开机时候就在Ubuntu上NFS挂载群晖的数据。

群晖里基于optware的应用也逐步迁移到Ubuntu上,毕竟Ubuntu上更新比optware及时多了。

两个物理机的话还是分开比较好。
回复 点赞

使用道具 举报

回复

懒得打字嘛,点击右侧快捷回复 【本站酷狼4T,750元】
您需要登录后才可以回帖 登录 | 注册

本版积分规则

投诉/建议联系

support@gebi1.cn

未经授权禁止转载,复制和建立镜像,
如有违反,追究法律责任
  • 关注公众号
  • 添加微信客服
Copyright © 2001-2024 隔壁网 版权所有 All Rights Reserved. 粤ICP备14056481号-1
关灯 快速发帖
扫一扫添加微信客服
返回顶部
快速回复 返回顶部 返回列表