隔壁网

[玩机/晒机] 没有白忙一场,折腾32盘位黑群晖完工

2020-1-6 14:20
570445

来吧兄弟,一起玩一起讨论!

您需要 登录 才可以下载或查看,没有帐号?注册

x
本帖最后由 enrich 于 2020-1-6 14:27 编辑

搞群晖好多年了,从黑的到白的,在硬盘慢慢增加的过程中,盘位是越来越稀缺的资源了。
两年前用华硕的P9D-MH和万由的810A组了一台8盘位黑裙,底层用的是ESXI,把主板上的阵列卡直通了,运行了很长时间,可以参考一下下面的帖子。
http://www.u-share.cn/forum.php?mod=viewthread&tid=191463&extra=

无奈数据越来越多,8盘位很快就满了,还是把缓存ssd移除后才勉强够用,重新组一台多盘位黑裙就提到了日程中来。
目标如下:
1.至少12盘位以上,如果只有12盘位,缓存盘必须不占用热插拔槽位。
2.由于黑裙对于nvme的支持很少,然后支持pcie通道拆分的主板又不是玩nas可以接受的,至少两个ssd组raid1做读写缓存也会占用掉宝贵的两个pcie槽位,所以,多盘sata的ssd组raid5做缓存也是目标之一。
3.完全移植原机硬件,使用双热电保障服务器安全。

折腾之路由此开始,顺便说一下,我已经在家里的储藏间上了个2米的全深度机柜,所以在万能宝上找到了合适的2U机箱。

用了网图,打码了联系方式,省的说做广告。
在移植的过程中有个小插曲,直接耗费了三天时间,差点丢光数据,现在想想还是一阵后怕,前年丢过一次8T数据,已经奔溃过了,所以现在想想,NAS这东西一定要有远见,一次性折腾好。
说明一下出的问题:这个机箱的背板是三个mini sas,我用了两根逆向线,把主板上原来的sata口接入了背板,然后用了一张dell的H310接了另外一个背板接口。硬件组装完成后启动都很顺利,进入群晖系统后,发现第四盘位硬盘报错,无法访问系统分区。由于组了raid5,所以还不担心数据丢失。
点修复一直不成功,想区分是逆向线的问题还是背板问题,于是作死的交换了主板上sata线的顺序,再次启动提示损毁!连续三天通过各种方法恢复,期间还找卖家换了一根逆向线,最后发现问题居然出在主板的sata口,不知道是坏了还是兼容性问题,不论背板的哪个槽位接sata4口,硬盘都会出现系统分区无法访问的情况。
最后,利用HBA卡上还空余一组mini sas口接了背板,替换了主板的sata,终于一切搞定了。期间各种痛苦暂且不表,反正差不多丢了半条命!

12盘位只是满足的暂时的硬盘扩容需求,对于SSD缓存来说,原本考虑了两个方案:
1.把主板上空余的四个sata口利用起来,用pci槽位硬盘架安装4个ssd做缓存。优点是成本低,缺点是还需要改供电线路,以及故障处理时无法热插拔。
2.乐扩有一款转接卡,pcie2x接口,转4条ngff,买4个ngff接口的ssd做缓存。优点是不需要接线,机箱内很干净,缺点是成本高,占用掉最后一根能用的pci槽位,以及同样的故障处理时无法热插拔。

折腾万能宝的时候,发现了一个好东西!

H3C的DE1116,16位盘柜,应该是支持SAS Expander,还可以支持级联,关键是价格美丽,虽然不确定群晖是否能够支持,还是想就做一回小白鼠吧。
折腾的事情又来了,居然找了两家店,都说卖完了,推荐的dell的和rackable的盘柜就不是能做小白鼠的价了,后来找了一家,卖家发货后第二天告诉我说库房里找不到了………………
于是又只能退款,开始考虑方案1还是2了。
闲着没事的时候逛了下咸鱼,想到也许有人不标注型号,于是换了搜索的关键词,居然找到一个卖这个盘柜的,联系上之后,把HBA卡,连接线,还有盘柜一起打包了,连运费一起都不满1K……
第二天就到货了,箱子很重,但是还没有之前的12盘位主机重,别问我怎么知道的,折腾死了!
连接好所有的线路,启动主机后发现不自检,说明一下:p9d这块主板,pcie1是3.0x4,pcie2是2.0x4,hba卡都是x8接口,所以又可能有些卡会有兼容性问题,比如说hp的NC523SFP,接任何一个口都不认,人家就要x8。考虑到还有一种需要屏蔽5,6脚的可能,于是在试了几种方法之后,交换了两张HBA卡的pcie槽位,主机顺利启动。

接下来就是见证奇迹的时刻了,在盘柜的第一槽位,安装了一块4T sas硬盘,然后分别在下方第10和第16槽位上,安装了两块500G sata硬盘。
群晖顺利认出!读取SMART信息没有任何问题!


跑了一下硬盘调试,结果如下:

基本上就是硬盘本身的标准数据了……

至此,该折腾的就已经折腾完了,哪天上8个SSD做raid6开缓存
总结一下此台设备的各个情况:
28个热插拔3.5存盘位,4个机箱内预留2.5寸盘位,主机双万兆,双电源,盘柜双电源。
盘柜空余一个支持级联的sas口,主机空余一个外置sas口,可以再接盘柜或者硬盘笼子,考虑到群晖是基于linux,从原理上说应该还可以增加盘位,等盘柜快满的时候再做一次小白鼠吧。


2

查看全部评分

分享到 :
16 人收藏

45 个回复

倒序浏览
enrich  高烧40℃ | 2020-1-6 14:31:33
理论上说,能插外置SAS HBA卡的黑裙,都可以用盘柜进行盘位的扩展……万能宝上的盘柜要涨价了……
panrui  发烧38℃ | 2020-1-6 14:38:07
这个可以,发烧不一般,动手能力杠杠的!
w87864236w  发烧38℃ | 2020-1-6 17:46:00
豪,你这是想干嘛啊,,家里会不会很吵啊

点评

无论是硬盘柜还是2U机,都需要机柜支持,一般不会放在卧室,多半是在阳台、书房、储物间或者是家庭机房。人家不差钱,所以不会吵。  发表于 2020-1-31 17:09
likeme@2  高烧40℃ | 2020-1-6 18:55:35
LZ是有说“家里的储藏间”。反正是需要我仰望的土豪。
a905825090  发烧38℃ | 2020-1-7 08:52:48
为什么 你可以支持这么多盘位  正常12盘位 用root权限修改参数 我也只能支持20盘位 多了就识别不出来  大神能不能说一下你是怎么做的
enrich  高烧40℃ | 2020-1-7 10:40:33
可惜手上没有能插pcie卡的白群晖,不然可以试试白裙扩展盘柜,原理上应该是没有问题的,一个白裙的DX1215才12盘位,价格是10倍都不止了。
xhgx190901  亡灵 | 2020-1-7 13:30:07
学习一下
浩淼锋  高烧40℃ | 2020-1-8 19:00:19
壕家里有矿
109109109lf  亡灵 | 2020-1-8 21:01:34
家里有矿。仰望技术大佬
您需要登录后才可以回帖 登录 | 注册

本版积分规则

微信扫一扫关注公众号,获取注册邀请码!

小黑屋|手机版|Archiver|隔壁网 ( 粤ICP备14056481号-1 )

Powered by Discuz! X3.4 © 2001-2016 Comsenz Inc.

返回顶部