没有白忙一场，折腾32盘位黑群晖完工

搞群晖好多年了，从黑的到白的，在硬盘慢慢增加的过程中，盘位是越来越稀缺的资源了。
两年前用华硕的P9D-MH和万由的810A组了一台8盘位黑裙，底层用的是ESXI，把主板上的阵列卡直通了，运行了很长时间，可以参考一下下面的帖子。
http://www.u-share.cn/forum.php?mod=viewthread&tid=191463&extra=

无奈数据越来越多，8盘位很快就满了，还是把缓存ssd移除后才勉强够用，重新组一台多盘位黑裙就提到了日程中来。
目标如下：
1.至少12盘位以上，如果只有12盘位，缓存盘必须不占用热插拔槽位。
2.由于黑裙对于nvme的支持很少，然后支持pcie通道拆分的主板又不是玩nas可以接受的，至少两个ssd组raid1做读写缓存也会占用掉宝贵的两个pcie槽位，所以，多盘sata的ssd组raid5做缓存也是目标之一。
3.完全移植原机硬件，使用双热电保障服务器安全。

折腾之路由此开始，顺便说一下，我已经在家里的储藏间上了个2米的全深度机柜，所以在万能宝上找到了合适的2U机箱。

用了网图，打码了联系方式，省的说做广告。
在移植的过程中有个小插曲，直接耗费了三天时间，差点丢光数据，现在想想还是一阵后怕,前年丢过一次8T数据，已经奔溃过了，所以现在想想，NAS这东西一定要有远见，一次性折腾好。
说明一下出的问题：这个机箱的背板是三个mini sas，我用了两根逆向线，把主板上原来的sata口接入了背板，然后用了一张dell的H310接了另外一个背板接口。硬件组装完成后启动都很顺利，进入群晖系统后，发现第四盘位硬盘报错，无法访问系统分区。由于组了raid5，所以还不担心数据丢失。
点修复一直不成功，想区分是逆向线的问题还是背板问题，于是作死的交换了主板上sata线的顺序，再次启动提示损毁！连续三天通过各种方法恢复，期间还找卖家换了一根逆向线，最后发现问题居然出在主板的sata口，不知道是坏了还是兼容性问题，不论背板的哪个槽位接sata4口，硬盘都会出现系统分区无法访问的情况。
最后，利用HBA卡上还空余一组mini sas口接了背板，替换了主板的sata，终于一切搞定了。期间各种痛苦暂且不表，反正差不多丢了半条命！

12盘位只是满足的暂时的硬盘扩容需求，对于SSD缓存来说，原本考虑了两个方案：
1.把主板上空余的四个sata口利用起来，用pci槽位硬盘架安装4个ssd做缓存。优点是成本低，缺点是还需要改供电线路，以及故障处理时无法热插拔。
2.乐扩有一款转接卡，pcie2x接口，转4条ngff，买4个ngff接口的ssd做缓存。优点是不需要接线，机箱内很干净，缺点是成本高，占用掉最后一根能用的pci槽位，以及同样的故障处理时无法热插拔。

折腾万能宝的时候，发现了一个好东西!

H3C的DE1116，16位盘柜，应该是支持SAS Expander,还可以支持级联，关键是价格美丽，虽然不确定群晖是否能够支持，还是想就做一回小白鼠吧。
折腾的事情又来了，居然找了两家店，都说卖完了，推荐的dell的和rackable的盘柜就不是能做小白鼠的价了，后来找了一家，卖家发货后第二天告诉我说库房里找不到了………………
于是又只能退款，开始考虑方案1还是2了。
闲着没事的时候逛了下咸鱼，想到也许有人不标注型号，于是换了搜索的关键词，居然找到一个卖这个盘柜的，联系上之后，把HBA卡，连接线，还有盘柜一起打包了，连运费一起都不满1K……
第二天就到货了，箱子很重，但是还没有之前的12盘位主机重，别问我怎么知道的，折腾死了！
连接好所有的线路，启动主机后发现不自检，说明一下：p9d这块主板，pcie1是3.0x4，pcie2是2.0x4，hba卡都是x8接口，所以又可能有些卡会有兼容性问题，比如说hp的NC523SFP，接任何一个口都不认，人家就要x8。考虑到还有一种需要屏蔽5，6脚的可能，于是在试了几种方法之后，交换了两张HBA卡的pcie槽位，主机顺利启动。

接下来就是见证奇迹的时刻了，在盘柜的第一槽位，安装了一块4T sas硬盘，然后分别在下方第10和第16槽位上，安装了两块500G sata硬盘。
群晖顺利认出！读取SMART信息没有任何问题！


跑了一下硬盘调试，结果如下：

基本上就是硬盘本身的标准数据了……

至此，该折腾的就已经折腾完了，哪天上8个SSD做raid6开缓存
总结一下此台设备的各个情况：
28个热插拔3.5存盘位，4个机箱内预留2.5寸盘位，主机双万兆，双电源，盘柜双电源。
盘柜空余一个支持级联的sas口，主机空余一个外置sas口，可以再接盘柜或者硬盘笼子，考虑到群晖是基于linux，从原理上说应该还可以增加盘位，等盘柜快满的时候再做一次小白鼠吧。

感谢分享。

lz，建议你折腾下truenas

怎么改32盘数量

牛批克拉斯！

laiwenle 发表于 2022-2-18 20:52
这套配置直接装黑群晖可以么？

可以，已经测试过，用3617的6.2系统很完美

enrich 发表于 2020-1-9 08:31
说家里有矿的来算一下帐：
主板是华硕P9D-MH/SAS/10G-DUAL,当时买的便宜，不到1k。其实板载的SAS可以通过HB ...

这套配置直接装黑群晖可以么？

ESXI下想改到32盘，碰了好多钉子，请教方法

我想问下，一个16口的sata扩展卡怎么群晖只能识别8个，可以修改达成全部识别吗，

楼主是牛人啊，佩服佩服！！！！

多谢分享，学习一下，这个是真牛

楼主，我的一台黑群，直通了lsi3008 hba卡，盘符错乱。插的0.2号位，黑群显示6.7号位这个怎么搞？爬了很多文章都没啥效果。谢谢

造返无罪折腾有理

666666666666666666

enrich 发表于 2020-1-16 14:45
ssh到群晖，修改配置文件，在etc目录和etc.default里面的两个都要修改，修改到64盘没有问题、实际测试了 ...

我只改了etc.default  另外一个怎么改 有教程吗 感谢大神

这机器一天电费就要10块吧

caseydeng 发表于 2020-1-16 15:23
方便指导下要怎么改?

自己百度一下，具体的忘记了

enrich 发表于 2020-1-16 14:45
ssh到群晖，修改配置文件，在etc目录和etc.default里面的两个都要修改，修改到64盘没有问题、实际测试了 ...

方便指导下要怎么改?

a905825090 发表于 2020-1-16 12:53
这个我知道 我的就是64g的  我目前是20盘位 我想知道怎么才能继续加

ssh到群晖，修改配置文件，在etc目录和etc.default里面的两个都要修改，修改到64盘没有问题、实际测试了

750777717 发表于 2020-1-16 11:32
支持大容量得上32G内存，不然超过144T就识别不了了

这个我知道 我的就是64g的  我目前是20盘位 我想知道怎么才能继续加

a905825090 发表于 2020-1-7 08:52
为什么 你可以支持这么多盘位  正常12盘位 用root权限修改参数 我也只能支持20盘位 多了就识别不出来  大神 ...

支持大容量得上32G内存，不然超过144T就识别不了了