amano512 发表于 2020-1-1 15:38:30

我的家庭freenas存储和服务器1 硬件选型方案

鼓捣了半年左右,这次把家庭服务器和nas存储的硬件基本搭建完毕,发个贴把过程记录下来,顺便给网友们做个参考。

接触电脑大概20多年了吧,大概我是在09年的时候感觉到只用一台电脑储存数据不是很方便,恰巧当时流行AMD 5000+开四核,于是我也搞了一套玩玩,顺便搭建成一个小型家庭服务器提供存储和服务功能。那时我还不知道有nas这个概念,当时系统选择的是centos,搭samba服务做共享,一直用的也还可以。就这么用到了17年,想着系统有点老旧了,就升级了一次,这次本着静音节能的需求搭建了2台,一个是j3455,一个是j1900,配长城400NF无风扇电源,一共12块硬盘,10块酷狼4t,2块酷鱼2t,系统是ubuntuserver,但是实际用起来发现,节能倒是节能了,静音无从谈起,12块硬盘同时工作没法静音。于是就有了这次的再次升级。

18年大病了一场,一直休息,今年年中开始慢慢恢复,就打算再鼓捣点东西,j3455和j1900既然无法静音,性能有那么差,干脆抛弃掉静音方案,选大机箱大主板,性能强扩展性好,而且散热也更强。那么接下来就是下面这些具体选型和踩过的坑了。

1.软件系统选择
    为什么先选定系统?因为系统是需要硬件支持的,先选定硬件的话,万一想换系统,一旦出现兼容性问题甚至装不上就麻烦了。既然是存储加服务,我个人长期使用linux,所以服务系统肯定选ubuntu server,那接下来nas选什么?我自己用虚拟机玩了下各种热门的,包括群晖,freenas,omv,nas4free,unas等等,winserver我就不考虑了,远程管理在外网麻烦,用字符界面或web界面管理我更喜欢。

    经过一段时间摸索,觉得freenas更适合我,首先是硬件,既然抛弃了j3455这种低性能的,那直接上高性能的,搭载freebsd系统我也想学习了解下,另外各种配置和安装和linux差别不大,很快能上手,zfs拥有快照和写入是复制特性,都是我需要的。再就是免费开源,freenas官方论坛基本对各种问题都有回复。

    群晖的话,买正版硬件性能太差,企业级群晖好几万,感觉划不来,黑群晖说不定哪天出问题了,不敢用,毕竟是要保存工作生活这么多年来绝对不能丢失的数据。
    omv,nas4free等属于freenas分支,不如freenas支持稳定,毕竟freenas有商业公司支持。
    unas等国产还需要努力,暂不考虑。

    这样基本系统就定下来了
    家庭存储系统选择freenas,家庭服务系统选择用proxmox搭建虚拟机平台,1个win10做下载等服务(下载工具还是windows方便),1个ubuntu做其他服务,包括视频播放,云文件同步,ftp等等。

2.数据存储方案
    我个人包括家人数据我是这么分类的
    按重要性分类
    a.绝对不能丢失的,比如个人的工作数据和资料,这是很多年的积累,绝对不能丢,方案是双机备份+云盘备份
    b.最好不要丢失,但实在丢失了只有接受,比如家庭成员照片,视频生活资料等等,方案是单机raidz2(raid6)+云盘备份
    c.能不丢就不丢,丢了可以再想办法获取,比如下载的各种资料,方案就是单机raidz(raid5)

    按使用频率和存储模式分类
    a.频繁读取修改的热数据,使用ssd组stripe(raid0),配合双机热备,保证访问效率和安全性
    b.只是经常读取,一般不会修改,使用机械硬盘组raidz(raid5),多用在照片,视频,游戏读取
    c.备份后的数据,永远不会修改了,单机械硬盘+云盘

3.硬件选择
    软件系统和数据存储方案定了,接下来选硬件也是挑了好久,反反复复买买卖卖,最后终于定下来了。
    硬件选择分两块,一块是电脑的各部件,一块是网络结构,先说下电脑部件吧。按照上面的方案,我需要3台freenas服务器,一台用作最高性能ssd存储,一台左右ssd存储的备份机使用机械硬盘,另外还需要一台存储各类视频,照片等家庭成员数据。理论上搭建一台服务器塞下足够的硬盘也是可以的,但是我还是选择分开,在预算允许的情况下分开更安全,特别是我的工作数据不想和家庭成员数据搅在一起,怕万一哪一天家人一个误操作把服务器搞崩了。实际上成本来看硬盘是大头,多几台机器不会贵太多,而且在一台机器上更多硬盘还是要阵列卡,一样也贵。

    既然定下来了freenas做存储系统,那么必须上ecc内存,反正reg ecc内存也不贵,加上大船货这么多,直接上好了,其实只要是长期提供不间断服务的机器最好都用ecc内存。那么ecc又有几种选择,比如ddr3还是ddr4,reg ecc还是纯ecc,我一般在预算允许的情况下会选择买新不买旧,尽量买新一代的设备,因为制程规格等方面,发热量低支持新特性等等。如果选ddr3的话,那主板芯片组只能是c602,x79,x58一类,这类主板我看了一圈,原生sata3接口少,一般只有2个,剩下的都是sata2,而且较新一代c612,x99等便宜不了多少,这样内存就定下ddr4,那纯ecc和reg ecc怎么选,我优先选纯ecc,相对来说延迟小,但是reg ecc优点就是容量大,纯ecc ddr4我最大看到单条16g,reg ecc 32g很常见也很好买。

    主板和cpu我是一起考虑得,首先得配合内存,其次pcie通道数要多,因为以后还要扩展阵列卡,万兆网卡等设备,家用级别i7/i5或amd ryzen就不考虑了,当然高端的pcie通道数多,但太贵了,不考虑。ryzen pro到是支持ecc内存,但问题是很难买到,我有个习惯就是供应量稀少的商品除非是非他不可,否则不买,因为一旦出问题很难找到配件。

    这样一来,可选的cpu也就是志强系列了,首先是价格足够合适,其次供货量充足,e5系列有40条pcie通道,配合c612主板或x99主板以后扩展非常方便,e3只有16条pcie通道不考虑,e7太贵了也不考虑。

    主板/cpu/内存都确定了,剩下的就很好办,电源尽量选静音,手上有两个长城400nf,再配2个长城450w智能温控电源,低温下风扇停转。机械硬盘已有的10块酷狼4t继续服役,2块酷鱼可以作为冷备盘,新购入4块500g ssd,三星和西数各两片,这两种都带缓存,贵一点但是性能有保障。

    最后来说一下网络的选择,千兆网卡现在主板都自带,没什么好说的,关键是要不要上万兆网,我也纠结了很久,最后决定上,万兆会用在什么场景呢?就是进行数据备份双机互拷的时候用,硬盘难免不会出现问题,以后动则几十个t的数据互拷如果是千兆那得好几天,万兆的话时间会节省3-5呗吧。

    那万兆方案是选光口还是电口呢?最开始我倾向光口,就是便宜,淘宝上能找到达创24口全万兆交换机才1100,万兆光口网卡200多也可以买到,电口的话交换机最便宜的8口全万兆就是网件x508m,而且还得海淘,算下来接近3000,电口网卡大约300左右。但我又来发现光口网卡要买光模块或者直连线,这两个成本都很高,而家里以前留下了很多cat6的网线,跑家庭万兆足够了。并且电口的兼容性更好,配合万兆交换机,所有千兆万兆设备可以直接连在一起,用光口的话就麻烦点。更重要的是,光口设备都是老旧的,说明制程低发热量大,也就是说功耗高噪音大,家用不太适合。

    分析了下家里的设备情况,一共有5台机器需要进行万兆组网,那是不是可以让一台机器做交换机直连其他4台呢?于是开始四处找资料,发现可以用网卡做网桥搭建一个简单的二层交换机实现网络互通,而万兆电口网卡都是双网口的,单网口有价格也和双网口差不多,5台机器本来就要购入5块万兆网卡,现在多买1块,让一台机器有2块4口提供网桥就可以实现5台机器万兆互联了。

    最终简单的网络拓扑图就是这样的:
http://www.gebi1.com/forum.php?mod=image&aid=109777&size=300x300&key=c07636e865c4b6a8&nocache=yes&type=fixnone

下面就是所有硬件清单了:
freenas 重要数据存储服务器 1台
      主板:超微X10SRL-F C612, 8个内存插槽,4个pcie3.0x8,2个pcie3.0x4,1个pcie2.0x4,10个sata3,1200元带散热器
      内存:8x16G 纯ECC 三星 ddr4 2133 3200元
      CPU:e5 2650L v3 12核24线程,低压版里面性能比较不错的 460元
      网卡:超微X540-t2 双口10Gb 2块 660元
      硬盘:三星860evo 500g x 2,wd blue 3d 500g x 2

freenas 家庭数据和热备机 各1台 配置一样
      主板:寨板x99(实测好像是c612,可以上regecc),1个pcie3.0x16,1个pcie3.0x8,1个pcie2.0x4,1个pcie3.0x1,9个sata3,390元
      内存:4x16G REG ECC 三星 ddr4 2133 780元
      CPU:e5 2650L v3 460元
      网卡:BCM 57840S 双口10Gb 325元
      硬盘:酷鱼2T x 2,酷狼4T x 10

homeserver 家庭服务器 老机器废物利用
      主板:华硕Z97-K,1个pcie3.0x16,1个pcie2.0x4,2个pcie2.0x1
      内存:4x8G 三星 ddr3 1600
      CPU:i5 4590
      网卡:silicom X540-t2 双口10Gb 320元
      硬盘:pm981 256g 做pve系统盘放虚拟机足够了

自用PC 17年配的
      主板:华硕Z170-p d3,1个pcie3.0x16,1个pcie3.0x4,2个pcie2.0x1
      内存:4x8G 威刚 ddr3 1600
      CPU:i7 7700k
      网卡:BCM 57810S 双口10Gb 238元
      硬盘:pm981 512g

前前后后大概折腾了小半年吧,到这个月算是最终定下来了,装机运行大概快1个月了,还比较稳定,当然中间有些小插曲,我后面慢慢在整理出来,目前测试效果大概是这样的4块ssd组stripe,PC机互联万兆可以跑到1GB/s,5块酷狼4t组raidz大概跑到400-500MB/s,性能还是不错的,费用肯定比j3455要高些,但是也没高到哪里去,当年买j3455带8G ddr3就去了1000多,现在我配的热备机用寨板+cpu+64g内存也才1600,性能就不说了,待机是高些,大概50w左右,但是我的j3455实测待机也有30w,也没多到哪里去。

其实对性能要求不高的朋友,如果想用freenas,也可以选择低端i3或奔腾,这两天个支持ecc,但是板子贵,用x99寨板基本都支持reg ecc,原因就是他们其实用的是c610系列芯片组,用品牌的x99主板反而用不了reg ecc,要特别注意。cpu的话也有很多更便宜的选择,要是不像我这样选正式版,选es版,100-200左右都性能不错了,散热选个好点拆机的,然后换个静音风扇,我感觉和j3455这类带大量硬盘噪音差不多。

总之,我对这次的升级还是挺满意的,3台机器加网卡总费用不到1万(不算硬盘),比那个群晖企业级5,6万的不知道强哪里去了。当然这对动手能力有一定要求,不过人生不就是折腾吗,哈哈。

nokia5310 发表于 2020-1-5 17:02:48

进来看看楼主的米物
页: [1]
查看完整版本: 我的家庭freenas存储和服务器1 硬件选型方案