天气与日历 切换到宽版
扫描二维码关注官方公众号
12下一页
返回列表 发布新帖

[求助/问答] 跪着求两台nas异地双向同步数据的解决方案

28170 30
发表于 2017-5-30 23:35:46 | 显示全部楼层 阅读模式

来吧兄弟,一起玩一起讨论!

您需要 登录 才可以下载或查看,没有账号?注册

×
小弟初入群晖坑,请各位大神赐教

公司两台ds1515+,部署在杭州和厦门两个分公司两个分公司都是电信100M企业宽带(上下行对等)固定IP接入,测试过双向对传均可以跑满12MB/s的上下传带宽

存储的文件是公司的产品图片,数据约4TB,文件数量约40万个,初次同步考虑到时间问题,是把厦门的nas拿到杭州用hyper backup拿到杭州来操作的,第一次同步完成后,每周加入1000个左右的图片文件,需要进行双向同步



之前想用cloud station 套件实现,结果测试过程中发现问题,想请大神们帮我分析分析,我说下我的测试流程:



1.在杭州公司网络环境下用web链接厦门的nas,下载10G大文件,可持续跑满12MB/s带宽——》说明厦门up杭州down无问题
2.在厦门公司网络环境下用web链接杭州的nas,下载10G大文件,可持续跑满12MB/s带宽——》说明杭州up厦门down无问题
从测试1.2得出结论,两地的网络上下行对传均可达到理论速率,不会成为瓶颈

以下开始使用cloud station进行测试,测试文件为6个2G ios大文件编号分别为test1、test2、test3、test4、test5、test6,使用系统自带资源监控器来记录数据

3.杭州设为cloud station server,开启双向同步,在厦门测试盘中上传5个测试文件,发现速率非常不稳定,快的时候可以跑满带宽,但是忽上忽下,test4、test5从厦门上传至杭州共耗时10分钟,但是这两个同步完后速率就掉到了350KB/s持续了30分钟,然后速度突然飙起,test6同步完成,结果客户端显示同步完成,速度降到0,不再同步了。。。。。。。

4.暂停同步,两个测试盘清空,在杭州测试盘中上传5个测试文件,情况同测试3差不多,只是最终同步完了,耗时5小时。。。。。

不明白为什么两边都能跑满的网络环境,使用cloud station同步就一点都不好用了,不是速率根本跑不上去,就是忽上忽下起伏大
而且我发现貌似cloud station只能一个一个文件同步,貌似不是多线程的,每个文件传完了要卡很久才开始同步下一个,明明还有文件没同步完了,居然就显示同步完成了。

大批量小文件同步,如果用这个方式同步(几十万个,十几MB/个的图片文件),感觉完全是个不可能完成的任务啊

不知道论坛里的大神们有没有做远程镜像服务器的经验,能赐教下小弟,这cloud station还能不能用了,如果不能用通过什么途径来进行同步?前提是必须在群晖环境下,因为我没有其他的硬件可以使用。

评论30

hebrew 发表于 2017-5-30 23:53:35 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 点赞

使用道具 举报

ghosthx楼主Lv.2 发表于 2017-5-31 00:13:26 | 显示全部楼层
hebrew 发表于 2017-5-30 23:53
自带的RSYNC服务试试看?
想到一招

这样不是需要2台电脑24h开着么。。。。。
回复 点赞

使用道具 举报

hebrew 发表于 2017-5-31 00:16:53 | 显示全部楼层
提示: 作者被禁止或删除 内容自动屏蔽
回复 点赞

使用道具 举报

孤城的守夜人Lv.4 发表于 2017-5-31 00:22:27 | 显示全部楼层
cloud station貌似是文件读取===加密---传输----解密----写入文件......
.........
对于CPU垃圾的.....GG吧
回复 点赞

使用道具 举报

ghosthx楼主Lv.2 发表于 2017-5-31 00:23:35 | 显示全部楼层
孤城的守夜人 发表于 2017-5-31 00:22
cloud station貌似是文件读取===加密---传输----解密----写入文件......
.........
对于CPU垃圾的.....GG吧 ...

我链接的时候是没选ssl加密选项的,不知道你说的是不是这个哦
回复 点赞

使用道具 举报

孤城的守夜人Lv.4 发表于 2017-5-31 00:24:54 | 显示全部楼层
ghosthx 发表于 2017-5-31 00:23
我链接的时候是没选ssl加密选项的,不知道你说的是不是这个哦

那再告诉你....我本地对本地的群晖同步都已经让我崩溃了.......

崩溃到最后拔插硬盘的方式进行的
回复 点赞

使用道具 举报

ghosthx楼主Lv.2 发表于 2017-5-31 00:27:34 | 显示全部楼层
孤城的守夜人 发表于 2017-5-31 00:24
那再告诉你....我本地对本地的群晖同步都已经让我崩溃了.......

崩溃到最后拔插硬盘的方式进行的 ...

你是用cloud station么?本地的应该还是好实现的呀
回复 点赞

使用道具 举报

孤城的守夜人Lv.4 发表于 2017-5-31 00:29:15 | 显示全部楼层
ghosthx 发表于 2017-5-31 00:27
你是用cloud station么?本地的应该还是好实现的呀

控制面板,共享文件夹同步
回复 点赞

使用道具 举报

孤城的守夜人Lv.4 发表于 2017-5-31 00:31:10 | 显示全部楼层
就是首先开启文件服务的rsync....
然后两个群晖就是开始极度智障的CPU彪红.......
回复 点赞

使用道具 举报

ghosthx楼主Lv.2 发表于 2017-5-31 14:27:23 | 显示全部楼层
孤城的守夜人 发表于 2017-5-31 00:31
就是首先开启文件服务的rsync....
然后两个群晖就是开始极度智障的CPU彪红....... ...

rsync已经开起来了,但是  控制面板=》共享文件夹    下面没有看到同步这个操作呀,能指导下么
回复 点赞

使用道具 举报

ghosthx楼主Lv.2 发表于 2017-5-31 14:42:27 | 显示全部楼层
孤城的守夜人 发表于 2017-5-31 00:31
就是首先开启文件服务的rsync....
然后两个群晖就是开始极度智障的CPU彪红....... ...

找到了。。。。但是貌似只能单向同步,不能双向同步啊
回复 点赞

使用道具 举报

cj8510Lv.2 发表于 2017-5-31 15:55:33 | 显示全部楼层
感觉如果不担心安全问题的话,可以添加百度云同步,可以的。
将NAS上的指定目录同步到百度云,然后在局域网将这个文件夹共享,通过网络管理这个文件夹,会自动同步的,前提是要充百度云会员。
回复 点赞

使用道具 举报

孤城的守夜人Lv.4 发表于 2017-5-31 18:59:51 | 显示全部楼层
cj8510 发表于 2017-5-31 15:55
感觉如果不担心安全问题的话,可以添加百度云同步,可以的。
将NAS上的指定目录同步到百度云,然后在局域网 ...

百度会员表示.......群晖的百度云同步速度泪奔
回复 点赞

使用道具 举报

cj8510Lv.2 发表于 2017-6-3 13:14:01 | 显示全部楼层
孤城的守夜人 发表于 2017-5-31 18:59
百度会员表示.......群晖的百度云同步速度泪奔

我不是会员,速度是不快,现在也用这个同步资料,暂时没有好办法,只有这个稍微智能点。
回复 点赞

使用道具 举报

孤城的守夜人Lv.4 发表于 2017-6-3 21:56:02 | 显示全部楼层
cj8510 发表于 2017-6-3 13:14
我不是会员,速度是不快,现在也用这个同步资料,暂时没有好办法,只有这个稍微智能点。 ...

我是会员.....速度也不快啊......
回复 点赞

使用道具 举报

ghosthx楼主Lv.2 发表于 2017-6-6 16:09:12 | 显示全部楼层
cj8510 发表于 2017-6-3 13:14
我不是会员,速度是不快,现在也用这个同步资料,暂时没有好办法,只有这个稍微智能点。 ...

你传到百度云,再从百度云下到另一台nas?
回复 点赞

使用道具 举报

huximVIPLv.3 发表于 2017-6-6 16:39:18 | 显示全部楼层
本帖最后由 huxim 于 2017-6-6 16:50 编辑

安装快照与复制那个套件,那个才是专门用于主服与分支服务器的
https://www.synology.com/zh-cn/dsm/6.1/data_backup
当然用复制的问题是单向的, 因为是主服向分支服务器扩散
回复 点赞

使用道具 举报

huximVIPLv.3 发表于 2017-6-6 16:40:26 | 显示全部楼层
另外这篇文章你好好看一下
http://post.smzdm.com/p/545304/
回复 点赞

使用道具 举报

kernelLv.7 发表于 2017-6-6 19:47:14 | 显示全部楼层
huxim 发表于 2017-6-6 16:40
另外这篇文章你好好看一下
http://post.smzdm.com/p/545304/

这个说的详细。好东西。
回复 点赞

使用道具 举报

回复

懒得打字嘛,点击右侧快捷回复 【本站酷狼4T,750元】
您需要登录后才可以回帖 登录 | 注册

本版积分规则

投诉/建议联系

support@gebi1.cn

未经授权禁止转载,复制和建立镜像,
如有违反,追究法律责任
  • 关注公众号
  • 添加微信客服
Copyright © 2001-2024 隔壁网 版权所有 All Rights Reserved. 粤ICP备14056481号-1
关灯 快速发帖
扫一扫添加微信客服
返回顶部
快速回复 返回顶部 返回列表