铜管外圆570 内孔500的有买吗 百度网盘？

来源：蜘蛛抓取(WebSpider) 时间：2022-06-08 02:17 标签： 路锥价格
  • : 把集群的运维过程放到了我的专栏，这里将不再更新.
  • ：到目前的集群使用状况更新，位于最底部。
  • ：更新了自己的数据使用需求，ipad pro的价格对比. 防止有大佬觉得我家里有矿而买ipad pro的都是普通消费者. 【手动滑稽】
  • ：更新了表格，将表格更换为截图，方便阅读。
  • ：考虑到颈椎问题，重新上传了导致颈椎病的图片。

看到没有分享CEPH方案的, 那我来分享下CEPH方案吧. 老规矩, 先上图:

我个人NAS也跟大家有差不多的经历.

最先是Apple Airport 3TB, 几块零散的硬盘和一个硬盘座. 完全不需要维护, 只要往里面扔数据就行了.

后来装满了以后, 就开始考虑用盘柜的方案, 于是在14年买了个盘柜:

这卡在14年算是相当强劲的, 1G缓存带电池, 8i 16e. 把卡插上服务器又傻眼了，这HP卡提示，只能插在HP机器上.... 逼着我又弄了台HP DL380G6...

该RAID50组成的18T(可用12T左右) 服役到了18年, 由于容量, 性能都不是很能满足我现在需求了, 于是在今年初, 我组了个基于 CEPH 的60T系统.

为什么该停止用RAID了?

首先, 随着现在的盘越来越大, RAID5在大容量下已经完全不可靠了, 可以直接看 大佬这篇回答：

我这里也翻译了个简单的RAID5重建失败概率计算器：

以我上文的6块 3TB WD 绿盘来算, 如果挂了一块盘, RAID 5 重建成功概率只有30%：

RAID 6，除去重建过程中再挂一块盘的情况下，安全很多，RAID 1 目前仍是小型存储保证数据安全的最好方案. 当然自己手动复制一份也行.

但RAID最大的问题是, 完全没有CEPH那么灵活, 多机多盘柜情况下很复杂. 而且性能完全依赖于RAID卡. 当你的磁盘带宽总和大于RAID卡后, 就不能有效利用磁盘的性能了.

综上, 我开始考虑一个新的存储系统, 我整理了个简单的“家用”存储系统评分点, 供大家参考: 


 - 1 分, 需要专业知识才能使用
 - 3 分, 看看说明书就能使用
 - 5 分, 很好用, 而且符合平时操作习惯
 - 1 分, 很可能会丢数据
 - 5 分, 多种副本策略, 分布式
 - 1分, 不安全, 可以假定数据是可以被匿名访问的
 - 3分, 只要正确使用安全性就有保障
 - 5分, 可以进行数据加密
 - 5 分, 副本恢复速度
 - 1 分, 强依赖, 迁移数据只能通过软件复制
 - 3 分, 弱依赖, 通过适当修改就可以将存储设备应用到别的系统
 - 5 分, 无依赖, 数据直接存储到设备上
 - 3 分, 仅可以扩展容量
 - 5 分, 随意定制硬件进行扩展
 - 1 分, 只能使用厂家或第三方提供的特定软件
 - 1 分, 仅能用来存储文件
 - 1 分, 机房设备, 无法忍受

根据上表，导出我的需求是:

  • 使用简易：无所谓, 就当学习新知识了
  • 可靠性: 至少要双副本, 如果支持多种副本策略更好
  • 安全性: 反正内网用, 无所谓
  • 恢复/重建速度: 副本恢复速度最好
  • 数据与环境依赖性: 最好无依赖, 这样操作方便
  • 硬件可扩展性: 一定要能随意选择硬件进行扩展, 不能再吃HP的亏了[手动滑稽]
  • 软件可定制性: GNU大法好
  • 访问延时: 如果能当系统盘用当然再好不过了
  • 噪音: 最多能接受放隔壁
  • 价格: 20K以内能接受

另外还有一些自己的使用考虑和需求:

  • 由于租云服务器太贵, 所以我家里有CDH全家桶(hadoop什么的), kubernetes全家桶. 因此存储的性能至少不能拖累这部分的计算需求.
  • 有数据抓取和分析的需求, 典型场景 一千万平均大小 200k 的网页文件. 因此IO性能也有需求.
  • 60TB 左右, 方便扩容, 如果没有容量上限就更好了.
  • 接入10G/40G 网络, 网络传输不会成为存储瓶颈.
  • 不要求可用性 （不是线上业务, 程序挂了大不了重跑. 可以忍受长达几天的停机维护, 数据恢复, 故障恢复）

这套方案我在17年初就有考虑了, 最终在ZFS和CEPH方案中摇摆不定, 后来需要用kubernetes, 于是妥妥CEPH了.

程序猿总要讲究些方法, 我们就自底向上设计吧（误）, 首先是:

好的硬盘会省很多事情, 比如你的盘在RAID卡的支持列表里, 可以被顺利识别. 比如企业盘URE比家用盘低一个数量级.

目前最划算的垃圾佬盘除了3TB的一些, 剩下就是这款了:

来10块, 顺便之前还买了一块看看通电时间和坏块情况, 总计11块:

都CEPH了为啥还要RAID卡呢, 不用卡怎么把SAS盘怼到主板上. 我可不要板载SAS控制器的主板, 好的太贵, 垃圾的性能不行.

当然还需要电缆. SFF8643 转 SFF8482, 带个大4pin口给硬盘供电. 注意检查插硬盘这一侧的 SFF8482 口, SAS盘有的是需要这部分的针脚的. 没有可能会有问题. 我的两根线有一个有, 有一个没有, 不过盘都正常运行了. 我没有去查SFF8482针对这部分针脚的定义.

RAID卡自然不能自己运行，我们还需要块主板, 这里权衡的点有以下几个:

  • CEPH 要求最好每 TB 盘配置 1GB 内存, 我打算用两台主机, 这样每台主机就是5块 6TB盘, 折合需要30GB内存. 然而XEON E3早期版本不支持这么大内存, 而我恰好手里有多余的E5-2670. 那么x79 就这么愉快的决定了.
  • RAID 卡 能直接连接8块盘(有expander卡能插更多盘.), 那么机箱也要能装下至少现阶段的5快盘. 这就需要 5个 3.5寸盘位.
  • 最好还是ATX主板, 这样魔改方便.
  • 同样ATX电源. 魔改方便.
  • 便宜, 毕竟x79在12年就有了再战10年不太可能了, 迟早要换.

(图片来源见水印, 懒得拍我的机器了.)

上图就是弄到一半的状态.

不要在意电缆乱. 盖上机箱盖就看不见. —— 软件工程之何为封装

为了散热, 在PCI-E卡, 硬盘处又用双面胶粘了3个风扇. 否则SAS盘发热还是挺可怕的.

参见我家用万兆局域网的回答, 我之前已经弄了个40G内网了, 所以直接上IB卡.

好了, 我们准备要装ceph了, 所以要对ceph有个简单的理解.

ceph 有这么几个角色:

OSD （object storage daemon）就简单理解为硬盘好了(实际上不是这样的). 一般一块硬盘对应一个osd程序. SSD 为了提升性能可以一块SSD分配多个osd. osd负责向硬盘存储数据.

RADOS （Reliable Autonomic Distributed Object Store）简单来讲就是个算法, 把这个算法包装成软件装到电脑里, 每次向CEPH里面读写数据, 先把数据塞到RADOS里面计算下, 就知道数据在哪个OSD了. 这样就彻底摆脱了依赖. 只需要这个软件就有了RAID之类的功能. 而且没什么状态, 没有本地数据库啥的.

好了，剩下MDS, RGW 啥的用不着就不用了解了. 是不是很简单?

好了, 现在我们有了两个一模一样的 CEPH 存储节点. 每个 30TB. 然而CEPH的架构是这样的:

其中, OSD (可以简单理解为硬盘), 承载OSD的主机我们有了. MON(可以理解为监控节点) 还没有. 我们可以在两个OSD主机上部署 MON, 但MON为了仲裁(Quorum) 我们最好还是 3 个mon 节点比较好(至少三人投票才能决出结果). 另外RGW啥的也需要放一放.

搞定. 接下来开始安装CEPH.

我懒了, 所以没写教程. 后续会补充到我的专栏里. 感兴趣的同学先看官方教程吧. 挺简单的.

用 ceph-deploy工具安装非常方便. 当然还需要后续调整才能达到理想的性能. （默认也足够用）

CEPH 的一个好处是可以定义副本数量( 没错 CEPH 就是把你的数据存成多份来保证数据全的 ).

我在OSD中建立了三个osd pool（理解成分区好了）

L1 是单副本, 坏一块盘就丢了一块盘中的数据, 所以用来放完全不重要的东西, 比如你们懂的, 还有Steam游戏.

L2 是2副本, 用来放平时用的东西.

L3 是3副本, 用来放代码和一些重要的东西.

仔细看的同学会发现L1+L2 x 2 +L3 x 3超过了我的60TB存储容量. 没错. 这个pool 是虚拟的, 你可以随时扩容. 当然不会超过物理磁盘的容量. 物理磁盘满了会导致OSD满了, 到时候CEPH会提醒你要满了. 满了的话插盘, 增加OSD, 扩容就行. 是不是很灵活?

下面是将三个pool映射为块设备, 然后挂samba, 本地windows机器访问的跑分结果.

比较遗憾的是, 我本地只有一块INTEL 545, 所以这个跑分结果不是卡在了CEPH, 而是卡在了我本地机器的硬盘读取速度上.

这是用软件跑分的结果. 按说也没达到性能上限（ 6TB 这个盘号称持续写入速度有200MB+ 10块就是2个G啊, 这成绩连RAID0都跑不过, 太丢脸了） .

优化手段有很多, 比如开RDMA, 比如调整MTU. 我这里做了如下优化:

那么, 加了缓存后, 性能啥样呢?

我怀疑要么是我的RBD没设置或优化正确. 要么是RBD的实现有性能问题. 但查了半天资料也没有什么结果. 这里就只能期待有大规模集群实践经验的大佬关于RBD的使用经验数据了.

总之比买云服务便宜不是? [手动阿Q]

看到有同学问价格, 梳理下价格:

以上是本次新增的设备, 之前还有的设备是:

  • CEPH可以用SSD当缓存盘, 缓存超过设定容量或时间可以回写到机械硬盘, 对常用文件还能缓存到SSD提升读取性能.
  • 使用2副本最好编辑下CRUSH map, 防止预期外的掉盘导致副本不和期望问题.
  • 数据恢复速度与单盘最大写入速度有关. 所以单盘最大容量还是控制下, 6TB 按照写入速度 200MB/s算, 恢复一块盘也要 8.3 小时.
  • 掉盘恢复非常简单, 插上新盘, 添加osd后, 坐等就行了.
  • 最好常看看CEPH健康状态, 万一运气不好2块副本盘全掉还是要注意下的.

截止到，期间小区突然断电3次（无UPS），在一次系统维护中不小心干掉了mon节点，目前数据正常，系统正常使用，无故障。

CEPH-RBD映射的块设备给iSCSI，ESXi连接iSCSI给15台虚拟机使用。目前状况良好。

最后, 欢迎加入垃圾佬Q群, 交流50TB+NAS, 万兆网络, 家用服务器等.

2015年国内的智能手机行业不再疯狂堆料了，因为今年大家都没什么处理器好选，手机屏幕尺寸及分辨率也止步不前，主流的还是1080p。今年的中高端手机硬件上最大的亮点是快充，其次就是接口变化，越来越多的厂商选择了USB Type-C接口，甚至连苹果这样不走寻常路的公司也开始采纳这种接口，mirco-USB接口一统天下的局面被打破，那么USB Type-C接口到底有什么好？

Type-C接口（以下简称为USB-C），大家第一个能想到的是USB-C接口能正反插，用起来很舒服。了解更多的可能还支持USB-C接口速度更快，达到5Gbps或者10Gbps，还有人可能知道USB-C具备100W的供电能力，看过我们新闻的读者还会知道Intel的雷电3接口用的也是USB-C接口，不仅速度达到了40Gbps，还能传输视频，支持双路4K输出。这么一来，USB-C接口简直逆天了有木有，各种全能，真的是超越所有接口的存在。

USB-C的那些误区：其实它只是个物理结构规范，跟速度、供电没关系

其实上面说到的USB-C接口的各种优势有很多误区，某些方面说的没错，USB-C接口确实可以做到这些，但USB-C接口自身只是定义了一种全新的物理结构，不论USB 3.0还是USB 3.1或者目前的USB 2.0，它们都可以做USB-C接口。

还有视频输出，那些功能更属于高级附加值，不光要看USB-C接口，还得看DP、HDMI等规范以及厂商的支持。

USB-C：一口御重口，万口要归一

为什么要做USB-C接口？我们可以检视下现在的USB接口到底怎么了——USB是通用串行总线接口，通用这个词确实做到了，目前我们使用的外设中就属USB设备最多最方便，但是随着USB接口更新换代，为了满足不同市场应用，USB接口也衍生出了Type-A、Type-B接口，这两种接口还有标准型、Mirco（硬盘底座很多是micro-B接口）及mini（智能手机、平板用的最多）这样的子分类，更坑爹的是USB 2.0及USB 3.0的mini、Mirco接口根本不通用。现在已经是USB 3.1时代了，如果再继续这样的态势，估计又要弄出新的接口了，这可愧对通用接口之名了。


USB接口虽然是通用接口，但衍生版本越来越多，已经不方便了

这种情况下，USB官方组织USB-IF觉得不行了，再这么折腾下去全都乱了，他们要不忘初心（大误），于是就打造了USB-C这种接口，该接口被定义为新一代USB接口规范，而且要适应智能手机、平板、笔记本等移动设备。

USB-C接口是面向未来的，还要适应多种接口协议，所以它总计有24个针脚，而USB 3.0接口通常是9到11个，USB 2.0只有4个针脚。不过别担心，针脚的增多并没有导致USB-C接口体积变大，实际上它还缩小了体积（相对标准口来说），满足了移动设备的需求。

我们可以把USB-C接口当作一个“篮子”，USB-IF重新定义的这个篮子很巧妙，大妈们（USB 2.0）可以带着它去市场买菜当菜篮子用，妹子们（USB 3.1）也能拿着它逛街当时尚品用，而且它还有各种优势可供挖掘。

当然，USBC-C虽有万般好，但也不是没缺点——如果下面说的这些算是缺点的话。首先是USB-C不兼容其他A、B接口，第二它看起来体积小巧，但USB-C接口的长宽分别是8.6x2.4mm，USB 2.0 mini-B接口是6.8x3.0mm，mirco-B接口是6.85x1.80mm，因此它实际上更大了一点。

上述“缺点”相比USB-C接口的优势来说实在微不足道了，我们更应该关注USB-C接口带来的优势。

USB-C接口优点之一：正反可插

用户USB接口的玩家100%都遇到过“正面插不对、反面插也不对、正面再插就对了”的情况，我觉得仅此一点USB-C就足以取代其他USB接口了，因为USB-C是正反面都能插，说的专业点就是接口没有方向性。


我敢说你用USB接口一定遇到过这个问题了

果粉比安卓用户自豪的地方也有这个因素，因为苹果iPhone手机很早就有这样的设计了，iPhone 5开始的Lightning接口就可以随便插，不需要像安卓手机那样需要认清正反面（更糟糕的是不同厂商的mini USB接口设计也不同，值得吐槽小米的就是他们的手机还把USB接口做的上下看起来一样宽，更不好辨别了），用起来舒服多了。

USB-C接口优点之二：供电更强

虽然前面说了100W的USB供电跟USB-C接口不是一回事，但USB-C接口的供电能力也确实强化了，我们知道USB 2.0的供电电流是0.5A，USB 3.0达到了0.9A，USB 3.1这方面没变化，但USB-C接口的电流有不仅有1.5A还有3A可选（标准线缆），接口可承载的电流实际上是5A，这么算起来理论上其供电能力最高可达25W，这已经比很多QC 2.0快充都要高了。

当然了，实际上厂商能做到多大的供电能力并不一定是这样，如果能100%实现PD 2.0规范，那么USB-C+USB PD 2.0规范下也真的能做到100W供电输出，这时候别说充电了，带一般的笔记本都没什么问题，苹果的NMB笔记本就只用了一个USB-C接口搞定。

此外，USB-C接口还支持双向供电，它既可以接受充电器供电，也能当作充电器对外输出电流，Google的亲儿子Nexus 5X/6P手机就有了这样的功能。不过双向充电这个功能是USB-C可以做到的，但不是说只有USB-C能做到，此前华为的Mate 7等没用USB-C接口的手机也能做到这样的功能，可以对外充电。

USB-C接口优点之三：速度更快

我们还是不得不回到传输速度上来，虽然USB-C接口最低要求是USB 2.0速度即可，但这么好的接口只用USB 2.0显然是浪费的，它完全可以做到USB 3.0甚至USB 3.1速度标准，这个就得看厂商的选择了。

话说回来，智能手机所用的闪存虽然内部速度比较高，但连接电脑的速度并不怎么样，大部分手机连好点的U盘都跑不过，所以对USB 3.0的需求并不高，而且USB 3.0对手机信号有干扰，三星在Note 3上就用过USB 3.0，结果默认是不开启的，后来的手机直接取消了USB 3.0支持。

USB-C接口优点之四：能传视频

USB-C接口一出生就是万般宠爱于一身，不仅在自家兄弟中最受瞩目，其他行业也看中了USB-C接口的发展潜力，纷纷给USB-C做媒扩展它的功能。视频电子标准组织VESA就联合USB-IF推出了“DisplayPort over USB-C”计划，这就让USB-C接口具备了DP视频传输功能，以后发展好了，估计能把DP接口及DP线都给取代了。


USB-C接口还可以用作DP视频输出

在这方面走的比较快的是Intel的雷电3（Thunderbolt 3），今年6月份Intel发布雷电3标准时，除了速度提升到40Gbps之外，另一个明显变化就是用USB-C接口取代了以往的mini DP接口，甚至可以支持双4K输出，性能强的不要不要的。

苹果的NMB笔记本所用的USB-C接口现在也具备了DP输出能力，支持原生DP 1.2输出，通过转接器还可以实现VGA、HDMI输出。

随着其他规范的扩展，USB-C接口具备的功能可能还会更多，能做到上述四点就已经够强大了。2015年支持USB-C接口的主板越来越多，笔记本也在苹果NMB上破冰，智能手机及平板中USB-C接口也开始崭露头角，我们来看下有哪些手机及平板用了这种接口。

目前已上市的USB-C接口手机、平板盘点

USB-C接口的平板：

如果没记错的话，诺基亚品牌、富士康操刀的N1平板是首款使用USB-C接口的平板，只不过这款平板在市场上存在感太弱了。今年下半年来戴尔的Venue 8、Venue 10 Pro平板以及惠普的Pavilion x2 10平板也先后用上了USB-C接口。

USB-C接口的手机：

手机上使用USB-C接口的动力比平板还足，特别是中国市场上。国内首款USB-C安卓手机实际上是由乐视这个智能手机新军推出的，之后分别有一加手机2、神奇工场Zuk Z1、小米手机4c、谷歌Nexus 5X/6P、微软Lumix 950/950 XL等用上了USB-C接口，其中只有Zuk Z1是宣称支持USB 3.0速度的，其他都还是USB 2.0。此外Googge的Neuxs 5PX/6P还可以支持双向充电，其他的暂时还没有跟进。


一加2也支持了USB-C接口

总的来说，USB-C接口是大势所趋，这不仅是针对智能手机来说的，包括PC、笔记本、平板以及物联网设备都有可能全面升级到USB-C接口，但那是以后的事，就目前来看上USB-C接口的手机除了发挥正反插的方便之外，在充电、高速传输等方面并没有什么动作，不论他们吹的多么好，现在升级USB-C接口只能是象征意义大于实际意义，而且因为数据线不通用，有时候甚至麻烦多于方便，这个问题在USB-C接口大规模普及之前可能都是个麻烦。

  • : 把集群的运维过程放到了我的专栏，这里将不再更新.
  • ：到目前的集群使用状况更新，位于最底部。
  • ：更新了自己的数据使用需求，ipad pro的价格对比. 防止有大佬觉得我家里有矿而买ipad pro的都是普通消费者. 【手动滑稽】
  • ：更新了表格，将表格更换为截图，方便阅读。
  • ：考虑到颈椎问题，重新上传了导致颈椎病的图片。

看到没有分享CEPH方案的, 那我来分享下CEPH方案吧. 老规矩, 先上图:

我个人NAS也跟大家有差不多的经历.

最先是Apple Airport 3TB, 几块零散的硬盘和一个硬盘座. 完全不需要维护, 只要往里面扔数据就行了.

后来装满了以后, 就开始考虑用盘柜的方案, 于是在14年买了个盘柜:

这卡在14年算是相当强劲的, 1G缓存带电池, 8i 16e. 把卡插上服务器又傻眼了，这HP卡提示，只能插在HP机器上.... 逼着我又弄了台HP DL380G6...

该RAID50组成的18T(可用12T左右) 服役到了18年, 由于容量, 性能都不是很能满足我现在需求了, 于是在今年初, 我组了个基于 CEPH 的60T系统.

为什么该停止用RAID了?

首先, 随着现在的盘越来越大, RAID5在大容量下已经完全不可靠了, 可以直接看 大佬这篇回答：

我这里也翻译了个简单的RAID5重建失败概率计算器：

以我上文的6块 3TB WD 绿盘来算, 如果挂了一块盘, RAID 5 重建成功概率只有30%：

RAID 6，除去重建过程中再挂一块盘的情况下，安全很多，RAID 1 目前仍是小型存储保证数据安全的最好方案. 当然自己手动复制一份也行.

但RAID最大的问题是, 完全没有CEPH那么灵活, 多机多盘柜情况下很复杂. 而且性能完全依赖于RAID卡. 当你的磁盘带宽总和大于RAID卡后, 就不能有效利用磁盘的性能了.

综上, 我开始考虑一个新的存储系统, 我整理了个简单的“家用”存储系统评分点, 供大家参考: 


 - 1 分, 需要专业知识才能使用
 - 3 分, 看看说明书就能使用
 - 5 分, 很好用, 而且符合平时操作习惯
 - 1 分, 很可能会丢数据
 - 5 分, 多种副本策略, 分布式
 - 1分, 不安全, 可以假定数据是可以被匿名访问的
 - 3分, 只要正确使用安全性就有保障
 - 5分, 可以进行数据加密
 - 5 分, 副本恢复速度
 - 1 分, 强依赖, 迁移数据只能通过软件复制
 - 3 分, 弱依赖, 通过适当修改就可以将存储设备应用到别的系统
 - 5 分, 无依赖, 数据直接存储到设备上
 - 3 分, 仅可以扩展容量
 - 5 分, 随意定制硬件进行扩展
 - 1 分, 只能使用厂家或第三方提供的特定软件
 - 1 分, 仅能用来存储文件
 - 1 分, 机房设备, 无法忍受

根据上表，导出我的需求是:

  • 使用简易：无所谓, 就当学习新知识了
  • 可靠性: 至少要双副本, 如果支持多种副本策略更好
  • 安全性: 反正内网用, 无所谓
  • 恢复/重建速度: 副本恢复速度最好
  • 数据与环境依赖性: 最好无依赖, 这样操作方便
  • 硬件可扩展性: 一定要能随意选择硬件进行扩展, 不能再吃HP的亏了[手动滑稽]
  • 软件可定制性: GNU大法好
  • 访问延时: 如果能当系统盘用当然再好不过了
  • 噪音: 最多能接受放隔壁
  • 价格: 20K以内能接受

另外还有一些自己的使用考虑和需求:

  • 由于租云服务器太贵, 所以我家里有CDH全家桶(hadoop什么的), kubernetes全家桶. 因此存储的性能至少不能拖累这部分的计算需求.
  • 有数据抓取和分析的需求, 典型场景 一千万平均大小 200k 的网页文件. 因此IO性能也有需求.
  • 60TB 左右, 方便扩容, 如果没有容量上限就更好了.
  • 接入10G/40G 网络, 网络传输不会成为存储瓶颈.
  • 不要求可用性 （不是线上业务, 程序挂了大不了重跑. 可以忍受长达几天的停机维护, 数据恢复, 故障恢复）

这套方案我在17年初就有考虑了, 最终在ZFS和CEPH方案中摇摆不定, 后来需要用kubernetes, 于是妥妥CEPH了.

程序猿总要讲究些方法, 我们就自底向上设计吧（误）, 首先是:

好的硬盘会省很多事情, 比如你的盘在RAID卡的支持列表里, 可以被顺利识别. 比如企业盘URE比家用盘低一个数量级.

目前最划算的垃圾佬盘除了3TB的一些, 剩下就是这款了:

来10块, 顺便之前还买了一块看看通电时间和坏块情况, 总计11块:

都CEPH了为啥还要RAID卡呢, 不用卡怎么把SAS盘怼到主板上. 我可不要板载SAS控制器的主板, 好的太贵, 垃圾的性能不行.

当然还需要电缆. SFF8643 转 SFF8482, 带个大4pin口给硬盘供电. 注意检查插硬盘这一侧的 SFF8482 口, SAS盘有的是需要这部分的针脚的. 没有可能会有问题. 我的两根线有一个有, 有一个没有, 不过盘都正常运行了. 我没有去查SFF8482针对这部分针脚的定义.

RAID卡自然不能自己运行，我们还需要块主板, 这里权衡的点有以下几个:

  • CEPH 要求最好每 TB 盘配置 1GB 内存, 我打算用两台主机, 这样每台主机就是5块 6TB盘, 折合需要30GB内存. 然而XEON E3早期版本不支持这么大内存, 而我恰好手里有多余的E5-2670. 那么x79 就这么愉快的决定了.
  • RAID 卡 能直接连接8块盘(有expander卡能插更多盘.), 那么机箱也要能装下至少现阶段的5快盘. 这就需要 5个 3.5寸盘位.
  • 最好还是ATX主板, 这样魔改方便.
  • 同样ATX电源. 魔改方便.
  • 便宜, 毕竟x79在12年就有了再战10年不太可能了, 迟早要换.

(图片来源见水印, 懒得拍我的机器了.)

上图就是弄到一半的状态.

不要在意电缆乱. 盖上机箱盖就看不见. —— 软件工程之何为封装

为了散热, 在PCI-E卡, 硬盘处又用双面胶粘了3个风扇. 否则SAS盘发热还是挺可怕的.

参见我家用万兆局域网的回答, 我之前已经弄了个40G内网了, 所以直接上IB卡.

好了, 我们准备要装ceph了, 所以要对ceph有个简单的理解.

ceph 有这么几个角色:

OSD （object storage daemon）就简单理解为硬盘好了(实际上不是这样的). 一般一块硬盘对应一个osd程序. SSD 为了提升性能可以一块SSD分配多个osd. osd负责向硬盘存储数据.

RADOS （Reliable Autonomic Distributed Object Store）简单来讲就是个算法, 把这个算法包装成软件装到电脑里, 每次向CEPH里面读写数据, 先把数据塞到RADOS里面计算下, 就知道数据在哪个OSD了. 这样就彻底摆脱了依赖. 只需要这个软件就有了RAID之类的功能. 而且没什么状态, 没有本地数据库啥的.

好了，剩下MDS, RGW 啥的用不着就不用了解了. 是不是很简单?

好了, 现在我们有了两个一模一样的 CEPH 存储节点. 每个 30TB. 然而CEPH的架构是这样的:

其中, OSD (可以简单理解为硬盘), 承载OSD的主机我们有了. MON(可以理解为监控节点) 还没有. 我们可以在两个OSD主机上部署 MON, 但MON为了仲裁(Quorum) 我们最好还是 3 个mon 节点比较好(至少三人投票才能决出结果). 另外RGW啥的也需要放一放.

搞定. 接下来开始安装CEPH.

我懒了, 所以没写教程. 后续会补充到我的专栏里. 感兴趣的同学先看官方教程吧. 挺简单的.

用 ceph-deploy工具安装非常方便. 当然还需要后续调整才能达到理想的性能. （默认也足够用）

CEPH 的一个好处是可以定义副本数量( 没错 CEPH 就是把你的数据存成多份来保证数据全的 ).

我在OSD中建立了三个osd pool（理解成分区好了）

L1 是单副本, 坏一块盘就丢了一块盘中的数据, 所以用来放完全不重要的东西, 比如你们懂的, 还有Steam游戏.

L2 是2副本, 用来放平时用的东西.

L3 是3副本, 用来放代码和一些重要的东西.

仔细看的同学会发现L1+L2 x 2 +L3 x 3超过了我的60TB存储容量. 没错. 这个pool 是虚拟的, 你可以随时扩容. 当然不会超过物理磁盘的容量. 物理磁盘满了会导致OSD满了, 到时候CEPH会提醒你要满了. 满了的话插盘, 增加OSD, 扩容就行. 是不是很灵活?

下面是将三个pool映射为块设备, 然后挂samba, 本地windows机器访问的跑分结果.

比较遗憾的是, 我本地只有一块INTEL 545, 所以这个跑分结果不是卡在了CEPH, 而是卡在了我本地机器的硬盘读取速度上.

这是用软件跑分的结果. 按说也没达到性能上限（ 6TB 这个盘号称持续写入速度有200MB+ 10块就是2个G啊, 这成绩连RAID0都跑不过, 太丢脸了） .

优化手段有很多, 比如开RDMA, 比如调整MTU. 我这里做了如下优化:

那么, 加了缓存后, 性能啥样呢?

我怀疑要么是我的RBD没设置或优化正确. 要么是RBD的实现有性能问题. 但查了半天资料也没有什么结果. 这里就只能期待有大规模集群实践经验的大佬关于RBD的使用经验数据了.

总之比买云服务便宜不是? [手动阿Q]

看到有同学问价格, 梳理下价格:

以上是本次新增的设备, 之前还有的设备是:

  • CEPH可以用SSD当缓存盘, 缓存超过设定容量或时间可以回写到机械硬盘, 对常用文件还能缓存到SSD提升读取性能.
  • 使用2副本最好编辑下CRUSH map, 防止预期外的掉盘导致副本不和期望问题.
  • 数据恢复速度与单盘最大写入速度有关. 所以单盘最大容量还是控制下, 6TB 按照写入速度 200MB/s算, 恢复一块盘也要 8.3 小时.
  • 掉盘恢复非常简单, 插上新盘, 添加osd后, 坐等就行了.
  • 最好常看看CEPH健康状态, 万一运气不好2块副本盘全掉还是要注意下的.

截止到，期间小区突然断电3次（无UPS），在一次系统维护中不小心干掉了mon节点，目前数据正常，系统正常使用，无故障。

CEPH-RBD映射的块设备给iSCSI，ESXi连接iSCSI给15台虚拟机使用。目前状况良好。

最后, 欢迎加入垃圾佬Q群, 交流50TB+NAS, 万兆网络, 家用服务器等.

我要回帖

更多关于 路锥价格 的文章

 

随机推荐