网易开源分布式存储系统 Curve :性能是 Ceph 的 1.84 倍_高德娱乐网
网易开源分布式存储系统 Curve :性能是 Ceph 的 1.84 倍
分类: 热度:

近期,网易公司旗下云服务商网易数帆宣布开源一款名为 Curve 的高性能分布式存储系统,官方称其性能可达 Ceph 的 1.84 倍。

据官方介绍,Curve 的定位是提供一个高性能、低延迟的存储底座,基于这个存储底座,企业可以打造适用于不同应用场景的存储系统,如块存储、对象存储、云原生数据库等。目前,网易数帆已经实现了高性能块存储系统。根据项目文档介绍,Curve 主要具有三大特性:高性能、高可用和自治。

高性能:Curve 团队参考了业界一些高效的开源存储系统,设计了一个新架构以实现高性能低延迟的核心能力。采用 brpc 保证网络数据流的高性能和低延迟,基于 braft 实现多副本一致性下的低延迟,并对 braft 的快照实现进行了进一步的优化。磁盘 IO 方面,Curve 通过更细粒度的地址空间的 hash 减少 IO 碰撞,增加 IO 并发度,并采用 chunkfilepool 减小 IO 放大倍数,从而最大限度地发挥硬件的性能。

网易公布了 Curve 和 Ceph L 版本的测试数据对比,在单卷的场景下,核心的 4K 随机读/写的IOPS 性能,Curve 分别是 Ceph 的 1.84 倍和 1.58 倍,同时延迟相比 Ceph 分别降低 48.39%和 37.50%。

图:Curve与Ceph性能测试对比

高可用:Curve 被设计为核心组件都能容忍部分实例失败而不影响整个集群的可用性。网易介绍,无论是单台存储故障,还是系统扩容,Curve 的客户端 IO 都不会受到影响,插拔硬盘、服务进程中断这些常见异常,IO 抖动也很小。当然,故障恢复过程对上层 IO 也不会造成明显影响。

自治:Curve 可实现一键部署、一键升级,运维只要很少的人工干预,并基于 bvar、Promethues 和 Grafana等开源项目打造了全面的度量标准和告警体系。

目前,基于 Curve 的高性能块存储系统已经应用在网易的一些核心业务中,支持快照克隆和恢复, 支持 QEMU 虚拟机和物理机 NBD 设备两种挂载方式。网易介绍,系统上线至今 400 多天,尚未出现数据不一致和丢数据的情况,也没有发生过重大故障,具备相当的可靠性和成熟度。

网易透露,Curve 目前还有一些创新的性能优化工作尚未完成,如细粒度哈希、io_uring 落盘方案,项目团队下一阶段的主要任务就是解决这些问题,预计完成优化之后下个版本还会有 30% 的性能提升。

鉴于目前开源领域还没有足够高性能和低延迟的分布式存储系统,网易数帆方面表示希望把 Curve 开源出来,回馈社区,让业界一起来使用它,也希望大家一起参与把 Curve 打造得越来越好。

上一篇:6省15市开展试点工作 加快“快递进村”步伐 下一篇:卫星互联网布局提速 银河航天建超级工厂瞄准日均一颗卫星产能目标
猜你喜欢
各种观点
热门排行
精彩图文
  • 手机正在使用我:技术是否会操控人,并导致成瘾
    手机正在使用我:技术是否会操控人,并导致成瘾
    手机正在使用我   足够先进的技术有时类似魔法。在聊天框里向朋友推荐了洗牙器,下午你有可能在公号文章末尾看到关于它的广告;你告诫自己,上交论文的“死线”将至,只看10分钟短视频,却“一不小心”刷到手机没
  • 车险综改来了保费下降成趋势 险企尚能饭否?
    车险综改来了保费下降成趋势 险企尚能饭否?
      备受瞩目的车险综合改革启动后,保险公司及保险经纪公司关于改革后车险保费的咨询量迎来了高峰时段。记者了解到,车险费改革后,车主受到保障的内容增加了,保费也出现不同程度的浮动。   车险综合改革9月19日
  • 坚果手机实拍样张曝光:相机有重大升级,或为 1 亿像素
    坚果手机实拍样张曝光:相机有重大升级,或为 1 亿像素
    IT之家9月22日消息在近一年的沉浸后,前不久网上曝光坚果即将推出新机,随后,这款新品的样张也露出水面,暗示新品将在相机方面有较大提升。最近两天,字节跳动新石实验室总裁吴德周和Smartisan产品经理朱海舟相继在
  • 广州拟立法禁止假吃、催吐、猎奇等吃播行为
    广州拟立法禁止假吃、催吐、猎奇等吃播行为
    IT之家9月19日消息 从广州人大官网获悉,广州市人大常委会法制工作委员会18日发布公告,面向社会公开征求对《广州市反餐饮浪费条例(征求意见稿)》的意见和建议。其中,征求意见稿提出,网络直播平台应当制定平台服
  • 弘扬浙商精神,集成灶十大品牌浙派凭什么入选浙商博物馆
    弘扬浙商精神,集成灶十大品牌浙派凭什么入选浙商博物馆
    一款值得珍藏的集成灶——浙派集成灶为什么能成为唯一入选浙商博物馆的企业?浙派916新品发布会发布了什么新品?这款新品有什么神奇之处,到底为什么能引来这么多的关注?还能入选浙商代表性的博物馆!一探究竟