转载

发表于 2018年04月14日
浏览 (723)
评论 (0)

跨 AZ 数据复制方案中的 EC 与 XOR 技术

欢迎点击右上角"NoSQL漫谈"关注我们

在云服务中，为了提高数据的持久性和可用性，通常将数据存储在多个AZ(Availability Zone)之中，每一个AZ拥有独立的供电系统和网络设备，这样，单AZ的故障并不会导致数据的丢失或服务的不可用。对于云服务而言，如果拥有了跨AZ 的数据同步和业务多活能力，就可以宣称，该服务按年计算可以达到4个9的可用性和11个9的持久性。本文主要介绍跨AZ数据复制方案中所涉及的 EC 与 XOR 技术。

跨AZ数据复制

如何将数据同步到多个AZ中，有多种做法，一种比较流行的方案，就是将数据的多个副本放置在不同的AZ中，如下图所示：

跨 AZ 数据复制方案中的 EC 与 XOR 技术

至于如何实现数据复制，有两种方式：

Master-Slave复制

跨 AZ 数据复制方案中的 EC 与 XOR 技术

Quorum复制

跨 AZ 数据复制方案中的 EC 与 XOR 技术

这两种方式均能达成跨AZ的数据同步复制能力以及数据的强一致性语义保障，只是在架构上存在比较大的差异。但无论哪个方案，在 网络带宽 上，都存在一个比较显著的问题：如果进行全量数据的复制，对带宽的挤占就非常严重，尽管AZ之间会设有专线连接，带宽也很大。因此，如何缩减同步的数据量，减少对网络带宽的挤占，就显得至关重要。另外， 如何降低整体的存储空间占用 ，也是一个非常重要的问题。

常用的方法有如下两种：

压缩数据传输
网络优化中的字节重删技术

但如果碰到图片和视频数据，上面两种方法就基本失效了，这时，需要引入另外两种技术： EC与XOR 。

EC技术

EC(英文全称为 " Erasure Code " )本质上是一种编码技术，它在n份原始数据的基础上，增加m份数据，并能通过n+m份中的任意n份数据，还原为原始数据。即如果有任意小于等于m份的数据失效，仍然能通过剩下的数据还原出来。

跨 AZ 数据复制方案中的 EC 与 XOR 技术

举例：

Data 首先被均分成 {D1,D2,D3,D4}，计算出 {C1,C2}两个校验分片。将6份分片数据存储在不同的地方，即使任意两个分片数据被损坏了，都可以还原出原始数据Data。假设共有三个AZ，那么，每一个AZ中只需要存储2个分片的数据即可：

跨 AZ 数据复制方案中的 EC 与 XOR 技术

这样就可以 显著减少跨AZ数据传输 ， 降低数据复制对带宽的占用 （AZ的出口带宽减少了一半）。

但EC会带来如下问题：

增加了CPU消耗，用于计算校验分片
读取时需要从多个AZ中获取数据，时延敏感型业务将会受到明显的影响。
一个数据分片出现问题时，需要跨AZ读取数据进行修复。

下图简单描述了如何进行数据修复的原理：

跨 AZ 数据复制方案中的 EC 与 XOR 技术

关于对EC的改进，业界也有一些解决方案，如 LRC码 和 蝴蝶码 。EC可以有效减少跨AZ之间的网络带宽占用，对于很多应用场景，它的缺点其实也是完全可以容忍的。

但在真正实现该方案的时候，在架构、组网、安全方面会有很大的挑战。因为每一个AZ都是独立的存在，他们之间除了在大二层网络上互通以外，在四层网络上通常是隔离的，因此需要打通不同AZ的数据存储服务器之间的网络。至于EC的分片如何进行合理放置，也需要设计合理的 布局和分配算法 。在工程实现上，会有很大的挑战。

XOR技术

XOR 的含义，等同于我们所理解的同名位操作符，即，异或操作。

EMC第一次将XOR应用在了" 消减 " 跨AZ间的多副本数据，它的原理分步介绍如下：

Step 1

跨 AZ 数据复制方案中的 EC 与 XOR 技术

AZ1中的 主副本1 与AZ2中的 主副本2 （主副本1与主副本2不相关），在AZ3中分别拥有一个 备副本1 、 备副本2 。

Step 2

跨 AZ 数据复制方案中的 EC 与 XOR 技术

将AZ3中的备副本1与备副本2进行XOR操作后，得到 副本3 。

Step 3

跨 AZ 数据复制方案中的 EC 与 XOR 技术

清除 备副本1 与 备副本2 的数据，仅保留异或后的 副本3 。

故障后恢复数据的方法

跨 AZ 数据复制方案中的 EC 与 XOR 技术

如果AZ1中的 主副本1 发生故障，将AZ2中的 主副本2 与AZ3中的 副本3 进行XOR操作，即可还原出AZ1中的 主副本1 。

可以看出来，XOR主要用来 减少备副本所占用的存储空间 ，而不是减少网络传输的数据量。对于跨Region间的数据复制，它是非常适用的。

总结

本文简单讨论了跨AZ数据复制方案中的EC与XOR技术，EC技术不仅可以 有效减少网络传输数据量 ，也能够 有效降低因为多副本带来的存储空间冗余 ，而XOR技术则主要为了 减少存储空间冗余 。

精彩文章推荐

《一条数据的HBase之旅》系列连载文章：

简明HBase入门教程-开篇

简明HBase入门教程-Write全流程

简明HBase入门教程- Flush与Compaction

《OpenTSDB技术原理》系列连载文章：

OpenTSDB原理系列-元数据模型

OpenTSDB原理系列-TSDB数据表设计

OpenTSDB原理系列-线程模型

OpenTSDB原理系列-读取流程

其它精彩文章：

从扩线查询能力分析图数据库Titan的设计改进点

从HBase中移除WAL？3D XPoint技术带来的变革

号称十倍性能于Cassandra的ScyllaDB，究竟祭出了哪些技术"利器"？

NewSQL是否是NoSQL的取代者？

阅读开源项目源码的建议姿势

关于"NoSQL漫谈"

NoSQL主要泛指一些分布式的非关系型数据存储技术，这其实是一个非常广泛的定义，可以说涉及到分布式系统技术的方方面面。随着人工智能、物联网、大数据、云计算以及区块链技术的不断普及，NoSQL技术将会发挥越来越大的价值。
请长按下面的二维码关注我们
更多NoSQL技术分享，敬请期待！

原文 http://mp.weixin.qq.com/s/Zm5UHjDXv3y-WQi86QuUyQ

正文到此结束

所属分类：编程技术

本文标签： Region 二维码数据模型分布式系统 https NOSQL Cassandra ACE 分布式 db sql 智能 http Master 源码 HBase 空间 src IO 服务器安全大数据同步图片云线程开源项目开源 Action 本质数据库数据总结物联网一致性 tar UI 入门教程文章模型
版权声明： 本文为互联网转载文章，出处已在文章中说明(部分除外)。如果侵权，请 联系本站长删除，谢谢。
本文海报： 生成海报一生成海报二

热门推荐

openfire数据库安装指南

浏览(13,542) 评论(0)
Caffe 深度学习框架上手教程

浏览(10,301) 评论(0)
ReactiveCocoa入门教程：第一部分

浏览(11,124) 评论(0)
开源HIDS-OSSEC使用实例:监测CC攻击

浏览(11,005) 评论(0)
Decorators in ES7

浏览(15,568) 评论(4)
用Electron（Atom编辑器的兄弟项目）开发桌面应用

浏览(28,597) 评论(0)
Windows下JetBrains CLion中文输出乱码的解决方法

浏览(12,047) 评论(1)
同步-@synchronized, NSLock, pthread, OSSpinLock性能比较

浏览(11,026) 评论(0)
Seaweedfs之Volume读请求重定向

浏览(25,303) 评论(3)
HTML、CSS及JavaScript ：有Promise，不会搞大肚子

浏览(13,166) 评论(0)

(ETW) Event Tracing for Windows 入门 (含pdf下载)
Rips Scanners（0.5）曝出本地文件包含漏洞
libgo —— C++ 写的 Stackful 协程库
Windows平台shellcode开发入门（二）
Vectors时代(2) - 图像的路径动画
YYImage源码分析
代理模式看着一篇就够了
使用枚举实现状态机来优雅你的状态变更逻辑
初探Java设计模式2：结构型模式（代理模式，适配器模式等）
面试官：听说你熟悉OkHttp原理？

美国手机卡
rpm
架构师
GsonFormat
token
村晚
物联网
创繁致歉信！
QUARKUS
红绿灯
歁压业主
LangChain
WordPress主题
写诗
Network Timing
Google AdSense
Dashboard
neo4j
中文翻译
Spring cloud
负载均衡
未富先老
京东
技术平台
单元测试
watch
jacoco
autoReconnect=true
同步
WebService CXF学习（进阶篇3）
k8s
service_healthy
250定律
限流
health
UTC
NIO
常见问答
atomikos
dubbo
yong GC
QQ群
lake
ElasticsearchRestClientConfigurations
struct
back-pressure
定位图标
北京创繁科技有限公司
Spring Cloud Sleuth
卖面膜
养老

匿名 666
admin 版本号是多少，你可以下载哪个代码仓库，jdk选1.8 直接跑就行
极客青年 org.springframework.beans.factory.UnsatisfiedDependencyException: Error creating bean with name 'demo.et.mysql.MysqlTests': Unsatisfied dependency expressed through field 'userMapper'; nested exception is org.springframework.beans.factory.NoSuchBeanDefinitionException: No qualifying bean of type 'demo.et.mysql.mapper.UserMapper' available: expected at least 1 bean which qualifies as autowire candidate. Dependency annotations: {@org.springframework.beans.factory.annotation.Autowired(required=true)} at org.springframework.beans.factory.annotation.AutowiredAnnotationBeanPostProcessor$AutowiredFieldElement.inject(AutowiredAnnotationBeanPostProcessor.java:643) at org.springframework.beans.factory.annotation.InjectionMetadata.inject(InjectionMetadata.java:130) at org.springframework.beans.factory.annotation.AutowiredAnnotationBeanPostProcessor.postProcessProperties(AutowiredAnnotationBeanPostProcessor.java:399) at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.populateBean(AbstractAutowireCapableBeanFactory.java:1422) at org.springframework.beans.factory.support.AbstractAutowireCapableBeanFactory.autowireBeanProperties(AbstractAutowireCapableBeanFactory.java:393) at org.springframework.test.context.support.DependencyInjectionTestExecutionListener.injectDependencies(DependencyInjectionTestExecutionListener.java:119) at org.springframework.test.context.support.DependencyInjectionTestExecutionListener.prepareTestInstance(DependencyInjectionTestExecutionListener.java:83) at org.springframework.boot.test.autoconfigure.SpringBootDependencyInjectionTestExecutionListener.prepareTestInstance(SpringBootDependencyInjectionTestExecutionListener.java:43) at org.springframework.test.context.TestContextManager.prepareTestInstance(TestContextManager.java:244) at org.springframework.test.context.junit4.SpringJUnit4ClassRunner.createTest(SpringJUnit4ClassRunner.java:227) at org.springframework.test.context.junit4.SpringJUnit4ClassRunner$1.runReflectiveCall(SpringJUnit4ClassRunner.java:289) at org.junit.internal.runners.model.ReflectiveCallable.run(ReflectiveCallable.java:12) at org.springframework.test.context.junit4.SpringJUnit4ClassRunner.methodBlock(SpringJUnit4ClassRunner.java:291) at org.springframework.test.context.junit4.SpringJUnit4ClassRunner.runChild(SpringJUnit4ClassRunner.java:246) at org.springframework.test.context.junit4.SpringJUnit4ClassRunner.runChild(SpringJUnit4ClassRunner.java:97) at org.junit.runners.ParentRunner$3.run(ParentRunner.java:290) at org.junit.runners.ParentRunner$1.schedule(ParentRunner.java:71) at org.junit.runners.ParentRunner.runChildren(ParentRunner.java:288) at org.junit.runners.ParentRunner.access$000(ParentRunner.java:58) at org.junit.runners.ParentRunner$2.evaluate(ParentRunner.java:268) at org.springframework.test.context.junit4.statements.RunBeforeTestClassCallbacks.evaluate(RunBeforeTestClassCallbacks.java:61) at org.springframework.test.context.junit4.statements.RunAfterTestClassCallbacks.evaluate(RunAfterTestClassCallbacks.java:70) at org.junit.runners.ParentRunner.run(ParentRunner.java:363) at org.springframework.test.context.junit4.SpringJUnit4ClassRunner.run(SpringJUnit4ClassRunner.java:190) at org.junit.runner.JUnitCore.run(JUnitCore.java:137) at com.intellij.junit4.JUnit4IdeaTestRunner.startRunnerWithArgs(JUnit4IdeaTestRunner.java:69) at com.intellij.rt.junit.IdeaTestRunner$Repeater$1.execute(IdeaTestRunner.java:38) at com.intellij.rt.execution.junit.TestsRepeater.repeat(TestsRepeater.java:11) at com.intellij.rt.junit.IdeaTestRunner$Repeater.startRunnerWithArgs(IdeaTestRunner.java:35) at com.intellij.rt.junit.JUnitStarter.prepareStreamsAndStart(JUnitStarter.java:232) at com.intellij.rt.junit.JUnitStarter.main(JUnitStarter.java:55)Caused by: org.springframework.beans.factory.NoSuchBeanDefinitionException: No qualifying bean of type 'demo.et.mysql.mapper.UserMapper' available: expected at least 1 bean which qualifies as autowire candidate. Dependency annotations: {@org.springframework.beans.factory.annotation.Autowired(required=true)} at org.springframework.beans.factory.support.DefaultListableBeanFactory.raiseNoMatchingBeanFound(DefaultListableBeanFactory.java:1695) at org.springframework.beans.factory.support.DefaultListableBeanFactory.doResolveDependency(DefaultListableBeanFactory.java:1253) at org.springframework.beans.factory.support.DefaultListableBeanFactory.resolveDependency(DefaultListableBeanFactory.java:1207) at org.springframework.beans.factory.annotation.AutowiredAnnotationBeanPostProcessor$AutowiredFieldElement.inject(AutowiredAnnotationBeanPostProcessor.java:640) ... 30 more
极客青年原封不动的代码报错如下：
极客青年一股清流，敬佩
匿名很好
admin 欢迎深圳的朋友
匿名博主挺有意思的
匿名1 不明觉厉
匿名 docker pull neo4j:3.5.0 看镜像版本