研究了分布式存储系统中的安全性和本地修复性,探讨了系统弹性、安全性和本地修复性之间的平衡,并提出了多种安全且带有本地修复性的编码方案。该论文包括改进了的最小存储再生代码保密能力界限,针对一些特殊情况实现该界限的安全编码方案,以及本地修复代码的最小距离边界和实现该边界的编码构造等关键结果。
Oct, 2012
本文提出了一种新型的纠删码族,其在可靠性和本地性之间的最小距离与本文所确定的权衡相比,具有更高的可修复性和更高的可靠性。 并将其应用于 Hadoop HDFS 中,相较于使用 Reed-Solomon 编码的 HDFS 模块,我们的修改后的 HDFS 实现在磁盘 I/O 和网络通信方面,显示出约 2 倍的降低。 然而,相比于 Reed-Solomon 编码,新编码方案需要额外 14%的存储空间作为代价。
Jan, 2013
提出了一个新的自修复码(SRC)方案,它可以通过直接从其他编码块中修复破损的编码块以及固定的修复块个数,来改善存储系统中修复过程中的通信开销。经过静态韧性分析,得出 SRC 相较于传统纠删码略微增加存储开销,但在修复破损编码块时可以达到低通信开销和高效并行修复的优点。
Jul, 2010
论文提出了一种针对分布式存储系统的编码方案,可以实现简单查找修复且具有任意高数据传输速率,并在云存储模拟中实验验证表明,相较于复制和标准的 Reed-Solomon 编码,该编码方案在性能和可靠性方面具有显著优势。
Sep, 2011
本篇文章介绍了一种局部可恢复编码(LRC),其使用特殊构造的多项式在有限域上进行编码,并通过多项式插值进行局部恢复。此外,还构造出具有多个不相交恢复集的编码,从而实现对热数据的高可用性。
Nov, 2013
本文提供了一种基于局部编码的向量编码类构造方法,这种编码方法既满足重建码的要求,又具有编码局部性质,能够在分布式储存系统的故障节点修复中最大化地减少数据下载量和辅助节点的个数,并对各种情况下的编码性能进行了比较。
Nov, 2012
本文针对分布式存储应用中出现的信息符号局部性和線性码本身的修改,提出了一种新的纠错码方法,该方法可以在出现局部校验错误时恢复被删除的码符号,并给出了相应的严格界限。
Feb, 2012
本篇论文提出了一种基于最大秩距(MRD)码和最优修复最大距离可分(MDS)数组码的级联编码方案,以应对分布式存储系统中的对抗性错误,在保证数据容错性的同时,减少节点修复过程中的数据传输损失。该方案不仅可应对一次替换内容的对抗攻击,还可通过结合子空间签名机制,适应多次污染数据类型的对抗攻击。最后,该论文还提出基于 MRD 码的构造方法,构建出可在本地修复并容忍对抗性错误的标量码。
本文针对如何高效恢复数据备份时 erasure codes 的网络和磁盘带宽占用问题,通过 Piggybacking 框架提出了一种新型存储编码,能在保证存储效率的前提下,减少 30% 左右的占用,并在 Facebook 的数据仓库集群中实测证明能降低近 50TB / 天的跨机房的流量。
Sep, 2013
使用 Hadamard 矩阵构建首个具有最优恢复性能的 2 - 偶校验 MDS 存储代码,扩展到设计实现系统节点失效的 m - 奇偶校验 MDS 代码。
Jun, 2011