Oct, 2012

分布式存储系统的最优本地可修复和安全编码

PDF
TL;DR研究了分布式存储系统中的安全性和本地修复性，探讨了系统弹性、安全性和本地修复性之间的平衡，并提出了多种安全且带有本地修复性的编码方案。该论文包括改进了的最小存储再生代码保密能力界限，针对一些特殊情况实现该界限的安全编码方案，以及本地修复代码的最小距离边界和实现该边界的编码构造等关键结果。
发现论文，激发创造
  • 本地可修复编码

    探讨了局部修复度的修复度度量，在此度量下在局部修复、编码距离和每个节点的存储容量之间存在的信息理论折衷。提出了实现此折衷的局部修复码，通过局部感知流图小工具证明了可实现性，最后提出了基于 Reed-Solomon 块的最佳和明确的局部修复码来实现任意高的数据率。

    Jun, 2012

  • 简单再生码：云存储的网络编码

    论文提出了一种针对分布式存储系统的编码方案，可以实现简单查找修复且具有任意高数据传输速率，并在云存储模拟中实验验证表明，相较于复制和标准的 Reed-Solomon 编码，该编码方案在性能和可靠性方面具有显著优势。

    Sep, 2011

  • 通过排列度公式码实现分布式存储的误差容错

    本篇论文提出了一种基于最大秩距（MRD）码和最优修复最大距离可分（MDS）数组码的级联编码方案，以应对分布式存储系统中的对抗性错误，在保证数据容错性的同时，减少节点修复过程中的数据传输损失。该方案不仅可应对一次替换内容的对抗攻击，还可通过结合子空间签名机制，适应多次污染数据类型的对抗攻击。最后，该论文还提出基于 MRD 码的构造方法，构建出可在本地修复并容忍对抗性错误的标量码。

    Feb, 2012

  • 局部再生码

    本文提供了一种基于局部编码的向量编码类构造方法，这种编码方法既满足重建码的要求，又具有编码局部性质，能够在分布式储存系统的故障节点修复中最大化地减少数据下载量和辅助节点的个数，并对各种情况下的编码性能进行了比较。

    Nov, 2012

  • 分布式存储系统自修复同态码

    提出了一个新的自修复码（SRC）方案，它可以通过直接从其他编码块中修复破损的编码块以及固定的修复块个数，来改善存储系统中修复过程中的通信开销。经过静态韧性分析，得出 SRC 相较于传统纠删码略微增加存储开销，但在修复破损编码块时可以达到低通信开销和高效并行修复的优点。

    Jul, 2010

  • 在 Facebook Warehouse Cluster 中研究纠删编码分布式存储系统数据恢复的网络挑战解决方案

    本文针对如何高效恢复数据备份时 erasure codes 的网络和磁盘带宽占用问题，通过 Piggybacking 框架提出了一种新型存储编码，能在保证存储效率的前提下，减少 30% 左右的占用，并在 Facebook 的数据仓库集群中实测证明能降低近 50TB / 天的跨机房的流量。

    Sep, 2013

  • 分布式存储系统的网络编码

    本文介绍了一种通用技术来分析存储结构，结合任何形式的编码和复制，并提出了两种使用纠删码维护冗余的新方案：第一种是直接从系统中现有的片段中最优生成 MDS 片段，第二种是引入一种名为 Regenerating Codes 的新方案，比 MDS 更节约带宽，可以降低 25% 或更多的维护带宽使用。同时简化了系统结构。

    Feb, 2007

  • 异或象：大数据的新型纠删码

    本文提出了一种新型的纠删码族，其在可靠性和本地性之间的最小距离与本文所确定的权衡相比，具有更高的可修复性和更高的可靠性。 并将其应用于 Hadoop HDFS 中，相较于使用 Reed-Solomon 编码的 HDFS 模块，我们的修改后的 HDFS 实现在磁盘 I/O 和网络通信方面，显示出约 2 倍的降低。 然而，相比于 Reed-Solomon 编码，新编码方案需要额外 14％的存储空间作为代价。

    Jan, 2013

  • 通过子空间干扰对分布式存储中的 MDS 码进行最优修复

    本文提出了一种新的使用排序编码子矩阵的 MDS 码构造方法，该方法可用于支持恢复单个磁盘故障的最小修复带宽的设计，同时，提出了在线性码中实现子空间干扰对齐的新框架。

    Jun, 2011

  • 具有本地纠错特性的最优线性码

    本文针对分布式存储应用中出现的信息符号局部性和線性码本身的修改，提出了一种新的纠错码方法，该方法可以在出现局部校验错误时恢复被删除的码符号，并给出了相应的严格界限。

    Feb, 2012