MDS 队列:分析纠错码的延迟性能
该论文研究采用系统可用性编码的分布式存储系统中的预期下载时间分析方法,并通过比较可用性、MDS 和复制编码的系统,展示了可用性编码在某些情境下可以减少下载时间但并非总是最优解。同时,通过数值模拟和 M/G/1 队列逼近,给出了该系统高流量模式下下载时间的上下界和对几种情况的逼近精度。
Dec, 2019
本文介绍了一种通用技术来分析存储结构,结合任何形式的编码和复制,并提出了两种使用纠删码维护冗余的新方案:第一种是直接从系统中现有的片段中最优生成 MDS 片段,第二种是引入一种名为 Regenerating Codes 的新方案,比 MDS 更节约带宽,可以降低 25% 或更多的维护带宽使用。同时简化了系统结构。
Feb, 2007
通过采用线性编码和阻塞式一调度算法来使数据检索时延减少 17%,该文章量化了代码可以减少存储系统中数据检索延迟的程度,为数据中心和内容分发网络的存储系统设计提供了有深度的指导意义。
Feb, 2012
本篇论文提出了一种基于最大秩距(MRD)码和最优修复最大距离可分(MDS)数组码的级联编码方案,以应对分布式存储系统中的对抗性错误,在保证数据容错性的同时,减少节点修复过程中的数据传输损失。该方案不仅可应对一次替换内容的对抗攻击,还可通过结合子空间签名机制,适应多次污染数据类型的对抗攻击。最后,该论文还提出基于 MRD 码的构造方法,构建出可在本地修复并容忍对抗性错误的标量码。
Feb, 2012
在分布式计算系统中,通过编码存储的数据可以减少迟滞服务器造成的延迟,并减少在洗牌阶段的服务器之间的通信负载。本文通过内部的重复编码来提高外部最大距离可分离(MDS)码的速率,进而提高洗牌阶段的多播机会,从而改善了最佳延迟和通信开销之间的平衡。
Aug, 2018
本文提出了一种新的使用排序编码子矩阵的 MDS 码构造方法,该方法可用于支持恢复单个磁盘故障的最小修复带宽的设计,同时,提出了在线性码中实现子空间干扰对齐的新框架。
Jun, 2011
本文介绍两种分布式计算方案:基于 MDS 代码的矩阵乘法分块编码方案和基于 Luby Transform 码的 inactivation 译码方案。数值结果表明,本文所提出的方案在截止日期内的性能优于文献中的其他方案。
Dec, 2017
使用 Hadamard 矩阵构建首个具有最优恢复性能的 2 - 偶校验 MDS 存储代码,扩展到设计实现系统节点失效的 m - 奇偶校验 MDS 代码。
Jun, 2011
本文针对如何高效恢复数据备份时 erasure codes 的网络和磁盘带宽占用问题,通过 Piggybacking 框架提出了一种新型存储编码,能在保证存储效率的前提下,减少 30% 左右的占用,并在 Facebook 的数据仓库集群中实测证明能降低近 50TB / 天的跨机房的流量。
Sep, 2013
本文提出了一种新型的纠删码族,其在可靠性和本地性之间的最小距离与本文所确定的权衡相比,具有更高的可修复性和更高的可靠性。 并将其应用于 Hadoop HDFS 中,相较于使用 Reed-Solomon 编码的 HDFS 模块,我们的修改后的 HDFS 实现在磁盘 I/O 和网络通信方面,显示出约 2 倍的降低。 然而,相比于 Reed-Solomon 编码,新编码方案需要额外 14%的存储空间作为代价。
Jan, 2013