- 从第一信息理论原理解码非随机数据中的几何属性
应用信息论、测度论和理论计算机科学的原理,我们介绍了一种具有广泛应用于编码理论的单变量信号去卷积方法,特别是在零知识单向通信渠道中,例如从未知生成源解码没有先验知识和无法发送返回消息的信息。我们的多维空间重建方法从任意接收到的信号中得出的结 - ICML压缩异步梯度下降的轻量级投影导数编码
该论文提出了一种新的算法,利用编码理论将局部导数进行编码和压缩,用于解决大规模数据集梯度下降过程中的延迟和其他故障。
- IJCAI编码联邦 Dropout 的快速服务器学习率调整
本文利用编码理论来提高跨设备联合学习中的 Federated Dropout(FD)算法的训练精度,实现了较高的训练速度和与无 Dropout 情况下相同的最终精度,并在 EMNIST 数据集上取得了很好的效果。
- MMAI 编码:学习构建纠错码
通过人工智能技术设计纠错码的方法和框架,虽然这种方法不依赖于编码理论,但是使用强化学习和进化算法构建的线性码和极化码等码的性能仍然可以与经典编码的性能相当,甚至优于经典编码构造方式在某些情况下无法实现最优表现。
- ICLR基于深度学习的通信算法
本文研究使用深度学习自动发现解码算法的可行性,并展示了我们训练的循环神经网络架构能够在自适应 AWGN 频道模型下,解码着名的顺序编码达到接近最优的性能。
- ICMLDRACO:通过冗余梯度进行拜占庭错误容错的分布式训练
通过编码理论,我们提出了 DRACO,一个可伸缩的分布式训练框架,用于解决分布式模型训练中的拜占庭系统故障和对抗计算节点等问题,DRACO 具有问题无关的鲁棒性保证,并且训练的模型与无对手的设置中训练的模型相同。
- Hadamard Response:高效、低通信、隐私保护的分布估计
该论文提出了一种名为 Hadamard Response 的本地隐私保护方案,可在高隐私水平下使用,并在所有 ε 下具有最优的样本复杂度,通信不超过每个用户的 log k + 2 位,并且具有几乎线性的运行时间,该方案的编码和解码基于 Ha - NIPS数据编码在分布式优化中的缓解残留问题
本文提出了一种直接在数据中嵌入冗余来处理缓慢任务的新方法,通过一些编码技巧将复制数据的策略转换到线性计算过程中,从而利用节点的任意变化在没有等待慢节点的情况下完成散列计算,并通过实验结果表明此方法的优势。
- 循环 MDS 码和扩展器图的梯度编码
本文介绍梯度编码的技术,通过使用编码理论中的循环 MDS 码设计新颖的梯度编码,并引入一个近似变种,通过使用展开图的归一化邻接矩阵,实现了优秀的近似梯度编码,可以比精确梯度编码更高效地减少计算,确保更快地收敛。
- 利用 Reed-Solomon 码改进分布式梯度下降
本文介绍了一种分布式梯度下降方法,该方法使用编码理论并考虑存在 stragglers 的情况,以恰当的机器学习问题为应用场景,理论证明了在给定机器计算能力的情况下,可以通过最少数量的机器 $f$ 通过 $O (f^2)$ 解码算法恢复梯度, - NIPSShort-Dot”: 使用编码短点积分布式计算大规模线性变换
本文介绍了一种基于编码理论的新技术,名为‘Short-Dot’,通过引入冗余计算来解决分布式计算中遇到的异常缓慢的处理器(即‘stragglers’)问题,并且相较于传统方案,Short-Dot 能够在减少计算、存储和通讯成本的同时提升计算 - 使用稀疏图代码学习稀疏线性回归混合模型
本文研究稀疏线性回归的混合模型,提出了基于混合着色、编码理论和统计推断的新算法,实现了低样本和计算成本下的参数向量估计。
- 使用编码理论进行多类标注的可靠众包
本文介绍了一种利用码的错误控制代码和解码算法来设计众包系统的方法,以实现对于不可靠众包工作者进行可靠分类。我们分析了三种不同的众包模型,并考虑了众包质量的排序原则,结果表明利用好的码可能优于常规的多数表决方法。
- 离散受限玻尔兹曼机
介绍了离散受限玻尔兹曼机,其是一种具有双分区交互的可视和隐藏离散变量的概率图模型,阐述了这些模型中的推断函数和分布式表示,以及它们在所述可视状态的任何概率分布上逼近任何给定精度的隐藏变量数量的界限,并使用代数方法和编码理论计算其维度。
- 线性规划解码
该研究考虑在编码理论中经常讨论的经典的纠错问题,研究了一种基于凸优化和线性规划的测量恢复方法,该方法可以恢复出原始输入向量,即使输入向量的大部分输出都是被损坏的。
- Grassmannian Frames 在编码和通信中的应用
定义了固定冗余度的均匀框架的 Grassmannian 框架,分析了有限维 Grassmannian 框架的理论界限和设计方法,以及基于群状酉系统的无限维 Grassmannian 框架的特性和实例,并探讨了 Grassmannian 框架