分布式和自适应速率特征压缩

Apr, 2024

Distributed and Rate-Adaptive Feature Compression

Aditya Deshmukh, Venugopal V. Veeravalli, Gunjan Verma

TL;DR我们研究了分布式和自适应速率的特征压缩问题，通过传感器收集线性回归模型的不同特征，设计了一种特征压缩方案以适应不断变化的通信约束，并通过模拟实验证明了该方案的有效性。

Abstract

We study the problem of distributed and rate-adaptive feature compression for linear regression. A set of distributed sensors collect disjoint features of regressor data. A fusion center is assumed to contain a pretrained linear regression model, trained on a dataset of the entire unco

distributed feature compression rate-adaptive compression linear regression communication-constrained channels adaptive scheme

发现论文，激发创造

一种用于无线物联网中带宽高效分布式推理的学习框架

本文提出一种基于深度学习的机器消耗数据压缩和量化框架，以最大化在融合中心推导出的全局决策的准确性为目标，并提出以感测目标为设计基础的数据压缩机制和熵量化器方法，相较于其他基准模型在性能上有较大提升。

Mar, 2022

自适应网络上的压缩回归

本文研究了分布式代理网络解决回归问题的性能及其在通信约束下的自适应能力，采用 ACTC 扩散策略，在邻居代理之间交换的信号中使用随机差分压缩算子进行编码。提供了均方估计误差的详细特征描述，揭示了压缩损失与分布式回归问题的基本属性之间的定量关系，以及优化资源分配的重要性，提出了在线学习的优化参数分配策略，并给出实例验证。

Apr, 2023

模型压缩的失真率研究：从理论到实践

本文研究深度神经网络模型压缩技术，提出了基于速率失真理论的压缩架构以及优化剪枝和量化技术，理论上证明了该架构对于一层 ReLU 神经网络最优，实验证明该方法在压缩 - 精度平衡上显著优于基线方法。

Oct, 2018

高失真率压缩辅助联邦学习的资源分配

提出基于压缩辅助的联邦学习问题，通过将其分解为子问题并基于协作博弈来有效分配无线资源，从而优化了 IoT 设备和服务器之间的通信，通过积极控制参与学习的设备数量，既可避免训练发散又能保持通信效率。

Jun, 2022

关于异构数据分布式优化的通信压缩

本文研究比较了两种标准的数据压缩方法：分布式量化 SGD 和分布式 SGD 反馈错误的压缩机在非独立同分布数据集的训练效果，结果表明，后者比前者更适合非独立同分布数据，但两种方法都会因为数据分布的不均匀而变慢。文中还提出一种对于强凸问题有效的方法和适用于线性压缩器的更通用的方法。

Sep, 2020

在有限通信条件下维持分布式学习和优化的线性收敛性

研究分布式优化和机器学习中如何通过压缩信息和设计通信协议来降低通信时间并保持算法收敛性的方法和框架。

Feb, 2019

关于分类的分布式量化

本文提出了一种分布式量化方案，旨在用训练数据为分类器设计量化器，不需要先验数据假设，而是专注于正确分类，可在任何特征数、任何类别数和任意特征分布的情况下进行多项式时间量化算法的设计。结果表明，将量化器适应于分类任务可以获得显着的节省，并可在保持预测精度不变的情况下将比特通信数量减少超过两倍。

Nov, 2019

异构数据下的联邦神经网络压缩

本文提出了一种分布式源模型，旨在从现实世界的分散在客户端上的、可能存在统计异质性但共享共同基础表示的数据中学习压缩器。作者使用了个性化联邦学习方法，从而允许在客户端之间学习全局潜在空间，并采用适应客户潜在分布的个性化熵模型。经验证明，该策略优于仅使用本地方法，这表明在统计异质性的联合设置中，学习压缩也受益于共享全局表示。

May, 2023

分布式特征下的监督学习

本研究探讨了在大规模数据集和大维特征空间场景下的学习问题，通过考虑网络中代理人传播的特征信息，并提出了一种新颖的动态扩散构造、管道策略和方差减少技术相结合的分布式学习算法，能够实现在原始域中的线性收敛和全局最小值解。

May, 2018

分布式优化的无偏单尺度和多尺度量化器

本文提出了一组全局归约兼容的梯度压缩方案，通过压缩梯度实现降低通信开销的目的，并取得比当前深度学习框架提供的方法更好的表现效果。

Sep, 2021