本文提出了一种使用稀疏诱导分布对数据进行压缩的算法（SIDCo），可以在降低模型质量和额外计算量的情况下，提高深度神经网络的分布式训练效率。在基准测试中，该算法相对于无压缩基线、Topk 和 DGC 压缩器，可以将训练时间提高最多 41.7％，7.6％和 1.9％。

Jan, 2021

本文提出深度梯度压缩 (DGC)，通过动量修正、局部梯度截断、动量因子掩模和预热训练，使得分布式 SGD 中 99.9% 的梯度交换变得不重要，从而大大减少通信带宽需求，有效保持模型准确率，支持在 1Gbps 以太网和移动设备上进行大规模分布式训练。

Dec, 2017

在移动环境中，分布式机器学习面临着严重的通信瓶颈问题。梯度压缩已成为解决此问题的有效方法，在带宽有限和流量计费等环境中可以提供显著的好处。然而，在非 IID 环境中，由于一种适用于所有数据的压缩方法，它们遭遇到严重的性能下降。为具有不同数据分布和数据量的工作节点分配不同的压缩率因此是一个有前景的解决方案。本研究介绍了一种使用非均匀压缩的分布式 SGD 分析方法，揭示了收敛速率（指实现某个准确度所需的迭代次数）受应用于具有不同数据量的节点的压缩率的影响。因此，我们将相对压缩率分配作为一个 $n$ 个变量卡方非线性优化问题进行建模，并在通信开销有限的约束下进行求解。我们提出了 DAGC-R 方法，将具有较大数据量的节点分配保守的压缩率。鉴于移动设备的计算能力有限，我们还提出了 DAGC-A 方法，在非均匀数据分布的场景中具有较低的计算需求，并提高了绝对梯度压缩器的鲁棒性。实验证明，DAGC-A 和 DAGC-R 在处理高度不平衡的数据量分布和受限通信时能够获得更好的性能。

Nov, 2023

提出了一种新的名为全局动量压缩的方法，其利用稀疏通信和记忆梯度与动量随机梯度下降相结合，能够在分布式机器学习任务中显著减少通信成本，同时证明了该方法在凸问题和非凸问题中的收敛速率。

May, 2019

本文提出了一种改进型的 GAN 图像压缩方法，通过使用 DISTS 和 MS-SSIM 指标对颜色、纹理和结构的感知退化度量以及吸收离散化的高斯 - 拉普拉斯 - 逻辑混合模型（GLLMM）来改善熵模型的准确性，并采用 MOS 实验直接评估重构图像的感知质量，实验结果表明该方法优于现有的 GAN 方法和 VVC 等最先进的混合编解码器。

Jun, 2023

通过可逆神经网络，我们提出了 INN-RSIC 方法，用于解码远程感应图像并实现高感知质量，在低比特率下尤为重要。我们采用现有图像压缩算法捕捉压缩失真，并通过 INN 将其编码为一组高斯分布的潜在变量，使解码图像中的压缩失真与真实图像无关。因此，通过利用 INN 的逆映射，我们可以将解码图像以及一组随机重采样的高斯分布变量输入到逆网络中，有效生成感知质量更好的增强图像。我们通过引入量化模块（QM）来缓解格式转换的影响，从而提高框架的泛化能力和增强图像的感知质量。广泛的实验表明，我们的 INN-RSIC 在感知质量方面明显优于现有的传统和基于深度学习的图像压缩方法。

May, 2024

通过利用潜在扩散模型的失真先验信息，提出了一种基于深度学习的遥感图像压缩方法，该方法利用生成的先验信息，通过增强网络实现对图像的质量提升。

Jun, 2024

该研究设计并提出了一种基于动态分组卷积的轻量级模型，并应用于高光谱图像分类计算任务，取得了较高的速度和准确度，较传统方法优越。

Jul, 2023

本研究提出了一种名为 GraSS 的基于自我监督对比学习的遥感图像语义分割方法，利用对比损失梯度中的区域信息和自适应选取策略，以构建新的正负样本，从而有效地提高了高分辨率遥感图像语义分割的性能。

Jun, 2023

提出了一种名为 S2RC-GCN 的新型空间光谱可靠对比图卷积分类框架，通过融合一维和二维编码器提取的光谱和空间特征，构建图形并将其输入到图卷积网络中以确定更有效的图形表示，进一步提出了一种可靠的对比图卷积方法以学习和融合鲁棒特征，测试结果表明该模型在复杂对象分类方面取得了最佳效果，有效提高了复杂遥感图像的分类性能。

Apr, 2024