GRAD-MATCH: 基于梯度匹配的数据子集选择方法用于高效深度模型训练

Feb, 2021

GRAD-MATCH: 基于梯度匹配的数据子集选择方法用于高效深度模型训练

GRAD-MATCH: Gradient Matching based Data Subset Selection for Efficient Deep Model Training

Krishnateja Killamsetty, Durga Sivasubramanian, Ganesh Ramakrishnan, Abir De, Rishabh Iyer

TL;DR本文提出了 GRAD-MATCH 作为一种有效的数据子集提取算法，该算法使用正交匹配追踪算法有效地找到与训练或验证集的梯度相匹配的数据子集，实验表明该算法在精度和效率上都有显著提升。

Abstract

The great success of modern machine learning models on large datasets is contingent on extensive computational resources with high financial and environmental costs. One way to address this is by extracting subsets that generalize on par with the full data. In this work, we propose a g

machine learning data subset selection grad-match orthogonal matching pursuit algorithm accuracy-efficiency trade-off

发现论文，激发创造

选择性反向传播中梯度匹配的负面结果

通过选择最优匹配整个微批量平均梯度的（加权）子集，同时使用梯度作为廉价的代理，研究表明，无论是基于损失还是梯度匹配策略，都不能始终超越随机选择基准线，以加快深度神经网络训练过程中的计算速度。

Dec, 2023

使用梯度匹配的数据集压缩

本文提出了一种名为数据集精简的数据高效学习方法，该方法从大量数据中学习到一组信息丰富的合成样本来训练深度神经网络，并将此目标表述为深度神经网络权重梯度匹配问题，此技术在计算机视觉基准测试中表现出较高性能，并且在有限的内存和计算宝贵的情况下实现了不俗的成绩。

Jun, 2020

RGM: 一个强大的全能匹配模型

通过在多个尺度上迭代地探索几何相似性，并使用一种额外的不确定性估计模块进行稀疏化，我们提出了一种名为 RGM（Robust Generalist Matching）的深度模型，用于稀疏和密集匹配。通过生成具有较大间隔的光流监督，我们构建了一个包含稀疏对应关系真值的新的大规模数据集，从而缩小了合成训练样本和真实场景之间的差距。通过在大型混合数据上以两阶段方式学习匹配和不确定性估计，我们显著提高了我们所提出的 RGM 模型的泛化能力。在多个数据集上实现了零样本匹配和下游几何估计的卓越性能，优于先前的方法很多。

Oct, 2023

通过一步梯度匹配压缩图

本文提出了一种基于概率图模型和单步梯度匹配的高效数据集压缩方法，能够在保持性能的前提下将数据集大小缩减 90%。

Jun, 2022

领域泛化的梯度匹配

本文提出了一种名为 Fish 的一阶优化算法，通过最大化不同领域的梯度内积来实现针对领域泛化的互领域梯度匹配目标。在 Wilds 基准测试数据集上，Fish 方法的表现优于其他基线方法，并在 4 个数据集上领先。同时，作者还在涵盖多种领域转移的 DomainBed 基准测试数据集上进行了实验验证，证明了该方法在领域泛化任务中的有效性。

Apr, 2021

可解释的分布式学习中的数据融合：一种代表性的梯度匹配方法

该论文介绍了一种基于代表性的分布式学习方法，将多个原始数据点转化为虚拟表示。相比于传统的分布式学习方法如联邦学习，该方法能使复杂的机器学习过程可解释且易懂，通过将庞大的数据集压缩成可理解的格式来促进人机直观交互。此外，该方法能保持隐私和通信效率，并且在训练性能上与使用原始数据的模型相媲美。模拟结果表明，在复杂模型和更多客户端的场景下，该方法在准确性和收敛性方面与传统的联邦学习相比具有竞争力甚至更好。该框架在整合人类直觉和机器智能方面迈出了一步，有潜力增强人机学习界面和协作努力。

May, 2024

CoMatch：对比图正则化的半监督学习

CoMatch 是一种新的半监督学习方法，它通过学习数据的两种表示（类概率和低维嵌入）相互作用来统一主流方法并解决其局限性，并在多个数据集上实现了最先进的性能。

Nov, 2020

MixMatch: 半监督学习的整体方法

本研究提出了一种半监督学习算法 MixMatch，采用猜测低熵标签的方法，通过使用 MixUp 混合标记和未标记的数据来处理扩充后的未标注样例。实验结果表明，MixMatch 在许多数据集和标记数据量上都取得了大幅度的优越结果，同时也证明了 MixMatch 如何帮助实现更好的准确性和隐私权的权衡。最终，我们进行了消融研究来分离 MixMatch 的哪些组件对其成功最为重要。

May, 2019

用生成匹配网络实现生成模型的快速适应

我们开发了一种基于 “匹配网络” 的新生成模型 Generative Matching Network，该模型通过在额外输入数据集的条件下学习新的概念，无需使用广泛推理过程进行训练或适应，且在可用的更多附加数据的情况下显着提高了预测性能，优于现有的最先进条件生成模型。

Dec, 2016

任务子空间中的模型匹配合并

模型合并通过廉价地将个别任务特定模型合并成一个多任务模型。在本研究中，我们将过去的合并方法视为在合并之前利用不同概念的 “任务子空间” 进行模型匹配。我们将给定模型的任务子空间与其损失函数空间联系起来，并确立了模型合并方法可以看作是解线性方程组的形式化过程。我们探讨了使用共轭梯度方法寻找解决方案的可能性，并展示了共轭梯度方法可以超越解析解的性能，实现对其他难以求解线性系统的合并，并且可以灵活选择 “任务子空间” 的初始值和估计值。我们最终证明了我们的合并框架 “在任务子空间中匹配模型”（MaTS）在多任务和中间任务模型合并方面取得了最先进的结果。我们在此网址 https://URL 中发布了我们工作中使用的所有代码和检查点。

Dec, 2023