Feb, 2023

DART: Diversify-Aggregate-Repeat 训练改进神经网络的泛化性能

PDF
TL;DR本文提出了一种名为 DART 的训练策略，它先使用不同的增强（或域）训练不同的模型，然后将它们的权重聚合起来，以获得更好的泛化性能。该方法不仅在内部领域泛化方面取得了改进，而且在流行的 DomainBed 框架中，我们还展示了域泛化基准的 SOTA 性能。
发现论文，激发创造
  • 多源域自适应领域聚合网络

    本研究利用多个源数据集来学习针对不同但相关的目标数据集的模型，并且提出了一种理论上有依据的优化程序。通过有效地调整每个源域的权重，所提出的算法可以在情感分析和数字识别等数据集上显著优于现有的最先进方法。

    Sep, 2019

  • 通过测试时间神经网络聚合进行迁移学习

    本研究提出了一种新的转移学习方法，利用网络聚合解决深层神经网络领域偏移问题和之前学习知识的灾难性遗忘问题。我们证明了所提出的方法在测试时不需要任何额外训练步骤即可学习模型聚合，减轻了转移学习的负担。

    Jun, 2022

  • 重新思考领域泛化基线

    本文针对深度学习部署时出现的不稳定问题，研究了领域泛化方法和数据增强策略。作者聚焦于风格迁移数据增强，展示了如何以简便廉价的策略实现增强，分析了现有领域泛化方法与该策略结合时的表现，并提出了新的领域泛化研究方向。

    Jan, 2021

  • DART：Dropouts meet Multiple Additive Regression Trees

    本文提出一种新的利用 Dropouts 工具的方法，称为 DART 算法，用于解决多个回归树的集成模型中存在的过度特化问题，实验结果表明 DART 算法在排名、回归和分类任务中表现出优异的性能，并且在很大程度上克服了过度特化的问题。

    May, 2015

  • 将监督领域泛化融入数据增强

    通过将数据增强作为监督领域泛化问题，并利用对比语义对齐损失方法，提高数据增强的鲁棒性和训练效率。实验证明，该方法改善了典型数据增强的鲁棒性和训练效率。

    Oct, 2023

  • 通过排除极端增强技术实现领域泛化

    在非领域内和领域泛化设置中，通过使用均匀采样的标准数据增强转换，增加转换的强度以适应领域外的更高数据差异，并设计新的奖励函数来拒绝可能损害训练的极端转换，我们的数据增强方案达到与基准领域泛化数据集上的最先进方法相媲美甚至更好的准确性。

    Oct, 2023

  • 可微分架构搜索的理解和稳健性提高

    本文研究了 Differentiable Architecture Search 在新问题上失效的问题，发现了通过添加不同类型的正则化项可以改善其在架构空间中高验证损失曲率区域的性能，提出了几种简单的改进方案，实测表现更加稳健。这些观察结果适用于五种搜索空间，三个图像分类任务，以及稠密回归任务和语言建模任务。

    Sep, 2019

  • 多样性感知的无偏锐度最小化集成方法

    我们的工作调查了集成学习和损失尖锐度最小化相结合是否能增加泛化能力，并提出了 DASH 算法，该算法在深度集成中促进多样性和扁平性，理论和实证证据表明集成的可泛化性得到了改进。

    Mar, 2024

  • 多元加权平均用于区分分布外泛化

    本文介绍了一种新的权重平均策略 ——Diverse Weight Averaging (DiWA)，通过多次独立训练获得的模型权重进行平均，以增加模型的功能多样性，并提出了一种新的误差分解方法来说明多模型平均在测试期间建模分布发生变化时成功的原因，并通过实验证明，DiWA 在不增加推理开销的情况下始终提高了 DomainBed 基准的表现。

    May, 2022

  • 领域对齐前缀平均化在抽象化摘要领域通用化中的应用

    本文提出了一种名为 DAPA 的轻量级领域通用前缀平均方法，通过源域的前缀生成目标域摘要，并利用加权平均源前缀的相似性计算权重。实验结果表明，DAPA 具有较好的性能表现。

    May, 2023