Jan, 2022

知识共享和转移的间隙最小化

PDF
TL;DR本文提出了性能差距这一新概念，作为数据和算法依赖的正则化因子，以控制模型复杂度，并提出了性能差距最小化原则，进一步设计了知识共享和转移的策略，并应用于两种算法：gapBoost 和 gapMTNN，通过在转移学习和多任务学习基准数据集上的广泛评估表明，这些方法优于现有的基线模型。
knowledge sharingperformance gapalgorithm-dependent regularizertransfer learningmultitask learning
发现论文，激发创造
  • 稳定间隙的扩大范围：揭示其在同质任务的联合增量学习中的存在

    在这篇论文中，我们展示了当应用于同质任务的联合增量训练时，稳定性差距也会出现。我们进一步分析了细粒度的批次分析，为潜在解决方向提供了洞见。

    Jun, 2024

  • 针对领域特定风险的最小化以实现超出分布的泛化

    本文提出了基于领域特定风险最小化（DRM）的方法，旨在通过利用源域信息和适应性差的估计和最小化来弥合领域间差异以实现领域通用性，并在不同分布漂移设置下显着优于竞争基准。

    Aug, 2022

  • 基于差异的领域可迁移性用于零样本分类

    本文探讨使用统计量来衡量不同任务间的相似性，从而减少 fine-tuning 的测试所需的任务对数量，并在 58 个任务和 6600 多个任务对组合上实验证明其可以提高任务的效率并显著降低运行时间。

    Feb, 2023

  • 迁移学习的信息论分析

    本文研究了迁移学习中的广义化误差和 excess risk 问题，提出了一种信息论分析方法。结果表明 Kullback-Leibler divergence 在特定环境中能很好地描述广义化误差，我们还将结果推广到一种特定的经验风险最小化算法中。同时，该方法在迭代，噪声梯度下降算法中有潜在的应用。

    May, 2020

  • 基于 Jensen-Shannon 散度的转移泛化差信息论界限

    本文介绍了一种基于信息理论的上限，以测量源和目标数据分布之间的差异，并将模型对每一个数据集样本的敏感性考虑在内。同时，对于加权风险最小化问题，提出了一种新的平均传输超额风险的上限。

    Oct, 2020

  • 任务迁移学习中可迁移性的信息论方法

    本文提出了一个评估跨任务表示学习有效性的 H-score 度量方式，可以对在分类问题中从一个任务传递到另一个任务的表示的性能进行评估。使用实际图像数据进行的实验表明，该评价标准不仅与经验传递度量一致，而且在源模型选择和任务转移课程学习等应用中也非常有用。

    Dec, 2022

  • 领域自适应：学习界限和算法

    本文介绍了一种针对域自适应问题的新型分布距离度量 —— 偏差距离，并给出了不同损失函数的估计方法以及普遍推广界限。同时，本文也探讨了偏差距离减少和多种损失函数的最小化算法，并验证了其在不同应用场景的有效性。

    Feb, 2009

  • 多任务学习中转移的测量与利用

    本文分析了多任务学习的信息传递动态，并开发了可量化任务间信息转移的相似度度量方法，从而使得我们在宏观和微观层面上提出了两种方法来优化多任务学习性能，这些方法在三个监督式多任务学习基准和一个多任务强化学习范式上都有显著改进。

    Oct, 2020

  • 通过分布匹配进行到未见过的领域的泛化

    本文探讨监督学习中数据导致的实际问题，着重于领域泛化研究，提出最小化给定领域对之间差异的方法，并在 EEG 数据集中验证了该策略。

    Nov, 2019

  • 线性和单隐藏层神经网络转移学习的极小化下界

    本研究开发了一个统计极小化框架以表征在回归中通过线性和单隐藏层神经网络模型进行的迁移学习的基本限制，并提取出源数据和目标数据的标记数以及适当的相似性概念作为算法所能实现的目标泛化误差的下限。我们的下限提供了迁移学习的益处和限制的新见解，并通过各种实验验证了我们的理论发现。

    Jun, 2020