Nov, 2024

代理信息引导的贝叶斯迁移学习与未知源

HTML
PDF
TL;DR本研究解决了在迁移学习中面临的挑战性问题，即学习者无法在目标任务中进行微调且不知源数据点与目标任务之间的对应关系。我们提出了一种基于代理信息的稳健概率迁移学习方法（PROMPT），能够在没有目标任务结果信息的情况下，利用代理信息进行目标任务效果的估计和源数据的稳健重加权。PROMPT的应用将促进迁移学习在未知源的情况下实现更有效的效果转移，从而降低负迁移风险。
发现论文，激发创造
  • 基于理论的因果转移：融合实例级归纳与抽象级结构学习

    采用因果理论的角度来解决迁移学习的问题，在OpenLock环境中实现了基于模型和Bayesian结构的计划者与模型学习方案，与强化学习相比，该模型表现出更好的迁移表现和类似于人类学习者的表现趋势。

    Nov, 2019

  • 迁移学习中目标数据的价值

    研究如何在迁移学习中最小化取样成本，并建立了源数据和目标数据样本大小的最小最大速率，并展示了性能限制是通过源与目标之间的不一致性捕捉的，我们称之为转移指数。

    Feb, 2020

  • 不确定性损失降低非对称多任务特征学习的负迁移

    本文提出了一种解决多任务学习中负迁移问题的方法——不对所有任务赋予相等的影响，而是根据任务损失和可信度进行加权处理，在两个数据集上的实验表明该方法能够有效减少负迁移，提高多任务学习的鲁棒性。

    Dec, 2020

  • 迁移学习的泛化能力：超参数化和欠参数化区间的表现

    本研究旨在探讨部分相似性对转移学习表现的影响，在探究各种类型的转移学习的基础上，提供了实用的指导，以确定共同部分和任务特定部分的特征数，从而实现更好的泛化性能。

    Jun, 2023

  • 具有不可靠源数据的鲁棒传输学习

    解决在稳健转移学习中由贝叶斯分类器的不确定性和目标与源分布之间弱可转移信号引起的挑战。我们介绍了一种称为''不确定性水平''的新量，用于衡量目标和源回归函数之间的差异，并提出了一种简单的转移学习过程。我们建立了一个一般定理，展示了这个新量与风险改进方面的学习可转移性是如何相关的。我们的提出的''Transfer Around Boundary''（TAB）模型，在平衡目标和源数据性能的阈值的基础上，既高效又稳健，在改进分类的同时避免了负转移。此外，我们还展示了TAB模型在非参数分类和逻辑回归任务上的有效性，达到了最优上限，与对数因子相匹配。模拟研究进一步支持了TAB的有效性。我们还提供了简单的方法来绑定过度的错误分类错误，无需在转移学习中专门的知识。

    Oct, 2023

  • 贝叶斯主动元学习的基本困境

    贝叶斯主动元学习是一种序列最优实验设计的框架，旨在解决多个不同但相关的数据稀缺任务环境中参数估计的问题，然而，在某些情况下，贪婪追求传递性知识可以损害可转移参数的估计，引起所谓的负转移。

    Oct, 2023

  • 贝叶斯迁移学习

    贝叶斯迁移学习方法在不同领域的先前知识引导新学习任务的最佳信息问题上具有广泛应用，并通过模拟研究展示了其与频率论竞争者相比的性能。

    Dec, 2023

  • 贝叶斯多任务转移学习用于软提示调优

    我们提出了一种贝叶斯多任务迁移学习方法，通过后验分布的样本获得代表性的源提示，并将其聚合以构成初始目标提示，无需辅助模型，实现高度参数效率。

    Feb, 2024

  • 具信息先验的迁移学习：简化基线优于先前报道

    使用迁移学习和先验分布来提高分类器准确性，发现使用初始化的标准迁移学习在性能上表现比以前的研究要好得多，使用信息先验的方法在不同数据集上的相对收益不同，其中使用各向同性协方差矩阵的方法在可理解性和调整性上具有竞争力

    May, 2024

  • 通过模块化提示组合优化的多任务提示调优提升少样本迁移学习

    本研究解决了多任务提示调优在知识转移方面的性能不足问题。提出了一种新的方法，将目标任务的提示分解为共享提示和特定任务提示，通过组合来优化最终提示。在少样本设置下，该方法显著提高了准确性和稳健性，相较于传统提示调优方法和其他相关研究，显示出更优越的表现。

    Aug, 2024