Dec, 2023

利用迁移学习和元学习提高弱监督搜索的性能

PDF
TL;DR弱监督搜索有理论上能够在实验数据上进行训练并且能够学习到独特的信号特性的优点。然而，这种搜索的实际应用受到成功训练神经网络所需的大量信号的限制。本文旨在通过使用迁移学习和元学习来创建可以从较少实验信号中学习的神经网络。总体思想是首先在仿真数据上训练神经网络，以便学习可复用的概念或成为更高效的学习者。然后，神经网络将在实验数据上进行训练，并且由于之前的训练，需要较少的信号。我们发现，迁移学习和元学习可以显著提高弱监督搜索的性能。
weak supervision searchesneural networkstransfer learningmeta-learningperformance improvement
发现论文，激发创造
  • 探究迁移学习和元学习的相对性能

    该研究对两种不同方法进行了广泛调查研究，即迁移学习和元学习，以解决机器学习中有限数据的问题，并得出了在不同条件下两种方法的表现并评估了训练数据集大小对它们的影响。这项综合性探索为确定在任何情况下选择最适合的方法提供了见解。

    Oct, 2023

  • 通过全监督学习从弱监督学习中学习

    本文介绍了一种在大数据情况下使用弱标签和少量真正标注数据训练神经网络的方法，通过训练目标网络和置信网络来控制目标网络的梯度更新，从而避免使用有噪音标记的数据更新网络权重会影响目标网络模型的品质。

    Nov, 2017

  • 学习什么和在哪里转移

    本研究提出了一种基于元学习的转移学习方法，可以在异构架构和任务之间自动学习来自源网络的知识应该转移到目标网络的哪个位置，该方法在多种数据集和网络架构上都显著优于手工制定的传统方法。

    May, 2019

  • 控制性弱监督训练神经网络：避免重复导师的错误

    该研究提出了一种半监督学习方法，利用一个 “目标网络” 和一个 “置信网络” 进行多任务训练，在大量弱注释未标注数据上优化目标网络，同时用置信网络的分数来加权目标网络的梯度更新，以避免噪声标签对目标网络模型的质量造成损害，并在评估中证明其相对基线的性能得到提高，同时从弱标签中提高了学习速度。

    Nov, 2017

  • 一种用于定制模型训练的元学习方法

    本文提出了一种联合训练方法，将迁移学习和元学习相结合，从而在少分类、少样本以及多分类、多样本任务中均可获得更好的泛化性能。

    Sep, 2018

  • 监督信号信息化程度的研究

    通过对比学习和分类等几种常用的监督信号的信息论分析，我们确定了它们如何为表示学习性能做出贡献以及在训练数据集的标签数、类数和维数等培训参数影响下学习动力学如何受影响。我们通过一系列模拟实验进行了实证验证，并进行了成本效益分析，以建立一条权衡曲线，使用户能够优化在自己的数据集上监督表示学习的成本。

    Nov, 2022

  • 重新审视元学习作为监督学习

    本文提出了一个基于对元学习与传统监督学习之间联系的重新审视和加强的原则性统一框架，通过把任务特定数据集和目标模型看作（特征、标签）样本，我们可以把许多元学习算法归约到监督学习的实例中，进一步提高了元学习的表现。

    Feb, 2020

  • 通过难度任务实现元转移学习

    本文提出了一种新颖的元转移学习（MTL）方法，通过学习每个任务的深度神经网络权重的缩放和移位函数来实现权重的转移，同时引入了硬任务元批处理方案作为有效的学习课程，对三个具有挑战性的基准数据集进行了少样本学习实验，并报告了五类少样本识别任务的最高性能，验证了 MTL 方法的有效性。

    Oct, 2019

  • 利用远程监督进行神经关系分类的元学习

    该论文提出了一种基于元学习的方法来重新加权具有噪声标签的训练数据，以选择更可靠的训练实例，并利用动态提取的可靠精英实例扩充手工标注的参考数据，从而在关系分类方面取得了领先的性能。

    Oct, 2020

  • 元转移学习用于少样本学习

    本篇论文提出了一种名为元转移学习的新型少样本学习方法，通过训练多个任务以及为每个任务学习深度神经网络权重的缩放和移位函数来实现迁移。作者使用提出的 HT 元批处理方案对 MiniImagenet 和 Fewshot-CIFAR100 这两个具有挑战性的少样本学习基准进行了实验，并将其与相关工作进行了广泛比较，结果验证了元转移学习方法的优越性和高准确性。

    Dec, 2018