Jun, 2023

一个基于信息理论的半监督迁移学习方法

PDF
TL;DR本文提出了一种新颖的信息论方法，以改善基于半监督学习的转移学习中深度神经网络的传递性，特别是在源数据集和目标数据集之间存在分歧的情况下，通过引入 Mutual Information 和 Lautum Information 来 应用于目标数据集的正则化项
transfer learningdeep neural networkssemi-supervised learninginformation theorysource dataset
发现论文，激发创造
  • 半监督学习中的信息论方法在协变量偏移下的应用

    该研究提出了一种用于半监督学习在数据集分布改变的情景下的新方法，基于信息理论，该方法包括了当前流行的熵最小化和伪标签方法，提出了一些新的上界描述其泛化误差情况，其在数据集分布改变的情景下胜过之前提出的方法。

    Feb, 2022

  • 任务迁移学习中可迁移性的信息论方法

    本文提出了一个评估跨任务表示学习有效性的 H-score 度量方式，可以对在分类问题中从一个任务传递到另一个任务的表示的性能进行评估。使用实际图像数据进行的实验表明，该评价标准不仅与经验传递度量一致，而且在源模型选择和任务转移课程学习等应用中也非常有用。

    Dec, 2022

  • 监督异常传递学习中的严格率

    稀缺的异常数据是学习准确的异常检测决策规则的一个关键障碍。虽然迁移学习方法在异常检测中取得了最近的经验成功，但关于从源异常检测任务向目标任务中传递知识的条件和方式的基本理解仍不清楚。本研究采用 Neyman-Pearson 分类的传统框架，假设可以访问一些相关的但不完美的异常数据，并给出了关于该问题的信息理论限制，在这些限制下，我们验证了自适应程序在原则上可以实现，即无需关于源和目标异常分布差异的先验信息。

    Oct, 2023

  • 迁移学习的信息论分析

    本文研究了迁移学习中的广义化误差和 excess risk 问题，提出了一种信息论分析方法。结果表明 Kullback-Leibler divergence 在特定环境中能很好地描述广义化误差，我们还将结果推广到一种特定的经验风险最小化算法中。同时，该方法在迭代，噪声梯度下降算法中有潜在的应用。

    May, 2020

  • 压缩还是不压缩 —— 自监督学习和信息理论：一篇综述

    本文综述了信息理论、自监督学习和深度神经网络三者交叉领域的最新研究进展，提出了自监督信息理论学习问题的统一框架，并讨论了信息论量的经验测量和估算方法。

    Apr, 2023

  • 深度半监督学习概述

    本文综述了深度半监督学习的概念及其在深度神经网络上的应用，以期实现更高的数据效率。

    Jun, 2020

  • 信息论归纳学习的广义界限及其应用

    本文首次在信息理论的背景下，为传导学习算法开发了数据相关性和算法相关性的一般化界限。我们表明传导学习算法的一般化差距可以通过训练标签和假设之间的互信息来限制。通过创新性地提出传导超样本的概念，我们超越归纳学习设置，并建立了各种信息测量的上界。此外，我们派生了新颖的 PAC-Bayesian 界限，并建立了传导学习环境下一般化与损失曲面平坦性之间的联系。最后，我们提出了自适应优化算法的上界，并展示了在半监督学习和图学习场景中的应用结果。我们的理论结果在合成数据集和真实世界数据集上得到验证。

    Nov, 2023

  • 监督信号信息化程度的研究

    通过对比学习和分类等几种常用的监督信号的信息论分析，我们确定了它们如何为表示学习性能做出贡献以及在训练数据集的标签数、类数和维数等培训参数影响下学习动力学如何受影响。我们通过一系列模拟实验进行了实证验证，并进行了成本效益分析，以建立一条权衡曲线，使用户能够优化在自己的数据集上监督表示学习的成本。

    Nov, 2022

  • 学习什么和在哪里转移

    本研究提出了一种基于元学习的转移学习方法，可以在异构架构和任务之间自动学习来自源网络的知识应该转移到目标网络的哪个位置，该方法在多种数据集和网络架构上都显著优于手工制定的传统方法。

    May, 2019

  • 贝叶斯迁移学习

    贝叶斯迁移学习方法在不同领域的先前知识引导新学习任务的最佳信息问题上具有广泛应用，并通过模拟研究展示了其与频率论竞争者相比的性能。

    Dec, 2023