本文提出了一个评估跨任务表示学习有效性的 H-score 度量方式，可以对在分类问题中从一个任务传递到另一个任务的表示的性能进行评估。使用实际图像数据进行的实验表明，该评价标准不仅与经验传递度量一致，而且在源模型选择和任务转移课程学习等应用中也非常有用。

Dec, 2022

本文通过研究在 12 个不同领域和物体检测任务中的线性评估、全网络转移和少样本识别等方面，系统地探讨了对比学习的不同方法学习到的表示的可迁移性，结果表明对比方法学习到的表示很容易适应不同的任务。除此之外，自监督对比损失与交叉熵 / 监督对比损失的联合目标可增强这些模型的可迁移性。

Mar, 2021

通过对比学习和分类等几种常用的监督信号的信息论分析，我们确定了它们如何为表示学习性能做出贡献以及在训练数据集的标签数、类数和维数等培训参数影响下学习动力学如何受影响。我们通过一系列模拟实验进行了实证验证，并进行了成本效益分析，以建立一条权衡曲线，使用户能够优化在自己的数据集上监督表示学习的成本。

Nov, 2022

本文提出了一种新颖的信息论方法，以改善基于半监督学习的转移学习中深度神经网络的传递性，特别是在源数据集和目标数据集之间存在分歧的情况下，通过引入 Mutual Information 和 Lautum Information 来 应用于目标数据集的正则化项

Jun, 2023

通过对多种对比方法的理论分析，本论文扩展了有关数据表达的对比学习的理论保证，并验证了这些发现在多个基准数据集上的实际有效性。

Nov, 2023

本文提出了一种基于 Hierarchical Transferability Calibration Network 的自适应目标检测方法，其中采用各种技术（如输入插值、自适应训练、上下文感知实例层对齐）来提高特征可辨别性和可转移性，从而使得该方法在目标检测领域表现出色。

Mar, 2020

本文提出了一种改进图像标题生成方法的方法，通过在训练过程中加入与机器学习相关的损失函数来加强图像标题的区分度，从而提高生成标题的质量。

Mar, 2018

本文提出了一种新的方法，通过信息论方法来估计监督分类任务的难度和可转移性，无需模型和训练，而是通过探索训练标签统计数据作为随机变量，考虑从源任务到目标任务的两个标签分配之间的条件熵，表明此值与传输模型的损失有关，并测试其在三个大型数据集上的有效性。

Aug, 2019

在一个前馈网络中，可以使用传递熵（TE）来衡量一层对另一层的影响，通过在训练期间量化它们之间的信息传递。通过在输入数据中的信息量与压缩表示之间绘制图表来理解信息瓶颈方法中压缩和信息保留之间的权衡，这被称为信息平面分析。我们使用 TE 来量化神经层之间的信息传输，并进行信息平面分析以探索信息理论压缩和泛化之间的因果关系。我们获得了令人鼓舞的实验结果，为进一步研究打开了可能性。

Apr, 2024

使用 InfoNCE 系列的 feedforward 模型通过隐式反转观察数据的基础生成模型来实现使学习到的表示方法适用于大量下游任务的目标，这种理论强调了对比学习，生成建模和非线性独立成分分析之间的基本联系，为推导出更有效的对比损失提供了理论基础。

Feb, 2021