我们将主动学习推广到应对真实世界中的情况，其中采样被限制在域的可访问区域内，而预测目标可能位于该区域之外。为此，我们提出了 ITL，即信息驱动的转导学习，一种自适应采样的方法，旨在最大限度地提高对指定预测目标的信息获取。在普遍的规则性假设下，我们证明 ITL 会一致地收敛到可从可访问数据中获得的最小不确定性。我们在两个关键应用中展示了 ITL 的应用：大型神经网络的少样本微调和安全贝叶斯优化，ITL 在这两种情况下明显优于现有技术。

Feb, 2024

在无监督的领域自适应问题中，我们引入了 “意义感知信息瓶颈（SIB）” 的对抗网络，从而形成了新的网络结构 SIBAN 来解决现有的特征对齐问题，并在两个领域适应任务中取得了优异的结果。

Apr, 2019

深度学习模型在各种视觉任务中展现出卓越的性能，但它们常常容易受到测试时的领域转移所影响。为了缓解这些脆弱性，已经开发了测试时训练（TTT）方法，在训练时同时解决了主任务和次要任务，以在测试时作为自监督代理任务。在本文中，我们提出了一种基于多尺度特征图和离散潜在表示之间相互信息最大化的新型无监督 TTT 技术，它可以作为一项辅助聚类任务整合到标准训练中。实验结果表明，在不同的常见测试时适应基准上具有竞争力的分类性能。

Oct, 2023

本文提出了一个名为 CVIB 的新型对比变分信息瓶颈框架，用于减少深度模型在输入特征和输出标签之间的虚假关联问题，并通过在原始网络和自剪枝网络之间使用对比学习来同时优化这两个网络。实验表明，该方法在整体预测性能、鲁棒性和泛化性等方面均优于强竞争对手。

Mar, 2023

从信息理论的角度，本文探讨了机器学习模型在实际应用中遭遇的数据偏移问题，比较了近期领域泛化与公正分类研究中一些最有前途的目标。根据我们的理论分析和实证评估，我们得出结论，模型选择过程需要根据观察到的数据、纠正因素和数据生成过程的结构进行认真考虑的指导。

Jun, 2021

该文章研究了无监督领域自适应的问题，提出一种新的方法，该方法同时学习 domain-invariant features 和 discriminative features，并且以信息论度量作为优化目标，在目标域和源域中训练分类器。经过实验验证，该方法在物体识别和情感分析等任务中表现出了明显的优势。

Jun, 2012

本文探讨在交互任务学习（ITL）的限制下，如何通过利用老师的通用陈述和上下文中的暗示，来更有效地识别相似的物体类别，以实现少样本学习和增量学习。

May, 2023

在这篇论文中，我们提出了一种基于信息瓶颈原理和不变风险最小化框架的新方法，旨在提取紧凑且信息丰富的特征，以具备对领域转移和语义转移具有强大泛化能力的同时，在传输过程中保持紧凑性。我们在图像分类任务上的大量模拟结果表明，该方案优于当前的最先进方法，并实现了更好的率失真权衡。

May, 2024

我们研究了大型神经网络在下游任务中的主动少样本微调问题。我们证明了少样本微调是传统主动学习、转导式主动学习的一种泛化，并提出了信息导向的转导学习（ITL）方法，该方法通过适应性采样来最大化对指定下游任务的信息获取。在一般正则性假设下，我们证明了 ITL 收敛于可从可访问数据中获得的最小不确定性。据我们所知，我们是第一个推导出这种泛化界限的研究者，这对于主动学习可能具有独立的利益。我们将 ITL 应用于大型神经网络的少样本微调，并展示 ITL 相比现有技术取得了显著改进。

Feb, 2024

基于信息瓶颈理论，我们提出了一种名为 IBTA 的黑盒可传递对抗攻击的新框架，利用不变特征的进展。通过在等效攻击性能约束下减少对原始数据的敌对扰动依赖性，鼓励更多地依赖对分类有最大贡献的不变特征，从而增强对抗攻击的传递性。通过重新定义基于 IB 的传递攻击的优化，我们克服了不可优化的互信息挑战，并提出了一种简单高效的互信息下界 (MILB) 来逼近计算。此外，为了定量评估互信息，我们利用互信息神经估计器 (MINE) 进行了全面分析。我们在 ImageNet 数据集上的实验充分证明了 IBTA 和导出的 MILB 的效率和可扩展性。

Jun, 2024