我们研究了大型神经网络在下游任务中的主动少样本微调问题。我们证明了少样本微调是传统主动学习、转导式主动学习的一种泛化，并提出了信息导向的转导学习（ITL）方法，该方法通过适应性采样来最大化对指定下游任务的信息获取。在一般正则性假设下，我们证明了 ITL 收敛于可从可访问数据中获得的最小不确定性。据我们所知，我们是第一个推导出这种泛化界限的研究者，这对于主动学习可能具有独立的利益。我们将 ITL 应用于大型神经网络的少样本微调，并展示 ITL 相比现有技术取得了显著改进。

Feb, 2024

本文首次在信息理论的背景下，为传导学习算法开发了数据相关性和算法相关性的一般化界限。我们表明传导学习算法的一般化差距可以通过训练标签和假设之间的互信息来限制。通过创新性地提出传导超样本的概念，我们超越归纳学习设置，并建立了各种信息测量的上界。此外，我们派生了新颖的 PAC-Bayesian 界限，并建立了传导学习环境下一般化与损失曲面平坦性之间的联系。最后，我们提出了自适应优化算法的上界，并展示了在半监督学习和图学习场景中的应用结果。我们的理论结果在合成数据集和真实世界数据集上得到验证。

Nov, 2023

提出了一种自适应提示设计的框架，通过选择给定推理查询的少样本示例来设计大型语言模型（LLM）的提示，并使用两种算法 GO 和 SAL 在 LLM 提示的推理时间优于其他方法。

Apr, 2024

本文探讨在交互任务学习（ITL）的限制下，如何通过利用老师的通用陈述和上下文中的暗示，来更有效地识别相似的物体类别，以实现少样本学习和增量学习。

May, 2023

通过改进深度学习模型的标签和训练效率，此研究旨在增强深度学习的实用性。具体地，研究基于信息论原理的数据子集选择技术，包括主动学习和主动采样，其中主动学习提高了标签效率，而主动采样增强了训练效率，并系统研究了这些技术在深度学习中的应用。

Jan, 2024

本研究提出了一种基于 Transductive Infomation Maximization 方法的 few-shot learning，通过优化查询特征和标签预测之间的信息熵，并结合支持集的监督损失，同时提出了一种新的交替方向求解器来加速迭代收敛，从而提高准确率。在多个数据集和网络上的实验表明，TIM 比现有方法表现更好，并且可以与任何基础培训特征提取器配合使用。

Aug, 2020

本文提出了一种新颖的信息论方法，以改善基于半监督学习的转移学习中深度神经网络的传递性，特别是在源数据集和目标数据集之间存在分歧的情况下，通过引入 Mutual Information 和 Lautum Information 来 应用于目标数据集的正则化项

Jun, 2023

本论文研究了增量学习的问题，提出了一种采用主动和非均衡的采样方法，将增量学习视为一个非均衡学习问题，通过类别预测缩放降低不平衡的影响，针对四个视觉数据集进行了评估，并表明该方案对于减少主动和标准增量学习性能之间的差距产生了积极的效果。

Aug, 2020

本文介绍了一种领域无关的主动学习（Active Learning）查询策略 ImitAL，使用学习排序（Learning-to-rank）方法编码 AL，通过大规模模拟运行在纯合成数据集上进行训练，成功地通过与其他 7 种查询策略在 13 个不同领域的数据集上的广泛评估。

Aug, 2022

本文研究了主题 “主动学习”，发现尽管在特定模型和特定领域中使用主动学习可能会带来好处，但在不同模型和任务之间泛化当前方法的好处不可靠，并且主动学习的认购数据与指导其获取的模型相结合，与使用独立同分布的（I.I.D）随机样本训练继任模型的方法相比并没有明显的优势，主动学习的局限性是否值得现实中的应用，值得深思。

Jul, 2018