我们提出了一个二阶段的主动微调框架，其中包括核心样本选择以增加多样性，以及边界样本选择以增加不确定性，通过在高维特征空间中识别伪类别中心、创新去噪方法和迭代策略，无需真实标签即可选择需要注释的样本，我们的综合实验证据量化地证明了我们的方法比现有基线表现更好。

Mar, 2024

提出了一种名为 ActiveDC 的新方法，通过优化子集与整个未标记样本池之间的分布相似性和利用未标记样本池中的隐式类别信息，选择样本进行注释并校准其分布，从而在所有图像分类任务中持续优于基准性能，特别是在采样比率较低时，获得高达 10％的性能提升。

Nov, 2023

我们提出使用实验设计来缓解 SFT 的标注成本，并避免在 LLM 的背景下应用主动学习的计算瓶颈。我们的方法在生成任务中实现了与随机抽样所需注释成本相同的泛化性能，仅需 50% 的注释成本。

Jan, 2024

通过代理模型选择方法、保留有价值的预训练信息整体提高了高效主动学习的总成本和计算效率。

Mar, 2024

通过在活动学习（AL）框架内应用参数高效微调方法对极限预算限制的分类任务中的采样选择过程进行研究，本研究展示了基础视觉转换模型在图像数据集上表现出色的少样本性能，并突出显示了将参数高效微调方法与基础模型相结合的战略优势，从而改进了这些具有挑战性的数据集上的活动学习性能，为优化 AL 策略做出了贡献，并为在专业领域高效和有效地进行数据注释提供了有前景的研究方向。

Jun, 2024

本文研究了在有限的训练数据和预算下微调基于预训练语言模型的排序器，发现随机选择不同子集的训练数据进行微调时产生的有效性存在巨大的变化，并探究了主动学习策略在降低标注成本方面的有效性

Sep, 2023

在本研究中，我们通过对不同 QA 数据集上的顺序微调策略的性能进行全面分析，证明了传统的基于预训练语言模型和微调策略在低预算设置下是次优的。我们的实验结果表明，在低预算设置下，最佳策略是使用预训练语言模型，并将其与目标数据集和 SQuAD 数据集进行微调。在不额外标注的情况下，该策略的性能优于标准策略 2.28% 至 6.48%。这些实验结果对于 QA 从业者在低预算下如何最好地微调 QA 系统具有极大的实用价值。

Jan, 2024

提出了用于计算机视觉任务的预训练神经网络的有效过滤方法，包括图像分辨率下采样和数据子集筛选，验证结果表明这种方法明显降低了训练成本并提高了性能。

Nov, 2020

规模化预训练视觉模型（PVMs）在各种下游视觉任务中表现出很大的适应性。然而，随着最先进的 PVMs 达到数十亿甚至数万亿参数，传统的完全微调范式变得难以持续，因为其需要巨大的计算和存储需求。为了应对这一挑战，研究人员正在探索参数高效的微调（PEFT），旨在通过最小的参数修改超越完全微调的性能。本调查提供了对视觉 PEFT 的综合概述和未来方向，对最新的进展进行了系统回顾。首先，我们提供了 PEFT 的正式定义，并讨论了模型预训练方法。然后，我们将现有方法分为三类：基于添加的、基于部分的和基于统一的。最后，我们介绍了常用的数据集和应用，并提出了未来研究的潜在挑战。所有相关资源可以在该链接中找到。

Feb, 2024

本文提出了预细调（pre-finetuning）的方法，是在语言模型预训练和微调之间增加一个大规模学习阶段，旨在促进学习出更好地适用于许多不同任务的表示。通过大规模的多任务学习，预细调在广泛的任务中显著提高了预训练鉴别器和生成模型的性能，并显著提高了微调的样本效率。

Jan, 2021