Nov, 2023

ActiveDC: 主动微调的分布校准

PDF
TL;DR提出了一种名为 ActiveDC 的新方法，通过优化子集与整个未标记样本池之间的分布相似性和利用未标记样本池中的隐式类别信息，选择样本进行注释并校准其分布，从而在所有图像分类任务中持续优于基准性能，特别是在采样比率较低时，获得高达 10％的性能提升。
pretraining-finetuning paradigmactive finetuningdistribution similarityimplicit category informationimage classification
发现论文，激发创造
  • 主动微调：在预训练 - 微调模式中利用注释预算

    该研究提出了一种新的主动微调任务，在预训练 - 微调范式下注重选择注释样本，通过优化连续空间中的参数模型来选择类似于整个未标记池的数据子集并保持足够的多样性，实验证明了该方法在计算机视觉任务上具有领先的性能和高效率。

    Mar, 2023

  • 边界事关：一个双级主动微调框架

    我们提出了一个二阶段的主动微调框架，其中包括核心样本选择以增加多样性，以及边界样本选择以增加不确定性，通过在高维特征空间中识别伪类别中心、创新去噪方法和迭代策略，无需真实标签即可选择需要注释的样本，我们的综合实验证据量化地证明了我们的方法比现有基线表现更好。

    Mar, 2024

  • 少样本学习中微调的动力：通过选定抽样的域不可知偏差减少

    本文提出了使用细调训练过的深度神经网络来改善新类别特征的方法，包括使用分布校准模块 (DCM) 减少类不相关偏差，使用精选采样 (SS) 减少类特异性偏差，该方法在 10 个来自不同领域的数据集上表现出了最先进的结果。

    Apr, 2022

  • 基于 Dirichlet 的活动领域适应不确定性校准

    该研究提出了一种基于狄利克雷分布的不确定性校准方法来提高领域适应模型，同时解决了不确定性预测和关键样本挑选的问题。

    Feb, 2023

  • DIRECT: 不平衡和标签噪音下的深度主动学习

    通过一种新颖的算法 DIRECT，该论文提出了解决机器学习中不平衡问题的有效技术，通过收集更平衡和信息丰富的标记示例来进行注释，相较于现有算法，该算法节省了超过 15% 的注释预算。

    Dec, 2023

  • 在主动学习中减轻采样偏差并提高鲁棒性

    该论文提出了简单而高效的方法来减轻主动学习中的采样偏差，同时实现最先进的精度和模型鲁棒性。通过引入有监督对比主动学习和选择具有多样的特性表示的信息性数据样本的无偏查询策略，我们的方法：SCAL 和 DFM，实验表明，所提出的方法降低了采样偏差，在主动学习设置中，查询计算速度比基于贝叶斯的对抗式学习快 26 倍，比 CoreSet 快 11 倍。所提出的 SCAL 方法在对抗性数据集转移和预测真实分布方面具有显着的优势。

    Sep, 2021

  • 主动模型适应的深度 CNN 的成本效益训练

    本文提出了使用预训练模型进行迁移学习并使用主动学习方法选取最有用的样本来有限微调模型，以此降低标注成本并实现深度神经网络的经济有效训练。在多个数据集和不同预训练模型上进行的实验证明了该方法的有效性。

    Feb, 2018

  • 具备对现实数据池进行对比学习的深度主动学习

    本研究提出了一种新的主动学习方法，通过对比学习在特征空间中选择集群的样本，从标记和未标记的数据池中获取信息，以获取优先的显着内部分布样本，并证明该方法相对于现有的主动学习方法需要更少的标注预算才能达到相同的准确性水平。

    Mar, 2023

  • 主动域自适应中对标签分布偏移的对抗

    提出了一种主动域自适应的方法，通过新的采样策略，在满足代表性、多样性和不确定性的同时，选择最能近似整个目标分布的样本，并使用这些样本进行监督学习以及匹配源域和目标域的标签分布，取得了显著的性能提升。在四个公共基准测试上，本方法在每种自适应情景下均显著优于现有方法。

    Aug, 2022

  • 异方差分布上的神经主动学习

    本研究展示了在异方差分布上运行的主流主动学习技术的灾难性失败，并提出了一种基于微调的方法以缓解这些失败，同时结合模型差别评分函数提出了一个新的算法，在清除噪声示例的同时最大化准确性，表现优异于现有的主动学习技术。

    Nov, 2022