应对稀有类别挑战的不协调检测的转移学习和主动学习

May, 2023

应对稀有类别挑战的不协调检测的转移学习和主动学习

Transfer and Active Learning for Dissonance Detection: Addressing the Rare-Class Challenge

Vasudha Varadarajan, Swanie Juhng, Syeda Mahwish, Xiaoran Liu, Jonah Luby...

TL;DR提出了针对稀缺类别问题的迁移和主动学习解决方案，并评估了其采集策略，包括一个提出的罕见类概率（PRC）方法；在社交媒体上收集认知失调的语言样本。PRC 是一种简单而有效的策略，可以指导注释并最终提高模型准确性，而按特定顺序进行迁移学习可以提高学习者的冷启动性能，但并不有益于主动学习的迭代。

Abstract

While transformer-based systems have enabled greater accuracies with fewer training examples, data acquisition obstacles still persist for rare-class tasks -- when the class label is very infrequent (e.g. < 5% of

transformer-based systems data acquisition active learning transfer-learning probability-of-rare-class

发现论文，激发创造

关于 Transformer 中主动学习数据集可迁移性的研究

本文研究主题为探究主动学习中数据集可迁移性的影响因素，结果表明，使用相似的问询顺序能够获得高度可迁移的数据集，掌握掌握合适的主动学习方法比选择合适的模型更加重要。

May, 2023

DIRECT: 不平衡和标签噪音下的深度主动学习

通过一种新颖的算法 DIRECT，该论文提出了解决机器学习中不平衡问题的有效技术，通过收集更平衡和信息丰富的标记示例来进行注释，相较于现有算法，该算法节省了超过 15% 的注释预算。

Dec, 2023

主动学习帮助预训练模型学习预期任务

本文探讨使用预训练模型进行主动学习任务中的歧义消除，发现预训练模型使用基于不确定性的主动学习时所需标注数量降低至非预训练模型的五分之一，并且可以通过在预训练的表示空间中选择具有消除歧义的特征属性的数据样本来获得这种性能提升。

Apr, 2022

利用对比预训练的主动学习进行面部表情识别

深度学习在面部表情识别方面发挥了重要作用，但标记数据获取需要巨大人力和财力投入，研究发现已有的主动学习方法在面部表情识别上表现不佳，为解决该问题，提出了对比自监督预训练方法，通过两步骤的方法，相较于随机采样提高了 9.2% 的准确度。

Jul, 2023

异方差分布上的神经主动学习

本研究展示了在异方差分布上运行的主流主动学习技术的灾难性失败，并提出了一种基于微调的方法以缓解这些失败，同时结合模型差别评分函数提出了一个新的算法，在清除噪声示例的同时最大化准确性，表现优异于现有的主动学习技术。

Nov, 2022

论极度不平衡的成对任务自适应数据收集的重要性

本研究利用基于 BERT 模型的嵌入方法，采用主动学习的方式收集训练数据，创造了更加平衡和信息量更丰富的负例样本，有效提高了 QQP 和 WikiQA 测试数据的平均准确率。

Oct, 2020

不良学生成就卓越教师：主动学习加速大规模视觉理解

我们提出了一种加速大规模预训练的方法，通过在线数据选择策略。我们首次证明了基于模型的数据选择可以减少达到采用均匀采样训练的模型性能所需的总计算量。这种 “计算正向” 模式的关键洞察是，小型模型可以很好地代表大型模型的损失，因此可以大大降低用于评分数据的计算量，同时为学习者提供了效率提升。这些数据选择策略在数据集和任务上也具有很强的普适性，为重新使用现成的模型和训练序列来分摊数据评分开销开辟了途径。我们的方法 ClassAct 和 ActiveCLIP 在 JFT 上训练视觉分类器和 ALIGN 上训练多模态模型时，分别需要少 46％和 51％的训练更新和少 25％的总计算量。最后，我们的范式无缝适用于大规模图像 - 文本数据集的策划，在多个多模态迁移任务和预训练制度上实现了新的最优效果。

Dec, 2023

低数据环境下公正主动学习

在数据稀缺环境中，通过结合后验采样和公平分类子程序的创新主动学习框架，我们有效地提高了模型准确性并满足公平约束，证明了该方法在最大限度利用少量标注数据时的有效性，并对已有方法进行了改进。

Dec, 2023

少样本类别增量学习的主动类别选择

通过与用户的有限交互，为真实世界的应用而设计的机器人将需要不断学习其环境。本文结合了少样本类增量学习（FSCIL）和主动类选择（ACS）的思想，开发了一个新框架，使自主代理能够通过要求用户仅对环境中最富信息的少数对象进行标记来持续学习新对象。我们构建并扩展了一种最先进的 FSCIL 模型，并结合 ACS 文献中的技术，将其命名为少样本增量主动类选择（FIASco）模型。我们进一步将基于潜在场的导航技术与我们的模型集成，开发了一个完整的框架，可以使代理通过 FIASco 模型对其感知数据进行处理和推理，朝向环境中最富信息的对象导航，通过其传感器收集对象的数据，并逐步更新 FIASco 模型。在模拟代理和真实机器人上的实验结果显示了我们的方法对于长期的真实世界机器人应用的重要性。

Jul, 2023

深度目标检测主动学习

本研究结合活性学习和增量学习的方法，提出一种基于不确定度的适用于大多数对象检测器的主动学习度量标准，并探讨在样本选择过程中如何解决类别不平衡问题，通过系统评估在 PASCAL VOC 2012 数据集上，实现对新未标注数据集的持续探索。

Sep, 2018