DUEL: 在主动内存上的重复消除用于自监督的类别不平衡学习

AAAIFeb, 2024

DUEL: 在主动内存上的重复消除用于自监督的类别不平衡学习

DUEL: Duplicate Elimination on Active Memory for Self-Supervised Class-Imbalanced Learning

Won-Seok Choi, Hyundo Lee, Dong-Sig Han, Junseok Park, Heeyeon Koo...

TL;DR通过活跃数据过滤过程，在我们的新框架 Duplicate Elimination (DUEL) 中，在自监督预训练期间提出了一种成本高效的解决类别不平衡问题的机制。该框架集成了受人类工作记忆启发的活动记忆，并引入了数据多样性度量即独特性信息，以优化特征提取器和记忆。DUEL 策略通过替换最多的重复数据样本来增强记忆中的独特性信息，从而减轻类别不平衡问题。我们验证了 DUEL 框架在类别不平衡环境中的有效性，并通过各种指标和可视化分析了 DUEL 策略在训练过程中的作用。

Abstract

Recent machine learning algorithms have been developed using well-curated datasets, which often require substantial cost and resources. On the other hand, the direct use of raw data often leads to overfitting towards frequently occurring class information. To address class imbalances c

machine learning class imbalance active data filtering self-supervised pre-training duel framework

发现论文，激发创造

DUEL: 自监督学习中的工作内存自适应重复消除

通过从缓存的自适应去偏差分布中采样负样本，该论文提出了一种新的自监督学习框架 DUEL，成功地防止了因显著的类间不平衡导致的下游任务性能下降。

Oct, 2022

基于主动学习的预训练数据去重模型

在大数据时代，数据质量问题变得越来越突出。我们提出了一种基于主动学习的预训练去重模型，该模型是首个将主动学习应用于语义级别去重问题的工作。实验结果表明，我们的模型在去重数据识别方面优于之前的最先进技术，基准数据集上的召回率得到了 28% 的提升。

Jul, 2023

DIRECT: 不平衡和标签噪音下的深度主动学习

通过一种新颖的算法 DIRECT，该论文提出了解决机器学习中不平衡问题的有效技术，通过收集更平衡和信息丰富的标记示例来进行注释，相较于现有算法，该算法节省了超过 15% 的注释预算。

Dec, 2023

多类别不平衡训练的深度强化学习

针对日益复杂和不平衡的数据集，提出了一种基于强化学习的不平衡分类框架，并将其扩展为多类设置。在真实的临床案例研究中，实验表明该框架优于现有的不平衡学习方法，可以实现更公平和平衡的分类，同时也显着提高少数类别的预测准确性。

May, 2022

基于不确定性调控的双记忆单元弱监督视频异常检测

提出使用 Uncertainty Regulated Dual Memory Units 模型及 Global and Local Multi-Head Self Attention 模块来强化通过建立正常状态的描述从而更好地区分异常数据的研究方法，该方法经过在 XD-Violence 和 UCF-Crime 数据集上的实验验证，效果明显优于目前的同类研究。

Feb, 2023

BAL：平衡多样性和新颖性的主动学习

通过自监督学习获取特征，利用聚类距离差异度量标识多样的数据，进而构建自适应子集来平衡多样和不确定的数据，该方法相对于已有的主流主动学习方法在广泛认可的基准测试上提高了 1.20% 的性能，同时在更大和更小的标注预算下也验证了该方法的有效性

Dec, 2023

在主动学习中减轻采样偏差并提高鲁棒性

该论文提出了简单而高效的方法来减轻主动学习中的采样偏差，同时实现最先进的精度和模型鲁棒性。通过引入有监督对比主动学习和选择具有多样的特性表示的信息性数据样本的无偏查询策略，我们的方法：SCAL 和 DFM，实验表明，所提出的方法降低了采样偏差，在主动学习设置中，查询计算速度比基于贝叶斯的对抗式学习快 26 倍，比 CoreSet 快 11 倍。所提出的 SCAL 方法在对抗性数据集转移和预测真实分布方面具有显着的优势。

Sep, 2021

不平衡数据分类的动态课程学习

该研究提出了一种名为动态课程学习（DCL）的统一框架，可在线自适应地调整采样策略和损失学习，从而提高计算机视觉中人类属性分析任务的表现，实验结果显示 DCL 在面部属性数据集 CelebA 和行人属性数据集 RAP 上得到了新的最优性能。

Jan, 2019

双重对比学习：基于标签感知数据增强的文本分类

本研究利用 DualCL 框架将分类器参数作为增广样本，与输入样本结合运用对比学习方法，在五个基准文本分类数据集上表现出较高的分类准确性，并证实了 DualCL 框架在学习具有判别性的表示方面的能力。

Jan, 2022

深度图像分类的成本效益主动学习

本文提出了一种新的主动学习框架，通过有限量的标签训练实例以增量学习的方式构建具有最佳特征表示的竞争性分类器。该方法利用深度卷积神经网络进行主动学习，设计了一种成本效益的样本选择策略，通过选取高置信度的无标签样本自动迭代分配伪标签来改善分类性能。实验证明，该框架在人脸识别和物体分类等两个数据集上取得了有希望的成果。

Jan, 2017