不平衡分类和强化学习探索的范围损失

Aug, 2023

不平衡分类和强化学习探索的范围损失

Scope Loss for Imbalanced Classification and RL Exploration

Hasham Burhani, Xiao Qi Shi, Jonathan Jaegerman, Daniel Balicki

TL;DR我们找到了强化学习问题和监督分类问题之间的等价性，并将强化学习中的探索和利用权衡问题等同于监督分类中的数据集不平衡问题，并发现它们在解决方法上的相似之处。根据我们对这些问题的分析，我们得出了一种新的强化学习和监督分类的损失函数 ——Scope Loss。Scope Loss 可以调整梯度，以防止由于过度利用和数据集不平衡而导致的性能损失，而无需任何调整。我们在一系列基准强化学习任务和一个倾斜的分类数据集上测试了 Scope Loss，并证明它优于其他损失函数。

Abstract

We demonstrate equivalence between the reinforcement learning problem and the supervised classification problem. We consequently equate the exploration exploitation trade-off in →

reinforcement learning supervised classification exploration exploitation trade-off dataset imbalance problem loss function

发现论文，激发创造

影响平衡损失函数：解决不均衡视觉分类问题

我们提出了一种平衡训练方法，通过衍生用于平衡训练阶段的新丢失，有效改善任何类型的不平衡学习方法的性能，从而解决了数据不平衡问题。我们的实验结果表明，所提出的损失优于现有的基于成本的损失方法。此外，我们的损失并不限于特定任务、模型或训练方法，因此可以轻松地与其他最近的重新采样、元学习和基于成本的学习方法结合使用以解决类别不平衡问题。

Oct, 2021

带有重新平衡的对比损失的长尾学习

通过将受监督的对比损失整合到基于交叉熵的通信中，解决了长尾学习问题。具体而言，使用 Rebalanced Contrastive Learning (RCL) 方法来提高长尾分类准确度，通过实现几个关键方面，即特征空间均衡、类内紧凑性和正则化。在 Balanced Contrastive Learning (BCL) Framework 中实施 RCL，实验结果表明 RCL 提供了对 BCL 框架的丰富嵌入以及更高的准确度。同时，RCL 作为一个独立的损失函数，也实现了与最先进方法相当的准确度水平。

Dec, 2023

关于部分标签学习中的无偏探索

使用标准神经网络结构和 softmax 作为最终层从部分标记的监督中学习概率分类器，根据实验发现原模型可能存在偏差现象，导致梯度下降动力过于敏感而不能进行正确的探索，因此提出一种新型的损失函数来解决这个问题，并在合成数据、部分标注基准和现存规则学习挑战的贡献新基准上进行广泛的评估。

Jul, 2023

损失即奖励：自监督增强学习

本文探讨了如何通过自我监督预训练和联合优化来增加辅助损失，提高强化学习中的数据效率和策略回报。

Dec, 2016

战略分类的学习损失

本文研究了利用学习理论来生成具有鲁棒性的决策规则，以及针对机器学习领域中存在的潜在的策略操纵问题，提出了一种新的损失函数，称为策略操纵损失，分析了在已知操纵网络结构和未知操纵网络结构下的学习样本复杂度，并且基于迁移学习技术，定义了一种相似度度量，用于度量操纵网络结构的相似度，得到了具有鲁棒性的学习结果。

Mar, 2022

基于半监督对比度的离群值去除算法：伪最大期望算法 (SCOPE)

该研究提出了一种名为 SCOPE 的半监督对比异常值去除伪期望最大化方法，旨在压制伪标签带来的混淆错误，改进基于 EM 迭代的半监督深度学习算法行为，在移除离群值后，SCOPE 同时还能够有效提高半监督学习的分类精度，进一步搭配一致性正则化实现了基于半监督 CIFAR-10 分类任务在 250 和 4000 个标记样本下的最高分类精度。

Jun, 2022

类别不平衡节点分类的自动损失函数搜索

我们引入了一个高性能、灵活且通用的自动损失函数搜索框架来解决节点分类中的不平衡问题。在 15 种图神经网络和数据集组合中，我们的框架相比最先进方法在性能上有显著改进；此外，我们观察到图结构数据中的同质性对所提框架的可迁移性有着显著贡献。

May, 2024

预训练语言模型微调的监督对比学习

通过构建 SCL 算法，并将其应用到先前基于 RoBERTa-Large 模型的建议中，提出了一种新的有监督对比学习优化目标，用于自然语言理解任务的微调，在少样本学习设置下，相比于传统 CE 损失函数，该方法在多个数据集上均有显著的改进，可以更好地处理数据噪音并更好地推广至相关任务。

Nov, 2020

不平衡分类的深度强化学习

基于深度强化学习的不平衡数据分类模型，通过将分类问题视为顺序决策过程，使用深度 Q 学习网络解决。在奖励函数和有益的学习环境的指导下，该模型能够更有效地识别少数样本，具有优异的分类性能。

Jan, 2019

有监督对比损失学习正交框架及批次关系

本文通过实验证明：监督对比损失学习到的嵌入空间的几何结构形成正交框架，而交叉熵损失学习到的嵌入空间的几何结构高度依赖于类大小；同时，通过选取不同的数据分组算法，加快正交框架的出现，为监督学习提供一种新的训练策略

Jun, 2023