Sep, 2023

SCoRe：面向真实世界类别不平衡场景的子模块组合表示学习

PDF
TL;DR在真实世界中，类别不平衡的情况下的表示学习已经成为深度学习进化中的一项具有挑战性的任务。缺乏稀有类别的视觉和结构特征限制了现代神经网络学习具有区分性的特征聚类。本文引入了 SCoRe（子模组合表示学习）框架，提出了一系列子模组合损失函数，以克服对比学习中与类别不平衡相关的挑战。我们在两个图像分类基准数据集（CIFAR-10 和 MedMNIST 的子集）以及一个真实世界中的道路目标检测基准数据集（India Driving Dataset）上进行了实验，实验结果表明，像 Facility Location、Graph-Cut 和 Log Determinant 等新引入的目标相对于最先进的度量学习方法在类别不平衡的分类任务中的性能提高了最高达 7.6％，在目标检测任务中的性能提高了最高达 19.4％。
representation learningclass-imbalancedneural networkssubmodular combinatorial representation learningcontrastive learning
发现论文，激发创造
  • 一个子模 - 超模程序及其在区分性结构学习中的应用

    本文通过基于凸凹过程的变分框架方法，提出了一种最小化两个次模函数之间差异的算法。该算法在机器学习中的应用包括生成式结构图模型和特征选择，结果表明使用此算法的判别式图模型分类器可以明显优于使用生成式图模型的分类器。

    Jul, 2012

  • 组合嵌入进行开放式表示学习

    通过表示学习，联合优化未知类的区分度和已知类的可泛化性，使用组合学习方法基于多个异构标签空间上的监督元分类器的复合知识自然地对未知类中的示例进行聚类，并通过无监督成对关系学习使待检测类别的特征更具有鲁棒性，实现对公共数据集的图像检索和图像分类的性能显著提升，并发现新概念。

    Jun, 2021

  • 基于次模信息度量的现实场景主动学习

    提出了 SIMILAR (Submodular Information Measures based actIve LeARning)—— 利用最近提出的子模信息度量 (SIM) 作为获取函数的统一主动学习框架，既能在标准主动学习中工作，也可以轻松扩展到考虑上述实际情况，并作为可伸缩到大型实际数据集的主动学习一站式解决方案。

    Jul, 2021

  • 子模遇上结构化：在指数级结构化项目集中找到多样化子集

    通过在组合项集上应用子模函数和高阶潜力，探索用于在结构化输出空间中找到多元解法子集的贪心算法，将贪心增广步骤降低到带有适当构造的高阶潜力的因子图推理中，以实现高效近似最大化。

    Nov, 2014

  • SMILe: 基于子模互信息的强韧少样本目标检测

    为了克服 Few-Shot Object Detection 中存在的物体类别混淆和遗忘的问题，我们引入了一种新颖的 Submodular Mutual Information Learning（SMILe）框架，该框架采用组合互信息函数来强调在 FSOD 中创建更紧密和具有区分性的特征簇。我们的方法广泛适用于 FSOD 中的几种现有方法，不受骨干架构的影响，并展示了提高性能的效果。在流行的 FSOD 基准测试 PASCAL-VOC 和 MS-COCO 上的实验证明，我们的方法改善了 State-of-the-Art（SoTA）方法在新类别的性能，VOC（split 3）的 10-shot 设置中性能提升高达 5.7%（3.3 mAP points），COCO 数据集的 30-shot 设置中性能提升高达 5.4%（2.6 mAP points）。我们的实验还表明，与现有方法相比，基类性能更好，并且在不考虑底层架构的情况下收敛速度提高了 2 倍。

    Jul, 2024

  • 多相似性对比学习

    基于多个相似性度量的新型多相似性对比损失（MSCon）提供了在不同相似关系下学习可推广嵌入的方法，通过自动学习对应相似性的对比权重，降低不确定任务的影响，从而在内部和外部领域中优于最先进的基准模型。

    Jul, 2023

  • 上下文子模预测学习策略

    本文介绍了一种基于无悔学习的简单、高效、近似最优化的方法，以优化具有多种选择项的预测问题。实验验证了该方法在各种问题中的高效性和适用性，包括机械臂轨迹优化、新闻推荐和文件摘要。

    May, 2013

  • 分布式基于配对次模函数的大于内存子集选择

    通过提出一种新颖的分布式界限算法，并使用多轮基于分区的分布式贪心算法，此论文解决了子集选择问题，能够在没有或极小损失质量的情况下，找到高质量的子集。

    Feb, 2024

  • 学习可解释的决策规则集：一种次模优化方法

    本文介绍了一种基于子模优化的学习规则集的方法，将子问题转化为特征子集选择任务并利用子模函数差值的思想使得问题更易解决，实验结果表明这种方法简单、可扩展且具有较好效果。

    Jun, 2022

  • 多重集合表示学习

    本研究旨在通过学习置换不变表征来捕捉 “灵活的” 包含概念，并通过多重集的测量理论定义形式化此问题，提出理论动机的学习模型，并提出在新任务上进行训练：预测多重集对之间的对称差（或交集）的大小。我们展示了我们的模型不仅在预测包含关系方面表现出色（比具有无约束对象表示的 DeepSets 方法更有效地预测对称差和交集的大小），而且还学习了有意义的表示。

    Nov, 2019