组合嵌入进行开放式表示学习
本文提出了一种理论框架以分析对比学习的算法,并引入潜在类别假设,该框架使我们能够在平均分类任务上证明学习表示的性能。同时,该文还表明,学习表示可以降低下游任务的(标记)样本复杂度。
Feb, 2019
本研究探讨使用半监督学习方法在训练集中加入未标记的新类图片,以提高表示学习在搜索新类别图片时的效率,并提出了一种新的评估方法来评估基于半监督学习方法的表示学习,在语义差异较大时,相比于传统监督学习,基于半监督学习的表示学习可以在搜索新类别图片时取得更好的效果。
Aug, 2022
通过引入简单的正则化技术以及利用类别级别属性注释对神经网络进行特征空间分解,本工作试图弥合深度学习模型与人类学习之间的鸿沟,证明组合表示的价值并展示少量样本即可学习新类别的分类器。
Dec, 2018
本文针对在一个图像集合中发现新类别的问题,提出结合自监督学习、排名统计和联合目标函数优化的方法,使用带标签和未标记数据训练数据表示模型,成功应用于标准分类基准测试中,显著优于现有的方法。
Feb, 2020
本研究提出了 OpenHybrid 框架,应用于 open set recognition 中,在 inlier 分类器和 density estimator 之间进行联合学习,通过 encoder 将输入数据编码为联合嵌入空间,使用 flow-based 模型检测未知类别的样本是否属于异常值,并且实验结果表明,该模型在标准 open set 基准上显著优于现有的方法和基线模型。
Mar, 2020
该论文探讨了如何在单模态和多模态数据中发现新类别,提出了一种基于自监督表征学习的端到端框架来处理带有来自不同但相关类别的标签的数据,通过 WTA 哈希算法生成伪标签以更好地预测聚类分配结果,并在多个标准基准测试集上取得了最先进的成果。
Apr, 2021
利用概念为基础的可解释性方法,通过将其嵌入分解为高级概念,提供了一种深入研究基础模型内部的透视角度。我们展示了现有的无监督概念抽取方法找到的概念并不是可组合的。为了自动发现可组合的概念表示,我们确定了这些表示的两个显著特性,并提出了用于找到符合这些特性的概念的可组合概念抽取算法 (CCE)。我们在图像和文本数据上评估了 CCE,并且结果表明 CCE 找到了更多可组合的概念表示,并在四个下游分类任务上取得了更好的准确率。代码和数据可在 https:// 此网址 获取。
Jun, 2024
本文研究了利用学习表示的空间的内在几何结构来实现自动遵守复杂结构约束的本体 (分层和部分有序结构) 学习的最新工作,并探讨了对一种此类模型的两种扩展,旨在提高通识知识表示文本数据的性能。通过混合学习排序关系和非分层知识,以及利用训练数据的部分有序结构找到在配对训练过程中不好执行的嵌入之间的长距离 triplet 约束,我们发现这两种扩展都优于原始的 order-embedding 模型和其他强基线模型。
Aug, 2017
在真实世界中,类别不平衡的情况下的表示学习已经成为深度学习进化中的一项具有挑战性的任务。缺乏稀有类别的视觉和结构特征限制了现代神经网络学习具有区分性的特征聚类。本文引入了 SCoRe(子模组合表示学习)框架,提出了一系列子模组合损失函数,以克服对比学习中与类别不平衡相关的挑战。我们在两个图像分类基准数据集(CIFAR-10 和 MedMNIST 的子集)以及一个真实世界中的道路目标检测基准数据集(India Driving Dataset)上进行了实验,实验结果表明,像 Facility Location、Graph-Cut 和 Log Determinant 等新引入的目标相对于最先进的度量学习方法在类别不平衡的分类任务中的性能提高了最高达 7.6%,在目标检测任务中的性能提高了最高达 19.4%。
Sep, 2023