May, 2022

使用远程监督和迁移学习在丹麦职位发布中进行细粒度技能分类

PDF
TL;DR本研究使用 ESCO 分类法 API 对丹麦职位招聘数据集 Kompetencer 进行标注并比较数据集的 fine-grained 标签应用于 zero-shot 和 few-shot 分类设置，结果表明 RemBERT 在两种情况下的表现均优于其他模型。
skill classificationdanish job vacancy datakompetencer datasetesco taxonomy apirembert
发现论文，激发创造
  • 跨领域少样本分类的自适应语义一致性

    通过设计自适应语义一致性机制，提出了一种适应性的源领域知识转移框架（ASC），通过在源领域预训练中重用源图像并设计自适应的权重分配策略，实现了源领域知识向目标领域的显式转移，有效地减轻了跨领域 few-shot 分类中过拟合的问题。

    Aug, 2023

  • 大规模细粒度分类和领域特定的迁移学习

    本研究提出了一种从大规模数据集到小规模、特定领域细粒度图像分类（Fine Grained Visual Categorization, FGVC）任务的迁移学习方法，并通过 Earth Mover's Distance 提出了一种衡量领域相似度的方法，实现了目标领域与数据源领域之间的知识迁移，得到了最先进的结果。

    Jun, 2018

  • 基于远程监督迭代训练的粗到细的知识图谱领域适应

    本文针对现代深度学习神经网络模型需要大量手动标注数据以及从大量文本数据中构建领域特定知识图谱的困难问题，提出一个将知识图谱自适应和重新学习应用于不需要手动注释训练数据的领域适应性构建的综合框架，并引入了一种新的迭代训练策略来促进领域特定命名实体和三元组的发现和抽取，实验结果表明，该框架可以有效执行领域适应和构建知识图谱的任务。

    Nov, 2022

  • 多模态小样本类增量细粒度数据学习的简化方法

    该研究提出了两个简单的模块来解决 Vision-Language 模型在少样本类增量学习方面的挑战，并在新引入的细粒度数据集上实验结果表明，相比基准模型平均提高了 10 个百分点，而所需的可训练参数少至 8 倍。

    Mar, 2024

  • 基于语义感知的虚拟对比约束学习：适用于小样本类递增学习的方法

    通过引入虚拟类别的概念，我们提出了一种基于语义感知的虚拟对比模型（SAVC），显著提高了基础类别的分类效果和新类别的泛化能力。

    Apr, 2023

  • 跨领域少样本分类的解释引导训练

    本文提出了一种新的训练方法，通过已有的解释方法来解释模型的预测，以及开发了一种模型不可知的解释引导训练策略，动态找到并强调对预测重要的特征，从而改善跨域少样本分类任务中模型的泛化能力，并在五种 few-shot 学习数据集上观察到了三种不同 FSC 模型（RelationNet，交叉注意力网络和基于图神经网络的公式）的准确性提高。

    Jul, 2020

  • 基于语义感知的少样本类别增量学习知识蒸馏

    本研究提出一种用于解决 few-shot class incremental learning（FSCIL）问题的蒸馏算法，该算法利用语义信息进行训练，同时提出基于注意机制的方法来对齐视觉和语义向量，从而有效降低了灾难性遗忘的影响，并成功地在 MiniImageNet、CUB200 和 CIFAR100 数据集上创下了新的最优结果。

    Mar, 2021

  • 基于知识转移的 Few-Shot 类增量学习

    提出了一种基于知识传递的关系补充网络（KT-RCNet）方法，使用多样的伪增量任务作为代理来实现知识传递，并通过对模型的塑性进行充分的优化来满足 Few-shot class-incremental learning 的学习目标，实现了对三种常见的 Few-shot class-incremental learning 数据集的良好实验效果。

    Jun, 2023

  • 用大型语言模型实现细粒度视觉识别的民主化

    使用大型语言模型作为代理，FineR 在语义细分类别推理方面体现出更好性能，优于几种先进的 FGVR 和语音与视觉助手模型，并展示了在野外和新领域中工作的潜力。

    Jan, 2024

  • DistillCSE：基于蒸馏的对比学习用于句子嵌入

    本文提出了 DistillCSE 框架，该框架基于自学习范式和知识蒸馏实现对比学习。通过使用基础模型来提供额外的监督信号，DistillCSE 具有自我增强的特点，可以通过知识蒸馏学习到更强的模型。通过进一步的定量分析，本文发现标准知识蒸馏存在教师模型 logits 的相对大方差，从而导致了严重的过拟合问题。为了缓解高方差引发的问题，本文提出了两种简单而有效的解决方案：一种是 Group-P 混洗策略作为隐式正则化方式，另一种是平均来自多个教师组件的 logits。在标准基准测试上的实验证明了 DistillCSE 的优越性，超越了许多强基线方法，并获得了新的最先进表现。

    Oct, 2023