语言语义图引导的数据高效学习

Nov, 2023

Language Semantic Graph Guided Data-Efficient Learning

Wenxuan Ma, Shuang Li, Lincan Cai, Jingxuan Kang

TL;DR提出了一种利用标签中的语义信息提高数据利用率的新方法，通过构建一种标志为自然语言描述的语义图来训练辅助图神经网络，以提取高层语义关系并指导主模型的训练，在图像、视频和音频模态下，应用该方法在迁移学习和半监督学习场景中展示了显著提高性能的多样性，并且深入分析还表明该方法加速了训练过程。

Abstract

Developing generalizable models that can effectively learn from limited data and with minimal reliance on human supervision is a significant objective within the machine learning community, particularly in the era of deep neural networks. Therefore, to achieve data-efficient learning,

data-efficient learning semisupervised learning transfer learning data augmentation language semantic graph

发现论文，激发创造

基于图的半监督学习：综述

本文着重阐述了基于图的半监督学习方法的各种变体及其概述、连接和发展方向。新的广义分类方法为图正则化和图嵌入方法提供了指导和最新的研究参考。

Feb, 2021

学习无标注数据推理：一种半监督学习方法用于强健的自然语言推理

本文提出了一种结合无标注数据的 NLI 半监督学习方法，其中使用了条件语言模型 BART 生成假设句子，以减少对人类注释的依赖，实验结果显示该方法能够成功地利用无标注数据并在低资源环境下显著提高四个 NLI 评测集的性能。

Nov, 2022

数据高效图学习综述

图结构数据是从社交网络到生化分析等领域广泛存在的，它们为不同实际系统提供了基础。而图神经网络在建模这种类型的数据时具有很高的成功率，但通常依赖于大量标记数据，这在实际场景中具有有限的注释资源时带来挑战。为了解决这个问题，我们在低资源环境下增强图机器学习性能进行了巨大努力，探索了各种最小监督方法。本文首次介绍了数据高效图学习 (DEGL) 的新概念作为研究前沿，并总结了当前 DEGL 进展的首份综述。我们首先强调了在使用大量标记数据训练模型时固有的挑战，为我们对 DEGL 的探索铺平道路。接着，我们系统地回顾了最近在这个主题上的一些关键进展，包括自监督图学习、半监督图学习和小样本图学习。我们还提出了未来研究的有望方向，为图机器学习的发展作出了贡献。

Feb, 2024

强化学习引导的半监督学习

提出了一种新颖的强化学习引导的半监督学习方法 RLGSSL，将半监督学习视为一个老虎机问题，并通过加权奖励的创新 RL 损失来自适应地指导预测模型的学习过程，通过在多个基准数据集上进行广泛实验表明，相较于最先进的半监督学习方法，我们的方法始终具有更好的性能。

May, 2024

图像自监督学习：综述

本文综述了基于自监督学习技术在图数据中的应用，提出了一个统一的数学框架，并将这些方法根据预文本任务的目标分为四类，并描述了在各个研究领域中的应用及所采用的数据集，评估基准，性能比较和开源图形 SSL 代码。

Feb, 2021

往未见领域通用化的方向发展

我们提出了一种半监督领域泛化模型，通过利用有限的有标签数据和大量的无标签数据来学习领域通用特征。我们的方法在两种不同的半监督领域泛化设置中，在五个具有挑战性的基准测试中实现了一致且显著的进展。

Mar, 2024

通过潜在图预测的自监督表示学习

本文提出了一种基于潜在图预测的自我监督学习框架 LaGraph，通过其理论上的自我监督上界来学习预测未观察到的潜在图。在实验中得到了相对于其他相关方法在性能上的提高和对样本减少的鲁棒性提升的证明。

Feb, 2022

通过图感知学习增强基于语言模型的协同语义推荐

通过使用充满协作语义的交互图，我们提出了一种名为 GAL-Rec 的方法，通过模仿图神经网络（GNNs）的意图来提高语言模型驱动的推荐模型对用户 - 物品协作语义的理解能力，从而充分利用大型语言模型的学习能力，独立解决推荐系统中的复杂图形，实验证明 GAL-Rec 显著增强了协作语义的理解能力，并提高了推荐性能。

Jun, 2024

寻求结构：联合学习图形结构和半监督分类

本文提出了一种新的并行图学习框架 (PG-learn)，具有基于梯度的优化边缘权重和自适应资源分配方案的并行超参数搜索算法，能显著提高图构建的准确性和高效扩展到高维问题。

Sep, 2019

半监督自然语言理解的双向学习

通过引入一个新的 NLU 双重任务 —— 语义到句子生成 (SSG)，并提出一种新的半监督 NLU 框架，其中包括对应的双重模型，以解决之前半监督学习面临的标注样本稀缺问题。该框架通过主任务与对偶任务之间的闭环，使得 NLU 模型可以充分利用数据（标记和无标记），并在每次迭代中逐步提高 NLU 和 SSG 模型的性能，在 ATIS 和 SNIPS 两个公共数据集上的实验结果表明，该方法明显优于基线，而且在监督设置下也可以达到最先进水平。

Apr, 2020