我们提出了一种新的协同训练方法，通过根据分类器的训练动态为远程监督标签分配权重，反映了它们在后续训练轮次中的使用方式。我们通过分配重要权重而不是基于预测置信度的任意阈值过滤示例，使得自动标记的数据得以最大化利用，同时确保噪声标签对模型训练的影响最小化。该方法相对于远程监督基准方法在 Macro F1 上实现了 1.5％的改进，并在几个其他强 SSL 基准方法上取得了显著的改进。我们在 Github 上提供了我们的代码和数据。

Jun, 2024

本文提出了一个 semi-supervised learning (SSl) 的新方法：Mixture of Expert/Imitator Networks，该模型通过利用大量未标记数据来训练 imitator 网络模拟 expert 网络的标签分布，从而提高 text classification 任务的性能，实验结果表明该方法可适用于多种深度神经网络模型，并且性能随未标记数据的增加而提高。

Oct, 2018

研究介绍了一个基于学生 - 教师框架的半监督学习 (SSl) 生产管道，利用数百万未标记的示例来改善自然语言理解 (NLU) 任务，并调查了两个与未标记数据在生产 SSL 环境中的使用相关的问题：1）如何选择从大量未标记数据池中受益于 SSL 培训的样本，2）选定数据如何影响不同的最先进的 SSL 技术的性能。结合委员会选择和子模块优化选择两种数据选择方法，比较了四种广泛使用的 SSL 技术，包括伪标签 (PL)、知识蒸馏 (KD)、虚拟对抗训练 (VAT) 和交叉视图训练 (CVT)。我们进一步探讨了这些技术在意向分类 (IC) 和命名实体识别 (NER) 任务中的优缺点，并提供了指导方针，指定每种方法何时可能有益于改善大规模 NLU 系统。

Mar, 2021

本文针对自然语言处理中最重要的问题之一 —— 自然语言推理（NLI），提出了一种从重要语篇标记中转移知识以提高 NLI 模型质量的方法，并使用强化学习优化了新的目标函数，通过 NLI 数据集的属性定义得出奖励，从而充分利用标签信息，实验结果显示，我们的方法在几个大规模数据集上取得了最先进的表现。

Jul, 2019

提出了一种利用标签中的语义信息提高数据利用率的新方法，通过构建一种标志为自然语言描述的语义图来训练辅助图神经网络，以提取高层语义关系并指导主模型的训练，在图像、视频和音频模态下，应用该方法在迁移学习和半监督学习场景中展示了显著提高性能的多样性，并且深入分析还表明该方法加速了训练过程。

Nov, 2023

本文介绍了不确定的自然语言推断（UNLI），它是自然语言推断（NLI）的一种改进，通过预测主观概率评估来预测结果，利用概率评估重新标记了部分 SNLI 数据集，并使用现有的分类标签化的 NLI 数据进行预训练，最终模型展示了超越分类标签化的 NLI 任务的更微妙推断的人类表现水平。

Sep, 2019

通过引入一个新的 NLU 双重任务 —— 语义到句子生成 (SSG)，并提出一种新的半监督 NLU 框架，其中包括对应的双重模型，以解决之前半监督学习面临的标注样本稀缺问题。该框架通过主任务与对偶任务之间的闭环，使得 NLU 模型可以充分利用数据（标记和无标记），并在每次迭代中逐步提高 NLU 和 SSG 模型的性能，在 ATIS 和 SNIPS 两个公共数据集上的实验结果表明，该方法明显优于基线，而且在监督设置下也可以达到最先进水平。

Apr, 2020

本文提出一种基于对偶句子级别的监督对比学习（PairSCL）方法，采用交叉注意力机制学习句子对的联合表示，并使用对比学习目标来区分不同类别的句子对，在两个公共 NLI 数据集上，PairSCL 的准确性平均优于其他方法 2.1％，并在文本分类的七个转移任务上超过了先前的最新方法。

Jan, 2022

该研究探索了无监督预训练和外部知识对自然语言推断任务的影响，以了解其如何帮助自然语言理解和解决 NLP 问题。

Apr, 2019

我们提出了一种 NLP 技术，利用通用翻译数据集和知识蒸馏技术，通过两个预训练模型在源语言和目标语言上的表现实现了目标语言的句子关系推理，该技术在多个任务上展现了普适性。

Sep, 2023