本文提出了一种序列标注框架，采用辅助训练目标，并通过学习预测数据集中每个词周围的单词进行语言建模，以此学习通用的语义和语法组合模式，并在不需要额外标注或未标注数据的情况下，实现在多个序列标注任务上取得一致的性能提升。

Apr, 2017

提出一种利用 LSTM 网络同时学习句子级别分类任务和序列标注任务的模型，通过语义相关性对单词进行加权的稀疏注意力机制，该方法在 ATIS 和 TREC 数据集上表现优于基准模型。

Sep, 2017

本论文通过构建基于软注意力机制的神经网络架构，分别在四个不同数据集上训练和测试，探究使用注意力或梯度可视化技术能否用于推断二元序列标记问题中的单词级标记，并得出结论：相比梯度 - based 方法，基于注意力的方法能够更准确地预测单词级标记。

May, 2018

本论文探讨了利用多个训练目标来学习句子表示的多任务学习框架，提出了一种有效实现的方法，通过多项实验得出该方法可以在转移学习和低资源环境中大幅度提高语言处理的效率。

Mar, 2018

本文提出了一种基于短语重构的生成式自监督学习目标，从而在获得上下文化标记级别表示的同时，有效获取句子级别表示，在句子结构的建模上进行了精细的设计，实验结果表明，该方法在语义检索和重排序任务上超越当前最先进的对比方法。

Oct, 2022

通过增加一个新的目标，明确指出输入中的标签符号空间，并通过添加 [MASK] 符号来预测标签类别，以此来建立标签符号空间与句子符号空间之间的连接，并通过相邻表示的正则化来进一步指导传播，从而为有监督学习任务学习出表达丰富的句子表示，这样的模型能够在仅调整了冻结预训练模型的 5％的额外参数的情况下，实现可比的分类结果和强大的表达能力。

May, 2022

建立跨图片和文本的联合表示是视觉问答和视频问答等任务的重要步骤。本研究发现，这些表示不仅必须同时捕捉两种模态的特征，而且还应具有多样性，以获得更好的泛化性能。为此，提出了通过多样化分词学习过程的联合视觉语言表示学习，可以学习来自两种模态的足够解开的词元。观察到我们的方法在大多数情况下优于基线模型，并且与最先进的方法竞争力强。

Jun, 2023

本文提出一种基于依存结构和标签语义嵌入的多粒度标签精炼网络，利用图注意层介绍了句子的依存结构来增强句法表示，通过注意机制将任务特定的特征与相应的标签嵌入相结合捕获语法信息和任务标签之间的语义依赖关系。在两个公共数据集上的实验结果表明，我们的模型取得了竞争性能。

Sep, 2022

使用强化学习学习树形神经网络，以计算自然语言句子的表示形式。优化树形结构以提高下游任务的性能，实验证明学习任务特定的组合顺序的好处，优于基于树库注释的顺序编码器和递归编码器。分析所发现的树形结构，发现了一些语言直观的结构，但这些结构与传统的英语句法结构是不同的。

Nov, 2016

文章介绍了一种可以精确和控制地针对句向量中的组合含义信息的方法，利用一个专门的句子生成系统，创建遵循特定句法、语义和词汇约束条件的带注释的大型句子集。实验表明，这种方法能够从多种现有的句子表示模型中提取有用的信息，有助于理解这些系统对句子信息的捕获能力。

Sep, 2018