本研究探讨了如何在训练过程中利用句法信息来提高预训练模型 BERT 在自然语言推理上的表现，经过尝试，通过主语 / 宾语倒装能将模型在控制的测试中的准确率从 0.28 提升至 0.73，而对 MNLI 测试集影响不大，表明数据增强能帮助 BERT 招募抽象的句法表示从而提升模型的表现。

Apr, 2020

本文提出了第一个模拟开放式信息抽取模型在真实世界中评估的基准测试，并在大规模测试中评测了几种常见 NLP 模型和常用的大语言模型，其中表现出色的模型也出现了最高 23.43 F1 得分的下降。

May, 2023

文章提出了一种新的基于 Transformer 模型的句法感知注意力层以及预训练任务，该模型可以从句法结构中获取信息来提高预训练模型在关系分类、实体类型标注和问答等任务中的表现。实验结果表明，该模型取得了当前最好的表现效果。

Dec, 2020

本文提出了利用元学习框架解决弱监督下的释义生成任务，并通过检索式的伪释义扩展获取大量弱标注平行句子，进而选择有价值的样本对预训练语言模型 BART 进行微调，从而生成高质量释义的方法，与目前的无监督学习方法相比具有显著的改进。

Sep, 2021

本文提出一种名为 SDRO 的模型无关方法，利用分布式鲁棒优化设置中的一组语言转换，并使用集成技术在推断期间利用这些转换来提高通用性和稳健性。实验表明，该方法可以对视觉和语言模型进行增强，从而在图像（NLVR2）和视频（VIOLIN）上获得性能改善，并展示了对抗性攻击的稳健性。

Oct, 2021

ParaBART 是一个语义句子嵌入模型，使用基于源句子和目标释义之间语义相似性差异的语法指导解开基于预训练语言模型的嵌入中的语法和语义信息的工作。该方法在英语分析上表现出色，能有效的从语义句子嵌入中删除语法信息，提高对下游语义任务的鲁棒性。

Apr, 2021

本研究的主要目的是使一个语义解析器模型从英语语言转移到其他多种语言和领域上，通过机器翻译、释义、多语言预训练模型，我们得出一个基于 Transformer 的语义解析器，用于在德语和中文中准确解析。实验表明，机器翻译结合多组 MT 引擎释义可以近似于多种语言的训练数据，同时我们还成功地将训练数据减半，最终准确度仅低于完整翻译 2%。

Apr, 2020

本文通过对三种主流的依存句法分析器进行描述和比较，提出了两种直接使用部分注释数据（PA）进行训练的方法，其基于森林目标和受限解码的思想，研究了如何通过 PA 训练统计模型的问题。实验证明，基于 LLGPar 的方法在学习 PA 方面最为有效，而 LTPar 在表现上落后于基于图的对照组。

Sep, 2016

提出一种通过引入自主训练数据的自训练事件抽取系统的方法，它利用了跨多个来源的新闻文章中同一事件实例的多个提及的出现。在这个集群中，如果我们的系统能从一些提及中进行高置信度的抽取，那么它可以通过添加其他提及来获取多样化的培训示例。该方法对 ACE2005 和 TAC-KBP 2015 数据集上的多个事件提取器显示出显着的性能改进。

Aug, 2018

本文研究了文本表示学习器在句法表现上的优越性和在自然语言句法中的应用，提出了将句法模型的预测注入 BERT 的知识蒸馏策略，并表明在一系列结构预测任务中，这种方法能够显著地减少相对误差。

May, 2020