本研究提出了一种方法，利用未标注的语料库中的关于话语标记的信息，自动发现带有相关话语标记的句子对，构建了一个包含 174 个话语标记的数据集，并用于学习迁移句子嵌入。尽管语句表示学习通过话语标记预测取得了跨转移任务的最先进结果，但仍存在进一步提高的空间，因为仍不清楚我们的模型是否利用了句子间的语义关系。

Mar, 2019

本文将预测编码理论引入 BERT 风格语言模型，以学习适当的语篇水平表示，实现了通过中间层进行顶部到底部的明显连接预测未来的句子，从而在语篇相关知识的基准测试中提高性能，特别是在语篇关系检测方面。

Sep, 2021

研究新架构用于情感分析的任务，结合了大规模的 MEGA-DT treebank 以及基于混合 TreeLSTM 分层注意模型的神经架构，通过情感相关的话语增强情感预测性能，实验结果显示，性能优于使用先前基于人类注释数据训练的良好建立的话语解析器的方法，同时演示了一个简单的组合方法如何进一步增强性能。

Nov, 2020

为了提高不同类型文本中的 Argument Mining 系统的鲁棒性，我们提出了自动使用连贯性标记来增加输入文本的方法，以便明确标记所有关系，并发现即使是现成的最流行的语言模型在这项任务上也会失败。

Jun, 2023

本文介绍一种基于情感分析的新数据集以及依此数据集进行的一系列实验，重点是训练一个强大的情感分类器用于议会会议。此外，还引入了第一个领域特定的 LLM（语言模型）用于政治科学应用，并在 27 个欧洲议会的会议记录中进行了 1.72 亿专业领域词汇的预训练。通过实验证明，LLM 在议会数据上的额外预训练可以显著提高模型的性能，尤其是在情感检测等具体领域任务上。同时，该研究显示多语言模型在未知语言上表现良好，并且来自其他语言的额外数据显著提高了目标议会的结果。本文对社会科学的多个领域做出了重要贡献，并将其与计算机科学和计算语言学相结合。最后，它建立了一种更可靠的政治文本情感分析方法，使学者能够使用标准化的工具和技术，从比较的视角研究政治情感。

Sep, 2023

在理解预训练语言模型对话建模能力方面，我们提出了一种句子入侵检测任务，并在英语方面检查了一系列预训练 LM 的性能。我们通过构建包含英语维基百科和 CNN 新闻文章的 170,000 + 文档的新型入侵句子检测数据集 INSteD，显示预训练 LM 在域内评估中表现出色，但在跨域设置中经验了大幅下降，表明其对跨域推广的能力有限。进一步的，在一个新的语言探测数据集上的结果表明，在跨域设置中有很大的改进空间。

Mar, 2021

本文提出了两个模型，即语义链模型和话语信息模型，并探究了四种实现方式。通过在语义自然语言处理任务中进行实验验证，证明我们的语义语言模型（SemLM）可以提高共指消解和话语分析等性能。

Jun, 2016

本文提出了一种新的多语言情感分类方法，使用了大量的弱监督数据训练多层卷积网络，通过在多种语言数据集上进行充分的评估，证明该方法的优异性能，达到了同类研究的最高水平。

Mar, 2017

本研究旨在测量大型语言模型中社会和经济偏见的媒体偏见，以及在预训练数据中表现出政治（社会，经济）偏见的先验模型对高风险社会导向任务的公平性的影响。结果发现先验模型确实存在政治倾向，这可能加剧原始数据中的偏见并将其传播到误导检测器之类的下游模型中，本研究讨论了这些发现对 NLP 研究的影响，并提出了减轻不公平的未来方向。

May, 2023

使用训练预测语篇标记的模型预测已知语义关系的句子对之间可信的标记，从而在现有分类数据集上提供语篇标记与语义关系之间的自动化底层特征化。

Jun, 2020