本文提出了用于生成连贯和流畅的语篇的方法，并介绍了预测话语连接词的任务以及相应的数据集和评估机制，同时使用可分解注意力模型进行任务的自动预测并发现其 F1 得分高于人类评估者，但在特定情况下，人类评估者仍然优于该模型。

Feb, 2017

本论文旨在针对基于预训练语言模型（LMs）的语用能力，重点关注与话语连接词有关的语用能力。我们通过自然发生的数据和来源于心理语言学的控制输入结合的方式来制定填空测试方式，重点测试模型使用语用线索预测话语连接词的能力、理解与连接词相关的含义，以及模型对连接词时间动态的人类偏好程度。我们发现，虽然模型在自然发生数据的情境下可以合理地预测连接词，但当我们控制语境以孤立高级语用线索时，模型的灵敏度较低，而模型也没有显示出显著的人类时间偏好。总体而言，研究结果表明，在现阶段，主流的预训练模型不能够达到具备实质性的语用能力。

Sep, 2021

通过对最近法律自然语言处理（NLP）文献中的趋势的回顾，我们发现法律 NLP 社区与法学界之间的重叠有限。我们认为，一些最流行的法律 NLP 任务未能解决法律从业人员的需求，因此我们探讨了一些能够弥合学科鸿沟的法律 NLP 任务示例，并突出了一些尚未充分探索的有趣领域。

Oct, 2023

该研究通过使用循环卷积神经网络与韵律、词性等特征及单词嵌入，提出了一种自动句子分割方法，用于帮助机器自动识别语言障碍性痴呆疾病患者的语言，获得了比条件随机场模型更好的结果，为自动话语分析工具的发展提供了一定的参考。

Oct, 2016

研究了如何在缺乏话语连词的情况下进行隐含话语关系分类，设计了一种神经网络模型，通过预测和生成连词来实现话语关系的分类。实验结果表明，在 PDTB 2.0，PDTB 3.0 和 PCC 三个数据集上，该模型明显优于其他基线模型，从而表明了该模型的长处。

Jun, 2023

本文综述了自然语言处理在编程方面的研究，并从推理模型到最新竞争级模型全面调查了现有的相关工作，具有技术类别的完整性，方便查找和比较未来的工作。

Dec, 2022

我们的研究揭示了，关系分类器在去除连接词后通过明确的示例进行训练在隐含场景中表现不佳的原因之一是标签偏移。通过在语料库级别提供经验证据，我们证明了标签偏移的存在，并通过考虑连接词的句法角色、连接词的歧义性等因素，分析了标签偏移发生的原因。最后，我们研究了两种缓解标签偏移的策略：过滤噪声数据和与连接词的联合学习。在 PDTB 2.0、PDTB 3.0 和 GUM 数据集上的实验表明，使用我们的策略训练的分类器优于强基线模型。

Apr, 2024

本文提供了一个包含 445 篇人工和计算机生成的文档的语料库，其中包含约 27,000 个从句，注释了语义从句类型和相关关系，以便对人工和自然语篇模式进行微妙的比较。它涵盖了正式和非正式的话语，包括使用 Fine-tuned GPT-2 和 GPT-3 (分别为 Zellers 等人 2019 年和 Brown 等人 2020 年发表的技术) 生成的文档。通过提供初步的证据，我们展示了该语料库对于对生成文本进行详细的话语分析的有用性：较少数量、更短和更不连贯的从句关系与计算机生成的叙述和论述的较低感知质量相关联。

Nov, 2021

本文提出了一种新的方法来收集关于新闻文件的提问，带有上下文关联且没有标注答案的开放性问题数据集 (DCQA)，并结合现有的问答资源进行了预训练，以有效帮助回答这类开放性问题。

Nov, 2021

回顾了和人脑活动相关的人工语言模型研究，发现人工神经网络中单词意义的神经表征与其使用的密集词向量高度吻合，并且人工神经网络内部的处理层次与人脑有相似之处，但是依据研究的不同而有所不同。因此，建立人工神经网络作为自然语言理解过程模型的当前挑战之一是利用其高度结构化的表征几何来映射表征到脑数据。

Jan, 2023