通过构建神经网络模型，模拟句子和段落之间的相互依赖和连续性，并能够连续预测段落中的语篇关系，从而提高隐含的语篇关系分类的效果，并在 PDTB 的基准语料库上取得了最佳性能。

Apr, 2018

利用依存分析和基于规则的指标，我们能够通过利用显式的篇章关系来筛选高质量的句子关系任务，从而得出高质量的句子嵌入向量及用作 BERT 等更大型模型的监督微调数据集。

Oct, 2017

我们提出了一种将强大的上下文表示模块，双边多角度匹配模块和全局信息融合模块结合的新型模型，用于隐含语篇关系分类任务，并在 PDTB 数据集上比 BERT 和其他最先进系统的表现提高了约 8％，在 CoNLL 2016 数据集上提高了约 16％。我们还分析了不同模块在隐含语篇关系分类任务中的有效性，并展示了不同表示学习层次如何影响结果。

Apr, 2020

该研究通过在 Transformer 模型中引入上下文编码器，将文档级别的上下文信息融入原有的编码器和解码器中提高翻译质量，同时采用双倍训练方法，充分利用句子级别平行语料库和有限的文档级别平行语料库来训练模型，并通过 NIST 中英数据集和 IWSLT 法英数据集的实验表明，该方法显著提升了 Transformer 模型的性能表现。

Oct, 2018

本文将预测编码理论引入 BERT 风格语言模型，以学习适当的语篇水平表示，实现了通过中间层进行顶部到底部的明显连接预测未来的句子，从而在语篇相关知识的基准测试中提高性能，特别是在语篇关系检测方面。

Sep, 2021

我们提出了一种注入了句际依赖结构的话语感知神经主题分割模型，以更好地利用句子之间的主题一致性进行主题边界分割预测，并在英文评估数据集上进行实证研究表明，我们的策略显著提高了神经主题分割器在域内和域外数据上的性能。

Sep, 2022

本研究探讨了一种模型，利用包括字符，子词，单词，句子和句对级别的不同粒度的文本表示来更好地表示文本，该模型在隐含关系识别中取得了 48% 以上的最新成果。

Jul, 2018

研究比较四种最近的模型对句子结构的编码情况，发现语言模型和翻译模型训练出的模型对句法现象具有强大的表现，但对语义任务的改进相对较小。

May, 2019

本文提出一种从未标记数据中学习句子表示的简单有效的框架，通过将句子出现的上下文预测问题重新表述为分类问题，并基于句子向量表示来区分上下文句子和对比句子，并在多个下游 NLP 任务中展示了高质量的句子表示的超越性能以及训练时间的数量级加速。

Mar, 2018

我们提出了一种新的上下文词表示模型，由纯句法和概率角度设计。我们的模型类似于 transformers，能够竞争性地在小到中等规模的数据集上执行任务，希望能够弥补传统句法和概率方法与先进神经方法之间的差距，并激发未来更多基于语言学原则的神经方法的启发。

Nov, 2023