神经主题分割中上下文建模的改进

ACLOct, 2020

Improving Context Modeling in Neural Topic Segmentation

Linzi Xing, Brad Hackinen, Giuseppe Carenini, Francesco Trebbi

TL;DR本文提出了一个基于层级注意力双向 LSTM 网络的主题分割器，通过添加相干性相关的辅助任务和受限制自注意力来更好地建模上下文，从而超过了 SOTA 方法，并在领域转移设置中证明了其鲁棒性和在多语言场景中的有效性。

Abstract

topic segmentation is critical in key nlp tasks and recent works favor highly effective neural supervised approaches. However, current neural sol

发现论文，激发创造

本文提出了一种基于注意力机制的双向 LSTM 模型，使用卷积神经网络学习句子嵌入，利用上下文信息预测文本分段，相比现有的竞争基准方法，在三个基准数据集上的 WinDiff 分数提高了约 7%。

Aug, 2018

提出了采用孪生句子嵌入层的主题分割方法，结合同一主题预测、主题分类和下一句预测等多任务学习技术，实现对 WikiSection 数据集中文档的最新分割结果。

Jan, 2023

提出了基于上下文感知 NMT 的层次化注意力机制来处理整个文档的翻译，并使用稀疏注意力机制在文档上选择性地关注相关句子和关键词，将这些注意力模块产生的文档级上下文表示集成到 Transformer 模型的编码器或解码器中，通过在英德数据集上的实验进一步验证了该方法的有效性。

Mar, 2019

研究了自注意网络和 BERT 对中文分词任务的影响，提出了将词信息集成到自注意网络中的方法，并展示了该方法在 6 个领域基准测试中的最佳结果。

Jul, 2019

探究在基于注意力的神经机器翻译中使用扩展上下文的效果，通过对电影字幕进行翻译实验，研究增加翻译单元之外的片段对源语言上下文和双语上下文扩展的影响，发现模型可以区分不同片段的信息，并且在一些情况下可以改善译文连贯性。

Aug, 2017

文档级上下文对神经机器翻译至关重要，然而仅仅增加本地上下文的大小并不能捕捉到整个上下文信息，而这些挑战可以通过引入受限的注意力机制来解决，并在低资源情况下实现良好的折衷方案。

Jun, 2023

本文介绍一种基于上下文敏感的无监督词分割模型，使用双向神经语言模型和两种解码算法来增强长期和短期的相关性，该模型在不同的数据集上实现了最新技术水平的中文和泰文词分割结果。

Mar, 2021

本研究提出了一种基于无监督学习的方法来对齐上下文和下一句子，它可以自动识别短语并生成词组内嵌入，实现了对语言模型进行了有效优化，模型在 Wiketext-103 数据集上达到 17.4 的最佳性能表现。

Jun, 2019

通过上下文信息来提高自注意力网络有效性的研究表明，利用内部嵌入全局和深度上下文的方式来上下文化查询和键层变换可以提高翻译任务的性能.

Feb, 2019

本论文针对 BiLSTM 模型的局限性，提出两种结构 -- 自注意力和 Cross-BiLSTM，用于命名实体识别并在 OntoNotes 5.0 和 WNUT 2017 语料集上实现明显且一致的性能提升。

Oct, 2019