ACLMar, 2019

挖掘话语标记以进行无监督句子表示学习

PDF
TL;DR本研究提出了一种方法，利用未标注的语料库中的关于话语标记的信息，自动发现带有相关话语标记的句子对，构建了一个包含 174 个话语标记的数据集，并用于学习迁移句子嵌入。尽管语句表示学习通过话语标记预测取得了跨转移任务的最先进结果，但仍存在进一步提高的空间，因为仍不清楚我们的模型是否利用了句子间的语义关系。
发现论文，激发创造
  • 讲话标记可以增强情感分析语言模型

    本文研究使用情感搭载的话语标记产生大规模弱标记数据并利用此数据训练与情感分析更好契合的连续预训练模型，以提高零标记和少样本情况下的性能表现，并在多项基准数据集上进行了广泛的实验，包括金融领域。

    Jan, 2022

  • DiscSense: 议态词自动语义分析

    使用训练预测语篇标记的模型预测已知语义关系的句子对之间可信的标记，从而在现有分类数据集上提供语篇标记与语义关系之间的自动化底层特征化。

    Jun, 2020

  • 有歧义的语篇标记和交织关系的分布式标记表示

    通过学习分布式标记表示以及潜在的语篇感，实现了对句子对之间的标记和语段信息的联系，具备自动学习和解释性强的特点，并在隐式语篇关系识别任务中达到了 SOTA 效果。

    Jun, 2023

  • DisSent: 显式语篇关系的句子表征学习

    利用依存分析和基于规则的指标，我们能够通过利用显式的篇章关系来筛选高质量的句子关系任务，从而得出高质量的句子嵌入向量及用作 BERT 等更大型模型的监督微调数据集。

    Oct, 2017

  • 跨文本类型论证挖掘：语言模型自动填补缺失的话语标记？

    为了提高不同类型文本中的 Argument Mining 系统的鲁棒性，我们提出了自动使用连贯性标记来增加输入文本的方法，以便明确标记所有关系，并发现即使是现成的最流行的语言模型在这项任务上也会失败。

    Jun, 2023

  • 预训练的语句嵌入用于隐式语篇关系分类

    本文针对隐含的语篇关系进行了意义预测，利用预训练的句子嵌入作为神经网络基础表示，分别使用监督学习和预训练编码技术 - SkipThought，Sent2vec 和 Infersent 进行实验，并证实两种方法可以相互补充，结合模型可以显著提高模型性能。

    Oct, 2022

  • 生成、判别和对比：半监督句子表示学习框架

    本文提出了一种半监督句子嵌入框架 GenSE，通过使用大规模无标注数据，利用生成器 / 鉴别器模型进行句子对的合成和对比学习，实现对带标签和合成数据的句子表示学习，相对于目前最先进的方法，在四项领域适应任务上具有显着的性能提升，平均相关性得分为 85.19，证明了其高效性和一般化能力。

    Oct, 2022

  • 面向任务建模的对话状态跟踪的半监督引导

    本文研究了利用半监督学习方法在构建神经对话系统时可以减少中间标签的数量，发现可以利用未注释数据来显著减少对话状态的转换级别注释，同时在 MultiWOZ 语料库上进行了分析并提出了第一个端到端的对话模型。

    Nov, 2019

  • 长篇科学文档的基于话语的无监督摘要

    本文提出了一种基于无监督的基于图的排名模型，用于提取科学文献的摘要。我们的方法假定源文档采用两级分层图表示，并利用不对称的位置提示来确定句子的重要性。在 PubMed 和 arXiv 数据集上的结果表明，我们的方法在自动指标和人工评价方面优于强无监督基线。此外，其性能与许多基于监督学习的方法相当。这些结果表明，篇章结构中的模式是确定科学文章重要性的强有力信号。

    May, 2020

  • 基于话语的目标实现快速无监督句子表示学习

    该研究针对神经网络句子编码器的无监督训练提出了一种新的客观函数，通过利用段落级话语连贯性的信号训练这些模型以理解文本，该目标是纯判别式的，使我们能够比之前的方法更快地训练模型，并且产生在外部评估中表现良好的模型。

    Apr, 2017