Sep, 2019

序列多关键词生成的实证研究：顺序是否重要？

PDF
TL;DR本研究提出了多个关键短语拼接作为目标序列的学习方法，研究了拼接顺序对模型行为的影响，并通过综合比较发现了一种更好的拼接顺序，总结了几个实证发现和挑战，这些可以为未来相关研究提供指导和启示。
keyphrase generationlearning paradigmorderingstraining factorsempirical findings
发现论文，激发创造
  • One2Set：生成关键词集合的多样性关键词生成模型

    本研究提出一种新的训练模式 One2Set 及利用对一组特定控制码的应用实现并行生成关键词集的新型模型，同时通过二分图匹配的 $k$-step 目标分配机制增加关键词生成的多样性和降低重复率，实验结果表明本方法显著优于现有最优方法。

    May, 2021

  • 神经机器翻译的数据排序模式：实证研究

    本文通过实证研究不同训练数据排序方法对神经机器翻译模型性能的影响，结果表明基于预训练模型的困惑度得分对训练数据进行预排序的方法表现最佳，在每轮训练中优于默认方法随机洗牌训练数据。

    Sep, 2019

  • 词序的影响：重新排序和生成分析的见解

    在本文中，我们通过添加一种顺序重构的视角并选择不同范围的数据集，重新审视了关于词序的假设，包括 “词序与词汇语义冗余” 和 “模型不依赖词序”。实证结果支持 ChatGPT 在推断中依赖于词序，但不能支持或否定词序与词汇语义之间的冗余关系。

    Mar, 2024

  • 机器翻译生成顺序的实证研究

    本文通过实证研究生成顺序来探讨机器翻译的效果，发现对于英德翻译任务，以字母和最短优先等方式生成的效果相当于标准 Transformer 生成的效果，提出了不必严格遵循从左到右的翻译方式。而对于英中翻译任务，由于语言对齐度低，生成的效果则对生成顺序更加敏感。

    Oct, 2019

  • 科学文献检索中的关键词生成

    本文证明了 Sequence-to-sequence 模型可以显著提高文档检索性能，并介绍了一种新的外在评估框架，以更好地理解生成关键词模型的局限性，包括文档补充中所遇到的困难和模型在不同领域中的一般化问题。

    Jun, 2021

  • 乱序排列：语句中单词顺序对自然语言理解任务的重要性如何？

    此研究发现，BERT 等自然语言处理模型在进行自然语言理解任务时，即使输入词的顺序被随机打乱，其对下游任务的影响几乎不会改变，因为这些模型主要利用表面特征（如情感分析中的关键词情感或自然语言推断中序列对输入的逐词相似性）进行正确的决策。研究结果表明，许多自然语言处理任务不能真正挑战机器对句子含义的理解能力。

    Dec, 2020

  • 一般适用规则不一定适合所有情况：生成和评估关键词的可变数量

    本研究从建模和评估的角度解决了许多现有神经关键词生成模型中缺乏多样性问题，并提出了两种评估指标和一种新数据集 StackEx，从而能够控制输出数量并在所有数据集上优于强基线。

    Oct, 2018

  • 语言模型中生成顺序的重要性

    这篇研究通过一种新颖的双通路语言模型研究了单词生成顺序对模型质量的影响，发现先生成功能词，再生成内容词的策略最为有效。

    Aug, 2018

  • 语序很重要（洗牌语言模型知道）

    研究发现，经过随即排列的句子进行预训练和 / 或微调的语言模型表现出与 GLUE 上竞争力的表现，这给单词顺序信息的重要性带来了质疑。尽管有一些研究表明位置嵌入对于模型在混乱的文本上表现良好似乎很让人费解，但我们对这些语言模型进行了单词顺序信息的探究并研究了从混淆的文本中学习的位置嵌入编码的内容，表明这些模型保留了与原始的自然顺序有关的信息。我们表明，这在某种程度上是由于先前的研究中所实现的混淆的微妙之处 —— 而不是在子单词分段之后而是在之前。但令人惊讶的是，我们发现即使是在子单词分段之后洗牌的文本上训练出的语言模型也保留了单词顺序信息的某些方面，因为句子长度和单字概率之间存在统计依赖关系。最后，我们证明除了 GLUE，各种语言理解任务确实需要单词顺序信息，这往往不能通过微调来学习。

    Mar, 2022

  • 应用通用序列到序列模型实现简单有效的关键词生成

    本研究旨在展示使用 seq2seq 语言模型 BART，在一个简单的训练过程中能够轻松地从文本中生成关键词短语，并在五个基准测试中获得与现有最先进 KPG 系统一样好的实证结果，同时也拥有简单易部署的框架。

    Jan, 2022