EMNLPOct, 2020

整合行为假设进行查询生成

PDF
TL;DR通过提出行为偏差的假设，本文提出了一种通用的编码器 - 解码器变压器框架，以聚合任意假设，进而在检索任务中实现了较大的性能提升，包括 top-$k$ 词语错误率和 Bert F1 得分。
generative neural networksquery suggestionuser inputsbehavioral biasesencoder-decoder transformer
发现论文，激发创造
  • 基于统一查询的生成模型，用于问题生成和问题回答

    我们提出了一种基于查询的生成模型，用于解决问题生成和问题回答两个任务， 在查询理解方面，该模型使用经典的编码器 - 解码器框架，通过与多个角度的文章进行匹配来执行查询理解。在进行培训时，我们利用政策梯度强化学习算法来克服暴露偏差，这是由于交叉熵损失的序列学习而引起的主要问题。

    Sep, 2017

  • 用于生成上下文感知查询建议的层次递归编码器 - 解码器

    本文提出了一种基于概率模型的搜索建议方法，使用新颖的分层递归编解码器架构，能够考虑任意长度的查询序列，实现上下文感知，解决数据稀疏问题，在下一个查询预测任务中优于现有上下文感知方法，并且可以用于许多其他应用。

    Jul, 2015

  • 基于排名的生成模型在 [CLS] 任务中的应用

    本研究旨在重新审视信息检索的生成式框架，并比较其与基于语义相似性的判别式模型在答案选择任务上的表现。同时，还展示了非似然损失对信息检索的有效性。

    Oct, 2020

  • 学习提问以回答问题：获取 GPT-2 和 BERT 的最大优势

    本文利用变压器模型和深度神经网络提出了一种有效的自动生成问题的方法，并通过 SQuAD 1.1 数据集实验证明所提出的模型可以产生语义正确且多样化的问题，并且在半监督学习中表现优异，为小数据领域内的问题生成提供了强大的支持。

    Nov, 2019

  • 面向基于会话的查询建议的学习注意力、复制和生成

    本文提出了一种基于会话的查询建议定制序列到序列模型，利用查询感知的注意机制掌握会话上下文的结构，使用复制机制赋予模型解码器存取源单词的能力，实现对于大部分之前提交查询的保留，提出了模型评估的方法以验证其性能，实验证明该模型在查询建议任务中的生成查询和评分候选查询上的优异表现。

    Aug, 2017

  • 基于文本的神经问答生成：初步研究

    本研究提出了一种基于神经编码器 - 解码器模型的自动问题生成方法，可以根据给定的段落生成多样化、有意义的问题并利用 SQuAD 数据集进行了初步实验研究，实验结果显示该方法可以产生流畅且多样化的问题。

    Apr, 2017

  • 具有句法信息的异构图变换器问答

    本研究探讨了如何在不需要从头开始的情况下，在预训练的神经语言模型中添加显式的语言学信息，以提高其性能，并提出了一种基于转换器的神经语言模型，通过异构图转换器对模型进行扩展和微调，这可以通过添加句法信息来实现，而基于斯坦福问答数据集的实证性能评估表明了该方法的竞争性。此方法包括语义和语用方面的信息，具有可扩展性。

    Apr, 2022

  • 学会提问：神经网络阅读理解问题生成

    该研究采用基于注意力机制的序列自学习模型进行阅读理解中基于句子的自动问题生成，相比于之前的工作，该模型不依赖于手工规则或复杂的自然语言处理技术，并在人工和自动评估中都呈现出更加自然和困难的问题。

    Apr, 2017

  • 神经生成式问答

    本文提出了一个名为 Neural Generative Question Answering（GENQA）的端到端神经网络模型，可以根据知识库中的事实生成简单问答问题的答案。通过对问题答案对的语料库进行训练，该模型可有效处理问题和答案的变化，并通过参考知识库中的事实生成正确自然的答案，且在问题回答方面的实验证明该模型优于基于嵌入式的 QA 模型和在相同数据上训练的神经对话模型。

    Dec, 2015

  • 利用答案焦点、语境和语言特征进行不同类型问题的神经生成

    本篇论文提出了一种新的 Attentional Encoder-Decoder Recurrent Neural Network 模型用于自动生成问题，该模型融合语言特征和句子嵌入来捕捉句子和单词层面上的意义，并采用复制机制和特殊答案信号生成多样化的问题，在基准问题生成数据集上取得了 19.98 的 Bleu_4 结果，超过了以前发表的所有结果，并且人类评估显示这些新增的功能提高了生成的问题的质量。

    Sep, 2018