ACLApr, 2020

基于 Transformer 的多方对话分层上下文学习与跨度问答

PDF
TL;DR本研究介绍了一种新颖的 transformer 方法，利用三种语言模型任务预训练 Transformer，并应用多任务学习进行精细调整，以实现基于跨度的问答，该方法在挑战性的 FriendsQA 数据集上表现得非常好。
发现论文，激发创造
  • 使用 Transformers 的无监督问答评估

    本研究探讨了基于 Transformer 的 QA 模型中问题、答案和上下文的隐藏表示，并通过观察回答表示中的一致性模式来自动评估预测出的答案跨度是否正确，其方法不需要任何标记数据且优于强启发式基线，在两个数据集和七个领域上均能够达到较高准确率。

    Oct, 2020

  • 基于 Transformer 的语言模型在抽取式问答中的比较研究

    本文旨在研究和比较不同的预训练语言模型在回答问题的能力上的表现，通过使用 Bert-BiLSTM 结构模型的效果来检验双向流的加入是否能够提高模型性能，并发现 RoBERTa 和 BART 表现最佳。

    Oct, 2021

  • 具有句法信息的异构图变换器问答

    本研究探讨了如何在不需要从头开始的情况下，在预训练的神经语言模型中添加显式的语言学信息，以提高其性能，并提出了一种基于转换器的神经语言模型，通过异构图转换器对模型进行扩展和微调，这可以通过添加句法信息来实现，而基于斯坦福问答数据集的实证性能评估表明了该方法的竞争性。此方法包括语义和语用方面的信息，具有可扩展性。

    Apr, 2022

  • 基于句间注意力机制改进基于 Transformer 的对话语音识别

    本文提出了一种基于 Transformer 的端到端架构方法，在自动语音识别中精确建模跨话语的语境依赖，通过引入上下文感知残余注意机制，对先前语音的上下文进行编码，同时，还采用条件解码器框架将历史语言信息融入到当前预测中，结果表明该方法在几种公开对话语料库上都取得了持续的改进

    Jul, 2022

  • 利用 Transformer 的双向编码表示进行答案选择

    本文探讨了在大规模数据集上对 transformer 模型进行语言模型的预训练，并在 QA 和 CQA 数据集上微调 BERT 模型进行答案选择任务，在 QA 数据集中观察到了最大 13.1% 的提升，在 CQA 数据集中观察到了最大 18.7% 的提升。

    Nov, 2020

  • 面向任务的对话状态生成的长上下文建模

    本论文提出了一种基于 TRADE 的可转移对话状态生成器，结合简单有效的话语标记技术和双向语言模型的多任务学习模型，旨在解决基线性能在长对话上大幅下降的问题，最终在 MultiWOZ 2.0 数据集上实现了 52.04％的联合目标准确性，相对提高了 7.03％，成为了最新的最先进技术。

    Apr, 2020

  • 基于预训练 Transformer 自然语言模型的开放领域对话生成的实证研究

    本研究使用预训练模式和微调模式对基于 Transformer 的语言模型进行实证研究，探讨其在开放域对话生成任务中的性能表现和多样性，发现各种变形策略对生成结果都有不同程度的影响。

    Mar, 2020

  • 神经多跳问题生成的强化 Transformer

    该论文探讨了自动化生成问题的新领域：多跳问题生成。通过引入一系列强大的转换器模型，包括使用多文档之间关系增强的图形增强转换器，比简单的 transformer 模型提高了 5 个 BLEU 点，并验证了数据过滤等能极大地提升模型性能。

    Oct, 2020

  • 基于远程监督的 Transformer 模型在电商产品问答中的应用

    提出了一种基于 Transformer 模型的实时电子商务产品页面问答系统，在 CQA 对中检索到与用户查询相关的问题答案对，该模型学习统一的句法和语义表示，同时利用 CQA 对进行远程监督，通过在离线和在线实验中的大规模评估，证明了该框架在电子商务 QA 流量方面具有很好的性能。

    Apr, 2021

  • 长跨度问答：通过并行评估自动生成问题和问答系统排序

    通过使用大型语言模型的长期上下文能力，我们利用整本书籍创建合成阅读理解数据。我们提出了一个全面的自动化数据生成流程，包括问题生成、回答和模型评分。我们还发现将答案在模型之间进行相对比较，并使用 Bradley-Terry 模型进行排名，与绝对评分器相比，提供了一种更一致和区分性更强的评分机制。同时，我们展示了不同模型族的大型语言模型在评分方面的适度一致性。通过人工策划的 NarrativeQA 数据集验证了我们的方法，并且我们的评估器与人类判断达到了很好的一致性，甚至在数据集中发现了错误。使用我们的自动化评估方法，我们展示了与无上下文（参数化知识）和基于检索的方法相比，使用整本书籍作为上下文可以获得更优秀的阅读理解性能。

    May, 2024