AAAIJan, 2022

用填空翻译和一致性优化实现零样本通识常识问答

PDF
TL;DR本研究针对常识问题回答（Commonsense question answering）的挑战，提出了利用预训练语言模型中的 “隐含知识”，通过四种翻译方法，探索如何更好地调动语言模型中的常识知识。研究通过在零样本情况下对三个 CQA 数据集进行实验，证明了该方法对增强模型的性能十分有效，并且结合外部知识库进一步提高了模型性能。同时，文章还分析了各种填空翻译方法的不同特点和优缺点。
commonsense question answeringpre-trained language modelstranslation methodsunsupervised neural modelzero-shot performance
发现论文，激发创造
  • 基于填空翻译的无监督问答

    本文探讨了利用无监督方法合成训练集数据以及不匹配的语料库训练 NMT 模型作为 cloze-to-natural question translator 来更有效地训练 QA 模型，这种方法已经在 SQuAD v1 数据集上验证，并且相较于过去的监督学习方法取得更好的表现。

    Jun, 2019

  • 通过知识文本转换基准测试知识增强型常识问答

    研究人员基于知识增强的常识问答模型，在多个标准常识问答数据集上进行了大量实验，发现当前模型的知识潜力还远未被充分挖掘，提出了上下文敏感的知识选择、异构知识利用和基于常识的语言模型是未来常识问答的有效方向。

    Jan, 2021

  • 大规模综合监督的跨语言开放领域问答预训练

    基于自我监督方法的编码器 - 解码器模型在跨语言问答中表现出色，利用维基百科的跨语言链接结构，综合生成监督信号，提高了检索和回答生成的性能，相比于其他方法，包括机器翻译，CLASS 方法在监督和零资源语言适配等方面均取得更好的效果。

    Feb, 2024

  • 多跳通识知识注入框架在零 - shot 通识问题回答中的应用

    本文提出了一种新颖的多跳常识知识注入框架，利用多跳推理范式探索符合语言逻辑的知识图关系，并进一步提出了基于知识图的两种多跳问答生成方法。通过对合成 QA 数据集进行对比学习，我们的方法注入了多跳常识知识。在五个常识问题回答基准测试上进行的大量实验表明，本框架取得了最先进的性能。

    May, 2023

  • 简单有效的半监督问答

    本研究提出一种利用基础文档和少量标注数据进行深度学习提取式问答的方法，并通过对三个不同领域数据集的实验验证了其有效性。

    Apr, 2018

  • 基于知识驱动的数据构建在常识问答中的零样本评估

    本文提出了一种基于神经符号框架的零样本问题回答方法，利用预训练模型的外部知识资源，获得了在不同任务中的一致性提升，并且在任务结构保持的同时还生成了公平和信息丰富的问题，从而提高了语言模型的学习效果。

    Nov, 2020

  • 语言模型是零 - shot 视频问答的因果知识提取器

    提出了一种从语言模型中提取因果知识的框架 CaKE-LM，用于解决视频因果问答问题（CVidQA），并在 NExT-QA 和 Causal-VidQA 数据集上取得了显著的优势。

    Apr, 2023

  • 会话式问答中的加强问句重述技术

    使用强化学习训练重写模型，以 QA 反馈作为监督信号，能够有效提高抽取式和检索式问答中的性能，并且人工评估表明该方法能够生成更准确和详细的重写，优于人工注释。

    Oct, 2022

  • 跨语言阅读理解的零样本多语言合成问答生成

    使用单一生成模型在大规模上生成多语言问题和答案对，通过多任务训练的生成模型来改进跨语言 QA 模型的零 - shot 表现，并在各种语言的 XQuAD 数据集上实现了较大的性能提升。

    Oct, 2020

  • 无参考域自适应：噪声问题的翻译与问题特定奖励

    使用仅源侧数据进行微调的训练方法在机器翻译中取得了巨大的进展，通过结合 BERTScore 和 Masked Language Model 评分的损失函数，我们的模型在 BLEU 得分上达到了 1.9 的改进，并在 TER 和 BLEURT 度量上取得了显着的改进。

    Oct, 2023