May, 2019

QuesNet: 异构测试题统一表示

PDF
TL;DR提出了一种面向教育领域的预训练方法 QuesNet，利用统一的框架整合含有异构输入的问题信息并设计了两种级别的预训练算法来学习基础语言特征、领域逻辑和知识，证明了其在问题理解和应用方面的有效性和优越性。
online learning systemsquestion understandingpre-training methodseducation domainquesnet
发现论文，激发创造
  • TQ-Net：混合对比表示学习用于异质性测试问题

    该论文提出了 TQ-Net，一种基于两阶段无监督对比学习的方法，用于融合文本和图片以改善考试问题的表现，并在实际应用中展现出高准确性。

    Mar, 2023

  • 通过对比预训练实现对数学问题的全面理解

    本研究提出了一种新的数学问题对比预训练方法 QuesCo，该方法利用知识层次结构感知的排名策略来更好地表示数学问题，并进行了广泛的实验以证明其有效性。

    Jan, 2023

  • 文本、表格和图像问答的统一语言表示

    本文提出了一种新的跨模态推理方式，即将图像和表格转换为统一的语言表示，以简化任务并利用先前训练好的语言模型，同时介绍了一种名为 Solar 的框架，实验结果表明，Solar 在两个数据集上的表现优于所有现有方法，并在 WebQA 排行榜上取得了最佳成绩。

    Jun, 2023

  • UniK-QA: 面向开放域问答的结构化和非结构化知识统一表示

    该研究致力于利用结构化、非结构化和半结构化知识来源（如文本、表格、列表和知识库）进行开放域问题回答，并提出了统一的方法，将它们转化为文本并采用检索 - 阅读器模型，从而大大提高了在知识库问题回答任务上的表现，并将异构知识来源融合成一个简单且有效的统一知识模型，并在两个流行的问答基准测试中（自然问题和网络问题）继续提高最新的图形方法等级，分别为 3.5 和 2.6 点。

    Dec, 2020

  • 通用上下文表示预训练注入问答技术

    本研究提出一种基于问答预训练目标的预处理方法，利用编码器 - 解码器的结构来在上下文中编码问题答案，成功应用于零样本学习等多个自然语言处理任务，相比现有最佳方法提升明显。

    Jun, 2021

  • 统一化连续终身学习问句生成

    提出了一种名为 Unified-QG 的模型，它基于终身学习技术，可以跨不同数据集和格式不断地学习 QG 任务，并用 STRIDER 方法来减轻连续 QG 学习中的灾难性遗忘，实验证明 Unified-QG 可以有效地适应 QG 任务，提高 QA 系统性能。

    Jan, 2022

  • 简单有效的半监督问答

    本研究提出一种利用基础文档和少量标注数据进行深度学习提取式问答的方法，并通过对三个不同领域数据集的实验验证了其有效性。

    Apr, 2018

  • 基于弱监督嵌入模型的开放式问答

    本文提出一种基于向量特征表示的问题回答方法，使用弱监督资源训练，并结合了优化过的随机梯度下降和微调步骤，实现了在基于弱标注数据下，对知识库回答表现的显著提升。

    Apr, 2014

  • UnifiedQA：通过单一的 QA 系统跨越格式界限

    该论文介绍了一种基于最新的语言建模技术构建的单一预训练问答模型 UnifiedQA，该模型在 17 个问题回答数据集中表现出色，甚至在面对 12 个观察过的格式数据集时也表现出了强大的泛化能力，并且该模型通过简单的微调就可以成为构建 QA 系统的强有力起点。

    May, 2020

  • 端到端的神经检索器训练，用于开放领域的问答

    本篇论文通过系统地研究检索器的预训练，提出了一种利用反向填空任务和掩盖显著跨度的无监督预训练方法，并在问题 - 上下文对上进行有监督微调的方法。此外还探讨了两种 OpenQA 模型的端对端有监督培训方法，并展示了这些方法在性能方面相对于较小模型的一致性提升。实验结果表明这些方法效果显著优于现有的一些模型。

    Jan, 2021