Jun, 2017

机器阅读理解中的迁移学习的两阶段综合网络

PDF
TL;DR使用 SynNet 技术构建的预训练模型进行跨领域机器阅读理解，将 F1 值提高至 44.3%，并使用多个模型预测融合，达到 46.6% 的 F1 值，在无提供的标注数据情况下，优于基线模型的 7.6%。
transfer learningmachine comprehensionsynthesis networkpretrained modeldomain adaptation
发现论文，激发创造
  • 基于神经网络的问答系统中问题理解与适应的探讨

    本文通过在神经网络框架中密切模拟问题，引入句法信息来帮助编码问题，并将不同类型的问题和共享信息建模为适应性任务，并提出适应性模型，从而在 Stanford 问题回答数据集（SQuAD）上证明这些方法可帮助获得比竞争基准更好的结果。

    Mar, 2017

  • 机器阅读理解中的双向问答网络

    该论文提出了一种新颖的双向神经序列转换模型，能够同时学习阅读理解中的三种知识输入方式，即问题、答案和上下文，并通过分层注意力过程对不同形态之间的交互信息进行捕捉和建模。该模型在四个公开数据集上的表现优于其他同类神经网络模型，尤其在问题回答和生成双方面具有更广泛的应用前景。

    Sep, 2018

  • S-Net：从答案抽取到答案生成的机器阅读理解模型

    本文提出了一种新的机器阅读理解方法，使用抽取 - 综合框架来解决 MS-MARCO 数据集的问题，该方法使用先进的神经网络技术来构建具有单篇阅读理解的答案抽取模型，并使用序列到序列神经网络作为答案综合模型，实现了对多篇文献的问答。实验结果表明，这种方法的性能超过了现有的最佳方法。

    Jun, 2017

  • TQ-Net：混合对比表示学习用于异质性测试问题

    该论文提出了 TQ-Net，一种基于两阶段无监督对比学习的方法，用于融合文本和图片以改善考试问题的表现，并在实际应用中展现出高准确性。

    Mar, 2023

  • FusionNet: 基于全意识关注的融合方法及其在机器理解中的应用

    本文介绍了一种名为 FusionNet 的新型神经结构，它通过三个方面的创新来扩展现有的注意力方法。我们将 FusionNet 应用于斯坦福问答数据集（SQuAD）中，并在官方 SQuAD 排行榜上取得了单一模型和集成模型的第一名。同时，我们验证了 FusionNet 的泛化性，并且它在两个对抗性 SQuAD 数据集上取得了新的最高水平。

    Nov, 2017

  • BasisNet：高效推理的两阶段模型合成

    本文提出了 BasisNet，它采用轻量级模型和两阶段模型合成策略，结合了高效神经网络体系结构、条件计算和早期终止，具有高效且精确的性能。在 ImageNet 分类基准测试中，使用 BasisNet 的 MobileNets 作为骨干网络，相比于其他基准测试，BasisNet-MobileNetV3 获得了显著的精度 - 效率平衡优势，仅需 290M 的乘加操作即可达到 80.3% 的 top-1 准确率，而且在不降低准确率的情况下，平均成本可进一步降低至 198M MAdds。

    May, 2021

  • 机器阅读理解的模块化方法：任务感知专家混合

    该论文介绍了一个针对较小数据集的任务感知专家网络混合模型，重点研究常识学习问题，并通过训练不同的专家网络来捕获每个段落、问题和选项三元组之间不同类型的关系，同时灵感来自多任务和迁移学习的最新进展。通过将多个网络融合，强制实现它们的特定目标和关系，作者达到了最先进的结果并减少了过拟合。

    Oct, 2022

  • 使用合成数据进行零样本迁移学习的多领域对话状态跟踪

    本文提出了一种采用零样本迁移学习的技术，通过从域本体和抽象对话模型中合成所有域内训练数据，对多域对话状态跟踪进行了改进，表明对话状态跟踪中的数据增强可以提高 TRADE 模型和基于 BERT 的 SUMBT 模型在 MultiWOZ2.1 数据集上零样本学习的准确性，并表明只用合成的域内数据对 SUMBT 模型进行训练，可以达到全局数据集训练的 2/3 的准确度，文章的方法还提高了领域之间的平均零样本学习水平达到 21%

    May, 2020

  • 学习组合神经网络用于问题回答

    本文介绍一种基于自然语言字符串的问答模型，适用于图像和结构化知识库，通过可组合模块自动组装神经网络，并通过强化学习来学习这些模块的参数，同时只需要（世界、问题、答案）三元组作为监督，我们的方法（称为动态神经模型网络）在视觉和结构化领域的基准数据集上取得了最先进的结果。

    Jan, 2016

  • 定时多任务学习：从句法到翻译

    提出了一种神经编码器 - 解码器机器翻译模型框架，该模型开始交替学习语法和翻译，逐渐将重点放在翻译上，实现了在相对较大的平行语料库（WMT14 英语到德语）和低资源（WIT 德语到英语）设置中的 BLEU 得分显着提高。

    Apr, 2018