Mar, 2018

机器阅读理解的多范围推理

PDF
TL;DR本文介绍了一种新型的机器理解编码器 MRU，具有多级门控、并行端到端的学习门控向量、适用于短期和长期依赖关系三个特点，为机器理解提供高效处理文档、优化模型性能、建模文档内部关系的方法。通过在三个具有挑战性的 MC 数据集上进行广泛的实验，我们证明了该编码器表现出了极具竞争力的性能表现与机器编码器和组件模块，是一种高性能状态的机器理解编码器。
mrumachine comprehensiongating vectorscontext modelingsequence encoding
发现论文，激发创造
  • 多功能循环单元 MuFuRU

    本文提出了一种名为 MuFuRUs 的新型多功能循环单元，它允许任意可微分函数作为组合操作，可以在不同的序列建模任务中发挥作用，包括命题逻辑公式评估、语言建模和情感分析。

    Jun, 2016

  • 机器阅读理解的多粒度表示探究与应用

    本文提出了一种名为自适应双向注意胶囊网络（ABA-Net）的新方法，通过在编码器中利用不同级别的源表示来为预测器提供不同视图，从而充分利用模型的表达能力，进而提升机器阅读理解任务的性能，实验结果表明，在 SQuAD 数据集上实现了最新的最佳性能。

    Aug, 2022

  • 使用辅助任务的特征增强型机器阅读理解

    研究提出在编码层注入多粒度信息来提高机器阅读理解系统的性能，并在实验中得出结果证明该方法适用于许多现有的 MRC 模型。

    Nov, 2022

  • MuSR: 对多步软推理进行思维链限制的测试

    我们介绍了 MuSR 数据集，这是一个用于评估语言模型在自然语言叙述中进行多步骤软推理任务的数据集，其中数据实例是由神经符号综合生成算法创建的复杂推理实例，同时我们评估了一系列大语言模型和提示技术在该数据集上的表现，并表征了像链式思维这样的技术在进行强大推理时仍存在的差距。

    Oct, 2023

  • UniMC：通过相关性表示学习的长期记忆对话统一框架

    本文提出了一种建立长期亲密关系的开放领域长期记忆对话模型框架 UniMC，该模型通过学习相关表示增强了不同任务子模块之间的联系，并通过参数共享和联合训练优化了对话的连贯性和魅力。

    Jun, 2023

  • 自适应双向注意力：探索多粒度表示进行机器阅读理解

    本文介绍了自适应双向注意力（Adaptive Bidirectional Attention）模型用于机器阅读理解（Machine Reading Comprehension）中，通过利用不同层次的源表示来提高预测的精度并且在 SQuAD2.0 公开数据集上的实验表明，相比于之前的最先进模型，此方法的准确度提高了 2.5％EM 和 2.3％F1 分数。

    Dec, 2020

  • 多选阅读理解的多头注意力多任务学习

    本文利用多任务学习在两种多项选择阅读理解任务（RACE 和 DREAM）上实现了新的 DREAM 任务的最新性能，其中运用了基于 Transformer 的模型，通过在上下文和问题 - 答案之间添加额外的多头注意力层来 fine-tune 模型。

    Feb, 2020

  • MMM：多选阅读理解的多阶段多任务学习

    本研究提出了一种名为 MMM 的基于多阶段多任务学习框架的多选阅读理解方法，其中采用了一种名为多步注意力网络 (MAN) 的新型分类器。实验证明该方法在四个代表性 MCQA 数据集上显著提高了最新技术水平。

    Oct, 2019

  • 适用于循环神经网络的多区域单元

    介绍一种用于处理序列学学习问题的新的多分区单元（MZU）来构建可以建模多个空间组合的转换函数的循环神经网络（RNN）。实验证明，MZU 在字符级语言建模任务和基于方面的情感分析任务的多个数据集上表现优越。

    Nov, 2019

  • NER-MQMRC: 将命名实体识别形式化为多问题机器阅读理解

    本研究提出了一种新颖的基于 BERT 的多问题机器阅读理解体系结构，将命名实体识别作为一个多问题 MRC 任务，旨在解决大规模电子商务属性（或实体）在高性能和优化训练和推理运行时从非结构化文本中提取的问题，该模型在三个 NER 数据集上获得了比 NER-SQMRC 框架模型更快的训练和推理时间，并且保持与单个问题 MRC（NER-SQMRC）性能相当。

    May, 2022