Oct, 2017

DCN+: 针对问答的混合目标和深度残差共同注意力

PDF
TL;DR本文提出一种混合目标函数来优化问答模型，该目标函数将交叉熵损失与自我批判策略学习相结合，并使用词重叠的奖励来解决评价指标与优化目标之间的不匹配。同时，本文还提出一种深度残差共注意力编码器来改善动态共注意力网络，该提案显著提高了模型的性能，在 Stanford Question Answering Dataset 上取得了最先进的结果，准确率分别为 75.1% 和 83.1%（单一模型）和 78.9% 和 86.0%（集成模型）。
发现论文，激发创造
  • 动态协同网络用于问答

    我们提出了动态协同注意网络（DCN）来解决深度学习模型在问题回答中可能会遇到局部极大值的问题，并在 Stanford 问题回答数据集上将准确率从 71.0% F1 提高到 75.9％ F1，使用 DCN 合奏能够获得 80.4％ F1。

    Nov, 2016

  • 双路协同匹配网络用于多项选择阅读理解

    本文提出了一种新的机器阅读理解方法 —— 双向联合匹配网络 (DCMN)，该方法在多项选择阅读理解数据集 (RACE) 上取得了 state-of-the-art 结果，并计算出了同时同时考虑文章、问题和答案的相互关系的表示方法。

    Jan, 2019

  • SDNet: 基于上下文语境的注意力深度网络，用于问答对话

    本文提出了一种名为 SDNet 的上下文注意力深度神经网络模型，通过整合上下文理解对话场景并从文本中提取信息，同时引入最新的 BERT 模型，提高了对话问答的精度，表现优于之前的最佳模型并创造了最好的 CoQA 排行榜结果。

    Dec, 2018

  • 注意力求和读者网络的文本理解

    该研究提出了一种使用注意力机制直接从文本中选取答案的模型，特别适用于以文本中某个单词为答案的问题，并在多个数据集上取得了新的最优成绩。

    Mar, 2016

  • QANet: 将局部卷积和全局自注意力相结合用于阅读理解

    本文提出一种名为 QANet 的新型机器阅读和问答架构，它没有使用循环神经网络，而是仅由卷积神经网络和自注意力机制组成，可在训练和推理期间实现更快的速度，并在测试集上实现了 84.6 F1 得分，超过了最佳发布 F1 得分 81.8。

    Apr, 2018

  • 粗粒度细粒度协同注意力网络用于多证据问答

    本文提出了一种名为 CFC 的新的问题回答模型，它结合了来自多个文档的证据信息，其粗粒度模块尊重从查询中解释文档以及找到相应答案，而其细粒度模块通过比较其在所有文档中与查询的出现次数得分每个候选答案。 这种模型使用共同关注和自我关注的层次结构设计，学习强调输入的不同部分。 在 Qangaroo WikiHop 的多证据问题回答任务中，CFC 在盲测试集上获得了 70.6％的最新技术结果，尽管没有使用预先训练的上下文编码器，但仍比之前最佳结果高出 3％的准确性。

    Jan, 2019

  • 深度交叉网络用于广告点击预测

    本文介绍了一种新型深度神经网络 ——Deep & Cross Network (DCN)，能够在保留 DNN 模型优势的基础上，引入有效的交叉网络来学习有限次数特征交互，不需要进行手动特征工程，且几乎不会增加 DNN 模型的复杂性，针对 CTR 预测数据集和密集分类数据集进行了实验，结果表明该模型在模型精度和内存使用方面都优于当前最先进的算法。

    Aug, 2017

  • 改进视觉问答模型的收敛和准确性的简单损失函数

    本研究提出软交叉熵损失函数来解决在视觉问答过程中模型训练精度和损失准确度之间的差异问题，实验证明该方法可提升模型精度高达 1.6%.

    Aug, 2017

  • DCR-Net: 用于联合对话行为识别和情感分类的深度交互式关系网络

    提出了一种基于 Deep Co-Interactive Relation Network 的方法来同时识别对话行为和情感倾向，通过引入交互关系层来建模两个任务之间的相互影响，并验证了该方法在两个公共数据集上的优越性能。

    Aug, 2020

  • 基于监督对比学习的长文本问答

    本文提出一种新的方法，通过在 fine-tuning 过程中为模型提供对比监督信号，通过最大化问题 - 证据的相似性，明确区分支持证据句子和负面证据句子，从而为长上下文问答模型提供更好的支持证据识别，取得了一致的性能提升。

    Dec, 2021