ICLRNov, 2016

词还是字？用于阅读理解的细粒度门控

PDF
TL;DR本文提出了细粒度的门控机制来动态地组合基于单词属性的单词级别和字符级别表示，以提高阅读理解任务的性能，并将细粒度门控的思想扩展到建立问题和段落之间的交互模型。实验结果显示，我们的方法可以在阅读理解任务中提高性能，获得儿童读物测试数据集的最新结果。此外，我们还展示了在社交媒体标签预测任务上的改善结果证明了我们的门控机制的通用性。
发现论文，激发创造
  • 有效的基于字符增强的词嵌入在机器阅读理解中的应用

    本文提出了一种字符增强的阅读器，结合字和字符嵌入的不同集成策略，用一份短列表来增强字嵌入，从而改善字的表示，特别是罕见的字。实验结果表明，这种方法显著优于各种公共基准测试中的当前最先进方法。

    Aug, 2018

  • 使用字符和词级 N-Grams 改进基于图形的文本表示

    本文提出了一种新型的异构词 - 字符文本图融合文档节点，用于更好地学习它们之间的依赖关系，同时提出了两种基于图的神经模型 WCTextGCN 和 WCTextGAT，实验结果表明，这些模型在文本分类和自动文本摘要任务中表现出了更好的性能。

    Oct, 2022

  • 依赖门控阅读用于填空式问答

    该论文提出了一种新的深度学习架构，名为 DGR 网络，用于解决 cloze-style 问题回答任务，具有高竞争性能，并通过去除注意力机制研究和分析来验证模型。

    May, 2018

  • 汉语预训练语言模型中的分词粒度：字符、词语还是两者兼备？

    本文提出了一种混合粒度的中文 BERT 模型（MigBERT），通过同时考虑字符和词来学习其特征表示，并在各种中文 NLP 任务上进行了广泛的实验以评估现有的 PLMs 以及所提出的 MigBERT，实验结果表明，MigBERT 在所有这些任务中都实现了新的最佳表现，MigBERT 还能与日语一起使用。

    Mar, 2023

  • 用于文本理解的门控注意力读者

    本文研究了如何在文档中回答填空题的问题，通过引入多跳结构和基于参考嵌入和递归神经网络的新型注意力机制，我们的 Gated-Attention Reader 模型能够生成查询特定的文档表示来准确地选择答案，并在三个基准数据集上获得最新的结果。

    Jun, 2016

  • 基于子词增强嵌入的填空阅读理解

    本文提出了一种使用子词而非字符的词嵌入增强方法，以增强阅读理解模型。 在不同的扩充策略下，该方法在公共数据集上显着优于现有的基线模型。

    Jun, 2018

  • 基于图注意力网络的文档建模用于多粒度机器阅读理解

    本文提出了一种新的多粒度机器阅读理解框架，利用图注意力网络对文档的不同层次进行建模，以同时学习各个级别的表示，从而提取长答案和短答案并建模其之间的依赖关系，并通过联合训练来显著提高对两种类型答案的准确性。

    May, 2020

  • 神经序列标注模型中字符关注

    该论文研究了序列标注结构中使用单词嵌入进行相似性捕获时处理以前未见过或罕见单词时的问题，并提出了一种新颖的架构来组合替代单词表示。通过使用注意力机制，模型能够动态决定从单词或字符级组件中使用多少信息。我们在一系列序列标注数据集上评估了不同的架构，并发现字符级扩展在每个基准测试中都提高了性能。此外，即使使用较少的可训练参数，提出的基于注意力的架构也能够提供最佳结果。

    Nov, 2016

  • 文本理解中有效的子词分割

    通过利用子词增强嵌入式框架，本文介绍了一种学习和合成计算产生的子词级别表示的新方法，经过在英文和汉语测试基准上的各种文本理解任务中的实验测试，发现子词增强嵌入式显着改善了我们在各种文本理解任务上的基线。

    Nov, 2018

  • 词级细粒度故事可视化

    本论文提出了一种新的句子表示方法来减轻不一致问题，并引入了融合特征的新的鉴别器和扩展的空间注意力来提高图像质量和故事连贯性，实验表明，与现有方法相比，该方法具有优越的性能。

    Aug, 2022