Mar, 2019

基于情节记忆的阅读器：从流数据中学习答题需要记住的内容

PDF
TL;DR本文提出了一个基于序列阅读的外部内存读取模型 Episodic Memory Reader, 并结合强化学习代理进行记忆筛选，用于在大规模数据流中进行问答。实验结果表明该模型在文本 QA 和视频 QA 任务中相较于传统记忆调度策略或独立序列学习的强化学习 baseline 有了更好的表现。
question answeringstreaming datareading comprehensionepisodic memory readerrl agent
发现论文，激发创造
  • 通过参照信息的重复和预测支持流式数据问答的记忆模型

    本文借鉴了人类记忆的机制，提出一种新的记忆模型，在处理输入时进行了排练和预测以记住重要信息，成功应用于问题回答数据集并得到了重大改进。

    May, 2023

  • 情节记忆问答

    通过 Episodic Memory Question Answering (EMQA) 任务以及一系列数据集和模型的介绍，本文阐述了在面向家居环境下，使用智能语音助手等 AR 设备进行信息沟通的场景中，利用换人的机器学习算法，更好地实现 AI 视觉辅助的目标。

    May, 2022

  • DeepStory: 基于深度内嵌记忆网络的视频故事问答

    通过使用大量卡通视频学习，我们展示了 AI 代理执行视频故事问答的可能性。我们的深度嵌入记忆网络 (DEMN) 模型使用观测数据的潜在嵌入空间重构场景 - 对话视频流中的故事，并将视频故事存储在长期记忆组件中。对于给定的问题，基于 LSTM 的注意力模型使用长期记忆来召回包含关键信息的特定单词的最佳问题 - 故事 - 答案三元组。我们在一个新的儿童卡通视频系列 Pororo 的 QA 数据集上训练了 DEMN，并且实验结果表明 DEMN 在 QA 上优于其他模型，这主要得益于 1）利用潜在嵌入对场景 - 对话组合形式的视频故事进行重构，2）使用了注意力。DEMN 还在 MovieQA 基准测试上实现了最先进的成果。

    Jul, 2017

  • 基于深度学习的问答模型实证研究

    本文研究深度学习模型，结合记忆组件或注意力机制进行问答任务。我们比较了三种模型：神经机器翻译、神经图灵机和记忆网络，用于一个模拟 QA 数据集。研究表明，注意力和记忆的组合有潜力解决某些 QA 问题。其中，本文是首个使用神经机器翻译和神经图灵机解决 QA 任务的研究。

    Oct, 2015

  • 增强型记忆阅读器用于机器阅读理解

    本文介绍了加强版的记忆增强读者，它在多个方面包括提出重新注意力机制和引入动态关键强化学习方法来优化精度，实验表明在 Stanford Question Answering Dataset 上，该模型比先前系统表现更优，实现了最新的技术成果。

    May, 2017

  • 利用 QA-Memory 增强预训练语言模型以进行开放域问答

    本文提出了一种以问答对为基础的编码 - 解码模型，通过该模型的预训练策略，能够在单跳及多跳问题上达到强大性能，并进一步提高了对模型的解释和控制能力，缩小了与段落检索系统之间的性能差距。

    Apr, 2022

  • 多跳问答的记忆增强连续段落检索

    本文提出一种新的方法，将段落建模为序列数据，并将多跳信息检索视为一种序列标记任务，从而解决传统基于图的方法存在的固有缺陷，并通过引入外部可重写记忆和阈值门机制，提高了热点问题回答数据集 HotpotQA 上的检索和下游 QA 任务的表现，并在该数据集上显著改进了现有方法的状态。

    Feb, 2021

  • 一个受人类启发的具有大量长期上下文的主要记忆的阅读代理

    通过使用先进的语言模型的高级语言能力，ReadAgent 系统提出来解决当前大型语言模型的上下文长度限制以及长输入的问题，并通过将内容存储到内存片段中，将其压缩为称为要点内存的短暂记忆，并在需要时在原始文本中查找相关细节，从而在三个长文档阅读理解任务上胜过基线方法，同时将有效上下文窗口增加了 3-20 倍。

    Feb, 2024

  • 长篇文档的分层问答

    基于强化学习和词向量，提出了一种可以高效处理长篇文档的问答框架，该框架结合了快速筛选相关句子和精读相关句子的策略，并在 Wikireading 的一个挑战性子集和一组新的数据集上实现了最新的性能，同时使模型的速度提高 3.5 倍至 6.7 倍。

    Nov, 2016

  • 走入记忆迷宫：通过互动阅读突破环境限制

    我们提出了 MemWalker，这是一种将长上下文处理成摘要节点树的方法，模型通过迭代提示的方式导航该树以寻找相关信息并一旦收集足够信息便回答问题，在长文本问答任务上，我们方法的性能优于使用长上下文窗口、重复和检索的基线方法。通过交互式阅读文本，MemWalker 还提升了解释能力，突出了推理步骤，并准确指出与查询相关的文本片段。

    Oct, 2023