Feb, 2022

FedQAS：隐私感知的联邦学习机器阅读理解

PDF
TL;DR为了解决目前 NLP 任务中缺乏大规模私有文本数据和知识共享的问题，研究人员提出了 FedQAS，这是一种隐私保护的机器阅读系统，可以利用大规模的私有数据进行机器阅读。该系统结合了 Transformer 模型和联邦学习技术，并使用 FEDn 框架开发和实现。在 SQuAD 数据集上进行的参考评估表明，FedQAS 能够克服数据隐私问题，在联邦学习环境中实现联盟成员之间的知识共享。
machine reading comprehensionnlpprivacy-preservingfederated learningsquad
发现论文，激发创造
  • 带信息搜索代理的交互式机器阅读理解

    通过重新设计现有的机器阅读理解数据集，将其转化为互动、部分可观察的环境，加入上下文命令并训练模型，有望将模型扩展到面向 Web 级别的 QA 场景。

    Aug, 2019

  • 使用组合性解释来教授机器理解

    本文提出了一种使用少量半结构化解释 “教” 机器阅读理解的方法，同时提取结构化变量和规则，并组成神经模块作为下游 MRC 模型的训练实例的注释，使用可学习的神经模块和软逻辑来处理语言变化并克服模型覆盖率不足。在 SQuAD 数据集上，使用 26 个解释进行监督训练，该方法实现了 70.14% 的 F1 得分，与使用 1100 个标记实例的普通监督学习相比，速度提高了 12 倍。

    May, 2020

  • 面向推理的阅读理解：ParallelQA

    探讨了端到端神经机器阅读理解模型倾向于匹配浅层模式而非推理，同时提出了利用平行语段来进行参照推理问题的 ParallelQA 策略，并证明了现有神经模型在此设置中无法很好地泛化。

    May, 2018

  • 联邦文档视觉问答：一项初步研究

    使用联邦学习方案训练基于分散私密文档数据的共享模型，以丰富各种领域中 DocVQA 模型的数据异质性，结合自预训练技术和集中自适应优化的联邦文档 VQA 训练方法优于 FedAvg 基线，并通过大量实验提供关于使用联邦学习训练 DocVQA 模型的多方面分析，为未来相关研究提供洞见。

    May, 2024

  • 用问题关注的段落抽取增强预设的生成式语言模型在机器阅读理解中的应用

    在自然语言处理领域，机器阅读理解（MRC）存在着重大挑战。尽管主流的 MRC 方法主要使用仅编码器模型（如 BERT）利用抽取策略，但生成式方法面临着超出控制的生成问题 —— 这是一个关键问题，生成的答案经常是不正确、不相关或与源文本不一致。为了解决生成式 MRC 模型的这些局限性，我们引入了 Question-Attended Span Extraction（QASE）模块。在经过预训练的生成式语言模型（PLM）的微调阶段集成 QASE 模块，显著提高了它们的性能，使它们能够超越像 GPT-4 这样的先进大型语言模型（LLMs）的抽取能力。值得注意的是，这种性能提升并没有增加计算需求。QASE 模块的有效性已经在各种数据集上进行了严格的测试，始终实现甚至超越最先进的结果（SOTA）。

    Apr, 2024

  • QLSC：基于查询潜在语义校准器的鲁棒抽取式问答

    我们提出了一种称为 “Query Latent Semantic Calibrator (QLSC)” 的新方法，作为现有 MRC 模型的辅助模块，通过一种独特的缩放策略捕捉查询的潜在语义中心特征，并使用注意机制将这些特征与传统的查询和段落嵌入无缝集成，从而加深了对语义查询 - 段落关系的理解，降低了对文本格式变化的敏感性，提高了模型在准确定位答案方面的能力。实验结果验证了我们的方法在处理格式变异但语义相同的查询方面的有效性和适应性。

    Apr, 2024

  • 检索与阅读：信息检索和阅读理解的多任务学习

    本研究提出一种简单而有效的方法，通过使用监督多任务学习，将 IR 和 RC 任务结合起来，以考虑答案跨度来训练 IR 组件，实现大规模机器阅读，从而取得了最先进的表现。

    Aug, 2018

  • 利用机器阅读理解从文本构建动态知识图谱

    我们提出了一种神经机器阅读模型，它从过程文本中构建动态知识图，并利用它们来跟踪参与实体的演变状态，从而改善机器对文本的理解。

    Oct, 2018

  • 问答式交互语言学习

    该论文提出了一种基于交互的文本问答任务 QAit，通过使用基于深度强化学习的智能体与部分可观察的文本环境交互来获取答案所需的信息，提高了机器阅读系统在问答任务中的表现。

    Aug, 2019

  • 隐私感知的文档视觉问答

    在本研究中，我们首次探索了文档视觉问答（DocVQA）领域的隐私问题，并提出了使用联邦学习和差分隐私的基线训练方案，用于保护敏感信息以及避免模型记忆效应所导致的私人信息泄露。

    Dec, 2023