Nov, 2020

使用语言模型：将自然语言理解视为问答

PDF
TL;DR该研究针对自然语言理解问题，通过将其映射到问题回答领域，研究了特定的迁移学习方法，并显示出在低数据环境下，与其他方法相比可以带来显著的改进，特别是通过跨不同领域的 NLU 问题进行顺序转移学习可增加其收益，并可将所需数据减少高达 10 倍。
transfer learningnatural language understandingquestion answeringsequential transfer learninglow data regimes
发现论文，激发创造
  • 低资源自然语言理解的有效迁移学习

    本论文旨在解决 NLU 模型在缺乏数据或知识资源时的挑战，提出了跨语言和跨域适应方法及面向低资源语言的关键词增强方法、序列颗粒化建模方法、多领域预训练方法和粗粒度到细粒度的表示学习框架。

    Aug, 2022

  • 使用 Quora 问题对数据集进行自然语言理解

    本文研究自然语言理解（NLU）任务，通过研究 Quora 数据集中的重复问题检测，进行了数据集的广泛探索，采用了多种机器学习模型，包括线性和基于树的模型。我们最终发现，一个简单的连续词袋神经网络模型具有最佳性能，优于更复杂的循环和注意力模型。我们还进行了误差分析，并发现数据集标签中存在一定的主观性。

    Jul, 2019

  • 将问答数据集转化为自然语言推断数据集

    本研究提出了一种基于句子转换模型的新方法，从庞大数量的大型问答数据集中自动派生自然语言推理（NLI）数据集，并展示了其将多种问答数据集成功应用于自然语言推理数据集的能力，从而新派生出包含 50 万个以上 NLI 示例的免费数据集 (QA-NLI)，展示了它呈现的推理现象的宽泛性。

    Sep, 2018

  • 自然语言处理中的迁移学习综述

    本次调查主要介绍自然语言处理领域中最近迁移学习的发展和不同的迁移学习方法分类的分类学。

    May, 2020

  • 自然语言推理在生物医学问答中的可迁移性

    本文提出了一种在生物医学问答任务中应用预训练语言模型和迁移学习的方法，并通过实验证明优化迁移学习任务的顺序可以显著提高其性能。

    Jul, 2020

  • 会话式人工智能的口语理解：近期进展和未来方向

    该论文讨论了使用深度学习技术进行自然语言理解的联合任务，包括意图检测和槽填充，介绍了 Spoken Language Understanding/Natural Language Understanding（SLU/NLU）技术和用于解决该问题的最新自然语言处理和深度学习技术，以及如何提高性能的一些方法。

    Dec, 2022

  • 自然语言推理模型能否验证问答系统的预测？

    本文探讨如何利用自然语言推理来验证问答系统提供的答案是否正确，并通过使用大型预训练模型和最新的数据集来构建 QA 实例的前提 - 假设配对，进而将 QA 和 NLI 数据集结合以训练 NLI 模型，以此提高 QA 模型的准确性和置信度。

    Apr, 2021

  • 基于数据库的对话自然语言接口的高效部署

    研究使用对话式多轮数据的方法加速训练自然语言到查询语言的机器学习模型，旨在解决领域数据有限及集成过程繁琐耗时等问题。

    May, 2020

  • 自然语言问答的进展：一篇综述

    该论文讨论了基于学习模型和深度学习方法的问答系统在处理语言多样性和动态性方面的成功和挑战。

    Apr, 2019

  • 基于 SQuAD 的神经问答模型比较分析

    本文通过定量和定性分析现有端到端神经模型在斯坦福问答数据集上的结果，旨在理解和比较其特性，以迈向实现在多个领域中的泛化能力。研究发现，预测错误反映了某些模型特定偏差，本文对此进行了进一步讨论。

    Jun, 2018