ACLApr, 2018

低资源环境下的论证挖掘多任务学习

PDF
TL;DR通过研究多任务学习 (MTL) 在与论证挖掘 (AM) 相关的自然语言处理问题中，尤其是论证组件识别方面是否可以提高性能，发现在主任务训练数据较少的情况下，MTL 表现得特别好（比单任务学习更好），这在 AM 中是一个常见的情况。我们的研究结果挑战了以前的假设，即 AM 数据集之间的概念化是不同的，而且 MTL 对于语义或高级任务是困难的。
发现论文，激发创造
  • 多任务学习提高深度论证挖掘模型性能

    该研究使用多任务学习方法将不同的论证挖掘任务相结合，利用语义和逻辑结构的相似性来提高性能，从而揭示了论证挖掘任务之间的共性，为文本中论证技巧的提取提供了整体方法。

    Jul, 2023

  • 基于神经网络的端到端计算性论证挖掘学习

    本文研究了神经技术在端到端的计算论证挖掘中的应用，将论证挖掘作为基于令牌的依赖解析和基于令牌序列标注的问题，包括多任务学习设置。研究发现，相比于在论证组件层次上操作的模型，将论证挖掘作为依赖解析的形式表现效果不佳；而基于双向长短时记忆网络的本地标注模型在分类场景下表现强劲，并能够捕捉到论证挖掘问题固有的远程依赖关系。另外，多任务学习可以改善模型表现。

    Apr, 2017

  • 自然语言处理中的多任务学习：概述

    本文综述了多任务学习在自然语言处理领域的应用。在介绍多任务学习的架构和优化方法后，着重讨论了在多个自然语言处理任务上的表现，最后探讨了相关研究方向。

    Sep, 2021

  • 序列标注的多任务学习：实证研究

    通过研究 11 个序列标注任务中的三种多任务学习方法，我们发现在大约 50% 的情况下，联合学习所有 11 个任务可以改善独立学习或成对学习任务的效果。我们还展示了成对多任务学习可以告诉我们哪些任务可以互惠，哪些任务在联合学习时可以受益。我们的一种多任务学习方法产生的任务嵌入还揭示了语义任务和语法任务的自然聚类。我们的研究打开了在自然语言处理中进一步利用多任务学习的大门。

    Aug, 2018

  • 2020 年代自然语言处理的多任务学习：我们将走向何方？

    本文主要综述了自然语言处理领域中最近的多任务学习 (MTL) 的研究进展，重点关注深度学习、迁移学习和预训练等相关方向的最新成果及所面临的挑战。

    Jul, 2020

  • 深度神经网络中识别有益的多任务学习任务关系

    本文阐述了多任务深度神经网络在 NLP 领域中的应用和优势，并探究了其在不同任务相关性下提高 NLP 性能的条件和作用。

    Feb, 2017

  • 多语言神经机器翻译的多任务学习

    提出了一种基于多任务学习的框架，通过对单语数据的两个去噪任务和双语数据的翻译任务联合训练模型，显著提高了多语言 NMT 系统的翻译质量，并在零样本学习的情况下证明了该方法的有效性。

    Oct, 2020

  • 多任务学习调查

    本文综述了多任务学习的算法建模、任务聚类及半监督学习、真实世界应用等方面，并探讨其理论分析和未来方向。

    Jul, 2017

  • 多任务学习整合多项技能何时有效？金融 NLP 案例研究

    该论文研究了多任务学习在金融自然语言处理领域中的应用，发现多任务学习成功的关键在于技能的多样性、任务的关联性以及模型共享能力的平衡，提出在任务多样但相关、任务聚合尺度和模型共享能力平衡的情况下，多任务学习可以发挥其优势。

    May, 2023

  • 大型语言模型中的辩证推理

    评估当代大型语言模型（LLM）进行论证推理的能力，发现大语言模型在论证挖掘（AM）和论证对提取（APE）任务中表现出了能够匹配或超过最新技术的能力，但它们的论证推理性能非常依赖于输入和输出表示形式。

    Sep, 2023