Dec, 2022

利用多任务预训练技术，提升基础自然语言解释能力

PDF
TL;DR通过应用大规模多任务生成 Transformer 模型的最新进展，我们提出了一种新的 VL-NLE 方法，其提供人类更容易理解的解释，并优于当前技术水平。同时，我们还探讨了高质量 NLE 生成的伦理影响和其他最近 VL-NLE 研究中存在的问题。
发现论文，激发创造
  • NLX-GPT：用于图像和视觉语言任务的自然语言解释模型

    NLX-GPT 是一个同时能够预测并解释结果的通用、紧凑且准确的自然语言解释模型，能更好地评估困难数据和无标签的交互式自评估攻击。

    Mar, 2022

  • 运用多层对比学习在 VQA 中实现更加忠实的自然语言解释

    为了解决 VQA-NLE 模型在逻辑推理、事实一致性和语义扰动不敏感性等方面存在的问题，我们提出了一种基于自监督多层对比学习的自然语言解释模型 (MCLE)，通过提取具有辨别性的特征并将解释的特征空间与视觉问题和答案对齐，生成更一致的解释。我们通过广泛的实验、消融分析和案例研究来证明我们方法的有效性。

    Dec, 2023

  • Uni-NLX: 统一视觉和视觉语言任务的文本解释

    提出了 Uni-NLX，一个统一的框架，将所有自然语言解释任务整合到一个紧凑的多任务模型中，使用文本生成的统一训练目标。引入了两个新的 NLE 数据集：ImageNetX，一个包含 144K 个样本的数据集，用于解释 ImageNet 分类；VQA-ParaX，一个包含 123K 个样本的数据集，用于解释视觉问答（VQA）任务。通过训练这 1M 个组合的 NLE 样本，在参数数量减少 7 倍的情况下，我们的统一框架能够同时执行七个 NLE 任务，包括 VQA、视觉识别和视觉推理任务，在某些任务中甚至表现出色于以前方法中的独立任务特定模型。

    Aug, 2023

  • 使用神经执行树学习解释

    本文提出了一种新的神经执行树（NExT）框架，通过语义分析将自然语言解释转换为可执行的逻辑形式，并使用该框架增强文本分类的训练数据，实验证明它在两种自然语言处理任务上（关系提取和情感分析）的表示能力优于基线方法。

    Nov, 2019

  • 标注丰富场景下自然语言解释的小样本领域迁移学习

    本文研究了利用少量标注语言解释的迁移学习方法在无领域语言理解任务中的应用，并将其成功应用于代词消解和基于 commonsense 的验证等任务中。

    Dec, 2021

  • MaNtLE：无需模型的自然语言解释器

    本文介绍了 MaNtLE，一个模型无关的自然语言解释器，在结构化分类任务中分析多个分类器预测，并生成忠实的自然语言解释器，模拟的用户研究表明，MaNtLE 生成的解释器平均比 LIME 和 Anchors 解释器忠实度高至少 11％。

    May, 2023

  • 具体情境下的自然语言解释

    自然语言解释、预训练语言模型、情境感知的自然语言解释、提示工程方法、自动化评估分数是本论文研究的关键词和主题。

    Aug, 2023

  • 利用解释作为潜在变量实现可解释的自然语言理解

    本文提出了一种可解释自然语言理解的框架，使用一小部分人类注释的解释进行训练，并采用变分 EM 方法进行优化，同时提出了基于解释的自训练方法，在两个自然语言理解任务上进行实验，证明了该框架不仅可以在监督和半监督设置下进行有效的预测，还可以生成良好的自然语言解释。

    Oct, 2020

  • 利用自然语言解释提高自然语言推理的上下文学习鲁棒性

    通过加上自然语言解释，人工智能模型在各种任务中有了显著提升，但在遇到对抗性输入时，效果下降。本文研究了如何通过加入自然语言解释来提高模型对七个对抗性和具有挑战性的自然语言推理数据集的鲁棒性，并提出了 ChatGPT 的几个人工生成的自然语言解释来产生更多自然语言解释的新方法，表现更好。通过对五种常见的大语言模型进行评估，我们发现 ChatGPT 的几个人工生成的自然语言解释的 X-ICL 方法比 ICL 方法提高了 6% 以上。此外，我们还发现之前能有效提高 ICL 性能的提示选择策略，在鲁棒性评估中并不具有与 X-ICL 范式相称的效果。

    Nov, 2023

  • LIREx：使用相关解释增强语言推理

    本文提出了一种新的框架 LIREx，该框架包含一个基于原因的解释生成器和一个实例选择器，用于选择只与 NLI 模型相关的合理 NLEs。该框架在 SNLI 数据集上达到了 91.87％的准确度，并在多领域数据集上实现了显著提高的性能。

    Dec, 2020