面向现实世界低资源场景的并行句子级解释生成

Feb, 2023

面向现实世界低资源场景的并行句子级解释生成

Parallel Sentence-Level Explanation Generation for Real-World Low-Resource Scenarios

Yan Liu, Xiaokang Chen, Qi Dai

TL;DR本文旨在探讨如何更好地提供可解释的语言模型预测，通过将训练数据从强监督学习转向弱监督和无监督学习，并提出一种既实现并行解释生成和同时预测的非自回归解释模型，能够以比目前自回归模型快 10-15 倍的速度训练分类器。

Abstract

In order to reveal the rationale behind model predictions, many works have exploited providing explanations in various forms. Recently, to further guarantee readability, more and more works turn to generate sentence-level human language explanations. However, current works pursuing sentence-level explanations rely heavily on annotated training data, which li

interpretability sentence-level explanations weak-supervised learning non-autoregressive model parallel explanation generation

发现论文，激发创造

利用解释作为潜在变量实现可解释的自然语言理解

本文提出了一种可解释自然语言理解的框架，使用一小部分人类注释的解释进行训练，并采用变分 EM 方法进行优化，同时提出了基于解释的自训练方法，在两个自然语言理解任务上进行实验，证明了该框架不仅可以在监督和半监督设置下进行有效的预测，还可以生成良好的自然语言解释。

Oct, 2020

生成推荐自然语言解释

本文提出了使用层级序列到序列模型（HSS）生成自由文本的自定义推荐解释，以提高电子商务推荐模型效率和解释质量。使用基于主题物品特征词的自动去噪机制能够解决生成用户解释时存在的问题。经过实验验证该方法不仅提高了推荐精度，而且在离线评估和功能词覆盖范围方面还提高了解释质量。

Jan, 2021

自然语言推理的标记级别解释生成

本文提出一种使用简单 LSTM 架构的零样本句子对标记来生成自然语言推理的 token 级解释的方法，并使用 SNLI 数据集进行了实验，与黑盒方法相比，白盒方法的匹配精度较低。

Apr, 2019

弱监督下的选择性学习用于释义生成

本文提出了利用元学习框架解决弱监督下的释义生成任务，并通过检索式的伪释义扩展获取大量弱标注平行句子，进而选择有价值的样本对预训练语言模型 BART 进行微调，从而生成高质量释义的方法，与目前的无监督学习方法相比具有显著的改进。

Sep, 2021

机器翻译的针对特定受众的解释

机器翻译中的一个常见问题是某些单词的翻译可能由于不同的文化背景导致目标语言受众难以理解。本研究探索从平行语料库中提取示例解释的技术，通过半自动的方法能够从大规模平行语料库中提取这些解释，为创建解释数据集提供了重要的自动化步骤。同时，通过实验证明该技术在三种语言对中均表现出鲁棒性。

Sep, 2023

人工智能协作生成自由文本解释的重新构架

本文探讨利用人类书写的样例以几乎无监督的方式创作自由文本解释的任务，发现高质量的提示有助于提高语言模型的生成效果，同时人类研究表明 GPT-3 生成的解释在某些情况下能够胜过人工生成的解释；作者还结合 GPT-3 与学习自评价的筛选器对生成的解释进行过滤，结果表明这一方法能够实现较高水平的解释过滤。

Dec, 2021

双阶段语义解析的无监督双重释义

该研究提出了一种两阶段的语义解析框架，第一阶段利用无监督的语义模型将未标记的自然语言转化为规范化语句，第二阶段使用自然语言解析器解析输出结果得到目标逻辑形式，该训练过程被分成了预训练和循环学习两个阶段，通过三项定制的自监督任务激活无监督的语义模型，实验结果表明该框架是有效的且与监督式训练相兼容。

May, 2020

利用多任务预训练技术，提升基础自然语言解释能力

通过应用大规模多任务生成 Transformer 模型的最新进展，我们提出了一种新的 VL-NLE 方法，其提供人类更容易理解的解释，并优于当前技术水平。同时，我们还探讨了高质量 NLE 生成的伦理影响和其他最近 VL-NLE 研究中存在的问题。

Dec, 2022

神经故事生成中预测可解释情节的学习

本文提出了一种基于潜在变量模型的神经故事生成方法，采用外部摘要模型指导该方法从训练数据中学习生成具有可解释高级情节的概述，并在自动和人类评估中取得了显著的改进。

Dec, 2019

自然语言解释的自动生成

本文提出了一种基于神经网络的方法，使用用户对不同商品的评分来预测用户如何描述该商品，并生成自然语言解释，通过实验验证模型可以生成接近真实用户写的评论。

Jul, 2017