LIREx:使用相关解释增强语言推理
本文提出了 UNIREX 灵活的学习框架,旨在优化解释提取,它可以替换现有启发式算法设计,并针对准确性、可信度和 PLAUSIBILITY 这三个需求进行优化,同时可以使用标准化相关增益(NRG)指标评估模型性能。在五个文本分类数据集上的实验表明,本文提出的 UNIREX 配置比基线平均提高了 32.9%的 NRG。与此同时,研究还发现 UNIREX 训练的解释提取器可推广到未见过的数据集和任务。
Dec, 2021
通过扩展自然语言推理数据集并引入人工提供的自然语言解释,我们实现了能够学习人类提供解释的机器学习模型,并将其用于提高模型性能和确定其可靠性的研究。
Dec, 2018
通过加上自然语言解释,人工智能模型在各种任务中有了显著提升,但在遇到对抗性输入时,效果下降。本文研究了如何通过加入自然语言解释来提高模型对七个对抗性和具有挑战性的自然语言推理数据集的鲁棒性,并提出了 ChatGPT 的几个人工生成的自然语言解释来产生更多自然语言解释的新方法,表现更好。通过对五种常见的大语言模型进行评估,我们发现 ChatGPT 的几个人工生成的自然语言解释的 X-ICL 方法比 ICL 方法提高了 6% 以上。此外,我们还发现之前能有效提高 ICL 性能的提示选择策略,在鲁棒性评估中并不具有与 X-ICL 范式相称的效果。
Nov, 2023
介绍了一种自我合理化的框架 RExC,旨在提供两种互补类型的解释(NLE 和提取合理),并将其与背景知识结合起来,从而达到了任务最新水平的性能,并大幅度领先于现有模型,同时进行干扰分析表明,解释与预测之间存在高度的关联性。
Jun, 2021
利用大型语言模型,针对不同用户情境生成自然语言解释,并通过定量评估展示适应程度。我们收集了一个基准数据集,包括 100 个解释对象,每个对象都与针对三个不同受众类型(如教育工作者、学生和专业人员)的解释配对,使我们能够评估解释在特定信息需求和背景下让这些多样化群体(如学生、教师和家长)满意的程度。通过预训练语言模型,在不同大小的预训练语言模型上,我们考察了三类提示方法:基于规则的提示,元提示和上下文学习提示。我们发现:1)语言模型可以生成与目标情境更准确对齐的提示产生的解释;2)通过提示 “您是一个乐于助人的助手…” 来明确建模 “助手” 角色不是定位自然语言解释任务的必要技术;3)只有上下文学习提示能够帮助语言模型学习演示模板,但无法提高它们的推理性能。该基准数据集及我们的分析有助于未来生成情境化自然语言解释的研究。
Jun, 2024
本文提出一种使用简单 LSTM 架构的零样本句子对标记来生成自然语言推理的 token 级解释的方法,并使用 SNLI 数据集进行了实验,与黑盒方法相比,白盒方法的匹配精度较低。
Apr, 2019
通过使用自动生成的标签特定的自然语言解释,提出了一种名为 NILE 的新型自然语言推理方法,它可以以高准确度产生标签及其合理解释,对比以前的方法,NILE 的有效性得到证明,同时论文也强调了模型解释的可信度评估是非常重要的。
May, 2020
提出了 Uni-NLX,一个统一的框架,将所有自然语言解释任务整合到一个紧凑的多任务模型中,使用文本生成的统一训练目标。引入了两个新的 NLE 数据集:ImageNetX,一个包含 144K 个样本的数据集,用于解释 ImageNet 分类;VQA-ParaX,一个包含 123K 个样本的数据集,用于解释视觉问答(VQA)任务。通过训练这 1M 个组合的 NLE 样本,在参数数量减少 7 倍的情况下,我们的统一框架能够同时执行七个 NLE 任务,包括 VQA、视觉识别和视觉推理任务,在某些任务中甚至表现出色于以前方法中的独立任务特定模型。
Aug, 2023
本文提出了一种新的神经执行树(NExT)框架,通过语义分析将自然语言解释转换为可执行的逻辑形式,并使用该框架增强文本分类的训练数据,实验证明它在两种自然语言处理任务上(关系提取和情感分析)的表示能力优于基线方法。
Nov, 2019