具体情境下的自然语言解释
利用大型语言模型,针对不同用户情境生成自然语言解释,并通过定量评估展示适应程度。我们收集了一个基准数据集,包括 100 个解释对象,每个对象都与针对三个不同受众类型(如教育工作者、学生和专业人员)的解释配对,使我们能够评估解释在特定信息需求和背景下让这些多样化群体(如学生、教师和家长)满意的程度。通过预训练语言模型,在不同大小的预训练语言模型上,我们考察了三类提示方法:基于规则的提示,元提示和上下文学习提示。我们发现:1)语言模型可以生成与目标情境更准确对齐的提示产生的解释;2)通过提示 “您是一个乐于助人的助手…” 来明确建模 “助手” 角色不是定位自然语言解释任务的必要技术;3)只有上下文学习提示能够帮助语言模型学习演示模板,但无法提高它们的推理性能。该基准数据集及我们的分析有助于未来生成情境化自然语言解释的研究。
Jun, 2024
通过应用大规模多任务生成 Transformer 模型的最新进展,我们提出了一种新的 VL-NLE 方法,其提供人类更容易理解的解释,并优于当前技术水平。同时,我们还探讨了高质量 NLE 生成的伦理影响和其他最近 VL-NLE 研究中存在的问题。
Dec, 2022
本文提出了一种新的框架 LIREx,该框架包含一个基于原因的解释生成器和一个实例选择器,用于选择只与 NLI 模型相关的合理 NLEs。该框架在 SNLI 数据集上达到了 91.87%的准确度,并在多领域数据集上实现了显著提高的性能。
Dec, 2020
介绍了一种自我合理化的框架 RExC,旨在提供两种互补类型的解释(NLE 和提取合理),并将其与背景知识结合起来,从而达到了任务最新水平的性能,并大幅度领先于现有模型,同时进行干扰分析表明,解释与预测之间存在高度的关联性。
Jun, 2021
NLX-GPT 是一个同时能够预测并解释结果的通用、紧凑且准确的自然语言解释模型,能更好地评估困难数据和无标签的交互式自评估攻击。
Mar, 2022
本文介绍了 MaNtLE,一个模型无关的自然语言解释器,在结构化分类任务中分析多个分类器预测,并生成忠实的自然语言解释器,模拟的用户研究表明,MaNtLE 生成的解释器平均比 LIME 和 Anchors 解释器忠实度高至少 11%。
May, 2023
通过加上自然语言解释,人工智能模型在各种任务中有了显著提升,但在遇到对抗性输入时,效果下降。本文研究了如何通过加入自然语言解释来提高模型对七个对抗性和具有挑战性的自然语言推理数据集的鲁棒性,并提出了 ChatGPT 的几个人工生成的自然语言解释来产生更多自然语言解释的新方法,表现更好。通过对五种常见的大语言模型进行评估,我们发现 ChatGPT 的几个人工生成的自然语言解释的 X-ICL 方法比 ICL 方法提高了 6% 以上。此外,我们还发现之前能有效提高 ICL 性能的提示选择策略,在鲁棒性评估中并不具有与 X-ICL 范式相称的效果。
Nov, 2023
本文提出一种名为 SparseFit 的算法,使用离散提示在几个可用的 NLEs 的情况下,只微调神经模型的 6.8%参数即可同时生成预测结果和高质量 NLEs,可取得与精细调整昂贵的 Pre-trained Language Models 相当的效果。
May, 2023
通过扩展自然语言推理数据集并引入人工提供的自然语言解释,我们实现了能够学习人类提供解释的机器学习模型,并将其用于提高模型性能和确定其可靠性的研究。
Dec, 2018