Pachinko: 通过自然语言反馈修补可解释的问答模型
通过在 NLP 领域中使用具有自由文本理性化功能的对话系统,研究人员对 NLP 任务进行了改进,并通过评估模型性能和用户研究,证明了理性化和特征归因在解释模型行为方面的有效性。
Oct, 2023
本文介绍一种新的基于 “Markup-and-Mask” 技术的生成问答系统解释性解释的方法,并提出了一种使用预训练语言模型自动生成标注数据进行端到端学习的方式来训练缩小版的模型的方法,同时结合了自由文本与摘录型解释的特点,进一步提高了问答系统的可信度。
Oct, 2022
通过对可解释 NLP 中两个广泛使用数据集上人类注释行为及其质量进行的实验表明,工作者的资质和注释过程的细节有着显著影响,并且特定的可解释性方法会随着不同指导下获得的 ground truth rationales 而有所不同。因此,研究人员需要提供完整的注释细节并谨慎解释使用这些注释所得到的实验结果的重要性。
Apr, 2022
通过自然语言补丁,我们能够提供正确的抽象层次,从而为 NLP 模型提供更准确的校正反馈,此任务与整合补丁信息的任务可以分开,使用少量的合成数据来教导模型,能有效地使用实际数据上应用的补丁,使用 1 至 7 个补丁可以提高情感分析数据集上~1-4 的准确性点和关系提取数据集上 F1 7 点的精度,最后我们展示了即使有 100 个从标签数据示例微调模型,与一组小的语言补丁相比,也需要更多的时间。
Nov, 2022
本文研究了通过人类用户反馈不断改进提取问题回答(QA)系统的方法,并设计和部署了一个迭代方法,在多种设置下进行实验以扩大对随时间反馈学习的理解。我们的实验显示,从不同数据环境下的用户反馈中能够有效提高提取 QA 模型,包括适应领域的潜力。
May, 2023
该研究探讨了自然语言理解中的可解释性问题,通过研究有理据的例子,并提出了一种能够联想标签和理由的度量方法,成功地验证了新的联合模型在生动文本解释方面的可信度。
Oct, 2020
大型语言模型在不同可读性级别下进行自然语言解释任务,发现解释可以适应不同的指导,但请求的可读性经常与传统可读性评估指标不一致。该研究还发现,评估大型语言模型生成的解释时,其对于文本复杂度的评估呈现出与自然语言生成中观察到的类似偏好。最后,人类评估表明在不同可读性级别下的解释总体印象令人满意,其中高中级别的可读性最常见且受欢迎。
Jul, 2024
文章分析了 2007-2022 年间自然语言处理领域合理化 (Rationalization) 技术的发展现状和存在的问题,提出了一种新的可解释人工智能技术领域 Rational AI (RAI) 并讨论未来的研究方向和挑战。
Jan, 2023
本文介绍了首个以生成自然语言解释为中心的研究,该研究关注复杂的视觉推理任务,包括视觉常识推理、视觉文本蕴含和视觉问答。文章提出了 Rationale^VT Transformer,该模型通过结合预训练的语言模型、对象识别、基于视觉的语义框架和视觉常识图生成自由文本解释,实现了全面的图像理解,并且实验证明,自然语言解释是用于复杂视觉 - 文本推理任务的一种具有前景的研究方向。
Oct, 2020