提高模型健壮性的自然语言纠错的澄清

Feb, 2024

提高模型健壮性的自然语言纠错的澄清

Clarify: Improving Model Robustness With Natural Language Corrections

Yoonho Lee, Michelle S. Lam, Helena Vasconcelos, Michael S. Bernstein, Chelsea Finn

TL;DR通过 Clarify，用户仅需提供短文本描述来描述模型的连续失败模式，然后我们完全自动化地使用这些描述来改善训练过程，以重新加权训练数据或收集额外的有针对性的数据，并通过用户研究表明，非专业用户可以成功地通过 Clarify 描述模型的误解，从而在两个数据集中将最差组精确度平均提高 17.1％，此外，我们使用 Clarify 在 ImageNet 数据集中找到并纠正了 31 个新的困难子群体，将少数群体的精确度从 21.1％提高到 28.7％。

Abstract

In supervised learning, models are trained to extract correlations from a static dataset. This often leads to models that rely on high-level misconceptions. To prevent such →

supervised learning misconceptions additional supervision model training user studies

发现论文，激发创造

通过对话式解释探索 NLP 模型和数据集的 InterroLang

通过在 NLP 领域中使用具有自由文本理性化功能的对话系统，研究人员对 NLP 任务进行了改进，并通过评估模型性能和用户研究，证明了理性化和特征归因在解释模型行为方面的有效性。

Oct, 2023

必要时澄清：通过与语言模型的交互解决多义性

我们提出了一个任务无关的框架来通过询问用户澄清问题来解决模型中的歧义，我们的方法在确定何时需要澄清、确定要问的澄清问题以及通过澄清获得的新信息方面都取得了显著成果，并对模型的不确定性进行了估计，我们的方法在准确识别需要澄清的预测方面始终优于现有的不确定性估计方法，使系统能够在仅允许在 10％的示例上进行澄清时将性能提升两倍。

Nov, 2023

使用自然语言说明训练分类器

本研究提出了 BabbleLabble 框架，使用人类的自然语言解释来训练分类器，得到了具有可比 F1 得分的分类器。此外，针对标记函数的固有不完美性，我们发现简单的基于规则的语义解析器就足以胜任。

May, 2018

基于解释的微调使模型对虚假线索更加鲁棒

本文提出了基于解释的微调作为一种缓解大型语言模型依赖错误相关的新颖通用方法，并在人工构建的训练集上微调模型，使其更加强壮。与标准微调不同，我们不仅仅针对输入进行预测，还微调模型以生成支持其答案的自由文本解释。与标准微调相比，我们的方法在四个分类任务中使模型对伪线索具有明显更强的稳健性。此外，我们的方法同样适用于由模型生成的解释，暗示了其在更多数据集上的适用性。

May, 2023

通过自然语言推理对澄清问题进行排名

教机器提出澄清问题对于自然语言处理系统非常有用，本研究使用 Siamese BERT 模型，将 NLI 的特征运用在 StackExchange 数据集问题排序上，取得了相对于现有基线模型高达 40% 至 60% 的性能提升。

Aug, 2020

自然语言分类器的多分辨率解释和诊断工具

通过对 NLP 模型中的观察段或语义相关的词群进行分析，将解释性摘要方法更加灵活化，并通过分析不同段落的虚假或肯定例子，引入了 NLP 模型的根本原因分析方法。最后，通过对 Yelp 评论数据集的实验证明，利用单词和 / 或信息中的组 / 集群结构可以帮助解释 NLP 模型的决策，并可用于评估模型对性别，语法和单词含义的敏感性或偏差。

Mar, 2023

用自然语言反馈纠正机器人计划

本文探讨了将自然语言应用于机器人校正的方式，阐述了从自然语言句子到代价函数变换的映射方法，以及该方法如何通过多种方式对机器人进行校正，进而解决规划任务失败的问题，该方法已在模拟环境和真实环境中得到了验证。

Apr, 2022

CLUES: 使用自然语言解释学习分类器的基准

研究使用自然语言来训练从语言中零样本学习结构化数据的分类器，并提出一个评估标准 CLUES，其包含 36 个现实世界和 144 个合成分类任务的自然语言监督。为实现此目的，开发了 ExEnt，一种基于蕴含的模型，通过学习解释来学习分类器。

Apr, 2022

利用大型语言模型为人类导师提供解释性反馈

研究表明，学习者参与制作解释以支持他们的推理过程，对学习有积极影响。本文介绍了两种方法，可供教师在在线课程中提供实时反馈，并介绍了采用大型语言模型促进的命名实体识别的增强方法的进展。

Jun, 2023

使用自然语言补丁修复模型缺陷

通过自然语言补丁，我们能够提供正确的抽象层次，从而为 NLP 模型提供更准确的校正反馈，此任务与整合补丁信息的任务可以分开，使用少量的合成数据来教导模型，能有效地使用实际数据上应用的补丁，使用 1 至 7 个补丁可以提高情感分析数据集上～1-4 的准确性点和关系提取数据集上 F1 7 点的精度，最后我们展示了即使有 100 个从标签数据示例微调模型，与一组小的语言补丁相比，也需要更多的时间。

Nov, 2022