本篇论文研究了如何通过历史系统中用户反馈数据来提高目标系统的性能，并介绍了一种将此框架应用于神经语义解析的方法。该方法的挑战在于适当地重新加权评估器，以避免策略学习中已知的退化现象，并仍能适用于随机梯度优化。为了与人类用户进行实验，我们设计了一个易于使用的界面来收集人类对语义解析的反馈。我们的工作是第一个显示从已记录的人类反馈数据中可以通过反事实学习显著提高语义解析器性能的工作。

May, 2018

发展了一种从自然语言反馈中训练语义解析器的学习算法，为了使其直观可扩展性，该算法使用了用户纠正、会话记录等已有的自然语言数据作为监督信号，相对于使用严谨的逻辑形式或者特定答案的监督方法，可以接受那些并不熟悉语言形式的用户。研究还构建了一个自然语言反馈的对话数据集，并证明该方法对于从这些自然语言监督信号中学习语义解析器是有效的。

Feb, 2019

提出了一种利用模拟的自然语言反馈来训练交互式语义解析器的任务和新颖的反馈评估器，证明该反馈模拟器可以在低数据集情况下，生成高质量的自然语言反馈来提高特定解析器的错误纠正能力。

May, 2023

本研究提出了反事实推理模型，在学习少量反事实样本的基础上，通过生成对于每个正面事实样本的代表性反事实样本，并使用回顾模块根据对比反事实和正事实样本来检查模型预测，从而模拟对于困难测试样本的人类反事实思维。该方法在情感分析和自然语言推理方面的广泛实验验证了其有效性。

Jun, 2021

本文提出了一种基于语义分析的新方法来生成自然语言界面的解释，重点是提供后续解释，描述如何最小修改发言以实现用户的目标。在两项用户研究中，我们证明了我们的方法可以显著提高用户的性能，并且与两种去除实验相比，可以生成更符合用户意图的解释。

Apr, 2022

研究了在确定性记录下的反事实学习中逆推估计和重新加权倾向得分估计器的可能退化现象，并将其与最近提出的确定性日志记录下的反事实学习技术联系起来，以提高基于网络的机器翻译服务。

Nov, 2017

本研究采用自然语言反馈作为人工智能代理的学习信号，使用基于方面的情感分析将反馈分解为关于马尔可夫决策过程功能的情感。然后通过推理情感模型中的潜在奖励函数，来进行反向强化学习。实验表明本方法可以成功地从人的互动反馈中学习，并提供了关于自然语言反馈信息结构和利用它进行强化学习的方法。

Sep, 2020

本文提出了 NeuroCounterfactuals 方法，通过松散的对比事实产生更大规模的编辑，从而使得生成的文本包含语言多样性，同时与原始文档相似，使得训练数据增强在情感分类方面取得了良好的效果。

Oct, 2022

通过调查五种预训练语言模型在特殊条件下进行的逆向推理，发现这种逆向推理主要受到基于单词关联的影响，只有 GPT-3 能够展现对语言细微差别的敏感性。

May, 2023

提出了一种自动产生对立数据的方法，基于此数据增广训练集可以有效提高 NLP 模型的性能。

Jun, 2021