本文探讨了已有的文本分类数据集不能准确反映真实应用场景的问题，并提出了两点解决方案：一是在文本分类数据集中增加可解释性的评价指标，二是通过人类的应用场景与判断加强数据集的教学力度。

Nov, 2022

该研究提出了四种新的众包协议来收集 NLI 数据集，以改善训练样本的质量和多样性，然而实验结果表明这些新方法在迁移学习的任务中没有优势，但它们可以显著降低注释文本中的问题。

Apr, 2020

本研究对开源聊天机器人的多种回复生成方法进行了系统评估，提出了利用手动注释筛选出的多个正向回复和负向回复，从而提高模型效果的新训练数据，并实验证明性能较之采用对抗训练数据有更显著提升。

Aug, 2022

本文提出了一种名为 Near-Negative Distinction（NND）的新颖和简单的自动评估方法，通过重新利用之前人类注释来建立 NLG 模型的偏好，我们发现 NND 在三个 NLG 任务（问题生成，问题回答和摘要）中取得了比标准 NLG 评估指标更高的与人工判断的相关性，这表明 NND 可以给人类注释提供第二次生命并提供低成本的 NLG 评估。

May, 2022

利用新型半监督过程从现有生物医学数据集生成一个针对复杂决策中自然语言推理问题的数据集 BioNLI，进行负样本生成的实验，准确度中等，在不同的负样本分类上表现不同。

Oct, 2022

发展神经对话模型需要超越 “内容相似性”，本文提出用对抗性负面样本提高模型的实用性。实验表明，我们的方法在多个数据集上均表现优异。

Jun, 2021

该论文通过引入一套阈值不可知的度量标准，考虑分类器分数分布在指定群体中的变化，从而提供了深入了解机器学习中的未预期偏差的视角，该方法可帮助发现现有公共模型中的新的潜在微妙的偏差，并使用在线评论和众包注释展示该度量标准的运用。

Mar, 2019

本文提出了一种使用 BERT fine-tuning 的方法来比较生成的自然语言模型，同时还提出了使用技能等级系统来评估模型质量，并将其作为性能指标，在训练过程中进行优化。实验结果表明，该方法与人类偏好的相关性更高，训练成果更优秀，有效性得到了证明。

Feb, 2020

使用否定例子训练神经语言模型，通过添加边际损失增强模型对特定句法结构的鲁棒性表现，研究发现适当使用否定例子提高模型的鲁棒性，具有可行性，但是该方法在处理宾语从句时还存在困难。

Apr, 2020

本文探讨了在噪声对比估计中选择负面案例的重要性，发现硬负面案例 —— 在模型下得分最高的不正确案例是有效的，我们开发了分析工具以理解硬负面案例的作用，并通过将负面分布设置为模型分布来减少误差，同时将硬负面案例与适当的评分函数相结合，取得了强大的零 - shot 实体链接结果。

Apr, 2021