本文是对近年来有关自然语言推理数据集的研究及其相关算法模型的综述，对模型和数据集中存在的问题进行分类整理，并提出一些可能的研究方向，为未来的研究提供指导建议。

May, 2020

通过研究模型在训练过程中的随机性，我们发现在自然语言理解任务中，模型的预测结果的不稳定性会对一部分查询产生影响，提出了一种衡量稳定性现象的方法 —— 标签熵，我们研究了数据不可知的正则化方法和新的数据中心方法，发现它已在计算成本的分数中取得了 90% 的性能优势以及金标准的表现。

May, 2023

研究自然语言推理 (NLI) 模型的鲁棒性，特别关注三个因素：不敏感、极性和未见过的词汇。结果发现，所有模型在处理未见过的反义词语上表现都欠佳，并且容易受到单词和标签之间的简单统计相关性的影响。

May, 2018

本研究关注于应用预测几何模型于机器学习中时所面临的稳定性和方差问题，并通过分析诸如单个数据点、逼近方法和参数设置等特征对基于 word2vec 的推荐系统几何模型进行调整和优化，以实现对大规模数据点的信息价值检测。

Jul, 2018

通过评估自然语言推理模型对含有微小语义保留表面形式噪声的对抗生成样本的效果，我们提供了证据表明，最新基于转换器的自然语言理解模型对于细微的语义保留有敏感性，这导致了推理过程中明显的不一致性。这种语义敏感性会导致在模型预测中的性能降低 12.92% 和 23.71%。

Jan, 2024

该论文提出了一种重复性分析框架，用于对 NLP 任务算法的多个比较进行统计学分析，相对于 NLP 文献中目前未经统计证明的传统做法具有显著的理论优势，并通过多个应用案例展示了其实证价值。

Sep, 2017

近年来，NLP 模型取得了巨大的进展，尤其是通过这方面的大量数据集进行性能评估。然而，有关特定数据集设计选择可能如何影响我们对模型能力的结论仍存在问题。本研究在组合泛化领域调查了六种建模方法在 4 个数据集上的表现，这些数据集根据 8 种组合分割策略进行划分，总计有 18 种组合泛化划分。我们的结果表明：i) 尽管所有数据集都设计用于评估组合泛化能力，但它们对建模方法的排名是不同的；ii) 由人类生成的数据集彼此之间更加一致，而与合成数据集之间的一致性较差；iii) 通常来说，数据集是否来自相同源头对于得到的模型排名的预测性更强，而是否保持相同的组合性解释则次之；iv) 数据中使用的词汇项目可以极大地影响结论。总的来说，我们的结果表明，在评估流行的评估数据集是否测量其意图时还有很多工作要做，建立更严格的评估标准可能有助于该领域的发展。

Oct, 2023

本研究通过实验验证，发现多个最先进的 NLI 模型都过度依赖词汇而无法使用组合语义，因此提出了一种可分析自然语言例句中 NLI 模型组成特性的测试设置，并在已有数据集上测试，这种测试设置可以帮助模型更好地了解复杂的含义，并为模型的改进提供机会。

Nov, 2018

本研究提出了两个方法来改进自然语言处理任务的性能预测：其一是对准确度进行细致的分类表现分析，其二是从置信区间和校准性两个角度理解性能预测模型的可靠性。通过对四类不同的任务分析论证了细致表现预测的必要性，同时说明性能预测方法在未来需要进行可靠性分析，我们公开了代码。

Feb, 2021

本研究探讨了机器学习模型的稳定性问题，提出了评估模型稳定性的方法，并发现网络架构和输入表示等模型设计选择对稳定性有重大影响，推荐在进行建模选择时考虑准确性和抖动之间的权衡。

Jan, 2022