自然语言处理系统的可靠性测试
本次调查分析了 NLP 模型的社会影响，探讨了 NLP 算法中存在性别、种族和文化偏见的根源，定义了公平性，并说明了 NLP 各个子领域如何减少系统存在的偏见，最终讨论了未来研究如何消除 NLP 算法中的有害偏见。
Mar, 2022
本篇论文总结了近年来自然语言处理 (NLP) 的抗干扰性研究，并就技术、度量标准、嵌入、基准等维度深入探讨了该领域中存在的问题和待解决的方向。
Jan, 2022
该论文提出了评估自然语言理解任务的四个标准，并指出目前大多数现有标准都无法满足这些标准，而对抗性数据收集并不能有效地解决这些失败的根本原因。为了恢复健康的评估生态系统，需要在基准数据集的设计、标注的可靠性、其大小以及处理社会偏见的方式方面取得显著进展。
Apr, 2021
该论文提出了一种重复性分析框架，用于对 NLP 任务算法的多个比较进行统计学分析，相对于 NLP 文献中目前未经统计证明的传统做法具有显著的理论优势，并通过多个应用案例展示了其实证价值。
Sep, 2017
本文提出了一个完整的研究议程以便在印度社会背景下重新定义 NLP 公平性研究，同时考虑印度文化价值，缩小技术和资源方面的差异，并总结了一个关于印度社会不平等各个方面存在的社会偏见的实证研究，表明它们在语料库和模型中的普遍存在。
Nov, 2022
语言理解是一个多方面的认知能力，自然语言处理（NLP）领域几十年来一直致力于计算化建模。最近大型语言模型（LLMs）的出现，使得以生成模型为动力的通用性、任务无关的方法成为主流，这导致了语言任务传统上的划分不再适用，带来了对评估和分析的挑战，同时也加大了对可靠系统的需求。因此，我们主张重新思考 NLP 中任务和模型评估的涵义，并追求对语言的更全面视角，将可靠性放在核心地位。为了实现这一目标，我们回顾了现有的划分式方法，以了解模型功能能力的起源，并提出了多方面评估协议的建议。
Oct, 2023
本研究就 NLP 系统展示的偏见和模型去偏见技术的限制做了梳理和评价，提出了实现公平学习的建议，具体包括明确不同方法之间的关系和与公平性理论的关系，以及处理模型选择问题的声明性工具，以帮助未来的工作。
Feb, 2023
本文旨在研究印度社会准则在 NLP 的公正性中的作用，通过对印度社会背景、资源以及文化价值观的分析，建立公正性评估模型，探讨预测偏见和社会刻板印象的存在，并提出改进 NLP 公正性的全面研究议程，为其他地缘文化背景的研究提供借鉴。
Sep, 2022
该研究通过一个基于随机抽样的实验，旨在检验基于显著性的事后可解释性方法在自然语言处理中的有效性，结果表明，人类往往会倾向于较少批判性地接受该类解释。
Nov, 2022