本文介绍了一种评估情感分析系统漏洞的新方法，通过在受保护变量上控制调节输入以测试输出的情感是否对其敏感，给 SASs 分配标签（评分），以此评估其对输入变化的强度和鲁棒性，提高公平性，尤其对于开发人员寻找有效的信息来构建更大型的 AI 系统非常有用。

Feb, 2023

通过构建评估语料库，我们针对四种语言进行了性别、种族和移民偏见的对比评估，揭示了预训练模型对系统所引入的偏见，并提出更针对性的缓解策略。

May, 2023

通过基于在线游戏的实验，研究了使用不同 DSS 特征对人类反应的影响，显示参与者倾向于根据 DSS 建议打分，表现与游戏难度和 DSS 准确性有关，但他们的满意度并不完全与准确性相关。

Mar, 2022

提出自动化框架 BiasAsker，通过构建包含 841 个社会群体和 8110 个有偏见属性的、综合性的社会偏见数据集，使用存在性测量的新方法，识别并衡量对话 AI 系统中的绝对偏见和相关偏见，对 8 个商业系统和 ChatGPT、GPT-3 等两个著名的研究模型进行广泛实验，结果表明，BiasAsker 生成的 32.83％的问题可以触发这些广泛部署的对话系统中的有偏见行为。

May, 2023

本研究提供了第一个特意设计用于检测系统中不当偏见的基准数据集，即 Equity Evaluation Corpus (EEC)，基于此数据集，我们研究了参加 SemEval-2018 任务 1 的 219 个自动情感分析系统，发现其中多个系统在种族或性别方面存在显著的偏差，结果揭示了自动机器学习系统可能会自发强化和永久化不当偏见或歧视。

May, 2018

研究新一波的决策支持系统，通过 AI 服务从数据获取信息并将其融入人机协作，提出采用第三方评级机构来检测并处理服务的可能偏倚行为，以保证其客观性和可靠性。

Jul, 2018

这份研究首次展示，应用标准机器学习到日常语言时会形成类似于人类的语义偏见，同时该研究还提供了用于评估文本偏见的新方法。

Aug, 2016

本文探讨机器翻译在情感分析模型的分类中可能引入的偏见，并测试了三个开放式的机器翻译模型在五种不同语言的平行语料库上的表现，统计结果表明出现了标签概率分布的偏移，但没有一个是足够一致的使我们认为翻译过程会引入偏见。

Jun, 2023

本文提出了一种名为 BisaFinder 的方法，通过元测试从大型语料库中提取文本，通过自动筛选适当的模板填充特定人口统计特征的占位符，然后使用这些文本进行偏差检测，结果表明 BisaFinder 可以有效地创建许多流畅且多样化的测试用例来发现情感分析系统中的各种偏差。

Feb, 2021

本文介绍了一种人与深度学习模型相结合的方法，用于保证短文评分的质量和降低评分成本。通过引入可靠度估计方法来强制高质量的自动评分结果，同时把低可靠度的评分结果交给人类评分者来完成，实现了自动评分和人类评分者的协同作业。实验表明，该方法可以达到目标评分质量。

Jun, 2022