AAAIDec, 2020

生成反事实：控制文本反事实生成

PDF
TL;DR我们提出了一个名为 GYC 的框架，用于生成反事实文本样本，以测试机器学习系统的公正性和鲁棒性，特别地，我们生成了反事实样本，以便向对应条件如命名实体标签、语义角色标签或情感方向进行引导，同时我们在各领域实验的结果表明 GYC 生成了具有可信性、多样性、目标性和有效性的反事实样本，其可作为模型和任何文本去偏差算法的测试用例。
machine learningcounterfactual text samplesfairnessrobustnesstext debiasing
发现论文，激发创造
  • 柔性文本生成用于反事实公平探究

    本文介绍了一种使用大型语言模型生成对抗样本的方法，该方法克服了现有方法的局限性，能够产生复杂的对抗样本，并在 Civil Comments 数据集上比较了各种方法的性能和价值，并展示了其在评估毒性分类器方面的价值。

    Jun, 2022

  • 探究自动生成的反事实数据在情感分析中的有效性

    提出了一种自动产生对立数据的方法，基于此数据增广训练集可以有效提高 NLP 模型的性能。

    Jun, 2021

  • COFFEE：可解释推荐中针对个性化文本生成的反事实公平性

    本文研究个性化文本生成中的公平性问题，提出了一个可适用于现有模型和实际场景的通用框架，以促进文本的公平性，消除因用户属性造成的偏见。

    Oct, 2022

  • 借助因果推理增强语言理解

    本研究提出了反事实推理模型，在学习少量反事实样本的基础上，通过生成对于每个正面事实样本的代表性反事实样本，并使用回顾模块根据对比反事实和正事实样本来检查模型预测，从而模拟对于困难测试样本的人类反事实思维。该方法在情感分析和自然语言推理方面的广泛实验验证了其有效性。

    Jun, 2021

  • 检索引导的问答反事实生成

    本研究旨在探索如何创建关于领域知识、语义多样性和可回答性等方面的反事实数据来改善深度学习模型的鲁棒性，其中使用的技术包括数据增强，以及 “Retrieve-Generate-Filter” 模型。实验表明，使用该技术能够有效提高模型对于本地扰动的鲁棒性和在阅读理解和开放领域问答中的性能。

    Oct, 2021

  • 使用有意义对照实验的交互式 LLMs 分析

    生成完整且有意义的文本反事实示例的新算法以及交互式可视化工具，用于分析和解释 LLMs。

    Apr, 2024

  • 神经逆向生成：更为丰富的数据增强方法

    本文提出了 NeuroCounterfactuals 方法，通过松散的对比事实产生更大规模的编辑，从而使得生成的文本包含语言多样性，同时与原始文档相似，使得训练数据增强在情感分类方面取得了良好的效果。

    Oct, 2022

  • 文本分类的任意生成对抗解释

    在机器学习中，理解分类器推荐或预测背后的推理对用户非常重要。然而，学习的模型通常太复杂，以至于人类难以理解。本文提出了一个通用框架，用于在文本领域生成反事实解释，这个框架是不限于模型、表示和领域的，并且可以随时使用。本文将任务建模为通过替换文本的各个部分来转换初始状态为分类文本的搜索问题，包括独立于领域的运算符，但也可以通过专门的运算符利用领域特定的知识。搜寻算法试图找到距离原始分类对象具有最小的基于单词级别的 Levenshtein 距离的互补类文本。

    Nov, 2022

  • 基于零样本下的零模型向导的文本反事实生成

    通过全面的自然语言处理（NLP）下游任务中的实验证明，最近大型语言模型（LLMs）作为零 - shot 反事实生成器在评估和解释黑盒 NLP 模型方面具有高效性。

    May, 2024

  • 用反事实表示解释文本分类器

    通过在文本表示空间进行干预的简单方法生成对抗事实，以用于分类器解释和偏见缓解。

    Feb, 2024