Nov, 2016

补充模型学习的基于突变的模糊测试

PDF
TL;DR本文提出了一种方法，并使用它来学习应用程序并获得反例，使用 Minimally Adequate Teacher 框架，该方法结合了一致性测试和基于变异的 Fuzzing 方法，并应用于 Rigorous Exampination of Reactive Systems (RERS) 挑战中有限状态机模型的学习中。结果表明，这种方法适合于学习 LTL 的问题，而对于可达问题，还需要其他的学习方法。
minimally adequate teacherconformance testingmutation-based fuzzingfinite state machine modelsreactive software systems
发现论文，激发创造
  • 利用生成的 LLM 的反事实文本来解释黑盒 NLP 模型

    解释自然语言处理系统预测的因果解释对于确保安全性和建立信任至关重要，本文提出了两种针对模型无关性的倒因果估算方法，分别基于生成和匹配，并通过实验证明了生成模型和匹配模型在模型解释方面的出色性能。

    Oct, 2023

  • 反例引导的数据增强

    提出一种新的基于反例的机器学习数据集增强框架，使用反例数据生成器和错误表等关键组件改进模型的分类性能，在深度神经网络的自动驾驶目标检测案例研究中表现出较高效果。

    May, 2018

  • CATfOOD：提升跨领域性能和校准性的反事实增强训练

    使用大型语言模型对小型语言模型进行训练数据增强，在抽取式问答系统中改善模型的领域外性能，并提高模型校准的多样性和精简性。

    Sep, 2023

  • 深度模型的一致对法推断

    本篇论文研究了深度网络下，机器学习模型一致性与反事实样本的关系，在权重初始化和数据保留等初步训练条件发生微小变化时，提出了通过稳定邻近搜索算法来生成更一致解释的反事实样本的方法，并证明了该方法在多个基准数据集上具有有效性。

    Oct, 2021

  • 具备符合式真实性保证的语言模型

    通过连接语言建模和符合预测，我们提出了一种名为符合真实性的框架，可以确保语言模型输出的高概率正确性保证。我们观察到语言模型输出的正确性等同于一个不确定性量化问题，其中不确定性集合被定义为语言模型输出的蕴含集合。利用这种连接，我们展示了在语言模型中的符合预测对应于一种回退算法，通过逐步使语言模型输出不太具体（并扩大相关的不确定性集合）以提供高概率的正确性保证。这种方法适用于任何黑盒语言模型，并且只需要很少的人工标注样本。我们对我们的方法在闭卷问答（FActScore，NaturalQuestions）和推理任务（MATH）上进行评估，结果表明我们的方法可以在保留大部分语言模型原始输出的同时提供 80-90% 的正确性保证。

    Feb, 2024

  • 针对表格数据的学习模型无关反事实解释

    本文提出了一种新的方法 ——C-CHVAE，该方法可以生成可实现的反事实解释，以更好地满足反事实解释的质量要求。

    Oct, 2019

  • 逆事实例子是否使对抗性训练变得复杂？

    我们利用扩散模型研究了鲁棒分类器的鲁棒性和性能之间的权衡。我们的方法引入了一个简单的预训练扩散方法来生成低范数的反事实例：语义上改变的数据导致不同的真实类别成员身份。我们报告在干净的训练数据上，鲁棒模型的置信度和准确性与数据与反事实例的接近程度相关。此外，当直接在反事实例上进行评估时，鲁棒模型的性能非常差，因为它们对反事实例通过低范数和语义变化而变得越来越不变。结果表明，非鲁棒和语义特征之间存在显著的重叠，与普遍的非鲁棒特征不可解释的假设相反。

    Apr, 2024

  • 文本分类的任意生成对抗解释

    在机器学习中，理解分类器推荐或预测背后的推理对用户非常重要。然而，学习的模型通常太复杂，以至于人类难以理解。本文提出了一个通用框架，用于在文本领域生成反事实解释，这个框架是不限于模型、表示和领域的，并且可以随时使用。本文将任务建模为通过替换文本的各个部分来转换初始状态为分类文本的搜索问题，包括独立于领域的运算符，但也可以通过专门的运算符利用领域特定的知识。搜寻算法试图找到距离原始分类对象具有最小的基于单词级别的 Levenshtein 距离的互补类文本。

    Nov, 2022

  • 解释、编辑、生成：为多跳事实验证的理由敏感的反事实数据增强

    论文提出了一种理性敏感的方法来生成语言多样且标签翻转的反事实数据，同时保持逻辑关系，并通过检查和过滤模块对反事实数据进行规范化，实验结果表明该方法优于基准模型，并且能够生成语言多样的反事实数据而不破坏其逻辑关系。

    Oct, 2023

  • 用于生成和评估逆事实的 LLMs：一项全面研究

    NLP 模型生成反事实样本的能力及其对数据增强的影响进行了比较和评估，发现 LLMs 生成流利但改动较大的反事实样本，数据增强效果与人工生成的样本相比有明显差距。此外，LLMs 对偏标签数据的评估表现出明显的偏向性，而 GPT4 对此偏见更加稳健，并且其得分与自动评价指标具有很好的相关性。研究结果揭示了几个限制，并指出了未来的研究方向。

    Apr, 2024