Apr, 2024

用于生成和评估逆事实的 LLMs：一项全面研究

PDF
TL;DRNLP 模型生成反事实样本的能力及其对数据增强的影响进行了比较和评估，发现 LLMs 生成流利但改动较大的反事实样本，数据增强效果与人工生成的样本相比有明显差距。此外，LLMs 对偏标签数据的评估表现出明显的偏向性，而 GPT4 对此偏见更加稳健，并且其得分与自动评价指标具有很好的相关性。研究结果揭示了几个限制，并指出了未来的研究方向。
nlp modelscounterfactualsllmsnlu tasksdata augmentation
发现论文，激发创造
  • 大型语言模型作为反事实生成器：优缺点

    本研究探究了大型语言模型（LLMs）进行反事实生成和数据增强的能力，发现 LLMs 很有效的进行反事实生成，但因为自身限制和缺少实用逻辑指导，在某些复杂任务上表现欠佳。提供准确的任务定义和详细的操作步骤对于在 LLMs 中生成反事实具有决定性影响。同时，研究还证明了 LLMs 可能在缺乏合理演示的情况下生成合理的反事实，说明演示主要用于规范输出格式。因此，基于 LLMs 进行数据增强来增强 SLMs 是一种非常有前景的研究和应用方向。

    May, 2023

  • 利用生成的 LLM 的反事实文本来解释黑盒 NLP 模型

    解释自然语言处理系统预测的因果解释对于确保安全性和建立信任至关重要，本文提出了两种针对模型无关性的倒因果估算方法，分别基于生成和匹配，并通过实验证明了生成模型和匹配模型在模型解释方面的出色性能。

    Oct, 2023

  • CATfOOD：提升跨领域性能和校准性的反事实增强训练

    使用大型语言模型对小型语言模型进行训练数据增强，在抽取式问答系统中改善模型的领域外性能，并提高模型校准的多样性和精简性。

    Sep, 2023

  • 语言模型作为反事实解释模块：ChatGPT 能否解释黑盒文本分类器？

    使用大型语言模型作为反事实解释模块，通过提取潜在特征生成可解释黑盒文本分类器的决策的对策性解释。通过评估多个具体度的框架变体，显示了在不同设置下这些模型的性能差异，其中一种基于两步特征提取的变体在大多数情况下表现最好。该流程可用于自动解释系统，潜在地减少人工工作量。

    Sep, 2023

  • 使用有意义对照实验的交互式 LLMs 分析

    生成完整且有意义的文本反事实示例的新算法以及交互式可视化工具，用于分析和解释 LLMs。

    Apr, 2024

  • 基于零样本下的零模型向导的文本反事实生成

    通过全面的自然语言处理（NLP）下游任务中的实验证明，最近大型语言模型（LLMs）作为零 - shot 反事实生成器在评估和解释黑盒 NLP 模型方面具有高效性。

    May, 2024

  • CLOMO：大型语言模型的反事实逻辑修改

    大型语言模型在反事实推理能力方面表现出较强的潜力，但目前仍存在与人类表现之间的差距。

    Nov, 2023

  • 模型是否自我解释：自然语言解释的反事实仿真性

    本篇论文中，我们提出了一种新的自然语言解释评估方法 —— 反事实模拟性。实验结果显示，当前大型语言模型 (LLMs) 的解释精度相对较低，精度与可信度相关性也不高。因此，单纯依赖人类评判可能不足以解决问题。

    Jul, 2023

  • 柔性文本生成用于反事实公平探究

    本文介绍了一种使用大型语言模型生成对抗样本的方法，该方法克服了现有方法的局限性，能够产生复杂的对抗样本，并在 Civil Comments 数据集上比较了各种方法的性能和价值，并展示了其在评估毒性分类器方面的价值。

    Jun, 2022

  • 眼见不一定全是实情：多模态大语言模型因果推理能力的基准测试

    基于现有多模态大型语言模型 (MLLMs) 在视觉问答评测方面的认知和推理能力，我们提出了一个新的 CFMM（Counterfactual MultiModal）基准测试，以系统评估 MLLMs 的反事实推理能力，发现现有 MLLMs 往往更加倾向于相信所见而忽视问题中提到的反事实前提，因此导致了不准确的回答，同时也表明现有 MLLMs 在逼近人类智能方面仍有较大提升空间，我们还探索了通过在未来提升 MLLMs 在 CFMM 上的表现来发展具备先进智能的 MLLMs 的潜在途径。

    Apr, 2024