EMNLPFeb, 2022

逻辑谬误检测

PDF
TL;DR本研究提出了逻辑谬误检测任务，并提供一个包含逻辑谬误的数据集 Logic 及其子集 LogicClimate，希望能通过一个理解论据基础逻辑结构的新型分类器来解决传统大型语言模型效果较差的问题，该任务可作为语言模型的新型推理挑战，并在打击错误信息传播方面发挥重要作用。
logical fallacy detectiondatasetclimate changelanguage modelsmisinformation
发现论文，激发创造
  • 在气候错误信息中检测谬误：技术认知方法用于识别误导性论证

    气候变化的错误信息是一个复杂的社会问题，在技术和心理学交叉领域需要综合性、跨学科的解决方案，本研究提出了一种 “技术认知” 方法，将心理学和计算机科学研究综合起来，通过解构气候变化的错误信息进行分类，培训模型以检测这些错误信息中的谬误。

    May, 2024

  • 基于语言模型的案例推理在逻辑谬误分类中的应用

    提出了基于案例推理和语言建模技术的方法，探讨在检测 Web 上的逻辑谬误方面提高模型精确性和泛化能力的策略，并在实验中证实关键识别案例在模型精确性中具有重要作用。

    Jan, 2023

  • NL2FOL：将自然语言翻译为一阶逻辑，用于检测逻辑谬误

    通过将自然语言逐步翻译成一阶逻辑，利用满足性模块理论求解器来可靠地检测逻辑谬误，并将输入分类为谬误或有效陈述，这种方法不需要训练数据或微调，并且在数据集上表现良好。

    Apr, 2024

  • 由谬误而推理：通过逻辑谬误理解增强大型语言模型的逻辑推理

    大型语言模型 (LLMs) 在很多推理任务中表现出良好的性能，但在某些复杂推理任务，特别是逻辑推理方面仍然存在困难。为了评估 LLMs 的逻辑谬误理解能力 (LFU)，我们在本文中从 WHAT、WHY 和 HOW 三个认知维度中提出了五个具体任务。为了解决这些 LFU 任务，我们成功构建了一个新的基于 GPT-4 的数据集 LFUD，只需少量人工参与。我们的广泛实验证明，我们的 LFUD 不仅可以用于评估 LLMs 的 LFU 能力，还可以通过微调 LLMs 在逻辑推理方面获得显著的性能提升。

    Apr, 2024

  • LLM 对逻辑谬误的容易受到性如何？

    研究探索了大型语言模型 (LLMs) 在多轮辩论中的理性思考能力，通过研究谬误论证对其逻辑推理表现的影响。使用 Logic Competence Measurement Benchmark (LOGICOM) 来评估 LLMs 对逻辑谬误的鲁棒性，发现 GPT-3.5 和 GPT-4 在通过推理改变观点方面有潜力，但在面对逻辑谬误时，比起使用逻辑推理，GPT-3.5 和 GPT-4 更容易错误地被说服。提供了包含逻辑和谬误论证对的数据集。

    Aug, 2023

  • 深入探究大型语言模型在逻辑推理中的自我验证能力

    这篇论文研究了大型语言模型在逻辑推理中的自我验证能力，主要关注其准确识别逻辑谬误的能力。通过对包含 232 种谬误的数据集进行实验，发现现有的大型语言模型在准确识别谬误的过程中可能存在困难，并可能不能保证自我验证方法的有效性。论文提出了对未来研究和实际应用自我验证方法的建议。

    Nov, 2023

  • 基于事实的逻辑推理

    本研究提出了一种基于自然逻辑单元和事实推导方法的超图构建和问题回答方法，得到了较好的实验结果。

    May, 2021

  • 多任务基于指令提示的谬误识别

    此研究采用基于 T5 模型的多任务学习，解决了识别多种领域和类型的 28 种谬误的问题，并研究了模型大小、提示选择和注释质量等因素对性能的影响。

    Jan, 2023

  • MetaLogic：带有细粒度结构的逻辑推理解释

    本研究提出了一个综合性基准来研究模型在复杂的现实场景中的逻辑推理能力。我们设计了细粒度的逻辑推理解释形式，并在实验中评估了当前最佳模型在这种新的解释形式上的表现，结果表明即使在巨型模型的帮助下，生成推理图仍然是一个具有挑战性的任务。

    Oct, 2022

  • 为虚假新闻检测进行细粒度推理

    通过模拟人的信息处理模型、引入人类知识、设计先验感知的双通道核心图网络来检测假新闻，取得了比现有方法更好的效果和可解释性。

    Sep, 2021