通过加入额外的语境，并利用大型语言模型生成合成数据，我们旨在改进现有的辨别谬误的模型，从而提升对多类别谬误的识别效果，并进一步分析合成数据与现有谬误数据集之间的关联，以及为识别需要上下文支持的谬误类型提供补充语境的有用性。

Nov, 2023

我们的研究介绍了一种新的谬误分类法、为主观自然语言处理任务量身定制的新的注释方案以及适应精确率、召回率和 F1-Score 指标的处理主观性的新的评估方法。同时，我们使用我们的注释方案介绍了 MAFALDA（Multi-level Annotated FALlacy DAtaset），这是一个基于不同先前存在的谬误数据集的统一分类体系的黄金标准数据集。我们还评估了几种语言模型在零 - shot 学习设置下使用 MAFALDA 来评估其谬误检测和分类能力，这不仅对这些模型的性能进行了基准测试，还提供了有关它们在处理谬误推理方面的优势和局限性的有价值的见解。

Nov, 2023

提出了基于案例推理和语言建模技术的方法，探讨在检测 Web 上的逻辑谬误方面提高模型精确性和泛化能力的策略，并在实验中证实关键识别案例在模型精确性中具有重要作用。

Jan, 2023

本论文探讨了在多任务文本生成模型中，使用问题 - 答案格式输入与前提 - 假设格式输入是否会影响模型的社会偏见，并使用两个基准测试评估了 T0 模型在其中的表现，结果表明前者会使得模型表现出更多的社会偏见。

May, 2022

本研究旨在解决机器生成的文本摘要中存在的事实错误问题，并研究了这些错误对信息可靠性的潜在影响。我们引入了一种基于提示的分类系统，将错误分为四类：误述、数量或衡量不准确、虚假归属和伪造。通过定性判断，我们使用一组参与者对机器生成的摘要与原文进行了评估，并检测事实失真的发生。结果表明，我们基于提示的方法在一定程度上能够检测到摘要中的错误类型，尽管我们的分类系统还有改进空间。

Dec, 2023

本研究提出了逻辑谬误检测任务，并提供一个包含逻辑谬误的数据集 Logic 及其子集 LogicClimate，希望能通过一个理解论据基础逻辑结构的新型分类器来解决传统大型语言模型效果较差的问题，该任务可作为语言模型的新型推理挑战，并在打击错误信息传播方面发挥重要作用。

Feb, 2022

对抗虚假新闻，提出了基于 PLM 和 Prompt-based learning 的两种方法，均采用文本数据，结果表明该方法比仅微调 PLMs 更优。

Jun, 2022

该研究采用大型语言模型来预测论证质量，并通过 GPT-3 进行提示工程，探讨多任务学习、对比学习和中间任务训练等训练模式。结果表明，混合模型的预测效果优于单一模型，并且采用全部三种训练模式训练的模型最能准确预测论证的新颖性。

Sep, 2022

在该项目中，我们探索了新兴的提示工程领域，并将其应用于检测语言模型偏见的下游任务。具体而言，我们研究如何设计能够指示 4 种不同类型偏见（性别、种族、性取向和基于宗教）的提示。我们在多个流行和公认的模型（BERT、RoBERTa 和 T5）的不同变体上应用这些提示来评估其偏见。我们提供了这些模型的比较分析，并采用两种方法进行评估：使用人的判断来决定模型预测是否存在偏见，并利用模型级别的判断（通过进一步的提示）来了解模型是否能够自我诊断其预测的偏见。

Sep, 2023

本文通过比较两种不同的提示策略，即基于名称的提示和基于本体的提示，揭示了本体提示方法在零样本事件论证提取中的优势，并提出了一种因果干预的去偏方法。实验表明，经过去偏处理后的基准模型不仅更为有效和鲁棒，而且在对抗攻击方面有显着的改进。

Oct, 2022