ACLFeb, 2023

基于证据的事实核查的隐式时间推理

PDF
TL;DR研究表明，利用时间信息可以对基于证据的事实检验的认证过程起到积极的正向影响，通过对构建共享时间轴的发布日期和时间表达式进行基础建设可以建立索赔和证据之间的时间关系，从而提供给基于循环神经网络（RNN）和转换器（Transformer）的分类器时间信息以进行认证。
contextual knowledgetemporal reasoningautomated claim verificationfact-checkingrnn-based and transformer-based classifiers
发现论文，激发创造
  • 基于时间的事实核查证据排序

    本研究探讨了时间信息对于事实检验和证据排序的影响，提出了四种不同的证据排序方式，并利用学习排序方法探究了基于时间信息的排名模型在检验真实性时的表现优越性。结果显示，在时间敏感的声明检验中，基于时间信息的排序方法不仅超越了纯语义相似性或搜索结果列表中位置的相关假设，而且提高了真实性预测的效果。

    Sep, 2020

  • 文本时间信息提取的时间推理调查（扩展摘要）

    本文综述了过去几十年来针对从文本中自动抽取时间信息的时间推理研究，并为基于机器学习的信息抽取系统集成符号推理提供了一个案例研究。

    May, 2020

  • 提供更多细节：利用潜在检索改进事实核查

    该研究旨在改善自动事实核查系统，并尝试将原始文档的全文作为证据，并引入了两个丰富的数据集。实验证明，即使没有标注黄金证据句子，包括原始文档在内的证据可以提供足够的上下文线索，该系统能够在不同的设置下显著提高最佳报告模型的精度。

    May, 2023

  • 检测先前事实核查声明中上下文的作用

    本研究关注于政治辩论中的言论，并研究了对言论进行上下文建模（涵盖辩论和事实核查解释文档）的影响。实验结果表明，建模辩论方面的上下文最为重要，可以比现有的先进模型提高 10 个百分点以上。

    Apr, 2021

  • 针对大型语言模型的时间推理能力的基准测试和改进

    本文介绍了一个全面的测试数据 empreason 来评估大语言模型的时间推理能力，包括三个时间推理水平的问题，并提出了一种基于时间跨度提取和时间敏感的强化学习的新型学习框架来提高其时间推理能力，并证明了其有效性。

    Jun, 2023

  • 生成事实检查解释

    本文针对自动事实检测的不足之处，提供了首个研究可利用可用的声明上下文生成自动化证明，并且演示了一项同时优化判断准确性预测和证明生成的多任务模型平均性能更好。

    Apr, 2020

  • 提高事件时间关系提取的准确性：抽取还是猜测？

    本文提出了两方面的方法以提高 TempRel 的准确性，即进行反事实分析以减轻训练偏见的影响和提供不确定性估计并在文本中描述关系。在 MATRES，MATRES-DS 和 TDDiscourse 上的实验分析表明，我们的模型相对于 SOTA 方法更具有忠诚度，特别是在分布转移下。

    Oct, 2022

  • 上下文的重要性：对时间问答系统中上下文信息影响的实证研究

    该论文通过经验性地考察训练在各种上下文类型中的时间问答（TQA）系统的鲁棒性，填补大型语言模型（LLM）在处理时态信息方面的不足，发现在涵盖相关、无关、稍微改动和无上下文的混合情况下训练，能增强模型的鲁棒性和准确性，并且问题先于上下文的位置布局有着明显影响。提出了两个新的上下文丰富的 TQA 数据集，ContextAQA 和 ContextTQE，并提供了全面的评估和指南，为培养鲁棒的 TQA 模型奠定了基础，对加强 LLM 在面对多样化和潜在对抗性信息时的鲁棒性具有广泛的影响。

    Jun, 2024

  • 自动辨别假新闻：模型是否学会了推理？

    本文探讨了事实检查模型的推理方式以及声明和证据的关系，并发现在政治事实检查数据集上，仅使用证据比同时使用声明和证据的效果更好。这凸显了现有的自动虚假新闻检测方法中构成证据的重要问题。

    May, 2021

  • 将时间图融合至 Transformer 以用于时间敏感问答

    通过应用现有的时间信息提取系统构建事件、时间和时间关系的时间图，然后研究将这些图融入 Transformer 模型的不同方法，实验结果表明，我们提出的融合时间图的方法显著提高了 Transformer 模型的时间推理能力，在不进行微调的情况下，我们的方法优于各种基于图卷积的方法，在 SituatedQA 和 TimeQA 的三个分割上取得了新的最佳性能。

    Oct, 2023