Sep, 2023

基于语言模型蒸馏的无监督事实验证

PDF
TL;DR通过自我监督特征蒸馏的 SFAVEL 方法，无需注释，实现了高质量事实验证和证据对齐，并在标准 FEVER 事实验证基准上取得了 + 8% 的准确率提升。
unsupervised fact verificationsfavelself-supervised featureslanguage model distillationcontrastive loss function
发现论文，激发创造
  • 无监督事实核实的问答

    本文提出了一种基于无监督问答的事实检查方法，通过使用 Bert 对 FEVER 数据集进行 Cloze 任务转换，以预测答案标记，并计算基于正确回答的问题和阈值的标签。该方法在转换后的数据集上在开发集和测试集上分别实现了 80.2％和 80.25％的标签准确率。

    Oct, 2019

  • 基于表格的事实验证与关注度感知学习

    本文提出一种新颖的系统，利用因果关系理论，通过探测式显著性估算方法确定语句的令牌级显著性，从而尝试在文本语句与表格数据之间建立联系和推理，进而应用显著性感知的数据增强技术来生成更多样化的训练实例，并结合该技术在 TabFact 数据集上取得了超过所有先前方法的最优性能。

    Sep, 2021

  • FLAME: 大型语言模型的事实感知对齐

    通过对 pre-trained large language models 进行 factual-aware SFT 和 factual-aware RL 的直接优化，使其在保持指令遵循能力的同时，输出更多真实的回应。

    May, 2024

  • 文本分类的对抗自监督无数据蒸馏

    提出一种名为 AS-DFD 的新的两阶段无数据蒸馏方法，用于压缩大型基于 Transformer 的模型（例如 BERT），并且是第一个面向 NLP 任务设计的无数据蒸馏框架，在 Text Classification 数据集上验证了其有效性。

    Oct, 2020

  • 使用神经语义匹配网络结合事实提取与验证

    该论文提出了一个连接的系统，包括三个同构神经语义匹配模型，用于联合进行文献检索、句子选择和索证，以进行事实提取和验证。实验结果表明，该神经语义匹配方法在所有证据检索指标上都显著超越了常见的 TF-IDF 和编码器模型，并通过提供内部语义关联得分和词汇网特征等方法，改进了 NLI 模型的性能，从而在 FEVER 测试集上取得了最优结果。

    Nov, 2018

  • FLAN-T5 中的语义特征验证

    本研究使用大型语言模型评估其在生成语义特征规范中的潜力，结果表明机器验证的规范能够捕捉到超出人工规范表达的概念结构，并更好地解释异类物品之间的语义相似性，这些结果提示 LLMs 可以极大地增强传统的语义特征验证方法，并对我们理解人类和机器的概念表示产生影响。

    Apr, 2023

  • 大型语言模型中的可信源对齐

    本文提出了大语言模型（LLMs）的一个属性 —— 受信任的来源对齐（TSA），用于衡量模型在面对不确定性或争议时与受信任的发布者内容的一致性。在 FactCheckQA 评估数据集上应用该属性，作者发现随着模型规模的增大，模型在对齐受信任来源方面的性能从随机状态提高到最高 80% 的平衡准确率。

    Nov, 2023

  • 自我对齐以提高事实准确性：通过自我评估减少 LLMs 中的幻觉

    探索使用自我评估和自我知识调整的自对齐方法，以增强大语言模型的事实准确性。

    Feb, 2024

  • 使用实体识别、TFIDF 向量比较和可分解注意力进行事实验证的 DeFactoNLP

    本文描述了 DeFactoNLP 系统，该系统用于自动评估声明的准确性并从维基百科中检索支持此评估的证据。我们的方法基于 TFIDF 向量和被提出的命名实体来识别包含证据的维基百科文章，并通过文本蕴涵识别模块来计算句子支持声明的概率。我们的方法在 FEVER 2018 共享任务中获得了不错的表现。

    Sep, 2018

  • mFACE: 多语言事实一致性评估自动摘要

    本文探讨了利用基于事实一致性评估模型的数据过滤和控制生成两种方法来改善跨语言自动摘要的结果，针对语义幻觉生成的问题在提高多语言自动摘要性能方面取得了较好的结果。

    Dec, 2022