Jul, 2024

机器生成虚假信息的模型归因：一种基于监督对比学习的领域泛化方法

HTML
PDF
TL;DR本研究针对机器生成虚假信息的模型归因问题，提出将其视为领域泛化问题，探索如何在不同的提示方法下进行准确归因。通过引入基于监督对比学习的创新方法，研究展示了在面对多样化和未知数据集时，其在模型归因任务中取得了先进的表现。这一贡献有助于更好地理解和检测虚假信息的来源。
发现论文，激发创造
  • 用人工询问技术来归属语言模型

    本文介绍了解决机器学习模型归因挑战（MLMAC）的解决方案，探讨了相似的词汇和生成的文本以及四种不同的方法来衡量对文本的重合度。

    Nov, 2022

  • 机器学习模型归因挑战

    参赛者需要从细致调整的机器学习模型的文本输出中识别出潜在的基础模型，最佳解决方案是人工开发基于公共文档的特征，或者自动的统计方案需要减少调用API次数。

    Feb, 2023

  • 大型语言模型自动评估归因

    本文探讨了大型语言模型在自动评估引用时的两种方法：引导LLM和微调更小的LM。我们手动策划了一组测试样例以涵盖12个领域并评估了其自动评估的结果，旨在为这一重要问题的未来研究打下基础。

    May, 2023

  • 从文本到来源：大型语言模型生成内容的检测结果

    通过探索跨模型检测、模型归因以及分类器的效果与模型规模之间的关系，该研究在大型语言模型的使用中提供了宝贵的见解。

    Sep, 2023

  • 大型语言模型归因调查

    该研究论文对开放领域生成系统的归因机制进行了全面回顾，特别是大型语言模型。尽管归因或引用可以改善事实性和可验证性，但模糊的知识库、内在偏见以及过度归因的缺点可能会妨碍这些系统的有效性。本调查旨在为研究人员提供有价值的见解，以帮助改进归因方法论，提高开放领域生成系统生成的响应的可靠性和真实性。我们认为这个领域目前仍处于初级阶段，并维护一个存储库来跟踪正在进行的研究。

    Nov, 2023

  • 自动归因评估的难度有多大？

    通过提供引用的证据，现代生成式搜索引擎增强了大型语言模型（LLM）响应的可靠性。为了弥补缺乏这些方法的标准化基准的差距，我们提出了AttributionBench，这是一个由各种现有归因数据集编制的综合基准。我们在AttributionBench上进行了大量实验，揭示了即使对于最先进的LLM也存在自动归因评估的挑战。

    Feb, 2024

  • 低资源环境下的预训练语言模型解释与归因分析

    通过分析从基于提示的模型中提取的归因得分的合理性和忠实性，并将其与从微调模型和大型语言模型中提取的归因得分进行比较，我们发现使用基于提示的范例（无论是基于编码器的模型还是解码器的模型）比在低资源环境下微调模型产生更合理的解释，并且Sha​pley Value Sampling在产生更合理和忠实的解释方面始终优于注意力和积分梯度。

    Mar, 2024

  • 揭示冒充者: 领域内检测人类与机器生成的推文

    使用 Twitter 数据集检验了四个大型语言模型的生成能力，发现领域内的精细调整和去除审查可显著降低自动检测方法的效果，揭示了细调和内容监管对机器生成的文本检测的影响。

    Jun, 2024

  • 捕捉变色龙：检测使用大型语言模型生成的不断演变的虚假信息

    探测不断演化的大型语言模型生成的虚假信息的研究问题，通过预训练语言模型的普遍事实核查能力和各种大型语言模型的独立虚假信息生成特征，提出一种参数高效的方法DELD，通过序列连接模型的学习特征以促进知识积累和转换，并通过与可训练的软提示结合，解决标签稀缺的问题，实验证明该方法显著优于现有方法，对不同大型语言模型的虚假信息生成模式提供了重要洞察，为该领域研究提供了有价值的观点。

    Jun, 2024

  • TRACE：LLM中使用对比嵌入的基于Transformer的归因

    作者提出了一种新颖而多用途的基于TRansformer的自带对比嵌入的源归因框架TRACE，该框架利用对比学习实现源归因，通过广泛的实证评估证明TRACE在不同场景下的性能和效率，显著改善了源归因的准确性，从而增加了大语言模型的可靠性和可信度。

    Jul, 2024