May, 2024

SPOT: 从原创性评分阈值预测文本来源

PDF
TL;DR从信任的角度来研究大型语言模型（LLMs）生成的文本，我们提出了一种有效的方法 SPOT，通过原创度评分来对任意文本输入进行源分类，该方法对于现代 LLMs 的架构、训练数据、评估数据、任务和压缩表现出了稳健性。
large language modelstrustllm-generated textspotoriginality score
发现论文，激发创造
  • 从文本到来源：大型语言模型生成内容的检测结果

    通过探索跨模型检测、模型归因以及分类器的效果与模型规模之间的关系，该研究在大型语言模型的使用中提供了宝贵的见解。

    Sep, 2023

  • 检测 LLM 生成的文本的科学

    该研究对大型语言模型生成文本的检测技术现状及未来方向进行了综述，并提出了发展全面的评估指标和威胁控制方案等必要措施。关注点包括大型语言模型的开源威胁和其所产生的可能的误传信息问题。

    Feb, 2023

  • 大型语言模型生成的文本受到假新闻检测器的偏见

    在大语言模型 (LLMs) 时代，我们发现许多现有的假新闻检测器存在显著偏见，更容易将 LLMs 生成的内容标记为假新闻，而常常误将人类撰写的假新闻分类为真实。为了解决这个问题，我们引入了一种对抗训练与 LLMs 重写的真实新闻相结合的缓解策略，从而在人类和 LLMs 生成的新闻的检测准确性方面取得了显著的改进。为了进一步推动该领域的研究，我们发布了两个全面的数据集 “GossipCop++” 和 “PolitiFact++”，将经人工验证的文章与 LLMs 生成的假新闻和真实新闻相结合。

    Sep, 2023

  • TrustScore: 无需参考的 LLM 响应可信度评估

    本研究提出了基于行为一致性概念的 TrustScore 框架，用于评估大型语言模型（LLMs）的响应与其内在知识的一致性，同时能够与事实核实方法无缝集成，实现与人类判断强相关性的结果。

    Feb, 2024

  • 大型语言模型可以评估新闻媒体的可信度

    本研究评估了 ChatGPT 对新闻机构的可信度评估能力，结果显示大型语言模型可用于事实核查应用程序。

    Apr, 2023

  • LLMDet: 一种大型语言模型检测工具

    本文提出了一种高效、安全、可扩展的检测工具 LLMDet，通过利用预训练获得的模型下一个令牌概率的先验信息，计算文本的代理困惑度，并使用通过代理困惑度测量的模型的自身水印信息来检测文本的来源；同时，在识别人类撰写的文本方面实现了 97.97% 的识别准确率，并在识别生成语言模型方面显示出了很好的结果。

    May, 2023

  • 大型语言模型能否检测科学新闻报道中的错误信息？

    使用大型语言模型检测科学报道中的虚假信息，针对缺乏明确标签的情况，提出了多种基于大型语言模型的基准架构和提示方法，包括零样本、少样本和连贯思维提示等。

    Feb, 2024

  • 揭示冒充者：领域内检测人类与机器生成的推文

    使用 Twitter 数据集检验了四个大型语言模型的生成能力，发现领域内的精细调整和去除审查可显著降低自动检测方法的效果，揭示了细调和内容监管对机器生成的文本检测的影响。

    Jun, 2024

  • 大型语言模型中的可信源对齐

    本文提出了大语言模型（LLMs）的一个属性 —— 受信任的来源对齐（TSA），用于衡量模型在面对不确定性或争议时与受信任的发布者内容的一致性。在 FactCheckQA 评估数据集上应用该属性，作者发现随着模型规模的增大，模型在对齐受信任来源方面的性能从随机状态提高到最高 80% 的平衡准确率。

    Nov, 2023

  • 辨别虚假信息：在 LLMs 时代的不断挑战

    通过回答三个研究问题，本研究探讨了利用大型语言模型（LLMs）生成的谣言和虚假信息对目前存在的谣言检测技术的影响，以及通过使用 LLMs 作为强大的谣言防御手段以及针对这一威胁的新方法的可能性。

    Sep, 2023