Jun, 2024

透过人工智能的视角：增强人类对 LLM 生成的假新闻的怀疑

PDF
TL;DR该论文旨在通过提供简单的标记，帮助个人区分人类撰写的文章和由 LLMs 生成的文章，从而增强对 LLMs 生成的假新闻的怀疑。研究中引入并详细审查 ESAS 排名最高的词汇，以辅助个人加强对 LLMs 生成假新闻的怀疑。
发现论文，激发创造
  • 适应大语言模型时代的假新闻检测

    本文研究了大型语言模型时代中的假新闻检测问题，发现仅训练于人工编写文章的检测器在检测机器生成的假新闻方面表现良好，但反之不成立。此外，由于检测器对机器生成的文本存在偏见，需要在训练集中使用比测试集中较低比例的机器生成新闻。基于我们的发现，我们提供了一个实用的策略来开发健壮的假新闻检测器。

    Nov, 2023

  • 大型语言模型生成的文本受到假新闻检测器的偏见

    在大语言模型 (LLMs) 时代，我们发现许多现有的假新闻检测器存在显著偏见，更容易将 LLMs 生成的内容标记为假新闻，而常常误将人类撰写的假新闻分类为真实。为了解决这个问题，我们引入了一种对抗训练与 LLMs 重写的真实新闻相结合的缓解策略，从而在人类和 LLMs 生成的新闻的检测准确性方面取得了显著的改进。为了进一步推动该领域的研究，我们发布了两个全面的数据集 “GossipCop++” 和 “PolitiFact++”，将经人工验证的文章与 LLMs 生成的假新闻和真实新闻相结合。

    Sep, 2023

  • 利用 LLM 的力量：从新闻标题生成的角度评估人工智能文本协同创作

    探索人类如何最好地利用 LLMs 进行写作，以及与这些模型交互对写作过程中的所有权感和信任感的影响，我们比较了在 LLM 辅助的新闻标题生成背景下的常见人工智能与人类交互类型（例如，引导系统、从系统输出中选择、后编辑输出）。虽然 LLMs 单独可以生成令人满意的新闻标题，但平均而言，需要人类对不符合要求的模型输出进行修正。在交互方法中，引导和选择模型输出带来了最大的利益，成本最低（时间和精力）。此外，与自由编辑相比，人工智能辅助对参与者对控制感的认知没有造成伤害。

    Oct, 2023

  • 利用现实世界和生成的新闻文章语料库量化生成式媒体偏见

    通过建立新的数据集并使用九个大语言模型，本研究研究了人工撰写文章和机器生成文章之间的性质变化以及政治偏见的检测，结果显示基准模型和经过调整的模型之间存在显著差异，并且大语言模型在分类器角色中也显示出政治偏见，为进一步研究大语言模型政治偏见及其影响提供了一个基础。

    Jun, 2024

  • LLM 生成的错误信息能被检测出吗？

    大语言模型（LLM）的出现具有革命性的影响。然而，像 ChatGPT 这样的 LLM 是否可能被滥用来生成误导信息，对在线安全和公众信任构成了严重关注。我们从检测难度的角度提出了一个基本的研究问题：LLM 生成的误导信息是否比人类编写的误导信息具有更大的危害性？通过我们的实证研究，我们发现相比于具有相同语义的人类编写的误导信息，LLM 生成的误导信息对于人类和检测器来说更难以检测，这表明它可能具有更具欺骗性的风格，并有可能造成更大的伤害。我们还讨论了我们发现对抗 LLM 时的误导信息在信息时代和相应对策的影响。

    Sep, 2023

  • 检测机器生成文本：不仅仅是 “人工智能 vs 人类” 和解释性复杂

    本文提出一种新的三元文本分类方案，包括 “未决” 类别，研究了如何使检测结果更易理解，重点在于为用户提供清晰明了的解释。通过构建新的数据集，使用先进的检测方法和最新的 LLMs，该研究发现 “未决” 类别对于文本检测的可解释性至关重要，并提出了未来改进解释能力的检测系统的指导方针。

    Jun, 2024

  • 评估大型语言模型在检测虚假新闻中的功效：一项比较分析

    研究通过对比分析，评估了不同大型和小型 LLMs 在识别和过滤假新闻内容方面的有效性，并利用 Kaggle 的假新闻数据集样本探讨了当前 LLMs 在假新闻检测方面的能力和局限性，同时讨论了提高 AI 驱动信息完整性对开发人员和决策者的影响。

    Jun, 2024

  • 探索大型语言模型在识别误导性新闻标题中的潜力

    利用大型语言模型（LLMs），本文研究了识别误导性与非误导性新闻标题的效果。研究发现模型性能存在显著差异，ChatGPT-4 在一致标注者就误导性标题达成一致意见的情况下表现出更准确的结果。文章强调了人本评估在开发 LLMs 中的重要性，旨在将技术能力与细腻的人类判断力相结合。研究结果对 AI 伦理问题具有借鉴意义，强调了在技术先进的同时，还需要考虑伦理道德和人类解读的微妙性。

    May, 2024

  • 探索 LLM 生成的虚假新闻的欺骗力：对现实世界检测挑战的研究

    最近大规模语言模型（LLMs）的进展使得虚假新闻的制造成为可能，本研究旨在确定提示技术是否能够有效缩小 LLM 生成的虚假新闻的欺骗性差距，通过提出一种名为条件变分自编码类提示（VLPrompt）的强大虚假新闻攻击方法，该方法无需额外的数据采集，并且保持了上下文的一致性和原始文本的细节。为了推动 VLPrompt 攻击的检测研究，我们创建了一个新的数据集名为 VLPrompt 虚假新闻（VLPFN），其中包含真实文本和假文本。我们进行了各种检测方法和新颖的人类研究指标的实验，来评估它们在我们的数据集上的性能，得出了众多发现。

    Mar, 2024

  • 揭示 LLM 生成数据的本质

    本研究探讨了大型语言模型（LLMs）在生成人工数据中的不断扩大的作用。尽管人工数据能够与人类性能相匹配，但本文揭示了显著的潜在差异，尤其是在复杂任务中，LLMs 常常错过对内在人类生成内容的微妙理解。该研究批判性地考察了多样化的 LLM 生成数据，并强调了在数据创建和使用 LLMs 时遵循道德实践的必要性。它凸显了解决 LLM 生成内容中产生的偏差和人为因素对于未来研究和开发的重要性。所有数据和代码都可在我们的项目页面上获得。

    Jan, 2024