May, 2023

走向可靠的误解信息缓解：泛化性、不确定性和 GPT-4

PDF
TL;DR本文旨在探究应用通用性、软分类及最新大型语言模型等技术解决误导信息带来的挑战。作者通过比较发现，GPT-4 及其他语言模型相比早期方法有更好的表现，且这些模型应用在软分类框架中，可帮助更好地量化不确定性，而这可能带来意义重大的性能提升。此外，作者还发现 GPT-4 和 RoBERTa-large 在易错性方面存在重大差异，这为深入研究本领域提供了重要线索。总之，本研究为未来进一步解决误导信息带来的实际问题奠定了基础。
发现论文，激发创造
  • 虚假信息检测中的不确定性解决

    使用新的方法解决 GPT-4 等大型语言模型在处理模糊或缺乏背景信息的陈述时的不确定性，并通过基于 LIAR-New 数据集的分类标签提出一个可适用于跨领域内容的框架来解析丢失的信息。我们利用这个框架生成有效的用户查询，相比基准方法，我们的方法提高了用户可回答的问题的比例 38 个百分点，宏观 F1 分类性能提高了 10 个百分点以上。因此，该方法可能成为未来对抗虚假信息的有价值组成部分。

    Jan, 2024

  • 比较 GPT-4 和开源语言模型在虚假信息防范中的应用

    本研究从大语言模型在辨别虚假信息方面的应用出发，探讨了 GPT-4、Zephyr-7b 等模型的优劣，并指出开源模型逐渐在该任务上赶超其他模型，同时呈现出 GPT-3.5 性能不稳定的现象。研究还验证了结构化输出方法和最新版本的 GPT-4（Turbo），证明它们在性能上没有妥协，从而为未来研究解锁了更复杂的虚假信息缓解管道。

    Jan, 2024

  • 大型语言模型用于宣传检测

    探测在数字化社会中广告宣传的普及给社会和真相的传播带来了挑战，通过 NLP 在文本中检测广告宣传是具有挑战性的，我们研究了现代大型语言模型（LLMs）如 GPT-3 和 GPT-4 在广告宣传检测中的有效性，并对使用 SemEval-2020 任务 11 数据集进行了实验，该数据集的新闻文章被标记为 14 种广告宣传技术的多标签分类问题，使用了五种不同的 GPT-3 和 GPT-4 变体，其中包括不同模型之间的各种提示工程和微调策略，通过评估 $F1$ 分数，$Precision$ 和 $Recall$ 等指标来评估模型的性能，并将结果与使用 RoBERTa 的当前最先进方法进行比较，我们的研究结果表明 GPT-4 达到了与当前最先进方法相当的结果，此外，本研究分析了 LLMs 在复杂任务如广告宣传检测中的潜力和挑战。

    Oct, 2023

  • 弱到强泛化的增益量化

    使用弱模型生成的标签对强模型进行微调可以显著提高强模型性能，本文提出了一个理论框架来解释这种弱到强的泛化现象，并通过多种实证评估验证了理论发现。

    May, 2024

  • 遮蔽哄骗：规避 ChatGPT 的安全措施，大规模生成难以检测的虚假宣称

    ChatGPT 在乌克兰战争等其知识范围之外的事件中生成的消息可以与由人类撰写的消息以及 ClaimReview 中的关于战争的声明无法可靠地区分开来。

    Feb, 2024

  • 基于极大语言模型的谣言评估

    利用会话式引导工程的大型语言模型来对抗数字虚假信息，通过扩展 RumourEval 任务的研究努力，从事推特数据集的真实性预测和立场分类，以 AI 社会公益为主要目标。

    Apr, 2024

  • 分辨和解答：通过鉴别器缓解检索增强模型中错误信息的影响

    本文研究了现有检索增强语言模型在面对包含错误信息的检索文档时的健壮性问题，并通过在微调和上下文几次学习中显式微调鉴别器或提示来提高检索增强语言模型对错误信息的容忍度，并揭示了有关在上下文学习过程中将微调模型决策与合并的最佳路径。

    May, 2023

  • 提高多模态假新闻检测的泛化能力

    本文提出了三种基于多模态 transformer 的假新闻检测模型，并通过深入分析操纵数据的方法来探索这些模型在社交媒体上实际使用情况下的性能。研究发现，这些系统在面临被操纵的数据时会出现显著性能下降。为了减少偏差并改善模型的推广能力，本文建议使用数据增强技术对社交媒体上的假新闻检测进行更有意义的实验。所提出的数据增强技术使得模型的泛化能力得到了提高，并获得了最先进的效果。

    May, 2023

  • 探索大型语言模型在识别误导性新闻标题中的潜力

    利用大型语言模型（LLMs），本文研究了识别误导性与非误导性新闻标题的效果。研究发现模型性能存在显著差异，ChatGPT-4 在一致标注者就误导性标题达成一致意见的情况下表现出更准确的结果。文章强调了人本评估在开发 LLMs 中的重要性，旨在将技术能力与细腻的人类判断力相结合。研究结果对 AI 伦理问题具有借鉴意义，强调了在技术先进的同时，还需要考虑伦理道德和人类解读的微妙性。

    May, 2024

  • 大型语言模型的自动索赔匹配：在打击虚假信息中赋予事实检查员权力

    通过使用 FACT-GPT 框架，我们介绍了一种自动化事实核查的方法，该方法利用大型语言模型 (LLMs) 的主张匹配阶段来识别新的社交媒体内容，无论是支持还是反驳之前被事实核查人员驳斥的主张。研究结果表明，我们的精细调节的 LLMs 在主张匹配任务中与更大型的预训练 LLMs 的性能相媲美，与人工标注结果密切一致。

    Oct, 2023