利用大型语言模型（LLMs），本文研究了识别误导性与非误导性新闻标题的效果。研究发现模型性能存在显著差异，ChatGPT-4 在一致标注者就误导性标题达成一致意见的情况下表现出更准确的结果。文章强调了人本评估在开发 LLMs 中的重要性，旨在将技术能力与细腻的人类判断力相结合。研究结果对 AI 伦理问题具有借鉴意义，强调了在技术先进的同时，还需要考虑伦理道德和人类解读的微妙性。

May, 2024

我们提出了一个名为 GPTBIAS 的偏见评估框架，它利用 LLMs 的高性能来评估模型的偏见，提供偏见分数以及包括偏见类型、受影响的人群、关键词和改进建议在内的详细信息，通过广泛的实验证明了该评估框架的有效性和可用性。

Dec, 2023

本研究探讨新闻编辑中的去偏见化问题，并评估了对话式大型语言模型在此任务中的有效性。我们设计了一份适用于新闻编辑的评估清单，使用公开可得的媒体偏见数据集的子集获取了三种流行的对话式模型生成的文字，并按照设计的清单对这些文字进行了评估。此外，我们还将这些模型作为评估者，用于检查去偏见模型输出的质量。我们的研究结果表明，没有一个对话式大型语言模型能够完美地进行去偏见化。值得注意的是，一些模型，包括 ChatGPT，引入了不必要的修改，可能会影响作者的风格并产生错误信息。最后，我们还表明这些模型在评估去偏见输出的质量方面不如领域专家表现出色。

Apr, 2024

ChatGPT 的研究探索大型语言模型在媒体偏见检测方面的效力，结果显示 ChatGPT 在检测仇恨言论和文本级别上的情境偏见方面与精细调校的模型表现相当，但在其他偏见检测方面（包括虚假新闻、种族、性别和认知偏见）遇到困难。

Mar, 2024

探测在数字化社会中广告宣传的普及给社会和真相的传播带来了挑战，通过 NLP 在文本中检测广告宣传是具有挑战性的，我们研究了现代大型语言模型（LLMs）如 GPT-3 和 GPT-4 在广告宣传检测中的有效性，并对使用 SemEval-2020 任务 11 数据集进行了实验，该数据集的新闻文章被标记为 14 种广告宣传技术的多标签分类问题，使用了五种不同的 GPT-3 和 GPT-4 变体，其中包括不同模型之间的各种提示工程和微调策略，通过评估 $F1$ 分数，$Precision$ 和 $Recall$ 等指标来评估模型的性能，并将结果与使用 RoBERTa 的当前最先进方法进行比较，我们的研究结果表明 GPT-4 达到了与当前最先进方法相当的结果，此外，本研究分析了 LLMs 在复杂任务如广告宣传检测中的潜力和挑战。

Oct, 2023

通过大规模的调整语言模型，提出了一种建模差异语境的框架，该框架能够捕捉传统媒体和社交媒体上政治性偏见问题的高度可靠性。

Feb, 2023

利用不同的提示变体、输入信息和在零样本设置中评估大型语言模型，研究探讨在检测讨厌或有害语言时使用解释、上下文和受害群体信息，并发现不仅将目标信息包含在流程中可以显著提高模型性能 (约 20-30%)，而且将理由 / 解释加入流程会在不同数据集上相较基线进一步提升性能 (约 10-20%)；此外，提供了大型语言模型无法对决策进行分类和解释的错误案例分类，这些薄弱点自动构成这些模型的越狱提示，需要研发产业规模的安全技术来增强模型对抗此类提示。

Oct, 2023

在大语言模型 (LLMs) 时代，我们发现许多现有的假新闻检测器存在显著偏见，更容易将 LLMs 生成的内容标记为假新闻，而常常误将人类撰写的假新闻分类为真实。为了解决这个问题，我们引入了一种对抗训练与 LLMs 重写的真实新闻相结合的缓解策略，从而在人类和 LLMs 生成的新闻的检测准确性方面取得了显著的改进。为了进一步推动该领域的研究，我们发布了两个全面的数据集 “GossipCop++” 和 “PolitiFact++”，将经人工验证的文章与 LLMs 生成的假新闻和真实新闻相结合。

Sep, 2023

本文通过对欧洲五个国家的 No-Vax 运动相关文章的标题进行人工标记及使用 GPT-3.5 的微调和提示工程来推断新闻标题的框架，以研究该主题。研究结果为新闻分类等任务的可行性和 GPT-3.5 模型是否能够复制人的感知能力做出贡献。

Apr, 2023

本研究通过 33,605 条孟加拉文新闻推文和 Facebook 评论创建了一个庞大的手动注释数据集，并对 Flan-T5、GPT-4 和 Bloomz 等多种语言模型进行了零指导和少量指导的上下文学习，与精细调优模型进行了比较分析。研究结果表明，在零指导和少量指导的场景下，单语言变换器模型始终优于其他模型。为了促进进一步的研究探索，我们打算向更广泛的研究社区公开提供这个数据集和我们的研究工具。

Aug, 2023