对 ChatGPT 语言模型进行 11 种语言中的仇恨言论检测和 emoji 影响分析，揭示模型的缺陷和需要进行进一步研究和改进的必要性。

May, 2023

本研究通过对使用大型语言模型对仇恨言论生成解释的分析框架的提出以及对 2400 位受访者的调查，发现生成的解释在语言流畅性、信息量、说服力和逻辑准确性方面都获得了高评价，但不同提示策略会影响解释的说服力，可能会导致对内容是否仇恨的错误判断。因此，在内容审核中应谨慎使用大型语言模型 - generated 的解释。

May, 2023

本文研究了机器学习模型在准确区分 ChatGPT 生成文本与人类生成文本时是否能够有效训练，使用可解释的人工智能框架来对模型进行了解释，研究发现采用 ChatGPT 重新短语生成能够使模型识别 ChatGPT 生成文本与人类生成文本之间的差异更具挑战性。

Jan, 2023

研究使用 ChatGPT 与 MTurker 注释进行 HOT 分类， 结果显示 ChatGPT 的准确率约为 80％，且分类方式比人工注释更一致，但其对 “毒性” 的分类大于对 “仇恨” 和 “冒犯” 的分类。研究结果对于使用生成式 AI 模型监管社交媒体上的大量用户生成内容具有重要意义。

Apr, 2023

本研究的主要目的是提供 ChatGPT 检测的最新技术的全面评估，同时我们评估了其他 AI 生成的文本检测工具，以检测 ChatGPT 生成的内容。此外，我们还创建了一个基准数据集用于评估各种技术在检测 ChatGPT 生成内容方面的性能。研究结果表明，现有方法都不能有效地检测 ChatGPT 生成的内容。

Apr, 2023

AI 的透明度和责任感的需求增加了，因为对 AI 决策背后的推理进行自然语言解释（NLE）对于澄清重要，但通过人的判断进行评估复杂且资源密集，由于主观性和对细粒度评分的需求。本研究探索了 ChatGPT 与人类评估之间的一致性，涵盖了二元、三元和 7-Likert 量表多个等级尺度。我们从三个 NLE 数据集中抽取了 300 个数据样本，并收集了 900 个人类注释，用于信息量和清晰度评分作为文本质量度量。我们还在不同主观性得分范围内进行了配对比较实验，其中基线来源于 8,346 个人类注释。我们的结果表明，在粗粒度尺度上，ChatGPT 与人类的一致性更好。配对比较和动态提示（即在提示中提供语义上相似的示例）提高了一致性。该研究推进了我们对大型语言模型的理解，以在不同配置中评估文本解释质量，为负责任的 AI 发展做出贡献。

Mar, 2024

ChatGPT 的生成、解释和检测虚假新闻的能力进行了全面的探索，证明了其在生成高质量虚假新闻样本、解释虚假新闻特点和检测虚假新闻方面表现良好，但仍有改进的空间，并进一步研究了提升其检测能力的潜在额外信息。

Oct, 2023

利用不同的提示变体、输入信息和在零样本设置中评估大型语言模型，研究探讨在检测讨厌或有害语言时使用解释、上下文和受害群体信息，并发现不仅将目标信息包含在流程中可以显著提高模型性能 (约 20-30%)，而且将理由 / 解释加入流程会在不同数据集上相较基线进一步提升性能 (约 10-20%)；此外，提供了大型语言模型无法对决策进行分类和解释的错误案例分类，这些薄弱点自动构成这些模型的越狱提示，需要研发产业规模的安全技术来增强模型对抗此类提示。

Oct, 2023

该研究利用先进的生成语言模型来生成关于文本含有令人厌恶的原因的自然语言解释，并使用启发式词语和目标群体提出了 “解释链” 促进方法，由于提供了准确的目标信息，我们将 NLE 生成的 BLUE 成绩从 44.0 提高到 62.3。我们最后使用各种自动评估方法和人类信息的及清晰度得分来评估生成 NLE 的质量。

Sep, 2022

我们评估了 ChatGPT 中的毒性，并发现其毒性取决于提示的不同属性和设置，包括任务、领域、长度和语言，发现创意写作任务的提示可能比其他任务更容易引发有毒反应，德语和葡萄牙语的提示也会使反应的毒性加倍，此外，我们发现早期研究中设计的某些存心恶意的提示不再产生有害反应，希望我们的发现可以指引模型开发者更好地监管这些 AI 系统，并帮助用户避免不良输出。

Nov, 2023