探索大型语言模型（LLMs）的风险、潜在威胁和可行解决方案，以在生成 AI 时代中揭示准确性的各个方面。

Oct, 2023

研究 AI 谎言的伦理学和政治学意义以及建立机构和标准来评估和训练 AI 系统，以在未来降低政治敏感性和道德风险。

Oct, 2021

提出了一种 benchmark 以衡量语言模型在生成答案时是否真实，测试了 GPT-3、GPT-Neo/J、GPT-2 和基于 T5 的模型，发现最好的模型能够在 58％的问题上保持真实，建议使用不同于模仿网页文本的训练目标来进行微调以提高真实性。

Sep, 2021

通过对市场理论和 ChatGPT 的比较，本研究发现它们展示了至少四个共同特点：竞争场所、手段、目标和缺陷，从而使得 ChatGPT 成为历史上最符合实现市场理论的引擎。该研究还主张 AI 内容风险不应该由 AI 公司承担，而应该由不同社会角色来共同承担。

May, 2024

基于一项新型电视游戏节目数据的分析，我们检验了在目标真相存在的情况下，人们辨别文本内容真实性的能力，显示了存在一类能够与人类具有相似真相检测性能的检测器模型，这一模型基于大型语言模型，通过学习可分辨线索来确定真相，该模型在很多情况下能够检测出人类无法察觉的欺骗语言线索，并为与算法的协作提供了可能，进而增强人类的真相检测能力。

Nov, 2023

通过将 ChatGPT 暴露在具有争议性的问题上，我们旨在了解其意识水平，以及现有模型是否存在社会政治和 / 或经济偏见。同时，我们还旨在探讨人工智能生成的答案与人类答案的对比情况。通过使用社交媒体平台 Kialo 创建的数据集来进行探索。我们的研究结果表明，尽管 ChatGPT 的以前版本在争议性话题上存在重要问题，但最近的版本 (gpt-3.5-turbo) 在多个知识领域中不再表现出明显的显性偏见，特别是在经济方面进行了很好的调节。然而，它仍然保持着一定程度的对右倾意识形态的隐性倾向，这表明需要从社会政治的观点增加更多的调节。在争议话题的领域知识方面，除了 “哲学” 类别外，ChatGPT 在跟上人类集体知识水平方面表现良好。最后，我们发现与人类答案相比，Bing AI 的信息来源在倾向中立方面略有增加。我们的所有分析都具有普遍适用于其他类型的偏见和领域。

Aug, 2023

本文评估了招募个体是否能够区分由 GPT-3 生成的虚假信息和真实信息，结论显示 GPT-3 可以产生更准确易懂的信息，但也能产生更具说服力的虚假信息，人类无法区分某条 tweet 是由 GPT-3 还是人类编写。我们从结果中反思了人工智能在虚假信息中的危险性，并探讨了如何提高信息传播来服务于全球健康。

Jan, 2023

研究人员提出在 AI 解决方案无法得到准确判断的问题中，可通过两个 AI 系统之间的辩论来增强人类法官的问题解决能力，并介绍了一个可建模此类辩论的数学框架，并将辩论设计的质量测量为最有力回答的准确性。

Nov, 2019

研究表明，尽管像 OpenAI 的 ChatGPT 这样的大型对话 AI 模型展示了巨大的潜力，但这样的模型是否能够保证事实准确性仍值得商榷。最近，微软和谷歌等技术公司宣布推出新服务，旨在将搜索引擎与对话 AI 相结合。然而，在公开演示中，我们发现了许多错误，这表明我们不应轻易相信 AI 模型的事实声称。我们希望呼吁研究人员和开发者提高 AI 模型的透明度和事实正确性，而不是批评特定的模型或公司。

Mar, 2023

自动事实核查（使用机器学习来验证主张）已经变得至关重要，因为虚假信息已经超出了人类事实核查的能力范围。大型语言模型（LLMs），如 GPT-4，越来越受人们的信任，可以验证信息并撰写学术论文、诉讼文件和新闻文章，强调了它们在分辨真假和能够验证其输出的重要性。在这里，我们通过让 LLM 代理人表达查询、检索上下文数据和做出决策来评估 LLMs 在事实核查中的使用。重要的是，在我们的框架中，代理人解释他们的推理并引用检索到的相关来源。我们的结果显示，在配备上下文信息的情况下，LLMs 表现出更强大的能力。GPT-4 优于 GPT-3，但准确性取决于查询语言和主张的真实性。虽然 LLMs 在事实核查方面显示出前景，但仍需要谨慎使用，因为准确性不一致。我们的调研呼吁进一步研究，以更深入地了解代理人何时成功以及何时失败。

Oct, 2023