对 ChatGPT 进行了心理特征和文化价值的测量，发现其与真实人类存在差异，表现出文化偏见和刻板印象。未来的研究应加强技术监督和算法训练的透明性，促进跨文化交流和减少社会差异。

May, 2024

研究探讨人类和 LLM 生成的对话之间的语言差异，并使用 ChatGPT-3.5 生成的 19.5K 对话作为 EmpathicDialogues 数据集的补充。研究使用了语言查询和词频统计（LIWC）分析，在 118 个语言类别上比较 ChatGPT 生成的对话和人类对话。结果显示人类对话在可变性和真实性方面更出色，但 ChatGPT 在社交过程、分析风格、认知、注意力焦点和积极情绪方面表现优异，加强了 LLM “更接近人类” 的最新发现。然而，在正面或负面情感方面，ChatGPT 和人类对话之间没有显著差异。对话嵌入的分类器分析表明，尽管对话中未明确提及情感，但存在着情感价值的隐式编码。该研究还提供了一个新颖的 ChatGPT 生成的对话数据集，其中包含两个独立的聊天机器人之间的对话，这些对话旨在复制一个开放可访问的人类对话语料库，广泛应用于语言建模的 AI 研究。我们的研究结果增加了对 ChatGPT 的语言能力的理解，并为区分人类和 LLM 生成的文本的持续努力提供了信息，这对于检测由 AI 生成的虚假信息、错误信息和误导信息至关重要。

Jan, 2024

本文通过收集并比对来自不同领域的问题，得出了 Human ChatGPT Comparison Corpus (HC3) 数据集，并评估了与人类专家相比 ChatGPT 的回答特点和差异，还提出了未来 LLMs 的研究方向，最终建立了三个不同的检测系统以检测 ChatGPT 的生成文本。

Jan, 2023

本文探究了如何用 ChatGPT 辅助机器翻译，提出了多种翻译提示。实验结果表明，ChatGPT 在高资源语言翻译方面的表现与专业翻译系统相当或更好，在低资源翻译方面略逊于专业翻译系统，并在多参考文献翻译和特定领域翻译方面表现出优异的性能。 此外，我们进行了几个快速提示，表现出不同基础提示的一致改进。这项工作提供了 ChatGPT 在翻译方面仍然具有巨大潜力的实证证据。

Apr, 2023

研究论文通过对 ChatGPT 及其最新版本 GPT-4 与人类生成的情感场景回应能力进行比较，探究了 ChatGPT 在回应不同情绪场景（正面和负面）时的共情水平。研究采用一项涉及 600 名参与者的组间研究来评估 ChatGPT 和人类生成的回应的共情程度。研究发现，ChatGPT 所生成的回应的平均共情评分比人类生成的回应高出约 10％。此外，明确要求 ChatGPT 在回应中融入对共情认知、情感和同情的明确理解，使其回应与具有较高共情度的个体的期望更为接近，相比之下，人类回应的一致性要小 5 倍。该研究提出的评估框架可用于评估较大的语言模型的共情能力，并且具有可扩展性和适应性，避免了未来研究中重复当前研究结果的需要。

Feb, 2024

对 ChatGPT 和 GPT-4 的语言能力、科学知识和伦理考虑进行全面评估的研究，包括现有评估方法的探讨和未来研究中对大型语言模型的评估建议。

Aug, 2023

ChatGPT 作为一个问答系统，通过对其在提供的段落中提取回答的能力进行评估，发现它在生成模型方面表现出了实力，但在问题回答方面相对于特定任务模型表现较差，而提供上下文可以提高其性能，提问方式对其准确性有所影响，并且在提供的上下文中提供了无法从中获取答案的问题的回答，还存在答案幻觉的现象。

Dec, 2023

我们研究了 ChatGPT 对豪萨文化和情感的表达方式，通过比较生成回答和豪萨本地人在 37 个与文化相关的问题上的回答，以及运用情感分析和相似性度量等方法进行实验和评估，结果显示 ChatGPT 在某种程度上和人类回答相似，但同时也存在知识和文化认知方面的不足和偏见。我们讨论了我们方法和分析的意义和局限，并提出了改进低资源语言下大语言模型性能和评估的方法。

Jun, 2024

ChatGPT 是一种基于 Transformer 架构的大型语言模型，能够在对话环境中生成类似人类的回答。它具有广泛的应用领域，但也引发了伦理和社会等方面的担忧。本文概述了 ChatGPT 的架构和训练过程，并提出了一些技术、监管、教育和伦理等方面的建议，以最大化其益处并尽量减少负面影响。

Feb, 2024

分析 ChatGPT 对有性别偏见和提示分析的系统回应，检查其可用性和限制。

Sep, 2023