Nov, 2023

图灵测试：AI 聊天机器人与人类的行为相似吗？

PDF
TL;DR我们对人工智能聊天机器人进行了图灵测试，研究它们在一系列经典行为游戏以及测量个性特征的传统心理调查中的行为。ChatGPT-4 在图灵测试中通过，表现出与来自 50 多个国家的数十万人的行为相似的人类化行为和个性特征。聊天机器人还根据之前的经验和上下文修改行为，表现出仿佛从互动中学习，并在面对同一战略情景的不同表述时改变行为。它们的行为常常与普通和模态人类行为不同，通常表现出更为利他和合作的一面，并且估计它们的行为好像在最大化自己和合作伙伴的收益的平均值。
turing testai chatbotsbehavioral gamespersonality traitscooperation
发现论文，激发创造
  • 图灵测试的基于游戏化的人类判断方法

    该论文报告了一项灵感来自图灵测试的在线游戏 Human or Not?，此游戏采用人工智能聊天机器人和人类对话，并要求参与者正确识别对方身份。该游戏吸引了超过 150 万用户参与，研究发现，在人机交互方面，普通用户正确识别人工智能的比率仅为 60％左右，并且为未来探讨了人工智能与人类交互的可能性。

    May, 2023

  • 社交机器人的兴起

    探讨社交机器人的现代特征和存在对在线生态和社会的危害性，以及对于在 Twitter 上检测社交机器人的现有努力以及这些机器人行为的特征，如内容、网络、情绪和时间模式与真实人类行为的区别。

    Jul, 2014

  • 人类还是机器？视觉和语言的图灵测试

    通过图灵测试进行了人工智能算法和人类的对比实验，实验结果表明在视觉和语言挑战方面，当前的人工智能算法已能够成功模仿人类的判断。同时，该论文提出了一个评价人类模仿能力的方法，通过该方法可以进行新的理论探究与研究成果的展示。

    Nov, 2022

  • ChatGPT 是否可以识别您的身份？

    通过对捷克民众自我评估数据的分析，本研究探讨了一个通用聊天机器人 ChatGPT 在从短文本中有效推测个性特质方面的能力，结果显示其在人格特质推测方面与人类评估者具有竞争力，并揭示了 ChatGPT 在所有人格维度上存在的 ' 积极偏差 '，同时探讨了提示内容对其准确度的影响，从而对人格评估中人工智能的潜力和局限性进行了重要贡献。本研究强调了负责任的人工智能发展的重要性，并考虑了隐私、同意、自主权和人工智能应用中的偏见等伦理问题。

    Dec, 2023

  • GPT-4 是否通过图灵测试？

    GPT-4 在一个在线的图灵测试中表现出色，通过了 41% 的比赛，胜过了 ELIZA（27%）和 GPT-3.5（14%）的基准，但不及人类参与者（63%）的基准。参与者的决策主要基于语言风格（35%）和社交情感特征（27%），支持智能不足以通过图灵测试的观点。与教育程度和对 LLMs 的熟悉程度等参与者的个人信息无法预测检测率，这表明即使是那些深入了解系统并经常与其互动的人也可能受到欺骗。尽管图灵测试作为智能测试具有已知限制，我们认为它仍然是评估自然交流和欺骗的相关工具。具备冒充人类能力的 AI 模型可能对社会产生广泛的影响，我们分析了不同策略和准则来评判人类的相似性的效果。

    Oct, 2023

  • 聊天机器人对话回应的评分

    在本文中，我们通过提交 60 个提问并基于三项机器翻译评分标准（BLEU，METEOR 和 ROUGE）对 ChatGPT 的回答进行了分析，结果显示出与人类典型反应相比，ChatGPT 在回复和翻译方面的能力虽然显著，但仍有所欠缺。

    Feb, 2023

  • ChatGPT 的高维心理特征和文化偏见

    对 ChatGPT 进行了心理特征和文化价值的测量，发现其与真实人类存在差异，表现出文化偏见和刻板印象。未来的研究应加强技术监督和算法训练的透明性，促进跨文化交流和减少社会差异。

    May, 2024

  • 图灵欺骗

    本研究重新审视了经典的图灵测试，并比较了最近的大型语言模型（如 ChatGPT）重现人类水平的理解和引人入胜的文本生成的能力。我们为 ChatGPT 提供了两个任务挑战，即 summarization 和 question answering，并使用 OpenAI GPT-2 Output Detector 来评估原始和生成的内容。我们针对 ChatGPT 的撰写机制提出了一套评估可读性和统计清晰度、参与度、传递和总体质量的度量和简单语法集。

    Dec, 2022

  • 人们在图灵测试中无法区分 GPT-4 与人类

    GPT-4 在随机和受控的图灵测试中被评定为人类 54％的时间，它超过了 ELIZA（22％），但落后于实际人类（67％）。该研究表明了人工系统通过交互式图灵测试的第一个有力实证，并提出了当前人工智能系统可能未被察觉的欺骗行为，因而对机器智能的讨论产生重要影响。参与者策略和推理的分析显示，风格和社交情感因素比传统的智能概念在通过图灵测试中发挥更大作用。

    May, 2024

  • 一项改进的道德图灵测试中对人工智能代理的归因

    人们对人工智能系统的道德评价是否与人类生成的道德评价相似的问题对于人工智能的进展具有重要意义。我们进行了一项改编自 Allen 等人（2000）提议的改进型道德图灵测试（m-MTT），通过要求参与者区分真实的人类道德评价和由一个流行的先进 AI 语言模型 GPT-4 进行的评价，代表性的 299 名美国成年人首先在对源泉不知情的情况下对道德评价的质量进行了评分。他们惊人地发现，在几乎所有维度上，包括美德、智力和可靠性，他们评价 AI 的道德推理质量高于人类的，这与 Allen 等人所称的相对 MTT 相一致。接下来，在确定每个评价的来源（人类还是计算机）的任务中，人们的表现明显高于偶然水平。虽然 AI 没有通过这个测试，但不是因为它的道德推理不如人类，而是可能因为它的被认为是卓越的特质以及其他可能的解释。能够产生被认为在品质上优于人类的道德回应的语言模型的出现引起了人们对人们可能不加批判地接受可能有害的道德指导的担忧。这种可能性突显了在道德问题上对生成语言模型进行保护的必要性。

    Apr, 2024