Apr, 2024

解决方案效率和指导价值对人类和 GPT-4 中的加法和减法解决策策略的影响

PDF
TL;DR从对人类和 GPT-4 大型语言模型的四个实验中，我们探讨了添加偏差（即对于改变初始状态或结构更倾向于添加元素而不是删除）的认知倾向。结果显示，添加偏差普遍存在，并且解决方案的效率和指令的情绪性起到重要作用；人类参与者倾向于在减法更有效的情况下使用加法策略，而 GPT-4 在减法更有效时表现出相反的行为。这些发现强调了考虑可比较且有时更优的减法替代方案以及重新评估人类和语言模型的问题解决行为的重要性。
发现论文，激发创造
  • 大善大恶与独霸型 GPT：合作与交易游戏中大型语言模型情感决策分析

    通过对大型语言模型的实验，研究表明情绪对其行为的决策和人类决策的关联存在重要影响，其中 GPT-4 在情绪状态下表现出与人类类似的行为响应。

    Jun, 2024

  • 语言模型中出现的类人直觉行为和推理偏见 —— 以及 GPT-4 中的消失

    本研究通过使用心理学方法，展示了大型语言模型（LLMs），尤其是 GPT-3，表现出类似于人类直觉的行为和认知错误，而具有更高认知能力的 LLMs，特别是 ChatGPT 和 GPT-4，学会避免这些错误，并表现出超理性的方式；此外，我们还探究了直觉决策倾向的稳定程度。

    Jun, 2023

  • 认知网络科学揭示 GPT-3，ChatGPT 和 GPT-4 存在偏见，反映出高中学生数学焦虑

    应用行为形态网络方法，研究了三个最新版本的大型语言模型 GPT-3、Chat-GPT 和 GPT-4 对数学和 STEM 领域的感知。结果表明，LLMs 对数学和 STEM 领域普遍持有负面看法，其中数学的看法尤为负面。最新版本的 LLMs 相对于旧版本和高中生感知更复杂、更少负面看法，这表明 LLMs 架构的进步有可能导致越来越不带偏见的模型，甚至有望消除有害刻板印象而不是延续它们。

    May, 2023

  • 认知负荷下的补偿性偏差：降低大型语言模型中的选择偏差

    大型语言模型（LLMs）（如 gpt-3.5-turbo 和 claude-instant-1.2）在解释和执行基于语义的任务方面发挥了重要作用。然而，这些模型天生存在的偏见，类似于人类的认知偏见，对它们的性能产生了负面影响。本研究关键地审查了这些偏见并量化了其对代表性列表选择任务的影响。通过进行一系列控制实验，控制温度、列表长度、对象身份、对象类型、提示复杂度和模型，从而使我们能够分离和测量偏见对选择行为的影响。我们的发现表明，偏见结构与模型强相关，对象类型调节了效应的幅度。存在较为显著的首位效应，使列表中的首个对象在输出中被过度代表。此外，当在选择任务中与守卫栏结合使用时，保证回答结构的提示工程方法可能会增加偏见并降低指令遵循性。当分离守卫栏步骤与列表抽样步骤时，偏见被消除，降低了每个个体任务的复杂性。本研究的意义是双重的，实践上提供了设计无偏 LLMs 应用的指南，理论上暗示了 LLMs 体验到了一种通过增加偏见来补偿的认知负荷。

    Jan, 2024

  • 语言模型在问题解决中表现出与人类学习者相同的认知偏差吗？

    运用大型语言模型（LLMs）作为认知模型的兴趣日益增加，本研究通过研究 LLMs 在解决算术问题时与儿童的认知偏差，得出结论：LLMs 在文本理解和解决方案规划步骤中表现出类似人类的偏差，但在解决方案执行过程中没有类似的偏差。

    Jan, 2024

  • LLM 响应中的有意偏见

    本研究旨在有意地引入偏见到大型语言模型的响应中，以创建特定的互动媒体角色。我们探索了 Falcon-7b 等开源模型与 Open AI 的 GPT-4 模型之间的差异，并对两个系统的响应进行了一些量化比较。我们发现，GPT-4 的专家混合模型中的防护措施虽然在确保 AI 的整体对齐方面很有用，但在构建具有各种不寻常观点的角色时却具有负面影响。本研究旨在为未来探索大型语言模型中的有意偏见奠定基础，以便这些实践可以应用于创意领域和新型媒体。

    Nov, 2023

  • 小型 Transformer 的算术教学

    在不预训练的情况下，通过对训练数据进行简单的格式更改并使用包含中间步骤结果的思维链式数据进行训练，即便在完全缺乏预训练的情况下，也可以显著提高算术能力的准确性、样本复杂性和收敛速度。

    Jul, 2023

  • 人之所以为人，机之所以为机：探讨 GPT 在成功和失败中趋向于共同的常识

    本篇论文通过给 GPT-3、GPT-3.5 和 GPT-4 进行实验，发现更先进的大型语言模型可能越来越趋向于产生类人类的错误判断。而针对该问题，本文提出了基于 ETR 启发的 prompt engineering 方法，可以减少这类错误。

    Mar, 2023

  • 大型语言模型中的认知效应

    通过对 GPT-3 模型的测试，我们发现大型语言模型（LLMs）可能会出现几种人类认知效应，包括提前启动效应、距离效应、SNARC 效应和尺寸一致性效应，但缺乏锚定效应。我们描述了我们的方法学，并讨论了 GPT-3 出现这些效应的可能原因以及它们是模拟还是重新创造的问题。

    Aug, 2023

  • 通过口头化调整进行命令跟踪评估

    我们提出了一种名为 verbalizer manipulation 的新型指令跟踪评估协议，该协议通过使用高度匹配到轻微匹配的语言转化器，结合任何分类基准来检查模型对先验知识的依赖程度以及其是否能准确遵循指令。我们对四个重要的模型系列进行了全面评估，使用了每个系列的十二组语言转化器，发现模型在不同系列和规模上的指令遵循能力在较不自然的语言转化器上有明显差异。即使是最强大的 GPT-4 模型在最具挑战性的语言转化器上也难以比随机猜测更好，强调了需要持续进步来改善其指令遵循能力。

    Jul, 2023