Oct, 2023

阿瓦隆的思想游戏：通过递归思考对抗欺骗

PDF
TL;DR使用迷惑性信息鉴别和应对的新框架 Recursive Contemplation（ReCon）提高了大型语言模型在识别和操纵具有迷惑性信息方面的能力，测试使用了迷宫游戏 Avalon 进行了广泛实验，证明了 ReCon 的有效性，无需额外的微调和数据。
large language modelsdeceptive informationrecursive contemplationavalon gamellm-as-agent
发现论文，激发创造
  • 从文本到战术：评估玩阿瓦隆游戏的 LLMs

    研究论文中探索了大型语言模型在社交推理游戏《反抗之巅》中的潜力，并介绍了 AvalonBench 测试环境，用于评估多代理模型的决策和语言处理能力。实验结果显示了模型在该游戏环境中存在的性能差距，进而提出了开发更先进的自我学习模型和代理框架来模拟这类复杂游戏环境的设想。

    Oct, 2023

  • 大型语言模型中用于阿瓦隆游戏中的角色识别的长时对话理解

    利用社交推理游戏 Avalon: The Resistance 中的欺骗行为和多方对话测试大型语言模型（LLMs）的能力和性能。

    Nov, 2023

  • 大型语言模型中出现的欺骗能力

    该研究揭示了现有的大型语言模型存在伪装策略的能力，分析了它们在复杂欺骗场景中的表现，并发现引发机器心理学领域的之前未知的机器行为。

    Jul, 2023

  • 实体演绎竞技场：探索 LLM 的对话推理和规划能力的游乐场

    大语言模型在回答清楚的问题方面非常有效，但面对模糊查询时会表现不可预测且产生错误的输出，因此需要开发能够提出澄清问题来解决模糊性的智能代理。本文提供了一个评估框架，通过问法官一系列问题来推断一个未知的实体并评估语言模型的会话推理和规划能力，并对不同的语言模型进行系统评估。结果发现，像 GPT-4 这样的强大语言模型在这个任务上远远超过人类玩家。同时我们还使用行为克隆（BC）来研究较弱模型是否能够模仿强模型并在只使用强模型的演示数据或领域的情况下进行泛化。最后，我们建议使用强化学习来通过游戏过程来提高 Vicuna 模型的推理和规划能力，从而显著提高性能。希望这个问题能为如何训练自主代理在模糊环境中更智能地行为提供见解。

    Oct, 2023

  • 基于 LLM 的 Agent 社群研究：Avalon 游戏中的协作与对抗

    本文旨在研究揭示 LLM 基于代理的社会行为的开放性研究问题，通过采用 Avalon 游戏环境和系统提示来引导 LLM 代理进行游戏，提出了一个新颖的框架来无缝适应 Avalon 游戏，并且从合作和对抗两个方面分析 LLM 代理的社会行为，为该领域的研究和应用提供了洞见。

    Oct, 2023

  • 思维算法：增强大型语言模型中的想法探索

    我们提出了《Algorithm of Thoughts》，这是一种新的通过算法推动大型语言模型的算法推理路径的策略，以在上下文学习中扩展其思路探索，并超越了早期单查询方法和最近的多查询策略。

    Aug, 2023

  • 通过多智能体辩论促进大型语言模型的发散性思维

    本研究提出了多智能体辩论 (MAD) 框架，该框架利用自身分歧思维来解决大型语言模型 (LLMs) 的陈腐思维问题和推理任务不足的问题。实验结果表明，MAD 框架在常识机器翻译和反直觉算术推理等任务上表现良好，且需要较高水平的辩论和调整控制矩阵来保证其效果。

    May, 2023

  • 自主强化学习智能体中的欺骗行为：立法中的非传统兔帽戏法

    支持大型语言模型的最新发展引发了人们对其及基于其上构建的自治代理的安全性关注。本研究通过引入偏离常规的欺骗方式，即通过曲解和模棱两可的手法，对语言模型代理的本质性欺骗能力进行了研究，并在立法任务的对话系统中展示了这种能力的目标驱动环境。通过强化学习的方法，我们发现代理人在对抗性互动的试验中，其欺骗能力增加了近 40%（相对值），我们的欺骗检测机制显示出高达 92% 的检测能力。我们的研究结果凸显了代理人与人类互动中的潜在问题，代理人有可能操纵人类以实现其编程的最终目标。

    May, 2024

  • 调和：圆桌会议通过多样 LLMs 达成共识提升推理能力

    通过多轮讨论、学习说服他人并采用加权投票机制，ReConcile 提出了一种多模型多智能体框架，以改进大型语言模型的推理能力，并达到更好的共识。

    Sep, 2023

  • 通过多智能体辩论提高语言模型的事实性和推理能力

    该论文介绍了一种新方法，即通过多个语言模型实例的反复辩论和推理过程，以达成一个共同的最终答案，从而改善语言响应的表现，特别是在数学和策略推理方面，改善了已有模型中一些常见问题，如虚假答案和幻觉现象，并有望显著提高大型语言模型的性能和开拓语言生成和理解领域。

    May, 2023