通过多智能体辩论促进大型语言模型的发散性思维

May, 2023

通过多智能体辩论促进大型语言模型的发散性思维

Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate

Tian Liang, Zhiwei He, Wenxiang Jiao, Xing Wang, Yan Wang...

TL;DR本研究提出了多智能体辩论 (MAD) 框架，该框架利用自身分歧思维来解决大型语言模型 (LLMs) 的陈腐思维问题和推理任务不足的问题。实验结果表明，MAD 框架在常识机器翻译和反直觉算术推理等任务上表现良好，且需要较高水平的辩论和调整控制矩阵来保证其效果。

Abstract

Modern large language models (LLMs) like ChatGPT have shown remarkable performance on general language tasks but still struggle on complex reasoning tasks, which drives the research on cognitive behaviors of LLMs to explore human-like problem-solving strategies. Along this direction, o

large language models self-reflection multi-agent debate framework deep contemplation adaptive debate

发现论文，激发创造

通过多智能体辩论提高语言模型的事实性和推理能力

该论文介绍了一种新方法，即通过多个语言模型实例的反复辩论和推理过程，以达成一个共同的最终答案，从而改善语言响应的表现，特别是在数学和策略推理方面，改善了已有模型中一些常见问题，如虚假答案和幻觉现象，并有望显著提高大型语言模型的性能和开拓语言生成和理解领域。

May, 2023

我们疯了吗？医学问答中语言模型的多智体辩论基准测试

最近针对医疗方面问题回答的大型语言模型 (LLMs) 取得了重要进展，然而确保生成代理提供准确可靠的答案仍然是一个持续挑战。在这个背景下，多代理辩论 (MAD) 作为提高 LLMs 真实性的主要策略已经出现。本研究提供了医学问答中多代理辩论策略的全面基准以及开源实现，探索了各种策略的有效利用，包括成本、时间和准确性之间的权衡。我们基于这些研究结果提供了基于代理一致性的新辩论刺激策略，在医学问答任务上胜过先前发表的策略。

Nov, 2023

多代理辩论对抗对抗攻击

通过多代理辩论和嵌入式聚类，我们研究了现代语言模型在对抗性攻击和多代理环境下的表现，并发现多代理辩论可以减少模型的有害性，并改善对不同类型攻击主题的抵抗能力。

Jan, 2024

ChatEval：基于多智能体辩论的 LLM 评估器改进

通过多代理辩论框架，构建了一个名为 ChatEval 的多代理裁判团队，用于自主讨论和评估不同模型在开放性问题和传统自然语言生成任务中生成响应的质量，分析结果表明 ChatEval 不仅仅提供文本评分，还提供了模拟人类评估过程以进行可靠评估。

Aug, 2023

使用预设立场进行反事实辩论以消除 LLM 的产生幻觉

提出了一种 CounterFactual Multi-Agent Debate (CFMAD) 框架，该框架通过强制 LLMs 为预定答案的正确性生成证明来覆盖 LLMs 固有的偏见，以减轻幻觉问题。在四个数据集上的实验证明了 CFMAD 相对于现有方法的优越性。

Jun, 2024

多智能体协作攻击：通过辩论研究大规模语言模型协作中的对抗攻击

评估模型网络在对抗影响下通过辩论进行合作时的行为，探索推理时间方法生成更令人信服的论点，并评估基于提示的缓解作为一种防御策略的潜力。

Jun, 2024

DeepThought：自主自律系统的架构

通过将大型语言模型与深度学习系统整合，提出能够展示类似于代理、自我激励甚至一些元认知特征的认知语言代理体系结构。

Nov, 2023

辩论：基于魔鬼辩护的评估与文本评价

提出了一种基于多智能体评分系统的自然语言生成（NLG）评估框架 DEBATE，通过引入反对者的概念，解决了 LLM 智能体回答中的偏见问题，从而在 NLG 评估中显著超越了现有的方法。

May, 2024

通过多智能体同行评审协作实现大型语言模型的推理

通过多模型协同合作策略，模拟学术同行评审过程的多个代理人独立构建解决方案，相互审查并分配评审置信度，最终通过反复修订得到优于现有方法的结果，在多个推理任务中展示出卓越的准确性，并在数学推理中体现了对评审置信度整合的有效性，为模仿人类的多代理协同过程提供了有前途的方向。

Nov, 2023

再思限制 LLM 推理的边界：多智能体讨论是关键吗？

通过系统实验，本研究通过提出一种新的群组讨论框架来重新评估多代理讨论对 LLMs 推理能力的改进，并发现，在广泛的推理任务和基于骨干的 LLMs 上，具有强提示的单一代理 LLM 几乎与最佳现有讨论方法表现一致。我们观察到，当提示中没有示范时，多代理讨论的表现优于单一代理，进一步研究揭示了 LLMs 在讨论过程中的常见互动机制。

Feb, 2024