Dec, 2023

阿波罗的神谕：多智能体辩论中的检索增强推理

PDF
TL;DR多智能体辩论系统在对抗性交互中通过准确和一致的结论设计，然而这些系统常常面临认知限制的挑战，这表现为（1）代理的顽固坚持错误观点和（2）他们放弃正确观点的倾向。为了解决认知限制的挑战，我们引入了一种新的框架，多智能体辩论与检索增强（MADRA）。MADRA 将先前知识的检索融入辩论过程，有效打破认知限制并增强代理的推理能力。此外，我们在该框架内开发了一个自选择模块，使代理能够自主选择相关证据，从而最小化无关或噪音数据的影响。我们在六个不同数据集上进行了全面的测试和分析，实验结果表明我们的方法显著提高了各种任务的性能，证明了我们的方法的有效性。
multi-agent debate systemscognitive constraintsretrieval augmentedreasoning capabilitiesself-selection module
发现论文，激发创造
  • 元认知检索增强的大型语言模型

    MetaRAG 通过将检索增强生成过程与元认知相结合，使模型能够监控、评估和规划其响应策略，提升其内省性推理能力，从而显著优于现有方法。

    Feb, 2024

  • 辩论作为优化：适应性合规预测和多样化检索用于事件抽取

    我们提出了一个多智能体辩论作为优化的事件提取系统，通过辩论而无需参数调整来迭代改进大型语言模型的输出。在该系统中，我们引入了两个新模块：Diverse-RAG 模块和 Adaptive Conformal Prediction 模块。实验结果表明，相对于有监督方法和无需调参的基于大型语言模型的方法，在 ACE05 和 CASIE 事件检测以及论证提取方面，性能差距分别降低了 18.1％和 17.8％以及 17.9％和 15.2％。

    Jun, 2024

  • 多代理辩论对抗对抗攻击

    通过多代理辩论和嵌入式聚类，我们研究了现代语言模型在对抗性攻击和多代理环境下的表现，并发现多代理辩论可以减少模型的有害性，并改善对不同类型攻击主题的抵抗能力。

    Jan, 2024

  • 可信的增强检索对话机器人

    对话人工智能存在生成不正确信息或产生幻觉的问题，本研究提出了一种结合了符合预测和全局测试的统计保证的检索增强问答系统，并使用贝叶斯优化来选择全局测试的超参数，通过在自然问题数据集上验证结果表明该方法能够提供所需的覆盖保证并最小化平均预测集大小。

    Jul, 2023

  • 通过多智能体辩论促进大型语言模型的发散性思维

    本研究提出了多智能体辩论 (MAD) 框架，该框架利用自身分歧思维来解决大型语言模型 (LLMs) 的陈腐思维问题和推理任务不足的问题。实验结果表明，MAD 框架在常识机器翻译和反直觉算术推理等任务上表现良好，且需要较高水平的辩论和调整控制矩阵来保证其效果。

    May, 2023

  • 我们疯了吗？医学问答中语言模型的多智体辩论基准测试

    最近针对医疗方面问题回答的大型语言模型 (LLMs) 取得了重要进展，然而确保生成代理提供准确可靠的答案仍然是一个持续挑战。在这个背景下，多代理辩论 (MAD) 作为提高 LLMs 真实性的主要策略已经出现。本研究提供了医学问答中多代理辩论策略的全面基准以及开源实现，探索了各种策略的有效利用，包括成本、时间和准确性之间的权衡。我们基于这些研究结果提供了基于代理一致性的新辩论刺激策略，在医学问答任务上胜过先前发表的策略。

    Nov, 2023

  • 检索增强通识推理：一种统一方法

    本文提出了一种统一的基于检索增强的通识推理框架（RACo），包括一个新构建的包含 2000 万个文档的通识语料库和训练通识检索器的新策略。对四个不同的通识推理任务进行的广泛评估结果表明，我们提出的 RACo 可以显著优于其他知识增强方法的竞争者，在 CommonGen 和 CREAK 排行榜上取得了新的 SoTA 性能。

    Oct, 2022

  • 检索遇见推理：即使高中教科书知识也有益于多模态推理

    通过引入一种名为 RMR 的新型多模式 RAG 框架，本研究在多模式视觉语言模型中整合了基于检索的答案生成和推理能力，并通过提供相关问答对进行训练来显著提高各种基准数据集上的性能，凸显该框架在改善视觉语言模型的推理能力方面潜力巨大。

    May, 2024

  • 通过多智能体辩论提高语言模型的事实性和推理能力

    该论文介绍了一种新方法，即通过多个语言模型实例的反复辩论和推理过程，以达成一个共同的最终答案，从而改善语言响应的表现，特别是在数学和策略推理方面，改善了已有模型中一些常见问题，如虚假答案和幻觉现象，并有望显著提高大型语言模型的性能和开拓语言生成和理解领域。

    May, 2023

  • 多步骤的无结构数据知识检索与推理

    通过整合精细调整的大型语言模型与具有逻辑推理、规划和交互式约束求解能力的强大符号推理引擎，本研究介绍了 Cora，一个基于神经符号人工智能平台构建的协作研究助手，该助手旨在高风险领域执行复杂的研究和探索任务。本研究讨论了此类领域中的多步推理挑战，批评了现有的基于大型语言模型的方法的局限性，并展示了 Cora 的神经符号方法如何有效应对这些问题。我们提供了系统架构概述、知识提取和形式推理的关键算法，并展示了初步评估结果，突显了 Cora 与知名的大型语言模型和 RAG 方法相比的优越性能。

    Jun, 2024