Jun, 2024

AgentReview：使用 LLM 代理探索同行评审动态

PDF
TL;DR我们引介了 AgentReview，这是第一个基于大型语言模型（LLM）的同行评审模拟框架，可以有效地解开多个潜在因素的影响并解决隐私问题。研究揭示了诸多重要发现，包括考虑到社会学理论，如社会影响理论、利他主义疲劳和权威偏见，由于审稿人的偏好而导致了显著的 37.1％决策差异。我们相信，这项研究能为改善同行评审机制的设计提供有价值的见解。
peer reviewtraditional methodsagentreviewlatent variablespaper decisions
发现论文，激发创造
  • 使用基于角色的互动进行多轮和长上下文的同行评审

    我们提出了将同行评审过程重新定义为多轮长上下文对话，并在这个重新定义的同行评审框架下开发了一系列用于评估大型语言模型性能的指标，以适应真实世界中的同行评审的迭代和互动特点。

    Jun, 2024

  • 通过多智能体同行评审协作实现大型语言模型的推理

    通过多模型协同合作策略，模拟学术同行评审过程的多个代理人独立构建解决方案，相互审查并分配评审置信度，最终通过反复修订得到优于现有方法的结果，在多个推理任务中展示出卓越的准确性，并在数学推理中体现了对评审置信度整合的有效性，为模仿人类的多代理协同过程提供了有前途的方向。

    Nov, 2023

  • 对同行评审中公平性差异的研究：一种语言模型增强方法

    本文通过大型语言模型（LMs）彻底研究和研究了同行评审中的公平性差异问题，在多个受保护属性的兴趣下，包括作者性别，地理，作者和机构声望等方面，观察到差异水平不同，文本特征在减少偏见中是必不可少的，同时研究了同行评审过程的自动化机器评审系统的一个具体例子，并提供了评审生成和评分任务的基准模型，这个数据集可用作基准。

    Nov, 2022

  • PRE: 基于同行评审的大型语言模型评估器

    通过同行评审机制，我们提出了一种能够自动评估大型语言模型的新框架，用于解决评估成本高、泛化能力低以及评估中的偏见等问题。我们在文本摘要任务上进行了广泛实验，结果表明使用单一语言模型评估存在偏见，并证明了我们的同行评审机制的有效性。

    Jan, 2024

  • LLM 开放环境下的对等评审：自动评估方法

    通过使用同行评审机制来自动测量大型语言模型的能力并评估其性能，我们提出了一种新颖的无监督评估方法，并通过为每个语言模型分配可学习的能力参数来调整最终排名，以最大化每个语言模型的能力和得分的一致性，并使用 PEN、CIN 和 LIS 三个指标来评估与人工评级的一致性差距，实验证明了该方法的有效性。

    Feb, 2024

  • 从学术手稿的同行评审叙事中引导 LLMs 撰写元评审草稿

    通过案例研究，使用 GPT-3.5、LLaMA2 和 PaLM2 等三种大型语言模型根据 TELeR 分类法的不同类型 / 级别的引导，自动生成学术同行评审中的元评审，然后对元评审进行详细的定性研究，总结了在这一复杂任务中为大型语言模型提供引导的发现和建议。

    Feb, 2024

  • ResearchArena：评估 LLMs 作为研究代理的信息收集和组织能力

    利用 ResearchArena 测量大型语言模型代理在进行学术调查的能力，将调查流程分为信息发现、信息选择和信息组织三个阶段，在离线环境中评估代理定位支持材料、对定位的论文进行排名和将其组织成层次知识思维导图的能力，根据初步评估发现大型语言模型方法与基于关键词检索技术相比表现不佳，未来研究具有重要发展机会。

    Jun, 2024

  • 基于 LLM 代理的网络观点动力学模拟

    准确模拟人的观点动态对于理解各种社会现象至关重要，包括极化和误信息传播。我们提出了一种基于大型语言模型的人口多智能体模拟观点动态的新方法。我们的发现揭示出语言模型智能体存在对准确信息的固有偏差，导致在科学现实中产生共识。然而，该偏差限制了模拟对气候变化等问题持有抵制观点的个体。在通过启动工程引入确认偏见后，我们观察到观点分裂的情况与现有的多智能体研究一致。这些见解突显了在该领域中大型语言模型智能体的前景和局限，并提出了未来发展路径：通过与真实世界的话语相结合，完善语言模型，以更好地模拟人类信念的演变。

    Nov, 2023

  • LLMs 辅助 NLP 研究：批评论文（元）评审

    使用大型语言模型（LLMs）辅助 NLP 研究人员的研究，特别关注 LLMs 在论文审查和其可识别性方面的效果。

    Jun, 2024

  • ResearchAgent：基于大型语言模型的科学文献上迭代研究创意生成

    提出了一种基于大型语言模型的研究思路写作代理 ——ResearchAgent，它在科学文献的基础上自动生成问题、方法和实验设计，并通过连接学术图谱中的信息和从基于实体为中心的知识库中提取的实体进行逐步改进。此外，通过与多个 ReviewingAgents 进行反复讨论和反馈来借鉴人类改善思路的方式，还利用与人类偏好一致的大型语言模型为评估提供标准。在多个学科的科技出版物上实验证明了 ResearchAgent 的有效性，通过人工和模型评估结果生成了新颖、明确和有效的研究思路。

    Apr, 2024