Jun, 2024

使用基于角色的互动进行多轮和长上下文的同行评审

PDF
TL;DR我们提出了将同行评审过程重新定义为多轮长上下文对话，并在这个重新定义的同行评审框架下开发了一系列用于评估大型语言模型性能的指标，以适应真实世界中的同行评审的迭代和互动特点。
large language modelspeer-review processmulti-turn dialoguerole-based interactionsdataset
发现论文，激发创造
  • AgentReview：使用 LLM 代理探索同行评审动态

    我们引介了 AgentReview，这是第一个基于大型语言模型（LLM）的同行评审模拟框架，可以有效地解开多个潜在因素的影响并解决隐私问题。研究揭示了诸多重要发现，包括考虑到社会学理论，如社会影响理论、利他主义疲劳和权威偏见，由于审稿人的偏好而导致了显著的 37.1％决策差异。我们相信，这项研究能为改善同行评审机制的设计提供有价值的见解。

    Jun, 2024

  • PRE: 基于同行评审的大型语言模型评估器

    通过同行评审机制，我们提出了一种能够自动评估大型语言模型的新框架，用于解决评估成本高、泛化能力低以及评估中的偏见等问题。我们在文本摘要任务上进行了广泛实验，结果表明使用单一语言模型评估存在偏见，并证明了我们的同行评审机制的有效性。

    Jan, 2024

  • 从学术手稿的同行评审叙事中引导 LLMs 撰写元评审草稿

    通过案例研究，使用 GPT-3.5、LLaMA2 和 PaLM2 等三种大型语言模型根据 TELeR 分类法的不同类型 / 级别的引导，自动生成学术同行评审中的元评审，然后对元评审进行详细的定性研究，总结了在这一复杂任务中为大型语言模型提供引导的发现和建议。

    Feb, 2024

  • 基于 LLM 的多轮对话系统的最新进展综述

    本研究综述了基于大型语言模型 (LLMs) 的多轮对话系统的研究进展，包括适应 LLMs 到下游任务的方法，最近在多轮对话系统中的 LLM-based 开放领域对话 (ODD) 和任务导向对话 (TOD) 系统的进展，并且讨论了 LLMs 的发展和对多轮对话系统需求增加所引起的一些未来重点和最近的研究问题。

    Feb, 2024

  • 通过多智能体同行评审协作实现大型语言模型的推理

    通过多模型协同合作策略，模拟学术同行评审过程的多个代理人独立构建解决方案，相互审查并分配评审置信度，最终通过反复修订得到优于现有方法的结果，在多个推理任务中展示出卓越的准确性，并在数学推理中体现了对评审置信度整合的有效性，为模仿人类的多代理协同过程提供了有前途的方向。

    Nov, 2023

  • BotChat: 评估 LLMs 在进行多轮对话方面的能力

    利用 GPT-4 对人类风格的多轮对话进行评估，发现大语言模型在生成多轮对话方面具有出色的质量，明显优于其他模型。

    Oct, 2023

  • LLM 开放环境下的对等评审：自动评估方法

    通过使用同行评审机制来自动测量大型语言模型的能力并评估其性能，我们提出了一种新颖的无监督评估方法，并通过为每个语言模型分配可学习的能力参数来调整最终排名，以最大化每个语言模型的能力和得分的一致性，并使用 PEN、CIN 和 LIS 三个指标来评估与人工评级的一致性差距，实验证明了该方法的有效性。

    Feb, 2024

  • 大型语言模型作为自动对话评估器的有效性综合分析

    自动对话评估的研究中，大型语言模型、神经度量指标以及元评估数据集的应用，以及模型层次和维度层次的集成对评估性能的影响进行了全面的研究。

    Dec, 2023

  • 对同行评审中公平性差异的研究：一种语言模型增强方法

    本文通过大型语言模型（LMs）彻底研究和研究了同行评审中的公平性差异问题，在多个受保护属性的兴趣下，包括作者性别，地理，作者和机构声望等方面，观察到差异水平不同，文本特征在减少偏见中是必不可少的，同时研究了同行评审过程的自动化机器评审系统的一个具体例子，并提供了评审生成和评分任务的基准模型，这个数据集可用作基准。

    Nov, 2022

  • LLMs 辅助 NLP 研究：批评论文（元）评审

    使用大型语言模型（LLMs）辅助 NLP 研究人员的研究，特别关注 LLMs 在论文审查和其可识别性方面的效果。

    Jun, 2024