Feb, 2024

从学术手稿的同行评审叙事中引导 LLMs 撰写元评审草稿

PDF
TL;DR通过案例研究，使用 GPT-3.5、LLaMA2 和 PaLM2 等三种大型语言模型根据 TELeR 分类法的不同类型 / 级别的引导，自动生成学术同行评审中的元评审，然后对元评审进行详细的定性研究，总结了在这一复杂任务中为大型语言模型提供引导的发现和建议。
academic peer-reviewmeta-reviewsgenerative ailarge language modelsteler taxonomy
发现论文，激发创造
  • LLMs 辅助 NLP 研究：批评论文（元）评审

    使用大型语言模型（LLMs）辅助 NLP 研究人员的研究，特别关注 LLMs 在论文审查和其可识别性方面的效果。

    Jun, 2024

  • 优化评审生成通过提示生成

    我们提出了一种高效的两阶段审稿生成框架 Reviewer2，通过明确建模审稿可能涉及的各个方面的分布来生成更详细、更全面的审稿，解决了自动审稿生成方法缺乏细节和评述范围与人工评审者相比较少的问题。

    Feb, 2024

  • ReviewerGPT？使用大型语言模型进行论文审阅的初步研究

    使用 GPT-4 大型语言模型来辅助论文审核的研究发现其可以有效识别大部分错误，然而在挑选更好的论文时还存在一定误差。

    Jun, 2023

  • PRE: 基于同行评审的大型语言模型评估器

    通过同行评审机制，我们提出了一种能够自动评估大型语言模型的新框架，用于解决评估成本高、泛化能力低以及评估中的偏见等问题。我们在文本摘要任务上进行了广泛实验，结果表明使用单一语言模型评估存在偏见，并证明了我们的同行评审机制的有效性。

    Jan, 2024

  • 探索科学情绪摘要的多文档信息整合

    基于三层框架的科学情感总结方式，本研究提出了评估生成的元评价的质量的评估指标，并在广泛实验证明通过将此框架作为 LLMs 的提示生成元评价的假设在实证中是可行的。

    Feb, 2024

  • METAL：面向多语言元评估

    我们提出了一个针对多语言情景下 LLMs 作为评估器的端到端评估框架，并创建了一个用于评估 LLM-based 评估器的精心策划的数据集，该数据集覆盖 10 种语言，包含本族语言者对摘要任务的判断。我们比较了基于 GPT-3.5-Turbo、GPT-4 和 PaLM2 创建的 LLM-based 评估器的性能，结果表明，基于 GPT-4 的 LLM-based 评估器在各种语言中表现最好，而 GPT-3.5-Turbo 的表现不佳。此外，我们对 LLM-based 评估器提供的推理进行分析，发现它往往与人类评判所提供的推理不一致。

    Apr, 2024

  • 使用基于角色的互动进行多轮和长上下文的同行评审

    我们提出了将同行评审过程重新定义为多轮长上下文对话，并在这个重新定义的同行评审框架下开发了一系列用于评估大型语言模型性能的指标，以适应真实世界中的同行评审的迭代和互动特点。

    Jun, 2024

  • 利用大型语言模型引发信息丰富的文本评价

    利用大型语言模型，本研究引入了两种机制，即生成式同伴预测机制（GPPM）和生成式简介同伴预测机制（GSPPM），以扩大同伴预测机制的应用范围至基于文本的报告，并理论上证明当语言模型预测足够准确时，该机制能够激励高质量的反馈。在实证研究中使用了 Yelp 评论数据集和 ICLR OpenReview 数据集，结果表明在 ICLR 数据集上，该机制能够根据期望得分区分人工编写的评论、GPT-4 生成的评论和 GPT-3.5 生成的评论，并且 GSPPM 比 GPPM 更有效地惩罚产生自语言模型的评论。

    May, 2024

  • 评估 LLM 在医学系统评价中的潜在用途和风险

    该研究考虑了使用大型自然语言处理模型辅助生成医学证据综述的益处和风险，以 16 个半结构化面谈为基础，为领域讨论提出了评估标准。

    May, 2023

  • LitLLM: 科学文献综述工具包

    利用大型语言模型（LLM）的检索增强生成（RAG）原理和专门的提示与指示技术，我们提出了一个工具包来减少文献综述的时间和工作量，建立了我们的工具包作为一种高效的替代方法。

    Feb, 2024