修订和重新提交:基于文本的同行评审合作的互文模型
NLPeer 是第一个伦理资源资料来源跨领域的超过 5k 篇论文和 11k 篇来自五个不同论文场馆的审稿报告,它建立了统一的数据表示,并且增加了富元数据和版本信息,这项工作为 NLP 及其他领域的同行评议的系统性、多方面、以证据为基础的研究铺平了道路。我们将 NLPeer 公开提供。
Nov, 2022
Re3 是一个共同分析合作文档修订的框架,我们在学术领域中创建了 Re3-Sci 的大型文集,通过其行动和意图的手工标记以及相应的同行评审和人工编辑摘要,为首次实证研究学术领域的合作文档修订提供了新的数据,并评估了最先进的 LLM 在自动化编辑分析和促进基于文本的合作方面的能力。
May, 2024
本研究介绍了 PEER,一种协作语言模型,可以模仿整个写作过程,撰写草稿,添加建议,提出编辑意见并解释其行为。在各种领域和编辑任务中表现出强大的性能,并通过使用自我训练技术提高了训练数据的质量、数量和多样性,从而发挥了其全部潜力。
Aug, 2022
科学文章数量快速增长,对其进行质量控制对科学家和大众利益至关重要。由于同行评审往往困难、耗时且容易出错,自然语言处理(NLP)在改进同行评审方面具有巨大潜力。我们的论文旨在为未来的 NLP 同行评审努力奠定基础,讨论了同行评审的一般过程,以 AI 会议的审稿为例,详细阐述了从文稿提交到定稿的每个步骤,讨论了 NLP 协助的挑战和机遇,提出了 NLP 同行评审面临的大型挑战,包括数据获取、运营和实验、伦理问题,并创建了一个聚合与同行评审相关的主要数据集的伴侣仓库。最后,我们呼吁科学界、NLP 和 AI 研究人员、政策制定者和资助机构共同努力推动 NLP 同行评审的研究,希望我们的工作能够在 AI 时代为机器辅助的科学质量控制设定议程,不仅仅限于 NLP 社区。
May, 2024
我们提出了将同行评审过程重新定义为多轮长上下文对话,并在这个重新定义的同行评审框架下开发了一系列用于评估大型语言模型性能的指标,以适应真实世界中的同行评审的迭代和互动特点。
Jun, 2024
本论文旨在构建一个端到端的文本修订系统,该系统可以通过显式检测可编辑范围及其对应的编辑意图并指导修订模型来迭代生成有用的编辑,从而更准确地模拟迭代文本修订的过程,并在我们的文本修订任务和其他标准文本修订任务上显著优于以前的基线,包括语法错误修正、文本简化、句子融合和风格转换。
Dec, 2022
本文介绍了一个基于 TETRA 语料库的文档级修订助手。我们探索了无需参考评估和可解释的方法来评估文档修订的质量。实验结果表明,即使修订的差异微小,经过微调的预训练语言模型也能够区分文档修订后的质量,这为未来探索自动文档修订模型和评估指标奠定了基础。
May, 2022
在社区评论领域,我们发现同一人编写的评论集合基于简单的文体特征就能链接起来从而导致明显的隐私泄露问题,而本文则提出了结合大众智慧和机器翻译的方法,使得评论样式不同从而达到了减少作者链接度的目的。
May, 2014
本研究旨在确定自然语言处理中所谓文本的概念,并提出一套通用术语和分类体系,以扩展文本的范围,从而更好地进行 NLP 建模。该研究强调了包容性方法在 NLP 中处理文本的重要性,并呼吁开发者采用系统化的报告方式,以巩固该话题。
Nov, 2022
本文介绍了通过自然语言文本解释两个科技文档之间关系的任务,提出了一个新的数据集和模型,探索使用科学信息提取系统的密集表示对提高解释性能的影响,并在自动和人类评估中证明了该模型的可行性和挑战。
Feb, 2020