Jun, 2024

RelevAI-Reviewer：一项关于调查论文相关性的人工智能评审基准测试

PDF
TL;DR提出了一种自动系统，将调查论文审查任务概念化为一个分类问题，采用机器学习模型测定与指定主题相关的论文的相关性，并且通过使用 BERT 等高级语言模型，取得了优于传统机器学习方法的初步结果。
发现论文，激发创造
  • 自动调查挑战

    我们提出了一种新颖的平台，用于评估大型语言模型（LLMs）自主撰写和评论跨科学、人文、教育和法律等各个学科的调研论文的能力。这个框架中，人工智能系统通过模拟同行评审机制进行操作，类似于传统学术期刊，人类组织者担任编辑监督职责。在这个框架内，我们为 2023 年 AutoML 会议组织了一次竞赛。参赛者的任务是根据指定提示撰写独立的文章，并对其进行评估。评估标准包括清晰度、参考文献适当性、责任性和内容的实质价值。本文介绍了竞赛的设计，包括实施基线提交和评估方法。

    Oct, 2023

  • 科学文本中的人工智能开发与应用识别

    利用 arXiv 的元数据，通过学习这些数据中科学论文的主题标签，我们可以推断出其他大型语料库中与人工智能相关的论文，这种监督式方法可以一直更新，无需依赖于主题专家进行查询开发或标注。

    Feb, 2020

  • 文本文件中什么是相关的？：一种可解释的机器学习方法

    本文介绍了如何使用机器学习模型解释文本分类的决策过程以及如何生成基于词向量的文档表示方法。通过对两个不同类型的模型进行比较，表明卷积神经网络在可解释性方面的优势，也使得它更具有人类可理解性，并有潜力应用于其他领域。

    Dec, 2016

  • 面向审稿人推荐系统的提交感知评审人画像

    本文提出了一种基于上下文学习的评审人匹配方法，解决了用主题建模进行评审者指派时主题上下文信息丢失和难以解释的问题，并在实验中取得了显著的精度提高。

    Nov, 2022

  • 产品搜索的相关判断大型语言模型

    基于 Large Language Models (LLMs) 的技术，通过自动化查询 - 商品对的相关性判断，改善产品搜索的相关性预测精度，对商品搜索的相关判断自动化领域具有重要影响。

    Jun, 2024

  • 大型会议上的论文与审稿人匹配

    本文研究了一种新颖的评审 - 文章匹配方法，该方法已被引入多个计算机科学领域的顶级会议，包括 AAAI，ICML，IJCAI 等，并通过对现实数据的广泛后期分析进行了评估，比较了其与 AAAI 2020 版本使用的匹配算法的不同之处。

    Feb, 2022

  • 支持研究评估的人工智能技术综述

    该文献综述通过机器学习预测引用次数或质量评分等方法，从文章文本和元数据中识别高影响力或高质量研究的指标，并回顾了有关排名和公共数据集的证据，用于预测学术文章的影响力，并讨论了技术辅助评估的偏见和透明度。

    Dec, 2022

  • 可以自动化科学审稿吗？

    本文讨论如何运用自然语言处理技术，自动生成机器学习领域的论文评审。通过收集论文数据集和训练模型进行实验，研究发现自动生成的评审可以涵盖更多的内容，但在细节方面需要更高的准确性和构造性。最后，总结了这个领域的八个难题及其潜在解决方案。

    Jan, 2021

  • AI 文献综述套件

    通过整合开放科学、大型语言模型和自然语言处理功能，提供了一个 AI 文献综述套件，以优化和自动化学术和工业研究中的文献综述过程。

    Jul, 2023

  • 揭示哨兵：评估人工智能在网络安全同行评议中的表现

    本研究通过比较人工评审者和机器学习模型得出的结果，研究了 AI 在学术安全会议评审中的表现，并以 ChatGPT 和基于 Doc2Vec 模型的两阶段分类方法为基础，评估了文献评审结果的预测能力，发现 Doc2Vec 方法的实验评估表现明显优于 ChatGPT，达到了超过 90% 的准确率。同时分析了测试的 ML 模型的潜在优势和限制，并探索了文献评审过程中能够从自动化支持方法中获益的领域，同时也认识到在某些方面，尖端 AI 技术无法替代人类智慧的不可替代角色。

    Sep, 2023