SyROCCo:利用机器学习增强系统性综述
通过构建一个自动化的流水线以及实验,我们在仅需人工筛选的 2 周时间内,取得了非常高的准确性和泛化能力,从而使得系统能够自动完成系统性评论过程的主要步骤,包括文件搜索、文件选择以及数据提取。
Oct, 2020
利用人工智能和多个引文计量和元数据输入进行的质量估计,与简单的定量指标和耗费时间的同行评审相比,得出更好的结果;医学和物理学科的精度最高,社会科学、数学、工程、艺术和人文学科的表现较差。
Dec, 2022
该文献综述通过机器学习预测引用次数或质量评分等方法,从文章文本和元数据中识别高影响力或高质量研究的指标,并回顾了有关排名和公共数据集的证据,用于预测学术文章的影响力,并讨论了技术辅助评估的偏见和透明度。
Dec, 2022
在本研究中,我们分析引用筛选评估数据集,揭示了许多可用数据集存在的问题,例如太小、数据泄漏以及对于将自动化文献筛选系统视为分类任务而不是检索或问答任务有限适用性。为了解决这些挑战,我们介绍了CSMeD,这是一个集合了九个公开释放的文献综述集合的元数据集,提供统一访问325个医学和计算机科学领域的系统化文献综述资源。此外,我们还介绍了专门用于评估全文出版物筛选任务的新数据集CSMeD-FT。通过实验和建立新数据集的基线,我们展示了CSMeD的实用性。
Nov, 2023
本文综述了人工智能在系统文献综述中的应用,重点研究了AI技术在文献综述的半自动创建中的应用,特别是在筛选和提取阶段。通过对21个主流文献综述工具的分析,以及对11个利用大型语言模型进行文献搜索和学术写作辅助的最新工具的分析,讨论了领域内的当前趋势,概述了关键研究挑战,并提出了未来研究的方向。
Feb, 2024
对模式分析与机器智能领域的文献综述进行了彻底的综述,在提出大型语言模型为基础的文献计量指标用于自动评估综述的同时,对不同综述进行了对比分析,并评估了人工智能生成的综述与人工综述的差异,同时还介绍了基于文献结构的综述分类方法,为学者阅读和撰写综述提供了指导,为人工智能系统生成有组织的综述提供了参考,同时还展望了综述发展的未来方向。
Feb, 2024
该文章介绍了使用GPT-4(一个大型语言模型)快速可行性研究来(半)自动化系统性综述中的数据提取,在设计和评估LLM-based自动化工具方面仍然存在欠缺的问题。
May, 2024
提出了一种自动系统,将调查论文审查任务概念化为一个分类问题,采用机器学习模型测定与指定主题相关的论文的相关性,并且通过使用BERT等高级语言模型,取得了优于传统机器学习方法的初步结果。
Jun, 2024
本研究解决了机器学习在公共卫生应用中算法偏见造成的系统性错误问题。通过对2008年至2023年间相关文献的综合评审,识别了机器学习中常见的偏见类型及其量化评估指标。研究成果有助于从公平的视角建立公共卫生机器学习评估框架。
Aug, 2024
本研究针对机器学习在公共卫生应用中的算法偏见和系统性错误问题进行了深入探讨,填补了当前文献中的空白。通过对72篇相关文献的分析,识别了机器学习中常见的偏见类型及其量化指标,从公平的视角审视了这些偏见。研究结果为公共卫生中机器学习的公平性评估提供了一个正式的框架,有助于改善决策过程。
Aug, 2024