本文通过对5000多篇学术文献的综合分析，提供了关于LLM研究的路线图，包括核心算法开发、自然语言处理任务、LLM在医学、工程、社会科学和人文学科中的应用等方面的研究趋势以及研究范式和合作模式的变化，为研究人员、从业者和决策者了解LLM研究的当前状态、影响和潜力提供了有价值的见解。

Apr, 2023

使用 GPT-4 大型语言模型来辅助论文审核的研究发现其可以有效识别大部分错误，然而在挑选更好的论文时还存在一定误差。

Jun, 2023

使用GPT-4模型创建了一个自动化平台，通过对科学论文的全文进行评论以评估GPT-4生成的反馈质量。 在两项大规模研究中，我们将GPT-4生成的反馈与人工同行评审的反馈进行了定量比较，并通过308名研究人员的用户研究了解了他们对GPT-4生成的反馈的感知。 总体而言，超过半数的用户（57.4%）认为GPT-4生成的反馈有所帮助，82.4%的用户认为它比至少一些人工审稿人的反馈更有益。

Oct, 2023

这项研究通过对GPT-4在标题/摘要筛选、全文审查和数据提取等不同文献类型和语言上的性能测试，发现虽然GPT-4在大多数任务上的准确性与人工表现相当，但结果受到偶然一致性和数据集不平衡的影响。调整了这些因素后，GPT-4在数据提取方面达到了中等水平，而筛选性能则在不同阶段和语言上达到了无到中等的水平。当使用高度可靠的提示筛选全文文献时，GPT-4的性能几乎完美。对于漏掉了高度可靠提示的关键研究，对GPT-4进行惩罚可以进一步提高其性能。我们的研究结果表明，目前在进行系统综述时应谨慎使用LLM，但对于在可靠提示下完成的特定系统综述任务而言，LLM可以与人工表现媲美。

Oct, 2023

使用零-shot 大型语言模型~(LLMs)进行自动筛选的效果研究显示，指导微调在筛选中发挥重要作用，校准使LLMs实现了有针对性的回收，并且将两者与零-shot模型集成结合，与最先进的方法相比节省了大量筛选时间。

Jan, 2024

本研究探索使用精细调整的大型语言模型（LLMs）自动化系统性文献综述（SLRs），提出了将人工智能与学术研究方法相结合的重要和创新贡献。通过采用最新的精细调整方法和开源的LLMs，我们展示了一种实用高效的自动化SLR过程的方法，包括知识综合的最终执行阶段。研究结果在LLM响应的事实准确性方面保持了很高的保真度，并通过对现有符合PRISMA的SLR的复制进行了验证。研究提出了减轻LLM虚幻感的解决方案，并提出了追踪LLM响应与信息来源的机制，从而证明了这种方法如何满足学术研究的严格需求。最终的发现证实了精细调整的LLMs在简化各种劳动密集型的文献综述过程方面的潜力。鉴于这种方法的潜力及其在所有研究领域的适用性，这项基础研究还呼吁更新PRISMA报告指南以整合AI驱动的过程，确保未来SLRs的方法透明性和可靠性。该研究拓宽了AI增强工具在各学术和研究领域的应用，为在日益增长的学术研究数量面前以更高效的方式进行全面准确的文献综述设立了新的标准。

Apr, 2024

该文章介绍了使用GPT-4（一个大型语言模型）快速可行性研究来（半）自动化系统性综述中的数据提取，在设计和评估LLM-based自动化工具方面仍然存在欠缺的问题。

May, 2024

通过使用大型语言模型提高文献回顾过滤的效率、速度和准确性，减少了人工筛选的工作量，并且通过一致性方案控制了假阴性，从而实现了比人工选择更准确和相关的文章。

Jul, 2024

本研究解决了大语言模型（LLMs）在解读现有文献方面的有效性，特别是环境、社会和治理（ESG）因素与财务绩效之间关系的系统评价。研究发现，经过微调的GPT-4o Mini模型在准确性上平均超越基础LLMs达28.3%，显示了LLMs在帮助投资者和机构总结复杂ESG投资证据中的潜力，从而加快决策并提升市场效率。

Aug, 2024

本研究解决了评估学术期刊文章质量这一耗时且关键的任务，探讨了大型语言模型在此过程中的作用。研究发现，使用文章标题和摘要作为输入，ChatGPT可提供与人工评分高度相关的质量评分，表明这一方法在研究质量评估中具备潜在的应用价值。

Aug, 2024