系统性综述（SR）是软件工程（SE）中一种常见的研究方法。本研究旨在调查大型语言模型（LLMs）是否能通过简化摘要来加速标题 - 摘要筛选，并自动化标题 - 摘要筛选。研究结果表明，使用 LLMs 进行文本简化在筛选过程中并未显著提高人类的表现，但减少了筛选所需的时间。虽然当前的 LLMs 在筛选任务中并不比人类筛选者更准确，但使用 LLMs 自动化标题 - 摘要筛选似乎是有前景的。需要进一步的研究才能推荐在 SR 筛选过程中使用 LLMs。建议未来的 SR 研究发布包含筛选数据的复制包，以便进行更有说服力的 LLM 筛选实验。

Apr, 2024

大型语言模型 (LLMs) 可以作为催化剂引发新的科学发现，并指导进一步的探索。

Nov, 2023

利用大型语言模型加速临床试验操作，设计了一个基于零 - shot 方法的系统来评估患者是否符合试验纳入标准，并通过优化数据和成本效率以及提高解释性来改进该方法。

Feb, 2024

通过我们的研究，我们发现了自然语言生成、零样本机器生成文本检测以及大型语言模型等关键词之间的显著相关性，同时我们还探讨了话题转变对零样本检测方法的影响，揭示了这些检测方法在各种不同话题下的适应性和鲁棒性。

Dec, 2023

利用零样本学习采用递进性思维提示，与传统的问答格式相比，GPT 模型在文本分类问题上具备零样本分类器的能力，有效地利用提示策略在各种文本分类场景中展现出较好的性能。

Dec, 2023

这项研究通过对 GPT-4 在标题 / 摘要筛选、全文审查和数据提取等不同文献类型和语言上的性能测试，发现虽然 GPT-4 在大多数任务上的准确性与人工表现相当，但结果受到偶然一致性和数据集不平衡的影响。调整了这些因素后，GPT-4 在数据提取方面达到了中等水平，而筛选性能则在不同阶段和语言上达到了无到中等的水平。当使用高度可靠的提示筛选全文文献时，GPT-4 的性能几乎完美。对于漏掉了高度可靠提示的关键研究，对 GPT-4 进行惩罚可以进一步提高其性能。我们的研究结果表明，目前在进行系统综述时应谨慎使用 LLM，但对于在可靠提示下完成的特定系统综述任务而言，LLM 可以与人工表现媲美。

Oct, 2023

本研究针对最近的大型语言模型探究了原本的零样本排名效果，发现这些仅基于非结构化文本数据进行预训练且没有经过监督指导微调的模型具备强大的零样本排名能力。此外，我们还提出了一个新颖的最先进排名系统，将基于大型语言模型的查询似然模型与混合式零样本检索器相结合，无论是在零样本还是少样本场景下都表现出卓越的效果。我们在 this https URL 上公开了我们的代码库。

Oct, 2023

本研究探索使用精细调整的大型语言模型（LLMs）自动化系统性文献综述（SLRs），提出了将人工智能与学术研究方法相结合的重要和创新贡献。通过采用最新的精细调整方法和开源的 LLMs，我们展示了一种实用高效的自动化 SLR 过程的方法，包括知识综合的最终执行阶段。研究结果在 LLM 响应的事实准确性方面保持了很高的保真度，并通过对现有符合 PRISMA 的 SLR 的复制进行了验证。研究提出了减轻 LLM 虚幻感的解决方案，并提出了追踪 LLM 响应与信息来源的机制，从而证明了这种方法如何满足学术研究的严格需求。最终的发现证实了精细调整的 LLMs 在简化各种劳动密集型的文献综述过程方面的潜力。鉴于这种方法的潜力及其在所有研究领域的适用性，这项基础研究还呼吁更新 PRISMA 报告指南以整合 AI 驱动的过程，确保未来 SLRs 的方法透明性和可靠性。该研究拓宽了 AI 增强工具在各学术和研究领域的应用，为在日益增长的学术研究数量面前以更高效的方式进行全面准确的文献综述设立了新的标准。

Apr, 2024

改进发展中国家中的心理健康支持是迫切的需求，其中一个潜在解决方案是开发可扩展的自动化系统进行诊断筛查，可以帮助减轻心理健康专业人员的负担。本研究评估了几种最先进的大型语言模型（LLMs），在我们的定制数据集上进行了简明摘要生成的评估。我们使用已建立的 ROUGE 评估指标和人工评估员的输入，对四种不同的摘要生成模型进行了严格评估。结果显示，我们表现最好的经过细化调整的模型优于现有模型，ROUGE-1 和 ROUGE-L 分别达到 0.810 和 0.764。此外，我们还评估了该经过细化调整的模型在公开可用的 D4 数据集上的泛化能力，结果令人鼓舞，表明其潜在的适用性超出了我们的定制数据集。

Mar, 2024

通过对十种不同的预训练方法、提示和模型规模的大型语言模型进行人类评估，我们发现指导调整而不是模型规模是 LLM 的零样本摘要能力的关键，并通过从自由职业作家收集的高质量摘要进行人类评估，得出 LLM 摘要被认为与人类撰写的摘要相媲美的结论。

Jan, 2023