本研究介绍了一个大型数据收集项目的方法论，强调了文档记录和以人为中心的方法，通过在线目录和公共黑客马拉松活动进行元数据的收集，以解决大型语言模型数据收集面临的难题，研究结果分析了所得到的资源元数据分布情况，并总结了在此项目中的经验教训。

Jan, 2022

BigScience团队创建了Responsible Open-science Open-collaboration Text Sources (ROOTS)语料库，这是一个包含59种语言和1.6TB数据的语料库，用于训练1760亿参数的BigScience Large Open-science Open-access Multilingual (BLOOM)语言模型，并释放了这一语料库的较大子集，希望为大规模单语和多语言建模项目提供数据和处理工具，并刺激关于这个大型多语言语料库的研究。

Mar, 2023

本文研究了大型语言模型在特定领域中的性能，比较了多种模型回答DLBCL疾病的问题，发现RetA模型在准确性和相关性方面表现最好。

May, 2023

通过自然语言处理方法比较元数据的自然语言描述，提供了一种数学相似度量度，可用于分析各种元数据，通过深入研究多种大型语言模型，展示了算法在公开可用的研究数据集上 qualitatively 和 quantitatively 的有效性，从而大幅度减少了人工整理自然语言元数据的工作量。

Jul, 2023

本文介绍了一种基于大型语言模型的上下文学习方法，通过GPT-3.5和为主题元数据注释设计的提示，实现了自动元数据注释，在一些类别中表现出有前景的性能。

Oct, 2023

这项研究通过对GPT-4在标题/摘要筛选、全文审查和数据提取等不同文献类型和语言上的性能测试，发现虽然GPT-4在大多数任务上的准确性与人工表现相当，但结果受到偶然一致性和数据集不平衡的影响。调整了这些因素后，GPT-4在数据提取方面达到了中等水平，而筛选性能则在不同阶段和语言上达到了无到中等的水平。当使用高度可靠的提示筛选全文文献时，GPT-4的性能几乎完美。对于漏掉了高度可靠提示的关键研究，对GPT-4进行惩罚可以进一步提高其性能。我们的研究结果表明，目前在进行系统综述时应谨慎使用LLM，但对于在可靠提示下完成的特定系统综述任务而言，LLM可以与人工表现媲美。

Oct, 2023

自动化知识整理对于生物医学本体论至关重要，本研究比较和分析了三种自然语言处理范式（ICL、FT和ML）在整理任务中的效果，结果显示在特定数据情景下，ICL表现出色，而ML和FT则需要任务特定的数据来超越ICL。

Dec, 2023

传统数据集检索系统主要依赖元数据信息进行索引，而不是数据值。本文提出了一种使用三个大型语言模型(ChatGPT-3.5、GoogleBard和GoogleGemini)对列标题进行主题注释的元数据增强方法。通过评估模型的内部一致性、机器间对齐性和人机一致性来验证模型的能力，并研究上下文信息对分类结果的影响。结果表明，ChatGPT和GoogleGemini在内部一致性和模型-人的一致性方面优于GoogleBard。有趣的是，我们发现上下文对于语言模型的表现没有影响。本文提出了一种使用控制主题词汇来利用语言模型进行文本分类的新方法，有潜力促进自动化的元数据增强，从而提升在Web上的数据集检索、查找性、可访问性、互操作性和可重用性(FAIR)。

Mar, 2024

该文章介绍了使用GPT-4（一个大型语言模型）快速可行性研究来（半）自动化系统性综述中的数据提取，在设计和评估LLM-based自动化工具方面仍然存在欠缺的问题。

May, 2024

本文研究了大规模语言模型（LLM）获取高质量训练数据所面临的多方面挑战，包括数据稀缺、偏差以及低质量内容，并通过使用GPT-4和GPT-4o进行一系列评估，证明这些数据限制对模型性能和伦理对齐的不利影响。我们提出并验证了一些旨在提高数据质量和模型稳健性的缓解策略，包括高级数据过滤技术和伦理数据收集实践。我们的发现强调了开发LLM时需要积极考虑数据限制的有效性和伦理影响，以促进创建更可靠和普遍适用的人工智能系统。

Jun, 2024