利用大型语言模型减轻岩石记录中的解释偏差:来自古环境分析的见解
该研究提出了一种新的深度学习流程,将分层视觉变换器与基于风格的生成对抗网络算法相结合,可以更高效地获取和合成微古生物的高分辨率标记数据。该工作流展示了一种深度学习的可能性,优化了微古生物学研究和其他基于视觉的地质分析。
Apr, 2023
本篇论文中,我们针对地球科学领域开发了第一个大语言模型K2,并建立了GeoSignal数据集用来调整LLMs的响应,以及GeoBenchmark数据集在地球科学方面对LLMs进行评估,并进行了fine-tuning操作,实验证明了我们的方法和数据集的有效性。
Jun, 2023
评估大型语言模型对气候变化主题的能力,从科学沟通原则出发,提供一个全面的评估框架,强调LLM生成结果的呈现和认识适当性,揭示LLM在气候传播领域的潜力和局限性。
Oct, 2023
通过给强大的大型语言模型(LLM)增加来自高度专业化学术源的向量嵌入,我们展示了一种基于对话的方法可以使历史学家和其他人文学科的研究人员能够使用LLMs来检查不同类型文档的自定义语料库,并评估了LLMs在问题回答和数据提取组织两大任务上的表现。
Oct, 2023
文本到图像生成模型在地球科学中具有潜在应用价值,并且需要注意其中的偏见和培养现有偏见的问题。本研究以河流地貌学为案例,评估了训练数据中的主题相关偏见和 Stable Diffusion 模型的性能。虽然训练数据存在偏见,但通过谨慎的提示,Stable Diffusion 模型能够生成保持重要环境和形态特征的逼真合成河流图像。条件控制技术对于提供额外约束也是有效的。然而,在敏感应用中,使用 TTI 模型需要谨慎,并需进行领域特定的训练数据和图像生成偏见评估,以减少现有偏见的固化。
Dec, 2023
通过使用大型语言模型 (LLMs) 进行地球科学的进一步预训练和监督微调,我们得到了一个包含300亿参数的地球科学领域最大的语言模型GeoGalactica,并且在技术报告中详细介绍了它的各个方面,包括数据收集、数据清洗、基础模型选择、预训练、微调和评估。
Dec, 2023
通过对地震解释领域中深度学习的数据选择进行讨论,本文提出将解释不一致性作为一个有价值且直观的因素纳入选择训练集的过程中,发展出一种利用神经网络内部来建模解释不一致性的数据选择框架,命名为ATLAS。综合实验结果表明,ATLAS在地震解释领域中相比传统主动学习框架可提高12%的平均交叉联合。
Jun, 2024
地质孔描述、GEOBERTje、分类模型、岩性类和领域适应大型语言模型是本研究的关键词,研究探讨了通过GEOBERTje提取地质孔描述中的相关信息并将其表示为数值向量空间的有效性,通过在有限数量的手工标记观察上进行微调,证明了分类模型在将地质孔描述分为主要岩性类、第二岩性类和第三岩性类上优于基于规则的方法和OpenAI的GPT-4,该研究展示了领域适应的大型语言模型提高从复杂的、非结构化的地质描述中提取信息的效率和准确性,为使用大量数据进行地质分析和建模提供了新机会。
Jun, 2024
本研究解决了生成语言模型在环境与气候变化领域分类任务中的表现差距,比较了大型语言模型(LLMs)和小型语言模型(SLM)与BERT基线模型的有效性。研究发现,尽管BERT模型表现优越,生成模型仍显示出显著的性能,并通过自我评估分析揭示了模型在不同任务中的校准能力,为理解生成语言模型在应对生态与气候变化方面的应用提供了新见解。
Aug, 2024