May, 2024

INDUS： 科学应用中的高效有效语言模型

PDF
TL;DR我们开发了 INDUS，一套针对地球科学、生物学、物理学、太阳物理学、行星科学和天体物理学领域进行定制的大型语言模型（LLMs），并使用从多种数据源中提取的策划科学文献进行训练。此模型套件包括利用特定领域词汇和文献进行训练的编码器模型，基于对比学习的一般文本嵌入模型，以及使用知识蒸馏技术创建的资源受限应用模型。我们还创建了三个新的科学基准数据集，加速研究这些多学科领域，最后证明我们的模型在这些新任务以及感兴趣领域的现有基准任务上优于通用编码器（RoBERTa）和现有的领域特定编码器（SciBERT）。
发现论文，激发创造
  • 为地球科学知识理解与应用构建基础语言模型的学习

    本篇论文中，我们针对地球科学领域开发了第一个大语言模型 K2，并建立了 GeoSignal 数据集用来调整 LLMs 的响应，以及 GeoBenchmark 数据集在地球科学方面对 LLMs 进行评估，并进行了 fine-tuning 操作，实验证明了我们的方法和数据集的有效性。

    Jun, 2023

  • IndicLLMSuite：针对印度语言创建预训练和微调数据集的蓝图

    通过引入针对 Indic LLMs 开发的广泛资源套件，包括 22 种语言，总共有 251 亿词汇和 7480 万指令 - 响应对，我们的工作旨在弥合其他语言的类似模型建设进展受限于资源稀缺的差距。我们的方法结合了高度策划的手动验证数据、有价值但未验证的数据和合成数据，建立了一个干净的开源流水线，用于从各种来源收集预训练数据，并采用最佳实践进行爬取、清理、标记和去重。我们还通过生成多种情景的有毒提示来解决毒性对齐问题，并通过将这些有毒提示输入到经过校对的 LLaMa2 模型中生成非有毒响应。我们希望本工作释放的数据、工具和资源不仅能推动 Indic LLMs 的研究和开发，还能为将这种努力扩展到其他语言建立一个开源蓝图。作为本工作的一部分，创建的数据和其他文物都以宽松的许可证发布。

    Mar, 2024

  • 大型语言模型用于科学信息提取的实证研究：以病毒学为例

    本文介绍了一种基于语义内容表示的学术交流结构化方法，利用 LMMs 的文本生成能力，提供了结构化学术贡献摘要的自动化方法，并在信息提取方面展示了竞争力。

    Jan, 2024

  • 从大规模临床记录中开发出通用的临床语言推断模型

    本文通过使用领域专有词汇和大规模临床训练语料库，使用双向编码器解码器（BERT）模型对医疗语言推理任务进行分析和评估，与公共基准任务上同等规模的公开可用的最佳生物医学语言模型相比，我们的模型表现相同，并且在使用 UCSF 数据的两个任务的系统内评估中优于这些模型，但需要进一步的研究来提高缩写、数字、时间和隐含因果推理的准确性。

    Oct, 2022

  • 科学文本处理的预训练语言模型综述

    本文对科学文本处理的语言模型（LMs）进行了综合评述，包括对不同领域、任务和数据集上的效果进行了广泛分析，探讨了未来面临的挑战。

    Jan, 2024

  • 从文本到转型：大型语言模型多功能性的全面评述

    这项开创性的研究探讨了大型语言模型（LLMs）如生成式预训练变换器（GPT）和双向编码器表示来自变换器（BERT）在技术、金融、医疗保健、教育等各个领域的广泛应用。尽管它们在自然语言处理（NLP）方面已经展现出卓越的能力，但这些 LLMs 在健身、整体福祉、城市规划、气候建模以及灾害管理等领域尚未得到系统性的研究，本综述除了提供对 LLMs 在不同领域的广泛应用进行全面分析外，还揭示了 LLMs 潜力尚未被利用的研究空白和领域。这项研究发现了 LLMs 在健身福祉、城市规划、气候建模和灾害响应等领域留下印记的创新方式，可以激发未来在这些领域的研究和应用。

    Feb, 2024

  • 揭示大型语言模型在 Transformer 模型之上对孟加拉语自然语言推理的优势：一项全面研究

    通过综合评估，本研究在低资源语言（如孟加拉语）的自然语言推理任务中评估了知名大型语言模型和最先进模型的性能，发现虽然大型语言模型在少样本情况下可以达到与微调后最先进模型相媲美或优越的性能，但需要进一步研究来提高我们对大型语言模型在类似孟加拉语等资源有限的语言中的理解。该研究强调了在不同语言环境中探索大型语言模型能力的持续努力的重要性。

    May, 2024

  • 揭示多样性：对印度 AI 研究领域的综述

    该综述论文提供了印度语系大型语言模型（LLM）研究方向的全面概述，包括 LLM 的发展、现有 LLM 的微调、语料库的开发、基准测试和评估以及围绕特定技术、工具和应用的出版物。该论文指出了印度语系的挑战，如数据有限、缺乏标准化和语言复杂性，旨在为从事 NLP 领域研究工作的人员提供有价值的资源，并为这些语言的更准确、高效的 LLM 应用的发展做出贡献。

    Jun, 2024

  • 超越一模型适用于所有场景：大型语言模型领域特化调查

    本论文提出了一个系统化的分类方法，将 LLMs 领域专业化技术分类，并讨论了适用于这些技术的关键应用领域的问题和前景，对当前研究状态和未来趋势进行了深入剖析。

    May, 2023

  • 大型语言模型用于科学研究的跨学科视角

    大型语言模型 (LLMs) 能够在不同学科领域发挥作用和限制，加强科学研究，例如通过总结大量出版物加速文献回顾，通过自动语法纠正提升代码开发，和优化科学写作过程。然而，LLMs 面临挑战，如依赖庞大且有时偏颇的数据集，以及出于使用而引发的潜在伦理困境。我们对 LLMs 在不同领域的影响进行重要讨论，从自然科学中帮助模拟复杂生物序列，到社会科学中解析大规模的定性数据。最后，我们提供一种细致的观点，认为 LLMs 既是科学进步的福音，也是其边界。

    Nov, 2023