利用大型语言模型在提取法律文件方面的新效率以及结合决策树框架的方法，为美国国家可再生能源实验室提供了一种自动化提取和分析地方法规的方法，以促进大规模能源政策研究的发展。

Mar, 2024

我们提出了 YAYI 2，这是一个具有 300 亿参数的基础模型和聊天模型的多语言模型，通过多个基准测试表明比其他类似规模的开源模型表现更好。

Dec, 2023

近年来，大型语言模型（LLMs）在各个领域取得了快速进展和令人印象深刻的能力。本文探讨了 LLMs 在建筑能效和碳减排研究中的应用、影响和潜力。文章考察了 LLMs 在建筑能源领域的广泛能力，包括智能控制系统、代码生成、数据基础设施、知识提取和教育。尽管 LLMs 具有很大的潜力，但仍存在复杂和昂贵的计算、数据隐私、安全和版权、精细调整 LLMs 的复杂性以及自一致性等挑战。文章最后呼吁未来的研究集中在增强 LLMs 的领域特定任务、多模式 LLMs 和人工智能与能源专家之间的合作研究上。

Dec, 2023

该论文介绍了 YuLan 的开发，这是一系列具有 120 亿参数的开源 LLMs，其基础模型在多样化语料库中进行了预训练，并采用了三阶段预训练方法以提高整体能力。通过使用大量高质量合成数据，结合指导调整和人工对齐的后续训练阶段，以及跨这些阶段的课程学习框架来促进复杂和长尾知识的学习，YuLan 已在各种英文和中文基准测试中达到与最先进 LLMs 相媲美的性能。

Jun, 2024

该研究旨在调查大型语言模型与建筑能源模型软件的创新整合，重点关注 ChatGPT 与 EnergyPlus 的融合。文献综述表明，大型语言模型在工程建模中应用日益增长，但在建筑能源模型中的应用研究有限。通过三个案例研究，证明了大型语言模型在自动化和优化建筑能源模型任务方面的潜力，并强调了人工智能在推进可持续建筑实践和能源效率方面的关键作用。研究结果建议未来人工智能研究采用跨学科的方法，并对其他专门工程建模领域有着重要影响。

Feb, 2024

本文介绍了一个名为 ChatLaw 的开源法律大语言模型，它通过特定的数据集、关键词检索和自注意力机制来优化模型在法律领域的表现，解决了参考数据筛选过程中的模型幻觉问题，提升了其解决问题的能力。

Jun, 2023

2022 年底，ChatGPT 的发布在 AI 的研究和商业领域引发了巨大的风潮，通过使用监督微调和强化学习来对大型语言模型进行指令调优，它展示了模型能够回答人类提出的问题并按照广泛的任务进行指令遵循，使得大型语言模型的研究兴趣得到了极大的加强，各种新的大型语言模型层出不穷，包括很多专注于大型语言模型的初创公司。然而，尽管封闭源的大型语言模型（如 OpenAI 的 GPT 和 Anthropic 的 Claude）通常表现出色，但开源大型语言模型的进展也非常迅速，并声称在某些任务上实现了与 ChatGPT 持平甚至更好的结果，这对于研究和商业都具有重要的意义。在本研究中，我们在 ChatGPT 发布一周年之际，全面概述了这一成就，并调查了所有开源大型语言模型声称在各项任务中达到与 ChatGPT 持平或更好的情况。

Nov, 2023

本文分析了当前基础 LLM (ChatGPT) 与专门的预训练模型 (REBEL) 的联合实体和关系提取应用，以可持续发展文本为案例进行了多个实验，结果表明，使用先进的 LLM 模型可以提高从非结构化文本创建知识图谱的过程的准确性，并探索了使用基础 LLM 模型自动创建本体论的潜力，取得更相关和准确的知识图谱。

May, 2023

通过使用语言模型进行能量负荷预测，本文提出了一种新颖的方法，通过利用教导技术将能量消耗数据转化为描述性的句子，实现语言模型的微调，并采用自回归生成方法，能够对未来能量负荷消耗的各种时间段进行预测。通过对真实数据集的大量实验，我们证明了我们提出方法的有效性和准确性。结果表明，利用语言模型进行能量负荷预测有望提高能源效率，并促进能源系统的智能决策。

Oct, 2023

本研究基于最新的想法，将大型语言模型视为能够访问多个包含有关组织，机构和公司的最新和精确信息的代理。研究通过生成一个原型代理来演示了该方法的有效性，该代理可以从 ClimateWatch 检索排放数据并利用 Google 搜索。通过将这些资源与 LLMs 相结合，我们的方法克服了不准确语言的局限性，在气候变化这一关键领域提供了更可靠和准确的信息。这项工作为 LLMs 的未来发展以及它们在需要精确信息的领域中的应用开辟了道路。

Mar, 2023