面向设备的大气象模型个性化适配器：迈向天气基础模型
多模态数据集 WeatherQA 是用于预测复杂的恶劣天气事件的第一个数据集，使用视觉语言模型评估模型在多选问题和危险密度分类任务上表现较人类推理薄弱，需要更好的训练和数据整合来弥合差距。
Jun, 2024
在天气与气候预测领域，机器学习（ML）正对传统基于物理模型的预测模型提供有力的挑战，并取得了更高的预测准确性。本研究通过对当前 ML 模型中 Pangu-Weather 预测的准确性和物理一致性进行考察，发现相比于基于物理模型的预测，ML 模型在准确性指标上的优势主要是由于其独特性而产生的。此外，ML 模型在特定的预测应用中与传统数值天气预报输出具有协同作用，并且在实际应用中具有极低的计算成本，因此能够为预测信息提供一种有价值的额外来源。
Sep, 2023
本文提出了一种个性化大模型，它们是从传统大语言模型中提炼出来的，更适应于本地用户的个人信息，如教育背景和兴趣。通过将大语言模型分类为个人级别、专家级别和传统级别，本文介绍了不同级别模型的特点和应用。个人级别模型采用用户个人信息进行自适应，对用户输入进行加密以保护隐私。专家级别模型聚焦于特定领域知识的整合，如金融、IT 和艺术。传统模型则关注于普适性的知识发现和专家模型的升级。整个系统中，个人模型与用户直接进行交互，同时保留用户加密的个人信息。此外，这些模型需要足够小以在个人计算机或移动设备上运行，并能实时响应以提供更好的用户体验和高质量的结果。该提出的个性化大模型可应用于诸如语言和视觉任务等广泛的应用领域。
Sep, 2023
该论文回顾了大型模型，尤其是采用深度学习技术的模型在天气预报中的进展和应用，强调它们在改善传统预报方法方面的作用。这些模型利用卷积神经网络（CNN）、图神经网络（GNN）和 Transformer 等先进的神经网络架构来处理各种气象数据，提高了各种时间尺度和空间分辨率上的预测准确性。论文还讨论了该领域的挑战，包括数据获取和计算需求，并探索了模型优化和硬件进展的未来机会。它强调了人工智能与传统气象技术的整合，承诺提高天气预报准确性，并在应对与气候相关的挑战方面做出重要贡献。这种协同作用将大型模型置于气象预报不断发展的前沿地位。
Apr, 2024
本研究基于最新的想法，将大型语言模型视为能够访问多个包含有关组织，机构和公司的最新和精确信息的代理。研究通过生成一个原型代理来演示了该方法的有效性，该代理可以从 ClimateWatch 检索排放数据并利用 Google 搜索。通过将这些资源与 LLMs 相结合，我们的方法克服了不准确语言的局限性，在气候变化这一关键领域提供了更可靠和准确的信息。这项工作为 LLMs 的未来发展以及它们在需要精确信息的领域中的应用开辟了道路。
Mar, 2023
大型语言模型在时间序列预测方面具有明显的优势和限制，尤其在具备明确模式和趋势的数据上，LLMs 表现出色，但在缺乏周期性的数据集上面临挑战。研究发现，引入外部知识和采用自然语言改写有利于提升 LLMs 在时间序列预测中的预测性能。
Feb, 2024
本文介绍了使用预训练语言模型进行个性化新闻推荐的方法，通过离线实验结果表明，该方法在英语和全球市场上都取得了显著的点击和页面查看量的提高，关键词包括个性化新闻推荐、文本建模、预训练语言模型、新闻建模和离线实验结果。
Apr, 2021
介绍了一种称为 AdapterSoup 的方法，通过对具有不同超参数的预训练语言模型适配器进行权重平均化从而提高在新领域的性能，同时使用文本聚类等方法选择哪些适配器进行组合，有效解决了在资源受限或领域特定问题下适配器训练的实践性问题。
Feb, 2023