Dec, 2023

SimLM：语言模型能否推断物理系统的参数？

PDF
TL;DR大规模机器学习模型在语言的通用理解、翻译和生成方面的最新进展，给医学、机器人学和科学探索等多个领域带来了影响。然而，这些大语言模型因为其训练所使用的大型语料库的特点，存在无法处理一些特定问题，如高级数学。本文针对大语言模型无法进行物理任务推理的问题进行了研究，并证明了通过从物理模拟的反馈中增强它们的上下文，可以改进它们推断物理系统参数的能力，而无需重新训练。
large-scale machine learning modelsgeneral-purpose understandinglanguage generationlarge language models (llms)physics tasks
发现论文，激发创造
  • 低限制机制的物理模拟能力

    大型语言模型结合计算物理学和编程能力，能够模拟和预测物理世界，但目前的最先进模型在计算物理问题上仍具有显著的失败模式和改进空间。

    Dec, 2023

  • LLMs 是否能够推理计算？

    利用分布式网络的 “归纳学习” 方法可以提高小型语言模型的推理能力，从而弥补其依赖统计模式容易产生错误答案的局限性，并可能使其逼近高参数模型在逻辑应用上所取得的水平，从而弥合人类和大型语言模型在各个领域之间的逻辑差距。

    Feb, 2024

  • 大语言模型的同时机器翻译

    利用大型语言模型进行同传机器翻译，在训练推理不匹配的问题上引入了简单而有效的混合策略，并且通过在完整和前缀句子的混合训练上进行监督微调，实现了显著的性能改进，证明大型语言模型可以在翻译质量和延迟方面达到与专用同传机器翻译模型相当的水平。

    Sep, 2023

  • 基于大语言模型的对话式生成自动驾驶仿真场景

    本文描述了一个支持扩展多模态交互的系统，通过使用大型语言模型 (LLMs) 将用户的英语语句映射到领域特定的代码，我们探索了 LLMs 在上下文敏感性方面捕捉演算发言者意图的程度。

    Oct, 2023

  • 关于运用大型语言模型促进数学学习的三个问题

    通过研究大语言模型在教育应用中的潜力，该论文探讨了如何利用大语言模型提供适应性反馈来帮助学生学习数学，并提出了与此相关的挑战。

    Oct, 2023

  • 论大型语言模型

    本文旨在提倡对大型语言模型及其相关系统的实际工作进行重新审视，追求更高的科学精度以引领关于人工智能的哲学探索和公众话语。

    Dec, 2022

  • 使用大型语言模型进行可解释的逻辑推理的 Selection-Inference 方法

    本文对大型语言模型在逻辑推理方面进行了全面评估，提出了一种基于选择和推理的框架，可以在不进行微调的情况下改进性能，并伴随着因果自然语言推理过程的答案。

    May, 2022

  • 利用大型语言模型解决和解释物理问题：接近人类水平

    我们的研究表明，基于预训练文本的大型语言模型（LLM）不仅可以解决纯数学问题，还可以解决物理问题 - 即基于某些先前的物理知识进行计算和推理的问题。我们收集和注释了第一个物理问题数据集 - PhysQA，其中包含 1000 多个初中物理问题（关于运动学、质量和密度、力学、热学、电学）。然后我们使用 OpenAI 的 GPT3.5 生成了这些问题的答案，发现 GPT3.5 能够以零样本学习解决 49.3％的问题，以少样本学习解决 73.2％的问题。这个结果表明，通过使用类似问题及其答案作为提示，LLM 可以解决接近人类水平的初级物理问题。除了自动解决问题，GPT3.5 还可以总结问题涉及的知识或主题，生成相关的解释，并根据输入问题合成新的物理问题。我们的研究是首次在多种类型和场景下自动解决、解释和生成物理问题，我们获得了令人满意和领先水平的准确性，这表明了在中等教育领域中 LLM 进一步应用的潜力。

    Sep, 2023

  • 大型語言模型增強的機器學習分類器

    利用预训练的大型语言模型 (LLM) 对经典的监督机器学习方法进行增强，以应对分类问题，并提出了几种将 LLM 集成到经典机器学习估计器中的方法，从而进一步提高预测性能。通过标准的有监督学习二分类任务和数据分布发生变化的迁移学习任务，对所提出的方法进行了性能评估。通过对四个公开的数据集进行数值实验，结果表明利用 LLM 增强经典机器学习估计器可以显著提升预测性能。

    May, 2024

  • 大型语言模型能否学习超材料的物理学？ChatGPT 的实证研究

    在大规模语言模型（LLMs）的研究中，通过对上万份数据进行微调，我们成功构建了一种可以根据元表面几何仅仅通过文本提示就能预测一系列频率范围内的电磁光谱的 LLM 模型。与传统的机器学习方法相比，该模型在所有探索过的数据集大小上均实现了更低的误差，包括深度神经网络。此外，我们还证明了 LLM 通过提供所需的几何形状来解决反问题的能力。因此，我们建议在特定领域的大型数据集上对 LLMs 进行微调，使其能够把握该领域的细微差别，成为研究和分析的有价值工具。

    Apr, 2024