大型语言模型（LLMs）如 ChatGPT 因其通用的语言理解能力而备受关注，尤其是它们生成高质量文本或计算机代码的能力。在本文中，我们讨论它们在何种程度上可以辅助数学专家，并提供了现代语言模型中使用的变压器模型的数学描述。基于最近的研究，我们概述了最佳实践和潜在问题，并报告了语言模型的数学能力。最后，我们揭示了 LLMs 改变数学家工作方式的潜力。

Dec, 2023

通过对 950,965 篇论文进行大规模分析，我们发现大型语言模型在学术写作中的使用不断增加，尤其在计算机科学论文中增长最快（最高达 17.5%），而数学论文和 Nature 期刊的修改程度相对较低（最高达 6.3%）。此外，我们的研究发现，更多使用大型语言模型的论文往往由经常发布预印本的第一作者、研究领域较为拥挤的论文以及长度较短的论文撰写而成。这些结果表明大型语言模型在科学写作中被广泛应用。

Apr, 2024

近年来，在数学领域中，利用语言模型（LMs）取得了显著进展，本文从任务和方法论两个不同的角度对数学 LMs 进行了全面的调查和分类，揭示出大量的数学 LLMs 和超过 60 个数学数据集的应用和研究。

Dec, 2023

这篇研究论文总结了大型语言模型（LLMs）不同子类的最新发展，包括基于任务的金融 LLMs、多语言 LLMs、生物医学和临床 LLMs，以及视觉语言 LLMs 和代码语言模型。它还强调了聊天机器人和虚拟助手开发领域中的未解决问题，如增强自然语言处理、提升聊天机器人智能性以及解决道德和法律困境，旨在为对基于 LLMs 的聊天机器人和虚拟智能助手技术感兴趣的读者、开发者、学者和用户提供有用的信息和未来方向。

Jul, 2023

本研究探讨了大型语言模型在分类公共事务文件中的性能，发现 LLMs 可以有效处理和理解公共事务文件中使用的复杂语言，并可用于处理特定领域的文件，如公共事务文件。

Jun, 2023

我们评估了多种模型，包括传统机器学习模型、预训练语言模型和大型语言模型，比较它们在社交媒体健康相关自然语言处理任务中的性能。实验结果表明，使用大型语言模型进行数据增强可以获得比仅使用人工标注数据训练的模型更好的结果，并且传统的有监督学习模型在零样本设置中也表现出优于大型语言模型的性能。

Mar, 2024

基于大语言模型的知识概念标记在数学问题的自动标记任务中显示出潜力，由于其零 / 少样本学习能力，适用于教育场景中收集大规模、专业标记数据集所面临的挑战。

Mar, 2024

这篇论文介绍了一种名为 Smart Expert System 的创新方法，利用大型语言模型作为文本分类器，简化了传统的文本分类工作流程，通过评估多个大型语言模型、机器学习算法和神经网络结构在四个数据集上的性能，证明了某些大型语言模型在情感分析、垃圾短信检测和多标签分类方面超过了传统方法，并且通过少样本学习和微调策略进一步提高了系统的性能，使得微调模型在所有数据集中表现最佳。

May, 2024

使用生成的大型语言模型生成的标签对监督文本分类模型进行微调，与使用人工标注的标签相比表现相当，是一种快速、高效和经济有效的构建监督文本分类器的方法。

Jun, 2024

利用预训练的大型语言模型 (LLM) 对经典的监督机器学习方法进行增强，以应对分类问题，并提出了几种将 LLM 集成到经典机器学习估计器中的方法，从而进一步提高预测性能。通过标准的有监督学习二分类任务和数据分布发生变化的迁移学习任务，对所提出的方法进行了性能评估。通过对四个公开的数据集进行数值实验，结果表明利用 LLM 增强经典机器学习估计器可以显著提升预测性能。

May, 2024