语言建模的形式化方面

Nov, 2023

Formal Aspects of Language Modeling

Ryan Cotterell, Anej Svete, Clara Meister, Tianyu Liu, Li Du

TL;DR大型语言模型的数学基础和实现方法对开发人员和研究人员来说都非常重要。

Abstract

large language models have become one of the most commonly deployed nlp inventions. In the past half-decade, their integration into core natural language processing tools has dramatically increased the performanc

large language models nlp natural language processing mathematical foundations implementation

发现论文，激发创造

大型语言模型调查

本文介绍了最近关于预训练语言模型（PLMs）的新进展，重点讨论了大型语言模型的预训练、适应和调整、利用和容量评估四个方面，并讨论了未来研究的问题和方向。

Mar, 2023

大型语言模型的历史、发展和原理：简介调查

综述着重探究语言模型的历史背景、发展过程、因素、原理、现有工作的局限以及未来发展方向，为广大读者提供一个可理解的综合概述。

Feb, 2024

语言与大型语言模型之间的去向问题

人工智能，自然语言处理，大型语言模型和科学模型在语言方面的应用和发展的研究。

Oct, 2023

语言建模

本文认为大型语言模型在作为语言的科学模型方面具有宝贵的科学作用，语言学研究不仅应关注语言能力背后的认知过程，还应关注语言作为外在的社会实体。通过回应一系列认为语言模型无法提供语言洞察力的论点，该文辩护了这一立场，并借鉴了科学哲学领域的最新研究，展示了大型语言模型如何能够作为科学模型的可能性。

Apr, 2024

任何可想象机制的限制之外：大语言模型与心理语言学

大型语言模型在心理语言学中扮演重要角色，因为它们是实用的工具、比较性的例证，并对重新审视语言和思维的关系具有哲学意义。

Feb, 2023

用于科学综合、推理和解释的大型语言模型

使用大型语言模型进行科学综合、推理和解释，通过从科学文献综合知识，将其应用于预测分子属性等任务，提高了当前机器学习系统的性能，并能解释其预测结果，将加速科学发现的进程。

Oct, 2023

大型语言模型八大要点

该论文调查了大型语言模型的八个潜在问题，包括其预测能力的增强，不可预测的行为的出现，对外部世界的学习和使用表示，行为引导技术的不可靠性，内部工作方式的解释困难性，性能上界不是人类任务表现，不一定表达其创建者或网络文本编码的价值观，与 LLMs 的简短交往经常是误导性的。

Apr, 2023

数学家的大型语言模型

大型语言模型（LLMs）如 ChatGPT 因其通用的语言理解能力而备受关注，尤其是它们生成高质量文本或计算机代码的能力。在本文中，我们讨论它们在何种程度上可以辅助数学专家，并提供了现代语言模型中使用的变压器模型的数学描述。基于最近的研究，我们概述了最佳实践和潜在问题，并报告了语言模型的数学能力。最后，我们揭示了 LLMs 改变数学家工作方式的潜力。

Dec, 2023

论大型语言模型

本文旨在提倡对大型语言模型及其相关系统的实际工作进行重新审视，追求更高的科学精度以引领关于人工智能的哲学探索和公众话语。

Dec, 2022

当大型语言模型遇见个性化：挑战和机遇的视角

大型语言模型在个性化中的应用、挑战和潜在利用方式的讨论。

Jul, 2023