研究大型语言模型生成文本的理论和方法框架
本文通过对5000多篇学术文献的综合分析,提供了关于LLM研究的路线图,包括核心算法开发、自然语言处理任务、LLM在医学、工程、社会科学和人文学科中的应用等方面的研究趋势以及研究范式和合作模式的变化,为研究人员、从业者和决策者了解LLM研究的当前状态、影响和潜力提供了有价值的见解。
Apr, 2023
该研究探讨了大型语言模型的元语言能力,通过针对几种语言学分支的实验以及命令设计,分析了GPT-4生成元语言分析的能力及其局限性,并提供了未来的研究方向。
May, 2023
对于数据驱动的大型语言模型(LLM)的相对成功,我们认为有一些误解,因为(i)LLM不能依赖于事实信息,因为对于LLM来说,所有输入的文本(事实性或非事实性)在权重上都是一样的;(ii)由于LLM的子符号本质,这些模型对语言的所谓'知识'总是淹没在亿万微观特征(权重)中的,这些特征本身都没有意义;以及(iii)在几种语言环境中,LLM经常无法进行正确推断(例如,名词复合物、共述、量词作用域的歧视、意向性语境)。我们认为数据驱动的大型语言模型(LLM)的相对成功不是象征性与子符号性辩论的反映,而是在规模上应用自下而上的逆向工程语言的成功策略的反映,因此我们在本文中建议在符号设置中应用有效的自下而上策略,从而实现符号化的、可解释的和本体论基础的语言模型。
Sep, 2023
大型语言模型 (LLMs) 能够在不同学科领域发挥作用和限制,加强科学研究,例如通过总结大量出版物加速文献回顾,通过自动语法纠正提升代码开发,和优化科学写作过程。然而,LLMs 面临挑战,如依赖庞大且有时偏颇的数据集,以及出于使用而引发的潜在伦理困境。我们对LLMs在不同领域的影响进行重要讨论,从自然科学中帮助模拟复杂生物序列,到社会科学中解析大规模的定性数据。最后,我们提供一种细致的观点,认为LLMs既是科学进步的福音,也是其边界。
Nov, 2023
该研究论文主要讨论了关于大型语言模型(LLMs)的语言能力的关键问题,指出基于语言完整性和数据完整性的两个无根据的假设导致了关于LLMs能力的夸大和误导性说法,同时通过非行动方法论的角度提出了存在于LLMs中的三个缺失因素,即具身性、参与度和不稳定性,这些缺失因素使得LLMs在当前的架构中无法成为类似于人类的语言代理。
Jul, 2024
本文探讨了当前大型语言模型评估框架的差异性和不足之处,填补了评估方法多样性所带来的研究空白。通过对不同评估方法的深入分析,提出了更为标准化和全面的评估机制,以提升自然语言处理领域的模型评估水平。研究发现,现有框架的改进将显著推动LLMs的性能评估和实际应用。
Jul, 2024
本研究探讨了大型语言模型(LLMs)在自然语言处理和人工智能领域的快速发展,识别其影响、局限性及未来方向。研究提供了LLM发展的责任开发考虑、算法改进、伦理挑战和社会影响的全面概述,强调了其潜在的社会积极影响和伦理问题。
Sep, 2024
本研究针对大语言模型(LLMs)在学术写作和演讲中使用的词汇进行首次大规模调查,揭示了LLMs如何影响这两种主要的语言表达方式。研究发现,LLM风格的词汇在学术摘要和口头报告中更为频繁地出现,这一趋势预示着LLMs对人类社会的潜在影响将持续增长。
Sep, 2024