May, 2023

大型语言模型时代NLP研究中的博士生视角

HTML
PDF
TL;DR近期大型语言模型的进展已经使得许多生成性NLP应用程序得以部署，同时也导致了一个误导性的公共话语，“所有问题都已经解决了”。同时，此也引起了许多NLP研究者，特别是初入行者，对于他们应该专注于哪个NLP研究领域产生了怀疑。本文档汇编了许多丰富的NLP研究方向，反映了学术研究实验室中不同博士生的观点。虽然我们确定了许多研究领域，但许多其他领域也存在。我们不涵盖那些当前由LLMs解决但在LLMs的性能落后的领域，以及那些专注于LLM的发展的领域。欢迎提出包含在内的其他研究方向：
发现论文，激发创造
  • 自然语言处理中的Square One Bias：走向研究流形的多维探索

    研究人员发现大多数自然语言处理research papers只关注一个维度，如准确性、公平性或可解释性，但忽略其他维度。作者建议在未来的研究中更加关注多维度，以充分利用自然语言处理研究的巨大潜力，同时提供了相关研究的开源分类结果。

    Jun, 2022

  • 2017年至2023年大型语言模型研究的文献计量学综述

    本文通过对5000多篇学术文献的综合分析，提供了关于LLM研究的路线图，包括核心算法开发、自然语言处理任务、LLM在医学、工程、社会科学和人文学科中的应用等方面的研究趋势以及研究范式和合作模式的变化，为研究人员、从业者和决策者了解LLM研究的当前状态、影响和潜力提供了有价值的见解。

    Apr, 2023

  • 注意你的语言模型：对LLMs及其在NLP研究与实践中的事实核实

    这篇文章提供了大型语言模型（LLMs）的定义，阐述了相关功能的假设，并概述了支持和反对它们的现有证据，最后给出了未来研究方向和其框架的建议。

    Aug, 2023

  • 定义一个新的NLP游乐场

    该论文旨在通过提出20多个研究方向，涵盖理论分析、新问题、学习范式和跨学科应用，来定义一个新的自然语言处理（NLP）研究领域。

    Oct, 2023

  • 大语言模型新时代：先悲剧，后解析，历史再次重演

    自 2005 年开始的大型 $n$-gram 模型时代，我们从历史角度寻求灵感，以指导 NLP 研究人员在 LLMs 升级的领域继续做出有意义的贡献，并确定了第一个时代的持久教训，包括硬件进步塑造规模的可用性和重要性的首要性，自动化和人工的质量评估迫在眉睫的挑战，数据仍然是许多有意义应用的瓶颈问题，基于实际使用的有意义评估仍然是一个未解决的问题，以及仍然有空间进行猜测性方法。

    Nov, 2023

  • 大型语言模型的历史、发展和原理：简介调查

    综述着重探究语言模型的历史背景、发展过程、因素、原理、现有工作的局限以及未来发展方向，为广大读者提供一个可理解的综合概述。

    Feb, 2024

  • 由学徒到研究助理：大型语言模型推动研究

    通过文献综述和第一手实验，本文研究了大型语言模型（LLMs）的潜力。尽管LLMs具有成本效益和高效性等优点，但也存在着诸如提示调优、偏见和主观性等挑战。该研究通过利用LLMs进行定性分析的实验提供了新的见解，强调了成功和限制。此外，本文还讨论了缓解挑战的策略，如优化提示技术和利用人类专业知识。我们的工作旨在将LLMs有机地融入人机交互数据工作，并积极促进其负责任的应用，以此回应关于LLMs在研究中负责任应用的持续对话。

    Apr, 2024

  • 大型语言模型遇上自然语言处理: 一项调研

    大语言模型在自然语言处理任务中的应用及未来发展潜力的研究，包括LLMs的当前进展，应用领域的分类，新研究前沿以及相关挑战。

    May, 2024

  • 大型语言模型能否生成新颖的研究创意？一项涵盖100多名自然语言处理研究者的大规模人类研究

    本研究解决了大型语言模型（LLMs）在生成新颖、高水平研究创意方面的能力不足的问题。通过对100多名自然语言处理研究者进行实验设计，我们首次对LLM和人类创意进行了头对头的比较，发现LLM生成的创意在新颖性上被评判为优于人类专家的创意。研究还揭示了构建和评估研究代理面临的开放问题，并提出进一步研究的必要性。

    Sep, 2024

  • 学术领域的转变：大型语言模型对计算机科学以外学术领域的影响

    本研究针对大型语言模型（LLMs）在非计算机科学领域的影响进行了系统性分析，填补了相关研究的空白。通过对$106$个LLMs和约$148,000$篇引用LLMs的论文进行定量分析，发现自2018年以来，LLMs在语言学和工程等领域的使用频率显著上升，并揭示了这些领域大多采用无需进一步微调的任务无关型LLMs来解决特定问题。本研究揭示了LLMs在跨学科研究中的重要性和潜在影响。

    Sep, 2024