ACLMay, 2020

深度学习中计算语言学的势不可挡的崛起

PDF
TL;DR本文追溯了神经网络在自然语言理解任务中的应用历史，指出了自然语言的特性对神经网络架构的发展的关键贡献。文章着重强调了变量绑定及其在基于注意力模型中的实例化的重要性，并认为 Transformer 不是序列模型而是一种诱导结构模型。这一视角导致了对深度学习架构在自然语言理解方面面临的挑战的预测。
neural networksnatural language understandingattention-based modelstransformerdeep learning architectures
发现论文，激发创造
  • Transformer 简介：自然语言处理视角

    介绍了 Transformer 基本概念，描述了标准 Transformer 架构，包括一系列模型细化和常见应用，主要关注有助于理解 Transformer 及其变体的概念和对该领域产生影响的关键思想，从而揭示了这些模型的优势和局限性。

    Nov, 2023

  • 神经语言模型解剖

    通过简洁明了的数学框架和清晰的图示，详细解释了神经语言模型的主要类型，包括 BERT 和 GPT2，同时讨论了在计算机视觉和时间序列应用中的转化及与自然语言处理的对比。

    Jan, 2024

  • 深度学习在自然语言处理中的应用调查

    本文简要介绍了自然语言处理领域和深度学习架构和方法，并从最近的研究中总结了大量相关贡献，对核心语言处理问题和计算语言学的多个应用进行了分析，并提供了当前技术水平的讨论和未来研究的建议。

    Jul, 2018

  • 语言模型的可视化与解释

    本文介绍了一些最流行的自然语言处理的深度学习可视化技术，并强调其可解释性和可解释性。

    Apr, 2022

  • 大型语言模型的概念与实施调查

    基于 Transformer 架构的大型语言模型（LLMs）的近期进展在自然语言处理（NLP）应用领域展示了显著的拓宽范围，超越了其在聊天机器人技术中的初始应用。本文探究了这些模型的多方面应用，重点关注 GPT 系列，对人工智能（AI）驱动工具在改变编码、问题解决等传统任务上起到的转变性影响进行了研究，同时开辟了在不同行业中进行研究和开发的新方向。从代码解释和图像描述到便于构建交互式系统和推动计算领域的发展，Transformer 模型展示了深度学习、数据分析和神经网络设计相结合的协同作用。本调查报告深入了解了 Transformer 模型的最新研究，突出了其多功能性和在实际应用领域中转型的潜力，从而为读者提供了对 Transformer-based LLMs 在当前和未来实际应用领域的全面理解。

    Mar, 2024

  • 深度学习中的句法结构

    本文介绍了现代深度神经网络在机器翻译等需要广泛语言技能的工程应用中取得的卓越性能，探讨它们是否从接触的原始数据中引导出类似于人类语法知识的思想，并讨论这些工作对理论语言学的广泛影响。

    Apr, 2020

  • 语言的深度学习易度是由什么决定的？

    通过在人工语言学习研究中复制并测试深度神经网络学习新语言的记忆和推广能力，我们在神经网络与人类之间发现了惊人的相似性，并发现结构化语言输入在提高神经网络系统化概括和记忆错误方面的效果与自然语言存在高度相关性。

    Feb, 2023

  • 深度学习下的语言演变

    计算建模对于语言的产生起着重要作用，通过模拟真实环境中可能引发结构化语言产生的条件和学习过程。本文探讨了一类最近在机器学习领域引起革命的计算模型：深度学习模型。章节介绍了深度学习和强化学习方法的基本概念，并总结了它们在模拟语言产生方面的帮助。还讨论了主要发现、限制以及近期构建逼真模拟的尝试。该章针对寻求使用深度学习作为研究语言进化工具的语言学家和认知科学家。

    Mar, 2024

  • Transformer 深度学习任务的应用综述

    本文通过详细调查从 2017 至 2022 年间提出的 Transformer 模型，分析了其在自然语言处理、计算机视觉、多模态、音频和语音处理以及信号处理等领域中的应用及其对应的任务，并提供了一种分类法，以期为进一步研究及其未来的应用提供参考。

    Jun, 2023

  • 大型语言模型的紧急自主科研能力

    本论文展示了一个结合多个大型语言模型的智能代理系统，可自主设计、规划和执行科学实验，并通过三个不同的实例展示代理的科学研究能力，最为复杂的是成功执行加催化交叉偶联反应。最后，讨论了这种系统的安全影响，并提出了防止滥用的措施。

    Apr, 2023