Dec, 2019

将机器语言模型推广至人类水平的语言理解

PDF
TL;DR语言是理解和交流情境的关键，而语言处理系统使用类似人脑的神经网络以及查询注意力等方法来提高其能力，但当前的模型主要集中在内部语言任务上，限制其理解情境的能力，因此需要未来的模型应用认知神经科学和人工智能来扩展理解任务。
languageneural networkscontext-sensitive processingquery-based attentioncognitive neuroscience
发现论文，激发创造
  • 人工神经网络对人类语言习得的启示

    通过使用机器学习及自然语言处理技术，研究语言习得过程，探讨如何让模型学习在有限的语言输入下获取语言知识，以验证关于人类语言学习本质的假说。

    Aug, 2022

  • 语言认知与语言计算 —— 人类和机器的语言理解

    语言理解是认知科学和计算机科学领域的关键科学问题。本文比较了认知科学和计算机科学在语言理解方面的不同研究问题和方法，并探讨如何将两个领域的洞见结合起来，为构建智能语言模型和研究语言认知机制提供新的启示和展望。

    Jan, 2023

  • 研究人类大脑句子理解的深度学习模型

    回顾了和人脑活动相关的人工语言模型研究，发现人工神经网络中单词意义的神经表征与其使用的密集词向量高度吻合，并且人工神经网络内部的处理层次与人脑有相似之处，但是依据研究的不同而有所不同。因此，建立人工神经网络作为自然语言理解过程模型的当前挑战之一是利用其高度结构化的表征几何来映射表征到脑数据。

    Jan, 2023

  • 教授计算机自然语言

    本文探讨了计算机与程序员所涉及的类似语言应用程序所涉及的模式，并旨在调整我们的问题以更好地说明上下文、自我意识和具体化。

    Apr, 2016

  • 不欺骗图灵测试：朝向人工智能的基于实证的语言学习

    研究自然语言理解在人工智能领域的挑战，结合认知科学、 心理学、思维哲学和认知语言学的见解，评估目前的方法和挑战。

    Jun, 2022

  • 会话式人工智能的口语理解：近期进展和未来方向

    该论文讨论了使用深度学习技术进行自然语言理解的联合任务，包括意图检测和槽填充，介绍了 Spoken Language Understanding/Natural Language Understanding（SLU/NLU）技术和用于解决该问题的最新自然语言处理和深度学习技术，以及如何提高性能的一些方法。

    Dec, 2022

  • AI 大语言模型理解问题之争

    研究人工智能中对大规模预训练语言模型是否在任何重要意义上可以称为 “理解” 语言，以及对应的关键问题和新的智能领域的发展。提出一种新的智能科学来提供关于知识的不同模式，以及它们的优势和限制，以及融合不同形式认知的挑战的见解。

    Oct, 2022

  • 自然语言理解系统的理解和评估

    本文通过对最新的自然语言理解系统的语言能力进行批判性分析，认为这些系统具备人类语言学习和处理的重要方面，但同时缺乏关键的解释和推论技能，除非它们被结构化知识和利用语言使用能力所整合，否则难以实现这些技能。

    Mar, 2023

  • 利用大脑的自然语言处理能力解释和改进机器的自然语言处理

    提出了一种新颖的解释方法，利用人脑阅读复杂自然文本时的脑成像记录来解释最新的四个 NLP 模型 ——ELMo、USE、BERT 和 Transformer-XL 中的词和序列嵌入，研究它们在层深度、上下文长度和注意类型之间的差异，并推测改变 BERT 以更好地对齐脑成像记录将使其更好地理解语言。

    May, 2019

  • 我们是否已经建造出像人一样思考的机器？

    通过一系列的实验，我们评估了当前基于视觉的大型语言模型在直觉物理、因果推理和直观心理领域的表现。我们的研究结果表明，尽管这些模型在处理和解释视觉数据方面表现出显著的能力，但在这些领域仍然不如人类。这些模型对物理定律和因果关系有基本的理解，但缺乏更深入的洞察力 - 人类认知的一个关键方面。此外，在需要直觉心理理论的任务中，这些模型完全失败。我们的结果强调了将更强大的理解因果关系、物理动力学和社会认知机制整合到现代基于视觉的语言模型中的必要性，并指出了认知启发式评估标准的重要性。

    Nov, 2023