May, 2024

利用图书馆学习找出表意文字书写中的结构

PDF
TL;DR人类语言的一个特点是组合性 —— 通过重复使用相对较小的基本单元，创建出较为庞大、越发复杂的结构。本文探索了语言中组合性反映了人类对符号系统中表现效率的归纳偏见这一观点。我们使用先进的库学习和程序合成技术，开发了一个计算框架来发现一种写作系统中的结构。计算框架在中国的写作系统中发现了已知的语言结构，并揭示了系统在表现效率的压力下向简化方向演化的过程。我们演示了如何通过利用学到的抽象和压缩的图书馆学习方法，揭示出构成人类认知中组合结构创造的基本计算原则，并对有效沟通系统的演化提供更广泛的见解。
发现论文，激发创造
  • 表意文字信息帮助学习自然语言推理的更好表示

    本文通过自然语言推理任务探讨提供语言模型与既有表意图形（glyph）信息相结合的多模态特征，在语义表示学习中获得更好的性能，表明在使用表意文字的语言中，特别是对于使用频率较低的词，使用多模态嵌入有显著效果。

    Nov, 2022

  • 从顺序信息处理的瓶颈中获取语言结构

    人类语言是一种独特的自然界沟通方式，其系统性在于信号可以分解为词汇并通过一种规则方式组合成句子，且通过最小化过剩熵的方式实现自然语言一致性，进而达到高效的沟通和信息处理。

    May, 2024

  • 组合结构的终身学习

    将组合学习和终身学习结合，提出一种通用的处理流相关任务的终身组合学习框架，包括两个阶段：学习如何更好地组合现有组件以同化新问题和学习如何适应现有组件集以容纳新问题。

    Jul, 2020

  • 高效符号通信码的演化

    本文探讨了人类自然语言结构如何成为相互之间交流编码演化的产物，以最大化文化不可知和跨语言度量，如反熵，压缩因子和交叉分割 F1 得分，并在超参数空间中执行元学习，通过最大化上述度量，实现自然语言学习。文中介绍了针对俄语，英语和汉语的跨语言单词级分割分词研究，以及对英语的子词分割或形态分析研究的初步结果。研究发现，从分词到分词中可以发现，这些度量驱动着语言结构，反熵更相关于英语和俄语，而压缩因子更适用于中国。对于英语词汇表的子词分割或形态分析的研究揭示了压缩和压缩因子之间存在直接联系，而惊讶的是，与反熵的相同联系却变成了相反。

    Jun, 2023

  • 语言的几何学

    本文从几个角度综合了各种主张，提出了一种独特的语言学派，将数学几何观点引入到语法中，描述了一种基于几何学的机制，用于解释人类语言里的显著特征，并提出了一种新型的匹配方法，利用代表单词的标记链来形成句子，并匹配语法词序。最终得到的二维和三维结合体为以往传统语法体系难以准确描述的语言规则提供了一种新视角。

    Mar, 2023

  • 从有关对象结构的语言中识别概念库

    本文研究了通过自然语言描述进行搜索的问题，结果发现人们命名部分概念存在信息理论抉择，偏向能够简明描述每个对象，同时最小化词汇量。

    May, 2022

  • 关于句法结构的出现：量化和建模规律双重性

    本文介绍了一个用来量化语言中组合性和组合能力水平的框架，通过模拟人为语言游戏来证明 Blending Game 理论能够解释语言中的无意义形式的组合和构成过程。

    Feb, 2016

  • 深度表示中的语言结构类比

    通过比较编码器生成的消息向量的真值条件表示与人类生成的指称表达式，我们发现神经表示能够自发地开发出具有功能类似于自然语言定性属性的 “语法”，并从这些对齐的（向量，话语）对中搜索结构化关系，以发现对应于否定、连词和析取的简单向量空间变换。

    Jul, 2017

  • 语言的深度学习易度是由什么决定的？

    通过在人工语言学习研究中复制并测试深度神经网络学习新语言的记忆和推广能力，我们在神经网络与人类之间发现了惊人的相似性，并发现结构化语言输入在提高神经网络系统化概括和记忆错误方面的效果与自然语言存在高度相关性。

    Feb, 2023

  • 神经网络求解数学问题中出现了组合处理

    本文探讨了人类学习机制中的组合性问题，并扩展了先前针对自然语言的神经网络研究到数学推理领域。研究发现，神经网络不仅能够学习到训练数据中的结构关系，而且能够将这些知识用于指导复合意义的组合。

    May, 2021