Jun, 2023

高效符号通信码的演化

PDF
TL;DR本文探讨了人类自然语言结构如何成为相互之间交流编码演化的产物，以最大化文化不可知和跨语言度量，如反熵，压缩因子和交叉分割 F1 得分，并在超参数空间中执行元学习，通过最大化上述度量，实现自然语言学习。文中介绍了针对俄语，英语和汉语的跨语言单词级分割分词研究，以及对英语的子词分割或形态分析研究的初步结果。研究发现，从分词到分词中可以发现，这些度量驱动着语言结构，反熵更相关于英语和俄语，而压缩因子更适用于中国。对于英语词汇表的子词分割或形态分析的研究揭示了压缩和压缩因子之间存在直接联系，而惊讶的是，与反熵的相同联系却变成了相反。
natural language structureevolutioninter-personal communication codeunsupervised language learningcross-lingual word-level segmentation
发现论文，激发创造
  • 无监督跨语言分词的自调参数

    该研究探讨了对于英语、俄语和汉语的无监督分词问题可行的元学习方法，通过实现基于不同人类独立健身函数的元学习方法以及三个度量的加性和乘性组合来测试不同语言的无监督分词模型并找到了适合每种语言的最佳设置。

    Mar, 2023

  • 从顺序信息处理的瓶颈中获取语言结构

    人类语言是一种独特的自然界沟通方式，其系统性在于信号可以分解为词汇并通过一种规则方式组合成句子，且通过最小化过剩熵的方式实现自然语言一致性，进而达到高效的沟通和信息处理。

    May, 2024

  • 紧急通讯中的反效率编码

    研究了当两个神经网络，即 “说话人” 和 “听众” 被训练玩信号游戏时，是否会产生类似 Zipf 定律的现象，然而我们发现，这些神经网络没有按照 Zipf 定律的方式编码，即更常见的输入被分配到更长的消息中，这种反效率的编码方式对于监听者更容易进行区分，并且与人类沟通不同的是，说话人不会对简洁性施加压力，同时，当成本函数包括对更长消息的惩罚时，结果消息分布开始遵循 Zipf 定律。因此，该研究强调了在高度控制的设置中研究新兴沟通的基本特征的重要性，以确保后者不会偏离人类语言。

    May, 2019

  • 利用图书馆学习找出表意文字书写中的结构

    人类语言的一个特点是组合性 —— 通过重复使用相对较小的基本单元，创建出较为庞大、越发复杂的结构。本文探索了语言中组合性反映了人类对符号系统中表现效率的归纳偏见这一观点。我们使用先进的库学习和程序合成技术，开发了一个计算框架来发现一种写作系统中的结构。计算框架在中国的写作系统中发现了已知的语言结构，并揭示了系统在表现效率的压力下向简化方向演化的过程。我们演示了如何通过利用学到的抽象和压缩的图书馆学习方法，揭示出构成人类认知中组合结构创造的基本计算原则，并对有效沟通系统的演化提供更广泛的见解。

    May, 2024

  • 紧凑语言中的熵最小化

    研究神经代理在通讯任务中共同训练时出现的语言，并聚焦于两个代理一次交流的基本设置，发现这类语言呈现出信息论复杂性且受到熵极小化压力的影响。

    May, 2019

  • 深度词汇假说：自然语言中的人格结构识别

    该论文介绍了一种从语言模型中提取形容词相似性的方法，这种方法可以应用于几十种语言，涵盖上万个项目，在历史文本中进行分析，成本极低。通过该方法，可以更加接近词汇假设的原始（语义）视觉。

    Mar, 2022

  • 结构化语言模型

    本文提出一种语言模型，其利用句法结构从单词历史中提取有意义的信息，实现了远距离依赖关系的利用。该模型为每个单词序列 - 二元分析结构分配概率加以注解，同时提出了概率参数化和一组评估其预测力的实验。

    Nov, 1998

  • 自然交流的优化模型

    该研究回顾了信息论模型及其能量函数和心理语言学、语言学习、信息论和协同语言学对该模型的评价，发现其能够解释 Zipf 定律、语音学习接受度偏好、对比原则、词汇学学习倾向和词汇识别次数定律，并且该模型的能量函数可以通过自组织来调整。

    Dec, 2014

  • 利用分层 Transformer 深入理解混合编码语言语义

    采用分层变压器的架构（HIT）学习混合代码语言的语义和语法结构，在 17 个数据集和 9 个自然语言处理任务中，HIT 模型都表现出超越最先进的代码混合表示学习和多语言模型的性能。

    Apr, 2022

  • 紧急沟通：了解人类语言演化还缺什么？

    探讨了人类和神经网络代理之间新兴通信协议的三个重要现象，包括学习容易性、泛化和群体规模影响，强调了认知和交际限制对语言结构的影响，在神经仿真中引入此类限制将促进更语言上可信的行为。

    Apr, 2022