May, 2019

紧急通讯中的反效率编码

PDF
TL;DR研究了当两个神经网络，即 “说话人” 和 “听众” 被训练玩信号游戏时，是否会产生类似 Zipf 定律的现象，然而我们发现，这些神经网络没有按照 Zipf 定律的方式编码，即更常见的输入被分配到更长的消息中，这种反效率的编码方式对于监听者更容易进行区分，并且与人类沟通不同的是，说话人不会对简洁性施加压力，同时，当成本函数包括对更长消息的惩罚时，结果消息分布开始遵循 Zipf 定律。因此，该研究强调了在高度控制的设置中研究新兴沟通的基本特征的重要性，以确保后者不会偏离人类语言。
发现论文，激发创造
  • LazImpa：懒惰和急躁的神经智能体学会高效沟通

    在引用游戏中，我们展示出一种新的沟通系统 LazImpa，该系统可以让人工神经代理自然地形成接近最优并与 Zipf 缩写定律相兼容的通信，证明只有同时修改说话者和听者时才可能产生这种结果。

    Oct, 2020

  • 最优编码和 Zipf 定律的起源

    考虑了任意编码方案下最优编码的问题，并表明它预测了 Zipf 定律的缩写，即自然语言中更常见的词语更短。研究发现，最优非奇异编码预测词语的长度应该按其频次排名的对数增长，这与 Zipf 缩写定律一致。最优非奇异编码结合最大熵原则还预测了 Zipf 的等级 - 频率分布。最后，讨论了最优编码对 Zipf 定律及其他语言规律的构建的影响。

    Jun, 2019

  • 直接和间接证据表明单词长度压缩 —— 重访 Zipf's 缩略语定律

    本文探讨了 Zipf 定律与语言缩写的相关性，提供了广泛的证据证明这一定律适用于书面和口语，从而提供了间接证据证明压缩语言的实际存在并提出了简单公式，为度量和比较语言中词语长度的最优性打下了基础。

    Mar, 2023

  • 单词长度的优化。理论基础和实证研究

    此论文提出了一个简单的公式来度量语言词长的优化程度，并表明语言在优化方面的平均水平为 62％至 67％，声音上的语言单词持续时间的优化程度比字符中的写作长度更高。

    Aug, 2022

  • 压缩和词频 Zipf 定律的起源

    通过优化编码方法，本文提出了一种新的针对语言词频的 Zipf 定律推导方式，该推导结构类似于曼德布洛特的随机打字模型，但具有多个优点，可以启发对语言其他统计定律的研究，从而进一步解释其产生动机，如简单易懂和快速交流等。

    May, 2016

  • 深度智能体新兴通信的词序偏见

    本研究旨在发现序列处理神经网络对于 “自然” 词序约束的偏见。结果表明，神经网络倾向于避免长距离依赖，但并没有明显的偏好于高效的，非冗余的信息编码。因此我们建议在神经网络中引入 “努力程度” 的概念，以使其语言行为更像人类。

    May, 2019

  • 紧凑语言中的熵最小化

    研究神经代理在通讯任务中共同训练时出现的语言，并聚焦于两个代理一次交流的基本设置，发现这类语言呈现出信息论复杂性且受到熵极小化压力的影响。

    May, 2019

  • 多义性、简洁与词频在语言中的作用

    本文通过在英语、荷兰语和西班牙语三种语言中，以音节长度和音素长度两种新的方式来测量单词的长度，证明了在所有语言中，单词频率与多义性和缩写的趋势存在相关性。

    Mar, 2019

  • 高效符号通信码的演化

    本文探讨了人类自然语言结构如何成为相互之间交流编码演化的产物，以最大化文化不可知和跨语言度量，如反熵，压缩因子和交叉分割 F1 得分，并在超参数空间中执行元学习，通过最大化上述度量，实现自然语言学习。文中介绍了针对俄语，英语和汉语的跨语言单词级分割分词研究，以及对英语的子词分割或形态分析研究的初步结果。研究发现，从分词到分词中可以发现，这些度量驱动着语言结构，反熵更相关于英语和俄语，而压缩因子更适用于中国。对于英语词汇表的子词分割或形态分析的研究揭示了压缩和压缩因子之间存在直接联系，而惊讶的是，与反熵的相同联系却变成了相反。

    Jun, 2023

  • Lewis 的信号游戏作为 beta-VAE 用于自然词长度和分割

    这篇论文介绍了一种基于进化和计算语言学的新兴通信（EC）研究，它研究模拟中的代理人通信产生的通信协议，称为新兴语言。研究重点是通过重新解释 Lewis 的信号游戏作为 beta-VAE，并将其目标函数重新表述为 ELBO，从而阐明了新兴语言的先验分布的存在，并展示了先验的选择如何影响其统计性质。实验结果表明，选择适当的先验分布能够产生更加自然的语言片段，而常规的先验则阻止语言遵循 Zipf 法则和 Harris 语音方案。

    Nov, 2023