Jun, 2024

学习阈值导致语言共存的稳定性

PDF
TL;DR该研究提出了一种语言竞争模型，该模型充分考虑了记忆和学习对语言转移动态的影响，通过使用 Abrams-Strogatz 模型作为起点。模型以讲话者比例的阈值来表达记忆和学习的效应，在最简单的形式下，该模型是可解的。除了两种语言中的共识外，该模型还描述了 Abrams-Strogatz 模型中不存在的其他平衡状态：如果两个阈值都足够低，使得两个相反方向上的语言转移过程相互抵消，将出现两种语言的稳定共存；同时，当这两个阈值对于任何语言转移来说都太高时，将出现与初始状态相符的冻结状态。我们通过数值模拟证明了这些结果在阈值函数形状更一般的情况下仍然成立。
发现论文，激发创造
  • 多智能体系统中共享词汇的尖锐转变

    本文研究了一种基于微观模型的自主通信代理进行语言游戏的方法，研究表明此系统经历了一次无序 / 有序的相变并达成共识，这不仅解释了为什么人类语言可以扩展到非常大的人群，而且还提供了优化人工符号动力学的方法。

    Sep, 2005

  • 具有两个非排斥选项的排序动态：语言竞赛中的双语能力

    此文研究了改良的 Voter Model 在不同网格和小世界网络中的排列和界面平滑动力学，重点考虑了混合 AB 状态的代理人在过程中所起的作用并与原 voter model 进行比较。

    Sep, 2006

  • 大语言模型中的阶段转变的简单解释与列表译码

    大型语言模型的性能表现呈现阶段性转变现象，此现象存在临界阈值与传染疾病的基本再生数量相关。采用列表解码器可有效控制候选序列的数量。

    Mar, 2023

  • 抽象学习者学习语义语言的数学理论

    利用密度演化分析，我们提出了一种数学理论来解释学习技能的产生，当训练文本的大小与技能数量的比例超过一定阈值时，展示了学习技能的出现。在训练完成后，我们提出了一种语义压缩方法，并讨论了其在语义通信中的应用。

    Apr, 2024

  • 大语言模型中涌现能力的潜空间理论

    本文研究表明，通过使用大数据和大模型训练的 LLMs 可以准确评估语言的边际分布，并利用这一分布进行贝叶斯推理来分析语言间的稀疏结构，从而提高语言理解、上下文学习、思维链引导和有效指导的能力。

    Apr, 2023

  • 语言转变下的持续学习研究

    对于语言模型的预训练，更新模型而不是完全重新训练，可以在新数据不断增加时提供显著的收益。本文研究了在语言转移的情况下，当新的数据来自新的语言时，更新语言模型的利与弊。通过将挪威语和冰岛语等数据逐步添加到单语英语语言模型中，我们研究了不同模型规模和学习率计划者的前向传递和后向传递的影响，并发现前向传递主要是积极的且与语言顺序无关，而后向传递则取决于新语言的顺序和特点而可能是积极的或消极的。为了解释这些模式，我们探索了几种语言相似性度量，并发现句法相似性与我们的结果有最好的相关性。

    Nov, 2023

  • 语言模型中复杂技能的出现理论

    通过对语言模型的参数集和训练语料库进行扩展，可以产生新的技能，该现象对于 AI 产品的发展具有重要推动作用。本文采用简单的统计框架和知名的扩展定律分析了新技能的出现，揭示了预训练模型在学习过程中的高效性。

    Jul, 2023

  • 双塔语言模型中的自发出现偏好

    本文通过研究双塔语言模型设置中出现的自发性偏好现象，发现语言过程具有内在属性，为将来的自然语言处理技术的发展提供了参考。

    Oct, 2022

  • 语言熟悉度效应是否逐渐出现？一种计算建模方法

    该研究提出一种计算模型来研究母语者较易发现其母语的讲话者的语言熟悉度效应，并发现语言家族间的语言距离会对该效应产生影响。

    Jun, 2022

  • 竞争门限模型的可学习性

    本研究从理论角度研究了竞争阈值模型的可学习性，并证明了基于有限 VC 维度的人工神经网络能够无缝地对竞争阈值模型进行仿真，从而实现了分析样本复杂度和泛化界限。我们设计了有效的算法，并将理论洞见最终转化为实用和可解释的建模方法，其有效性通过几个合成和真实数据集的健全性检查得到验证。实验结果有希望表明，我们的方法不使用过多数据点便可以获得相当不错的性能，并且胜过现成的方法。

    May, 2022