Jul, 2023

在语言学领域建立一种数学扩散模型。以意大利东北方言中的德语句法特征为案例研究

HTML
PDF
TL;DR德语的语法特征在意大利东北部的罗曼语方言中的传播是一个案例研究，通过使用地理数据科学的工具产生交互式地图，表达了领土中使用德语语言特征的比例。使用一种描述二维扩散对流现象的函数，以及Schmidt的“波浪”作为扩散方程的解，可以再现真实语言扩散事件的复杂性。
发现论文，激发创造
  • Argmax流和多项式扩散: 学习分类分布

    本文介绍了生成流和扩散模型的扩展，用于类别数据，例如语言或图像分割：Argmax流和多项式扩散，并证明了该方法在文本建模和图像分割映射建模上优于现有的量化去噪方法。

    Feb, 2021

  • 印欧语系中的亚扩散语义演化

    语义演化受到多种因素的影响，但我们发现，在五种印欧语族的语言中，语义演化普遍具有强烈的次扩散特征。使用一种自动化的历时分布语义嵌入管道，我们控制底层对称性, 通过随机行走模型, 发现词在意义空间中遵循随机轨迹， 并呈现出 anomalous subdiffusive 特性。我们发现保留变化方向中的时间相关性是必要的，同时变化尺度的相关性也发挥着重要作用。我们进一步表明，强次扩散是一种具有许多数据分析和解释选择的稳健现象。

    Sep, 2022

  • 类别数据的连续扩散

    本文介绍了CDCD框架，该框架是一种对分类数据进行扩散建模的方法，同时保持了连续时间和输入空间的特性，并在多个语言建模任务中证明了其有效性。

    Nov, 2022

  • 五种印欧语言词汇流量的统计分析

    这篇研究利用谷歌图书 Ngram 数据集分析了英语、法语、德语、意大利语和西班牙语之间单词的流动情况，并研究了一类称为“移民词”的借词现象，发现大部分移民词可归类到语义领域，并与历史事件相关联。研究积累移民词的统计特性、排名动态，提出了一种可用作文化影响代理的移民词使用量度量方法，并鼓励展开进一步研究。

    Jan, 2023

  • NLP中的扩散模型：一项调查

    本文对自然语言处理中的扩散模型进行了全面的综述，讨论了不同的模型形式、优势和局限性，以及自然语言生成、情感分析、主题建模和机器翻译等应用。与自回归模型相比，扩散模型具有在生成、插值、令牌级控制和鲁棒性方面的显着优势。未来的研究方向包括把Transformers和扩散模型更深层次的结合，发展具有优秀的few-shot learning能力的多模态扩散模型和大规模扩散语言模型。

    May, 2023

  • SSD-2: 扩展和推断时间融合的扩散语言模型

    通过研究和提出Diffusion-based language models的新方法，我们成功将SSD-LM模型从0.4B扩展至13B参数，同时提高了其训练和推断的效率，并能够根据指令进行微调，与自回归LM相比，Diffusion-based language models在双向上下文方面的合作更加有效，从而提高了模型响应的质量和相关性。

    May, 2023

  • 基于似然的扩散语言模型

    该研究基于算法改进和计算资源扩展来提升扩散式语言模型，成功构建了一款表现优于已有模型的大规模扩散语言模型 Plaid 1B。

    May, 2023

  • 透过黎曼几何解读扩散模型的潜空间

    通过拉回度量和几何角度的分析，本文首次提出了通过潜空间遍历实现图像编辑的方法，并对扩散模型的潜空间结构进行了深入研究。

    Jul, 2023

  • 探索方言连续体的历时变化和地域变化：任务、数据集和挑战

    通过系统地回顾历时变化和地域变化的论文，我们对斯拉夫语、罗曼语和日耳曼语三个语言家族中五种方言的口语和书面语模式下的九个任务和数据集进行了关键评估，同时提出了关于方言使用变化、方言数据集的可靠性、说话者特征的重要性、方言覆盖范围的限制以及数据收集中的伦理考虑等五个挑战，希望我们的工作能为未来研究提供关于包容性计算方法和语言方言的数据集。

    Jul, 2024

  • 熵、热力学与语言模型的几何化

    本研究解决了语言模型研究中的数学和物理应用问题，通过集合论和分析法对语言模型进行严格定义，提出分布的模空间概念。研究发现，熵函数的零点以及接近零点的情况是大型语言模型(LM)逼近智能语言模型的关键障碍，并提出了该领域的重要猜想，拓展了我们对语言模型的理解。

    Jul, 2024