Jul, 2024

ELCC：紧急语言语料库收集

HTML
PDF
TL;DR我们引入了Emergent Language Corpus Collection（ELCC）：这是一系列从文献中的开放源代码实现的自发语言系统收集的语料库。该语料库包括各种信号游戏环境以及更复杂的任务，如社交推理游戏和体现导航。每个语料库都使用元数据进行注释，描述源系统的特性以及语料库的一系列分析（例如大小，熵，平均消息长度）。目前，研究自发语言需要直接运行不同的系统，这会减少对这种语言进行实际分析的时间，限制了研究的语言多样性，并对没有深度学习背景的研究人员构成了进入障碍。因此，具有大量良好文档化的自发语言语料库的可用性将使得研究能够以自发语言本身的特性为重点，而不是实验装置。
发现论文，激发创造
  • 自然语言和量化语言统计分析的标准化古腾堡语料库

    本文介绍了标准化项目古腾堡语料库（SPGC），这是一个由超过50000本书组成、包含30亿词组标记的项目古腾堡数据的版本，旨在解决PG缺乏共识版完整版本并考虑其对文学研究的影响。我们公开了详细的方法论以及用于处理数据的代码和三个粒度的PG数据，使其成为语料库、自然语言处理和信息检索新的科学资源。

    Dec, 2018

  • 语言产生的内部和外部压力：最小化努力、对象恒常性和频率

    本文提出几种对人工代理人进行沟通的现实压力,经过广泛的分析表明,这种压力导致出现了具有较少冗余,更多关注于高级概念信息和更好的泛化能力的新兴语言,从而缩小了新兴语言和自然语言之间的差距。

    Apr, 2020

  • Samanantar: 11种印度语言最大的公开并行语料库收集

    介绍了Samanantar，这是最大的公共平行语料库集合，包括英语和11种印度语言之间的 49.7 百万句子对，同时提取自公共平行语料库和网络，并在Samanantar上训练多语种 NMT 模型，从而在公开可用的基准测试上优于现有模型和基准线，希望能够推进印度语言的NMT和多语种NLP研究。

    Apr, 2021

  • 为促进语言科技的多样性，构建和维护对话语料库

    提供了分析流程和最佳实践准则来构建和策划日常会话语料库，并开发了质量控制方法。通过两个案例研究展示了会话数据的广泛实用性，并讨论了语言多样性会话语料库对语言科学和语言技术的强有力的经验基础。

    Mar, 2022

  • 通过语料库迁移将新兴语言和自然语言链接起来

    本研究提出使用预训练在不同语言上的涌现语料库来解决语言涌现问题并在模拟自然语言下游任务的效果，评估不同指标识别涌现语言的可转移性。

    Mar, 2022

  • 关于紧急语言系统性研究的建议

    本文介绍Emergent Language的系统研究方法，区分科学和工程两种目标，分析了目前的探索性研究并推荐如何应用科学和工程的核心方法论要素。

    Jun, 2022

  • 学会交流，学会翻译

    本文中，我们提出并测试了一种使用Emergent Communication技术，以先前预训练好的多语言模型来改进现代无监督机器翻译系统的方法，特别是对于语料库数据量很小的语言，我们将现代多语言模型嵌入到了一个以视觉为基础的语言游戏中，并通过一个共同目标的任务去训练模型，证明此方法能够提高翻译表现，特别是对波斯语和僧伽罗语这样语言数据量很小的语言有很大的帮助。

    Jul, 2022

  • Lewis的信号游戏作为beta-VAE用于自然词长度和分割

    这篇论文介绍了一种基于进化和计算语言学的新兴通信（EC）研究，它研究模拟中的代理人通信产生的通信协议，称为新兴语言。研究重点是通过重新解释Lewis的信号游戏作为beta-VAE，并将其目标函数重新表述为ELBO，从而阐明了新兴语言的先验分布的存在，并展示了先验的选择如何影响其统计性质。实验结果表明，选择适当的先验分布能够产生更加自然的语言片段，而常规的先验则阻止语言遵循Zipf法则和Harris语音方案。

    Nov, 2023

  • 概念最佳匹配:评估新兴沟通中的组合性

    通过找出新出现的词和自然语言概念之间的最佳匹配，我们提出了一种评估新兴的通信的组成性的方法，这是第一次提供新出现词和人类概念之间直接可解释的映射。

    Mar, 2024

  • PECC：问题提取与编码挑战

    通过PECC我们引入了一个新的基准，从Advent of Code (AoC)和Project Euler派生，旨在评估大型语言模型对嵌入式问题的理解和生成可执行代码的能力，进而成为通用问题解决器。

    Apr, 2024