EMNLPAug, 2018

相关语言依存分析器之间的参数共享

PDF
TL;DR研究了如何在 10 种语言中对不同的参数共享策略进行评估，发现共享转换分类器参数会有所帮助，共享单词和字符 LSTM 参数的有用性有所不同，建议采用共享转换分类器和通过调节控制共享单词和字符参数的模型，在单语情况下获得了显着的改进，不能完全共享太多参数。
dependency parsersparameter sharingrelated languagestransition classifier parameterslstm parameters
发现论文，激发创造
  • 多语言自注意翻译模型的参数共享方法

    本论文研究了多语言神经机器翻译中参数共享技术，发现完全参数共享方法能够提高 BLEU 得分，但是对于较为不同的语言，BLEU 得分反而下降。因此，我们提出了针对局部参数共享的方法，能够显著提高翻译精度。

    Sep, 2018

  • 跨语言命名实体识别的共享网络参数

    本文中，我们提出了一种基于神经网络的模型，它允许在两种语言之间共享解码器以及单词和字符级别参数，从而使得资源丰富的语言可以帮助资源匮乏的语言，特别是在一个语言（$L_1$）中只有少量标注语料库而在另一种语言（$L_2$）中有大量标注语料库的情况下，我们的方法不需要手工特征工程，而是直接从训练数据本身学习有意义的特征表示，并在实验中展示了 4 个语言对中，在资源受限的情况下，通过在多语言数据上联合训练的模型比仅在一个语言中有限标注语料库上训𝑖练得到的模型表现更好。

    Jul, 2016

  • 理解 Transformer 中的参数共享

    通过研究深度模型中参数共享的原因，本文发现共享参数主要是通过优化训练收敛来提高模型性能。在机器翻译等任务中，我们的模型表现优异，且仅有参数共享模型一半的复杂度。

    Jun, 2023

  • Transformers 中层间参数共享经验

    提出一种参数共享方法，通过针对 Transformer 和 Universal Transformer 的参数共享策略提高计算效率，并验证其在大数据配置中的有效性。

    Apr, 2021

  • UDapter：面向真正通用依存句法分析的语言适应

    该研究提出了一种基于文本参数生成和适配器模块的新型多语言任务适应方法，该方法通过语言嵌入来学习适配器，同时在各种语言之间共享模型参数，可有效地集成现有的语言类型学特征到分析网络中，并在高资源和低资源语言中均显着优于强的单语言和多语言基线，这表明了所提出的适应方法的成功。

    Apr, 2020

  • 转移和图形依存关系分析中的深度语境化词嵌入－重访两种解析器的故事

    通过对十三种语言的依存句法分析实验进行误差分析，本文表明基于转移和基于图的依存句法分析器具有互补的优缺点，深层上下文词嵌入有利于转移依存句法分析器更好地利用其准确的局部决策，使得这两种方法在精度和误差概要方面几乎等效。

    Aug, 2019

  • 利用 LSTM 对字符而非单词建模以提升转移式句法分析

    本文介绍了一种针对形态丰富的语言的连续状态依赖解析扩展方法，使用 LSTM 循环神经网络来学习表示解析器状态，将基于查找的词表示替换为由单词的正字表示构成的表示，使用字符编码来提高解析模型的表现。

    Aug, 2015

  • 跨语言机器翻译中的词汇表不足：增加语言间表示单词的相似度

    本论文提出了一种新的共享词汇的设计方法，通过定义词级别信息传递路径和使用图网络来融合跨语言的词嵌入，避免了多语言之间文字编码的问题，实验还表明该方法在高低资源多语言机器翻译中可实现显著的 BLEU 分数改进，且只需额外训练少于 1.0％的可训练参数，计算成本增加有限。

    May, 2023

  • 提升推理效率：释放参数共享的预训练语言模型的力量

    参数共享的预训练语言模型（PLMs）已成为资源受限环境中成功的方法，在不牺牲性能的情况下显著降低了模型存储和内存成本。本文利用神经常微分方程（ODEs）构建了一种简单的技术，提高了参数共享 PLMs 的推理效率，并提出了一种简单的预训练技术，实现了更大的推理加速。实验结果证明了我们方法在自回归和自编码 PLMs 上的有效性，并对在资源受限环境中更高效地利用参数共享模型提供了新的见解。

    Oct, 2023

  • 共享超网络的 Transformer 多任务微调的参数高效方法

    本文提出了一种通过使用共享的超网络生成适配器参数来学习所有层和任务的参数高效的多任务学习框架，从而在跨任务共享知识的同时，通过任务特定的适配器使模型适应每个单独的任务，并在已知的 GLUE 基准测试中实现了多任务学习的改进性能。

    Jun, 2021