Oct, 2020

面向语言学习者的跨语言定义生成

PDF
TL;DR本文提出一种基于预训练语言模型的简单有效的方法，用于学习英文单词在各种语言中的定义，并在新构建的数据集上进行了实验和手动分析，结果表明，我们的模型具有良好的跨语言转移能力，可以为汉语单词产生流畅的英文定义，而且生成的定义比参考文献中的定义简单，更适合语言学习者。
发现论文，激发创造
  • 协助语言学习者：对比提示学习实现的自动跨语言定义生成

    该研究提出了一个新的任务 —— 跨语言定义生成（TLDG），并发现 fine-tuning 多语言机器翻译模型时方法被显著优化，并得到了更高质量的跨语言定义生成。

    Jun, 2023

  • 基于预训练的跨语言自然语言生成

    本文使用序列到序列模型进行自然语言生成任务，使用预训练的方法并将编码器和解码器用于单语和跨语言，实现零 - shot 跨语言转移、提高低资源语言的 NLG 性能。

    Sep, 2019

  • 跨语言语言模型预训练

    本文提出了两种跨语言学习模型的方法 (XLMs): 一种是仅依赖于单语数据的无监督方式， 另一种是利用新的跨语言模型目标并使用平行数据的有监督方式。通过这些方法在跨语言分类、无监督和有监督机器翻译中取得了最先进的结果。

    Jan, 2019

  • 为什么零 - shot 跨语言生成会失败？原因和解决方案

    本研究针对零样本跨语言转移中生成任务的中文输出质量不高、甚至有时会输出错误语言的问题，提出了一种用于正则化模型的简单方法和一种用于在不需要目标语言开发集的情况下选择模型检查点的方法，实验证明该方法使得 ROUGE-L 分数平均提高 1.5，同时将意外翻译问题减少了 68%。

    May, 2023

  • 使用双语词典进行标注低资源语言的模型转移

    本研究提出了一种新颖的基于跨语言词向量的神经网络模型，通过高覆盖的双语词典训练，利用跨语言模型转移的方法，针对低资源语言的注释预测问题提出了解决方案，并通过多种主动学习启发式方法，提升了该方法的性能。

    May, 2017

  • LexGen：领域感知的多语言词典生成

    提出了一个新模型来生成多领域环境下六种印度语言的词典词汇，该模型包括特定领域和通用领域层，通过可学习的路由技术调用这些层，同时还提出了一种利用这些印度语言之间相关性实现连贯翻译的方法。还发布了一组跨越八个不同领域的六种印度语言的基准数据集，以促进进一步的领域特定词库归纳研究，并在多个领域进行了零样本和少样本实验，展示了我们提出的模型在泛化到未见领域和未见语言上的效果。

    May, 2024

  • 跨语言词汇适应的实证研究：高效生成式 LLM 推理

    对五种生成式大型语言模型进行了实证研究，探讨了跨语言词汇适应方法对提高模型推理效率的有效性，发现跨语言词汇适应可大幅提升模型推理速度高达 271.5%，同时适应更平衡的多语种数据可以使下游性能接近原始模型。

    Feb, 2024

  • 学习表示双语词典

    该研究提出了一种神经嵌入模型，利用双语词典将文字定义映射到双语目标词汇，探索不同的句子编码技术以及采用多任务学习和联合学习等关键学习策略来增强学习过程，实验结果表明，该模型在跨语言反向字典检索任务和双语释义识别问题上表现优异，并有效地解决了双语释义识别问题。

    Aug, 2018

  • 流畅引导下的跨语言图像字幕生成

    本研究旨在建立一种跨语言图像描述模型，使用机器翻译的句子进行训练并通过流利度引导的学习框架提高生成的中文标题的流畅性和相关性，取得了显著成效。

    Aug, 2017

  • 一种简单而有效的方法来提高零样本跨语言迁移学习

    本文提出一种无监督的跨语言嵌入转换方法，其中使用 Embedding-Push、Attention-Pull 和 Robust targets 来处理语言嵌入之间的聚类差异，以提高跨语言转换的可靠性。 实验结果表明，该方法在零 - shot 跨语言文本分类任务上取得显着优于以往的工作，可以获得更好的多语言对齐。

    Oct, 2022