神经语义编码器
本文介绍了两种基于 Transformer 和 CNN 模型架构的预训练多语言句子编码模型,并使用基于翻译的桥接任务学习绑定表示将 16 种语言的文本嵌入到单一的语义空间中,以提高检索效率,与最先进的语义检索、翻译检索和检索问题回答模型相竞争,并在某些情况下超越了英文单语句子嵌入模型的表现水平。
Jul, 2019
本文旨在借助神经机器翻译中的一种新方法 —— 神经语义编码器,对句子简化这一任务进行了研究,实验结果表明,该方法在不同简化数据集上的自动评估措施和人工评估方面都表现出了显著的效果。
Apr, 2018
本文提出了一种无需人工标注的数据集构建方法,使用双语文本语料来 fine-tune Transformer 语言模型,并加入一个循环池层构建出有效的特定语种句子编码器,该方法在单张图形卡上使用不到一天时间训练,在波兰语的八个语言任务上实现了高性能,超越了最好的多语言句子编码器。
Jul, 2022
本研究提出了一种名为 SDE 的多语言词典编码框架,通过字符编码和语义嵌入空间的共享来实现智能共享词汇级别信息,从而实现在低资源语言中神经机器翻译系统的多语言训练。在标准数据集上的实验表明,与强大的多语言神经机器翻译基线相比,本方法在四种低资源语言中表现出一贯的提高,并在其中一种测试语言上获得了 2 BLEU 的增益,并在所有四种语言对中实现了新的最优状态。
Feb, 2019
快速增长的多语言新闻消费者对新闻推荐系统提出了越来越高的要求,本文提出了一种基于新闻领域特定的句子编码器和迁移学习的方法来解决零样本跨语言迁移和少样本新闻推荐问题,并取得了最新的研究进展。
Jun, 2024
本研究基于深度单妻神经网络模型,将实体及其语法变化的语义信息嵌入到嵌入向量中,以实现对大型参考集的新实体实现快速映射,并在挑战性的生物实体规范化数据集中证明了框架的有效性。
Nov, 2018
本文提出一种名为 NeuSE 的神经 SE(3)等变嵌入,以支持对象 SLAM 实现长期场景变化下的一致空间理解,通过 partial object observations 生成一组潜在的物体嵌入,可以直接从推断的潜在代码中导出相对帧变换,利用 NeuSE 进行物体形状和姿态表征的 SLAM 范式,能够单独工作或与传统 SLAM 系统同时工作,并显示出改进的定位精度和可根据真实世界变化自适应的地图绘制能力,可以将其与常见的 SLAM 流水线集成。
Mar, 2023
通过使用外部内存来增强神经机器翻译中 RNN 解码器的性能,我们提出了一种名为 MemDec 的基于内容寻址的 RNN 解码器。 通过在汉英翻译任务中的实证研究,我们发现 MemDec 相对于 Groundhog 和 Moses,可以提高 4.8 和 5.3 BLEU 分数,从而在相同的训练集上获得最佳性能。
Jun, 2016
我们介绍了一个基于自监督的音频表示的简单神经编码器架构,该架构可以使用无监督对比学习目标进行训练,并通过 k - 最近邻搜索获得它的正样本,从而可以在多个语言中应用,可用于随机语音序列的按示例查询和口头术语的发现,实验证明该方法在五种语言上显著推动了技术发展,并建立了一个基准测试以便未来监测领域的进展。
Apr, 2022