Mar, 2024

增强的自动语言预测与字典胶囊 —— 一种新的方法

PDF
TL;DR提出了一种新颖的自动语言预测字典胶囊 (ALPDC) 框架，用于语言预测和机器翻译，该模型结合神经网络和符号表示来预测给定输入文本的语言，并使用预构建的字典将其翻译成目标语言。该研究工作还旨在将各种语言的文本翻译为英文的字面含义。该提出的模型在多个基准数据集上取得了最先进的结果，并与现有方法相比显著提高了翻译准确性。结果显示了该方法在多语言交流和自然语言处理任务中的潜力。
发现论文，激发创造
  • AutoCAP：面向零 - shot 思维链的自动跨语言对齐规划

    介绍了一种自动跨语言对齐规划（AutoCAP）方法，旨在解决当前跨语言推理方法中的两个主要挑战：手动语言规定和静态权重分配，AutoCAP 包括自动语言选择提示和自动权重分配提示两个核心组件，通过广泛实验验证了其在多个基准测试中取得了领先的性能，超过了之前需要人工操作的方法。

    Jun, 2024

  • 使用查询引导的胶囊网络增强上下文建模，用于文档级翻译

    本文介绍了一种基于查询引导下的胶囊网络的上下文建模方法，来帮助文档级神经机器翻译生成连贯和一致的翻译；实验结果表明，我们的方法可以在不同领域的多个数据集上显著优于强基线。

    Sep, 2019

  • ALIP: 自适应语言图像预训练与合成字幕

    通过生成综合信息的合成字幕并动态调整样本权重，自适应对比损失有效降低噪音数据的影响并增强预训练数据效率，Adaptive Language-Image Pre-training (ALIP) 在不同规模模型和预训练数据集上进行了实验验证，并在多个下游任务中取得了最先进的性能，包括零样本图像 - 文本检索和线性探测。

    Aug, 2023

  • 多模态机器翻译的动态上下文引导胶囊网络

    本文提出了一种基于动态上下文引导胶囊网络（DCCN）的多模式机器翻译方法，通过引入上下文引导的动态路由机制，与全局和区域视觉特征组合，实现生成翻译时的可变性建模，该方法在英语 - 德语和英语 - 法语翻译多个数据集上超越了当前主流的注意力机制、全局上下文模型和多模式联合表示学习模型。

    Sep, 2020

  • StyleCap：基于语音和语言自我监督学习模型的自动口语样式字幕生成

    StyleCap 提出了一种生成自然语言描述语音中出现的语言风格的方法，通过训练神经网络来预测前缀向量，并使用一个大型语言模型（LLM）的文本解码器从语音表示向量生成说话风格提示。

    Nov, 2023

  • 利用胶囊网络实现线性时间神经机器翻译

    本研究使用动态路由的胶囊网络对线性时间神经机器翻译进行了调查，并提出了一种更加灵活的选择，表示和聚合源句子的部分 - 整体信息的方法。在英德任务和英法任务中，该方法与最先进的神经机器翻译系统获得了可比较的结果。这是关于胶囊网络在序列到序列问题上的首次实证研究。

    Nov, 2018

  • 计算机辅助翻译中单词级自动补全的重新思考

    通过研究不同的自动补全模型架构，本文提出了一种新的可衡量的标准，并发现现有的单词级自动补全模型往往无法满足此标准。基于此观察，我们提出了一种有效的方法来提高 WLAC 性能，同时利用较小的模型尺寸。

    Oct, 2023

  • 基于记忆增强查找字典的语言建模自动语音识别

    该研究提出了一种新的内存增强的查找字典的 Transformer 语言模型，并证明了它在长尾预测问题上的有效性，提高了自动语音识别解码效率，特别是对于长尾词的识别表现更佳。

    Dec, 2022

  • 针对真实世界的查询自动完成的个性化神经语言模型

    本研究提出了基于神经语言建模的深度学习方法，以改善基于流行度的方法无法预测未见过的查询的主要限制，并通过集成用户信息实现个性化建议，使用时间信息并研究如何增加建议的多样性，从而在准确性和可扩展性方面显著改善前人最佳方法，迈向生产搜索引擎中的神经查询自动完成。

    Apr, 2018

  • 利用胶囊网络改进多头注意力

    本文利用胶囊网络对多头注意力中缺乏的不同子空间之间的语义重叠问题进行优化，通过采用动态路由和期望最大化算法进行信息聚类和分离，从而对汉英翻译和英德翻译任务的 Transformer 模型进行改进。

    Aug, 2019