MMAug, 2022

具有噪声鲁棒性学习的跨语言跨模态检索

PDF
TL;DR本文提出了一种面向低资源语言的噪声抗干扰跨语言跨模态检索方法，使用机器翻译构建伪平行句对，并通过多视角自我蒸馏方法，结合基于特征和相似度视角的交叉关注模块生成软伪目标，最小化原始句子和回译句子之间的语义差异以提高文本编码器的噪声鲁棒性，在三个不同语言的视听文本检索数据集上验证了方法的有效性，并显示出与现有预训练模型的兼容性。
cross-modal retrievallow-resource languagesmachine translationnoise-robustmulti-view self-distillation
发现论文，激发创造
  • 语义组合提升视觉 - 语言对比学习

    通过引入语义组合样本，我们通过一个简单的技术（称为 CLIP-C），显著改善了零样本图像分类和跨模态检索的能力，而不需要额外的计算开销或模型参数增加。

    Jul, 2024

  • 通过适配器在知识图谱上将多语言 LLMs 调整为资源不足的语言

    该研究探讨了将语义本体中的图谱知识整合到多语言大型语言模型中，通过适配器提高低资源语言在情感分析和命名实体识别中的性能，对八种低资源语言进行了实证评估，提供了适应低资源情景的语言模型优势的见解。

    Jul, 2024

  • 韩国基于隐式特征对齐和语料过滤的面向方面情感分析

    提出了一种在韩国等低资源语言中进行面向方面的情感分析（ABSA）的直观且有效的框架，通过集成翻译基准和未标记的韩语数据来优化预测标签，并使用在翻译数据上微调的模型对实际韩语自然语言推理集进行伪标记。通过 LaBSE 和基于 MSP 的过滤器应用于伪自然语言推理集，提高了面向方面的类别检测和极性确定的准确性。该模型通过双重过滤来填补数据集差距，在资源有限的情况下在韩国 ABSA 中取得了积极的结果。通过额外的数据注入管道，该方法旨在利用高资源数据，并在低资源语言国家的社区（无论是公司还是个人）构建有效模型。与英文 ABSA 相比，我们的框架在 F1 得分和准确性上差异约为 3％。我们在此链接上发布了韩国 ABSA 的数据集和代码。

    Jun, 2024

  • 训练太晚，使用太早？关于低资源孟加拉语 LLM 的必要性和可行性的研究

    当前需要面临的问题是，是否需要专门面向低资源语言的大型语言模型（LLMs）？我们通过比较英语导向的 LLMs 与细调编码解码模型在孟加拉语下游任务中的表现，发现现有 LLMs 在生成孟加拉语脚本方面面临着挑战，同时也存在着一些数据集方面的偏见，因此需要开发更高效的孟加拉语导向 LLM。

    Jun, 2024

  • 少即是多：准确无需 Web 规模数据的语音识别和翻译

    最新的语音识别和翻译技术依赖于数十万小时的互联网语音数据。我们认为即使不依赖于互联网规模的数据，也可以达到最先进的准确性。Canary - 多语言 ASR 和语音翻译模型在英语、法语、西班牙语和德语等语言上优于当前最先进的模型 - Whisper、OWSM 和 Seamless-M4T，与这些模型相比，它使用的数据量更少一个数量级。三个关键因素使得这种数据高效模型成为可能：（1）基于 FastConformer 的注意力编码器 - 解码器架构，（2）使用机器翻译生成的合成数据进行训练，以及（3）先进的训练技术：数据平衡、动态数据融合、动态分桶和抗噪音微调。该模型以及权重和训练代码将开源。

    Jun, 2024

  • 专业字幕场景下的上下文机器翻译案例研究

    将影片元数据等额外文本上下文引入机器翻译（MT）流程可以提高翻译质量，通过最近的自动评估可得知，但这类系统在工业领域的积极影响尚未得到证实。我们报告了一项工业案例研究，旨在调查 MT 在专业电视字幕翻译场景中的受益和如何利用额外文本上下文影响后期编辑。我们发现，在修正具有上下文感知模型 MTCue 输出时，与非上下文模型相比，后期编辑人员标记了更少与上下文相关的错误。我们还介绍了一项针对从业后期编辑人员的调查结果，该调查强调了 MT 中持续存在的上下文不足问题。我们的发现加强了在完全上下文化的 MT 领域开展进一步工作的动力。

    Jun, 2024

  • 生成语言模型能否多元文化化？基于 ChatGPT 对豪萨文化和情感的研究

    我们研究了 ChatGPT 对豪萨文化和情感的表达方式，通过比较生成回答和豪萨本地人在 37 个与文化相关的问题上的回答，以及运用情感分析和相似性度量等方法进行实验和评估，结果显示 ChatGPT 在某种程度上和人类回答相似，但同时也存在知识和文化认知方面的不足和偏见。我们讨论了我们方法和分析的意义和局限，并提出了改进低资源语言下大语言模型性能和评估的方法。

    Jun, 2024

  • xTower：用于解释和纠正翻译错误的多语言 LLM

    介绍了 xTower，这是一个基于 TowerBase 搭建的开放式大型语言模型，旨在提供针对翻译错误的自由文本解释，以引导生成修正翻译的过程，并通过内在和外在评估来评估其生成的解释的质量。在多个实验设置中测试了 xTower，证明了在翻译质量上有显著改进，凸显出 xTower 不仅能产生合理和有用的自动翻译解释，还能利用这些解释来建议修正的翻译。

    Jun, 2024

  • SSP：自监督提示用于使用大型语言模型进行低资源语言的跨语言转移

    在这项研究中，我们探讨了在语言资源有限情况下，特别是零标记的跨语言转移（0-CLT）环境下，基于自我监督提示（SSP）的大型语言模型（LLM）在自然语言处理（NLP）任务中的效果，并通过实验证明 SSP 在这个设置中优于现有的基线模型。

    Jun, 2024

  • FFN：一个细粒度的中英金融领域平行语料库

    大型语言模型在机器翻译领域取得了惊人的进展，然而在金融领域的有效性仍然很少被探讨。我们构建了一个细粒度的中英平行金融新闻语料库，名为 FFN，以研究此问题。通过使用 BLEU、TER 和 chrF 评估指标，我们测量了两个 LLMs（ChatGPT 和 ERNIE-bot）的翻译质量。与此同时，我们还基于我们的数据集训练了一个基于 OpenNMT 的模型。我们详细解释了 LLMs 的问题，并进行了深入分析，旨在激发对这个几乎未知领域的进一步研究和解决方案。我们的研究强调了在金融翻译领域中优化 LLMs 以确保准确性和质量的必要性。

    Jun, 2024