ACLAug, 2022

日语文本蕴涵和相似性的组合评估

PDF
TL;DR本论文介绍了 JSICK，一个从英语数据集 SICK 人工翻译而来的日语 NLI/STS 数据集。我们对不同的预训练语言模型进行了基准实验，并比较了多语言模型在日语和其他语言中的表现。压力测试实验的结果表明，当前的预训练语言模型对于单词顺序和语义标记不敏感。
natural language inferencesemantic textual similaritypre-trained language modelsjapanese nli/sts datasetstress-test dataset
发现论文，激发创造
  • 用于自然语言推理复杂组合知识评估的合成数据集

    本研究介绍了一个名为 SICCK 的合成数据集和一种新颖的分析方法，通过修改自然语言推理（NLI）模型可理解逻辑组成性的性能，并发现 NLI 模型在零 - shot 和精调情况下对带有量词和否定的修饰语进行修改后的句子表现不佳。

    Jul, 2023

  • KorNLI 和 KorSTS：韩语自然语言理解的新基准数据集

    为了加速韩文自然语言理解的研究，我们构建并发布了韩文 NLI 和 STS 数据集，分别称为 KorNLI 和 KorSTS，该数据集是通过机器翻译现有的英语训练集和手动翻译开发和测试集来构建的，并在其上建立了基线模型。

    Apr, 2020

  • 分析 NLI 模型的组合敏感性

    本研究通过实验验证，发现多个最先进的 NLI 模型都过度依赖词汇而无法使用组合语义，因此提出了一种可分析自然语言例句中 NLI 模型组成特性的测试设置，并在已有数据集上测试，这种测试设置可以帮助模型更好地了解复杂的含义，并为模型的改进提供机会。

    Nov, 2018

  • 关于利用翻译数据集评估多语言组合泛化能力

    通过翻译 MCWQ 数据集，我们证明不同语言具有不同的组合泛化能力，同时多语种模型仍然难以实现跨语言组成泛化。

    Jun, 2023

  • 自然语言推理的压力测试评估

    本文提出了一个评估方法，即通过自动构建的 “压力测试” 来测试 NLI 模型的推理能力，评估了六种句子编码模型在这些测试中的表现，揭示了模型在面对复杂语言现象时的优势和劣势，为以后的研究方向提供了重要的指导意义。

    Jun, 2018

  • SETI: 文本推理的系统性评估

    SETI 是一个用于评估预训练语言模型（PLMs）在文本推理领域中系统能力的新型综合性基准。它提供了三种不同的 NLI 任务和相应的数据集来评估模型在推理过程中各种类型的系统性。

    May, 2023

  • 基于语言学的多任务预训练方法用于低资源神经机器翻译

    本研究提出了针对低资源机器翻译的新颖序列到序列预训练目标：面向涉及日语作为源语言或目标语言的语种的日语特定序列到序列（JASS）和面向涉及英语的语种的英语具体序列到序列（ENSS），通过在 ASPEC 日语 - 英语和日语 - 中文，Wikipedia 日语 - 中文，News 英语 - 韩语语料库上的实验表明，JASS 和 ENSS 在日语 - 英语任务上超过 MASS 和其他现有的语言不可知预训练方法，BLEU 分数可以增加 2.9 点，日语 - 中文任务最高可以增加 7.0 BLEU 点，英语 - 韩语任务最高可增加 1.3 BLEU 点，经验分析表明，JASS 和 ENSS 的子任务具有互补性。通过 LASER，人工评估和案例研究的充分性评估表明，我们的方法显著优于没有注入语言知识的预训练方法，并且对实用性的正面影响更大。

    Jan, 2022

  • 构建一个日语单词相似度数据集

    本研究构建了一个日语单词相似性数据集，是目前唯一可用于评估分布式单词表示在日语中的有效资源，包括各种词性和生僻词汇在内，该数据集的建立是对分布式单词表示在日语中评估的一次有益尝试。

    Mar, 2017

  • 基于日语 CCG 的时序组合语义和推理系统

    本研究使用组合类别语法的句法分析方法和基于逻辑的 NLI 系统，利用时态关系公理和自动证明器，分析复杂的日语时态和方面表达方式，实现了针对日语中的时态关系推断。实验测试表明，我们提出的系统优于之前的基于逻辑的系统和现有的深度学习模型。

    Apr, 2022

  • 自然语言复合性之悖论：基于神经机器翻译的案例研究

    本文探讨了神经机器翻译在自然语言处理中的组合性能力测试及其对真实数据的影响，结果显示需要重新思考神经网络的组合性评估及开发相应基准测试。

    Aug, 2021