Apr, 2021

潜在习语表达（PIE）英语：习语类语料库

PDF
TL;DR本文提供一个大规模的，用于英语自然语言处理的潜在成语表达（Potential Idiomatic Expression，PIE）数据集，其中包括超过 1,200 种逾二十一万个语料库样例，涵盖了十类（或意义）成语及其词义，提供了基准和比较三种常见的模型（包括 BERT 模型）的分类实验，该数据集可扩展，可用于各种 NLP 任务。
发现论文，激发创造
  • 会话系统中成语的向量表征

    本文研究表明，由习语或比喻语言训练的开放域对话系统能够更好地生成与包含习语提示相符的回复，通过利用潜在习惯表达（PIE）- 英语习语语料库，我们实现了 98％F1 宏分数的准确率和更好的会话回复效果，为公众贡献了模型检查点 / 演示和代码。

    May, 2022

  • PETCI：中文成语的并行英文翻译数据集

    提出了 PETCI 数据集，该数据集是一组英汉对照的成语翻译，通过分类模型，在改善机器翻译的同时也可以提供给语言学习者参考。

    Feb, 2022

  • 预训练语言模型中习语的探索数据集和方法

    本文介绍了一个包含英语和葡萄牙语的细粒度含义数据集，用于测试语言模型对习语使用的检测能力和生成含有习语句子的表现效果，并且发现 fine-tuning 是学习包含 MWE 的句子表示的一种有效的样本高效方法。

    Sep, 2021

  • 让 BART 乘坐惯用语列车：学习表示惯用表达式

    本研究使用适配器作为轻量级非组合式语言专家对具有习惯用语特性的句子进行训练，将习惯用语结合到 BART 中取得了比基线模型 (BART) 更好的性能，包括在嵌入聚类方面提高了 0.19 分的同质化得分和在习惯用语处理任务中提高了高达 25% 的序列准确性，表明此方法能够解决习惯用语在自动化自然语言处理和语言模型中带来的挑战。

    Jul, 2022

  • 使用语义兼容性进行惯用语表达式识别

    本研究提出了一种多阶段深度神经网络架构，利用注意力机制和上下文信息对句子中的习语表达进行定位，通过评估表明该模型能够在各类习语表达的数据集上实现新的最优结果，并具有对未见过的习语表达的识别能力。

    Oct, 2021

  • 非成分和成分表达的统一表示

    对非组合性语言的准确处理依赖于生成良好的表达形式。PIER 是一种语言模型，通过建立在 BART 上，可以创造出对英语潜在成语表达（PIEs）进行语义上有意义和上下文适当的表达。PIEs 的特点是非组合性和文字和成语诠释中的上下文歧义。通过对嵌入质量的内在评估和对 PIE 处理和 NLU 任务的外在评估，我们发现 PIER 生成的表达形式比 BART 在嵌入聚类的均一性得分上高出 33%，而相较于最先进的 IE 表示模型 GIEA，在 PIE 意义分类和跨度检测方面精度和序列准确度提高了 3.12% 和 3.29%。与 BART 相比，这些增益并没有牺牲 PIER 在 NLU 任务上的性能（+/- 1% 的准确度）。

    Oct, 2023

  • 无强监督下的习语表达释义

    本文探讨了习语句子改写的任务，提出了无监督和弱监督的方法来解决数据不足的问题，并用自动和手工评估验证了这些方法的有效性，该任务的实际用途是作为 En-De 机器翻译的预处理步骤。

    Dec, 2021

  • 使用主题模型和情感强度分类习语和字面表达

    本文提出了一个用于自动分类习语和字面表达的算法，通过利用 LDA 无监督聚类方法和情感分析技术，采用词袋表示法来提取包含习语和字面表达的段落中的主题，从而实现对习语和字面表达的区分。

    Feb, 2018

  • 汉语成语转述

    本文提出了中文成语改写（CIP）任务，以将包含成语的句子重新表述为不成语的句子并保留原本的意思，从而方便处理中文数据集和提高中文 NLP 任务的性能。本研究使用人与机器协作建立了一个包含 115,530 个句子对的大规模 CIP 数据集，并且使用三种基线模型和两种新方法，表现更好。

    Apr, 2022

  • PiC：Phrase-in-Context 数据集，用于短语理解和语义搜索

    提出了一种为训练和评估短语嵌入而创建的数据集 PiC，该数据集包含～28K 的名词短语及其上下文维基页面，该数据集有助于提高排序模型的准确性并且将跨度选择 (SS) 模型的性能推向近乎人类的精度水平，同时该文还发现该方法更好地捕捉了单词短语的共同含义。

    Jul, 2022