- ACL基于 Transformer 模型的多词表达语义研究:一项调查
通过对多词表达式的深入调查,我们发现 Transformer 模型在捕捉多词表达式的语义上存在不一致性,主要依赖表面模式和记忆信息,并且其表示在架构的早期层中主要存在。另外,我们强调了更直接可比较的评估设置的需求。
- 生成多语种成语引申语境
测试生成语言模型在理解非组合性的修辞文本中的能力,发现这些模型在生成字面意思上连续性的上下文时稍微好一些,对于成语性上下文的连续性生成能力较为相似,且在不同语言中表现出的性能一致。
- 检测美国手语中的未知多词表达
建立和测试了两个系统,应用 GloVe 中的词嵌入来确定词汇的词嵌入是否可以用于预测是否构成多词表达式,并发现词嵌入可以准确地检测非组合性。
- 侧抑制和领域适应在多语言多词表达式识别中的应用
为在多语境环境下准确识别多词表达式 (MWEs),在所有第 1.2 版 PARSEME 语料库中可用的 14 种语言上对 mBERT 模型进行训练,并将侧向抑制和语言对抗性训练纳入方法中,以创建语言无关的嵌入并提高其识别多词表达式的能力,该 - ACL多词语无监督释义
提出了一种用于无监督多词表达式改写的方法,通过使用单语料库和预训练语言模型(无需微调),不需要使用任何外部资源,例如词典,并在 SemEval 2022 成语语义文本相似度任务上表现优于所有无监督系统并与监督系统相媲美。
- 使用基于定义表示学习方法检测临床术语中的习语性多词表达
本研究利用基于定义的语义模型来检测临床术语中的习语和半习语多词表达,开发了一种有效的工具来评估生物医学习语多词表达的习语性,结果表明 BioLORD 模型具有较强的识别习语多词表达的能力,有助于本体译者聚焦于更具挑战性的 MWEs。
- ACL车辆维修领域可能使用的材料学习 —— 以钢材为例?
我们提出了一种新的方法,通过探究预训练的语言模型(PLMs)中的填充式任务设置来学习车辆维修领域中组件的特定于领域的可能材料,以克服缺少注释数据集的问题。我们设计了一种新的方法来汇总一组填充式查询模板中显著的预测结果,并表明使用小型、高质量 - 利用多语言对抗训练和横向抑制来探测罗马尼亚多字表达
该研究介绍了基于侧向抑制层和对抗训练的多语言模型方法,自动识别罗马尼亚语多词表达式,提高了性能并取得了先进的 SOTA 表现。
- 使用 BERT (s) 检测多词表达式
本文探索使用最先进的神经转换器来检测多词表达的任务, 并在 SemEval-2016 Task 10 数据集中实验评估了几个 Transformer 模型,结果表明 Transformer 模型优于基于长短期记忆(LSTM)的以前的神经模型 - EMNLP预训练语言模型中习语的探索数据集和方法
本文介绍了一个包含英语和葡萄牙语的细粒度含义数据集,用于测试语言模型对习语使用的检测能力和生成含有习语句子的表现效果,并且发现 fine-tuning 是学习包含 MWE 的句子表示的一种有效的样本高效方法。
- 神经机器翻译中的汉字分解与多词表达
本研究探讨了不同层次的汉字分解对机器翻译的影响,包括偏旁、笔画和中间层级。研究还考察了分解多词表达式对提高翻译模型学习的影响。
- COLINGAlphaMWE: 多语言 MWE 注释平行语料库的构建
本研究旨在构建带有多语言多词表达注释的多语言平行语料库,发现机器翻译系统在处理多词表达翻译时存在的误译类型,并总结出一些错误限制规则以提高翻译质量,此平行语料库可用于机器翻译和信息提取的跨语言和多语言的研究。
- COLINGMTLB-STRUCT @PARSEME 2020:使用多任务学习和预训练掩码语言模型捕获未见到的多词表达式
该论文描述了一个半监督系统,该系统同时学习语言多词表达(VMWE)和依赖关系解析树作为辅助任务,并利用预训练的多语言 BERT。该系统已参加了 PARSEME 共享任务 2020 年的公开赛,排名第一,并在所有 14 种语言中平均识别未见过 - ACL利用义原知识建模语义组合性
本研究通过实验证明了使用人类语言的最小语义单元 - sememes 有助于模拟语义组成性,进而将 sememe 知识融入语义组成性模型,用于多词组成表达学习,实验证明该方法比基准方法具有更好的性能提升,并提供了定量分析和案例研究证明其有效性 - ACL使用 Poincaré 嵌入预测名词词组的组合性
论文介绍了一种利用多层次信息和分布式信息的新技术,以检测名词短语的组合度,同时采用有监督的方法,并且使用了 Poincaré 嵌入,可以获得显著的效果提升。
- ACL缩小鸿沟:关注多词表达中的不连续性识别
本研究介绍了一种新的标记多词表达式的方法,利用了一种具有语言独立性和语言学可解释性的深度学习架构,特别针对了计算处理多词表达式中不连续性这一尚未充分开发的领域。本文提出了两种神经网络结构:图形卷积网络(GCN)和多头自注意力,通过门控机制将 - 超越词嵌入:从大规模知识库中学习实体和概念表示
本文提出了一种新颖而简单的技术,将来自不同结构的两个大型知识库中的概念知识(Wikipedia 和 Probase)整合起来,学习概念表示,并在两个任务上评估了概念嵌入模型:类比推理和概念分类,并展示了无监督环境中用于神经语义分析的参数识别