Sep, 2022

多尺度对比协同训练用于事件时间关系抽取

PDF
TL;DRMulCo 是一种用于更好地融合 BERT 和 GNN 对本地和全局上下文特征的技术，通过对比 GNN 多层多跳子图（全局上下文嵌入）和 BERT 输出（本地上下文嵌入），MulCo 实现了 GNN 和 BERT 模块的协同参数化。MulCo 在多个时间关系提取数据集上取得了新的最先进结果。
temporal relationsnatural language understandingmulcobert-based language modelgraph neural network (gnn)
发现论文，激发创造
  • 跨语言对齐的多层对比学习

    本文提出了一种多级对比学习（ML-CTL）框架，使用翻译后的平行数据并显式地整合每对平行句子的单词级信息进行对比学习，以进一步提高预训练模型的跨语言能力。其中，采用了交叉零噪声对比估计（CZ-NCE）损失来减轻训练过程中小批量大小的浮点误差的影响。该方法显著提高了基础模型（mBERT）的跨语言迁移能力，并在 Xtreme 基准测试的多个零 - shot 跨语言下游任务中表现优异。

    Feb, 2022

  • VECO 2.0: 多粒度对比学习的跨语言语言模型预训练

    本文提出了一种基于对比学习的多粒度对齐的跨语言预训练模型 VECO~2.0，将序列到序列对齐和标记到标记对齐相结合，以支持跨语言模型预训练，通过在 XTREME 基准上的实验证明了该方法的有效性。

    Apr, 2023

  • 事件和实体的跨文档指代消解的对比表示学习

    采用对比度表示学习方法的实体和事件共指解析技术，通过仅在推理时进行 n 个转换器计算的对比度学习技术，实现了对 ECB + 语料库关键指标的最先进结果和其他指标的竞争性。

    May, 2022

  • 上下文化时间图生成的神经语言建模

    使用大规模预训练语言模型自动产生基于事件级别的时间图的第一项研究，通过使用现有的信息提取 / 自然语言处理工具自动生成大量文档 - 图对，并将上下文化图的产生问题作为序列到序列映射任务提出创新方案，我们的实验表明，我们的方法在生成结构和语义有效的图方面非常有效。

    Oct, 2020

  • ClarET: 面向事件生成和分类的相关性感知上下文到事件的预训练变形器

    本文提出了一种预训练的名为 ClarET 的通用事件感知上下文到事件转换器，以解决许多事件中心推理任务中上下文关联事件的生成问题。该方法具有很强的一般适用性和有效性。

    Mar, 2022

  • CoCo: 在数据限制下利用对比学习增强一致性的机器生成文本检测

    本论文提出了一种名为 CoCo 的基于连贯性图和对比学习的模型，用于检测低资源情况下的机器生成文本；该方法采用预训练模型和图神经网络将文本表示为连贯性图，并使用改进的对比损失函数应对数据限制挑战，实验结果表明 CoCo 方法优于现有的最先进的方法。

    Dec, 2022

  • 加速训练 Transformer 模型的多层框架

    我们提出了一个多层框架，通过合并和解散以及插值操作来加速训练，从而降低了 BERT/GPT-Base 模型的计算成本约 20%，以及 BERT-Large 模型的计算成本高达 51.6%，同时保持了性能。

    Apr, 2024

  • MuCoT: 低资源语言中的多语言对比训练问答

    本文提出一种用于低资源语言的提高问答技术的方法，即通过翻译和转写将问题回答样本扩充到目标语言，利用增广数据微调已经在英语中预训练的 mBERT 问答模型，并引入对翻译问题上下文特征对之间的对比损失来提高不同语言家族的翻译准确性。

    Apr, 2022

  • CoSe-Co: 文本条件生成通用常识上下文

    提出了一种基于符号知识图谱的预训练语言模型生成任务相关信息的 CommonSense Contextualizer (CoSe-Co) 模型，该模型结合句子作为输入文本的上下文信息，以构建一种新的数据集用于训练 CoSe-Co 模型，并在多项选择 QA 以及常识推理任务中展现出显著提高的性能

    Jun, 2022

  • CoNT: 对比神经文本生成

    本文提出了一种新的对比学习框架 CoNT，它从对比示例、对比损失和解码策略三个方面解决了对比学习在生成任务中使用的瓶颈问题，实验结果表明 CoNT 在机器翻译、数据摘要、代码注释生成等十个基准测试中都表现出优异的表现，特别是在摘要生成任务上达到了新的最好结果。

    May, 2022