Oct, 2022

GAPX：广义自回归释义标识 X

PDF
TL;DR本文探讨了在自然语言处理中的重要任务 —— 释义识别，发现现有模型在推断时往往受到分布转移的影响。为了克服这种影响，我们提出使用两个分开的模型进行训练，并使用基于困惑度的指标确定在推断时应该给予负模型多少权重，实验证明这种方法取得了很好的效果。
paraphrase identificationnatural language processingnegative examplesseparate modelsperplexity-based metric
发现论文，激发创造
  • 改写可以躲避 AI 生成文本的检测，但究竟能否防御检索攻击？

    通过语义相似的生成物和检测算法，该研究提出了一种简单的防御，以增加对 AI 生成文本的检测器对抗改写攻击的鲁棒性。

    Mar, 2023

  • 弱监督下的选择性学习用于释义生成

    本文提出了利用元学习框架解决弱监督下的释义生成任务，并通过检索式的伪释义扩展获取大量弱标注平行句子，进而选择有价值的样本对预训练语言模型 BART 进行微调，从而生成高质量释义的方法，与目前的无监督学习方法相比具有显著的改进。

    Sep, 2021

  • 具有判别校正的高度并行自回归实体链接

    本文提出了一种高效的生成方法，采用并行自回归流程和浅层解码器实现实体消岐和链接，并增加了区分度组件，达到了比之前的方法更快（ >70 倍）更准确的效果，代码开源。

    Sep, 2021

  • 跨语言释义识别

    通过对比式编码器模型在多语言环境下进行训练，实现检测多语言环境中的困难释义，得到可用于语义搜索等多种任务的嵌入向量，并在下游任务中评估模型性能和嵌入向量质量，与当前最先进的交叉编码器相比，在所选择的数据集中只有 7-10% 的最小相对下降，同时保持嵌入向量的良好质量。

    Jun, 2024

  • 在释义识别中使用共享单词的鲁棒性

    本文研究自然语言处理模型的健壮性问题，尤其是同义词识别模型在面对修改后的场景下健壮性存在显著问题。通过引入新的共享词汇的修改方式，结合优化算法，进行了大量实验验证。最后，着重讲解了对抗训练方法对提升模型健壮性的帮助。

    Sep, 2019

  • 大型语言模型如何改变机器改写抄袭

    本文探讨了使用 T5 和 GPT-3 模型在 arXiv、学生论文和 Wikipedia 上生成机器的译文，并评估了六种自动化解决方案和一种商业剽窃检测软件的检测性能。结果表明，GPT-3 生成的译文质量可以与原始文本一样，而且难以区分真假，最佳检测模型 (GPT-3) 的 F1 分数达到 66％。

    Oct, 2022

  • 通过对抗性改写任务提升释义检测

    通过对抗方法提出了一个新的数据集创建方式 —— 对抗性同义句生成任务（Adversarial Paraphrasing Task， APT），以更好地检测句级别的意义相等，从而加速数据集生成并提高同义句识别模型的性能。

    Jun, 2021

  • mGPT: 少样本学习器转向多语言

    本文介绍了两种自回归 GPT 类模型，使用维基百科和 Colossal Clean Crawled Corpus 训练了 60 种语言、25 种语言系的搜索，展示了多种任务上的表现，包括分类、生成、序列标记和知识探测，在多语种任务上有着与 Facebook 最近发布的 XGLM 模型相媲美的表现。

    Apr, 2022

  • GAP: 面向知识图谱到文本生成的图感知语言模型框架

    通过将图感知元素融合到现有的预训练语言模型中，提出了一种掩蔽结构来捕获邻域信息和一种新型类型编码器，以便于基于图中的拓扑和类型信息解释 KG-to-text 生成模型（在不需要额外的预训练任务的情况下），实验结果表明我们的模型具有较高的竞争力。

    Apr, 2022

  • APAR: LLMs 可以进行自动并行自回归解码

    通过并行自回归生成的方法以及与推理解码相结合，可以显著提高大型语言模型的生成速度和性能。

    Jan, 2024