EMNLPSep, 2019

迁移微调：以 BERT 为例

PDF
TL;DR通过将短语复述关系注入 BERT，可以在不增加模型大小的情况下获得适当的表示，即可提高语义等价性评估。通过标准自然语言理解任务的实验，证明这种方法在保持模型大小的同时，有效地改进了一个较小的 BERT 模型。生成的模型在语义等价性评估任务上表现优异，并在训练数据集有限的任务上实现了更大的性能提升，这是一种有利于迁移学习的属性。
semantic equivalence assessmentparaphrase relationsbertsentence representation learningnatural language understanding
发现论文，激发创造
  • 跨语言释义识别

    通过对比式编码器模型在多语言环境下进行训练，实现检测多语言环境中的困难释义，得到可用于语义搜索等多种任务的嵌入向量，并在下游任务中评估模型性能和嵌入向量质量，与当前最先进的交叉编码器相比，在所选择的数据集中只有 7-10% 的最小相对下降，同时保持嵌入向量的良好质量。

    Jun, 2024

  • 通过对抗性改写任务提升释义检测

    通过对抗方法提出了一个新的数据集创建方式 —— 对抗性同义句生成任务（Adversarial Paraphrasing Task， APT），以更好地检测句级别的意义相等，从而加速数据集生成并提高同义句识别模型的性能。

    Jun, 2021

  • 使用 BERT 协助进行情感相关问题的语义注释校正

    使用 BERT 神经语言模型对对话行为语义标注的辅助注释任务中的标注标签进行微调并使用复述任务检查其效果，以此有效评估和修订复杂的文本用户数据的语义标签。

    Apr, 2022

  • 使用双向蕴涵的机器翻译评估

    本文提出了一种基于双向蕴含的机器翻译评估新指标，利用深度学习实现候选和参考翻译之间的语义相似度评分，应用于 WMT'14 和 WMT'17 数据集，与传统指标相比在系统级别上具有更好的与人工注释评分的相关性。

    Nov, 2019

  • 语义答案相似度度量评估

    提出了利用基于 Transformer 模型度量方法对自然语言生成及问答系统进行语义相似度评估的框架，并使用 US-American public figures 的同指名字对数据集进行训练，取得较高的语义相似度度量结果。

    Jun, 2022

  • Phrase-BERT：基于 BERT 的短语嵌入改进及应用于语料库探索

    本文提出了一种对 BERT 进行微调的方法（Phrase-BERT），使其能够生成更强大的短语嵌入，Phrase-BERT 利用一个由短语描述形式多样的同义词集以及从 Books3 语料库中挖掘的大规模情境短语数据集生成模型，并在各种短语级相似性任务中优于基线。 此外，该文还将 Phrase-BERT 嵌入式与简单的自编码器相结合，构建了一种利用向量空间中最近邻搜索将主题解释为词和短语混合的短语主题模型。 众包评估表明，该短语主题模型比基线的单词和短语级主题模型产生更一致和有意义的主题，进一步验证了 Phrase-BERT 的效用。

    Sep, 2021

  • 一句话价值 128 伪标记：一个针对句子嵌入的语义感知对比学习框架

    本文提出一种基于伪符号 Bert（PT-Bert）的语义感知对比学习框架，可以有效地利用句子的伪符号空间表示，消除了句子长度和语法等表征对模型的影响，实现了对未标注文本的编码。通过构建同长度的正负样本对进行对比学习，我们的模型在六个标准语义文本相似性（STS）任务中优于现有的基准模型。

    Mar, 2022

  • 注入语义依存关系的微调

    应用语言模型结构代替任务特定的监督并使用卷积图编码器通过显式引入语义解析提高 NLU 任务的性能。

    Dec, 2020

  • 基于可转移 BERT 的故事结局预测

    本研究旨在研究一种可转移的 BERT 训练框架，该框架不仅可以从大规模未标记数据中转移一般语言知识，还可以从各种语义相关的监督任务中转移特定类型的知识以用于目标任务。在本实验中，提出了利用三种转移任务，包括自然语言推理、情感分类和下一动作预测，以进一步训练预训练模型的思想，并将故事结尾预测作为目标任务进行实验。最终结果，准确率达到了 91.8％，明显优于先前最先进的基线方法。同时，进行了一些比较实验，给出了一些关于如何选择转移任务的有益建议。通过误差分析，还显示了基于 BERT 的模型在故事结尾预测中的优势和劣势。

    May, 2019

  • BERTTune: 使用 BERTScore 微调神经机器翻译

    本文提出使用基于 BERTScore 评估指标的新型训练目标对神经机器翻译模型进行微调，以克服在训练过程中出现的过拟合偏见问题；作者提出三种生成软预测的方法，可使网络保持端到端的完全可微性，实验表明在四种不同的语言对上，微调目前具有一个强基线模型的 BLEU 分数提高了 0.58pp（3.28%），BERTScore 得分提高了 0.76pp（0.98%）。

    Jun, 2021