EMNLPOct, 2023

论跨领域数据对德语语言模型的影响

PDF
TL;DR通过使用不同领域的语料库和不同质量的数据，我们训练了一系列的大语言模型，在多个下游任务中，跨领域数据集训练的模型表现优于仅使用高质量数据训练的模型，前者的性能提升高达 4.45%。
large language modelsdata diversitycross-domain datasetsprioritizing data qualitydownstream tasks
发现论文，激发创造
  • 使用原始 Transformer 对机器翻译任务进行有效的通用领域数据收录

    本文介绍了一种基于 Transformer 模型的系统，旨在将德语源句子翻译成其英语目标句子，通过 WMT'13 数据集上的新闻评论德英平行句子的实验，我们发现在训练中加入 IWSLT'16 数据集的泛领域数据可以提高 Transformer 模型性能的 2 个 BLEU 分数点，从而改善生成翻译句子的质量。

    Sep, 2022

  • Dial-insight：用高质量领域专用数据进行精细调整，防止能力崩溃的大型语言模型

    我们提出了一个双阶段方法来构建高质量数据的生产提示，通过该方法可以增强一般大型语言模型的特定领域能力，而不损害其总体泛化能力。

    Mar, 2024

  • 一种数据中心的框架，用于改进特定领域的机器阅读理解数据集

    本文提出了一个旨在增强原始数据集数据质量的框架，并应用于四个生物医学数据集，使用回译技术提高数据集质量，在 BioASQ 数据集上表现出相对提高了 33%/40% 的检索 / 阅读器模型的微调效果。

    Apr, 2023

  • 数据激发您的快乐吗？培训结束时的领域上采样带来的性能提升

    通过对小型领域专用数据集进行上采样，以驱动性能在困难基准测试上的改进，本研究揭示了在多样性的一般网络抓取和领域专用数据信息密度之间寻求平衡的最佳方法。

    Jun, 2024

  • 利用外领域数据集增强多任务引文分析

    通过利用外部数据集，该文提出了一个端到端可训练的多任务模型，覆盖引文情感分析和意图分析，并且可以克服引文分析领域的数据稀缺性问题。

    Feb, 2022

  • M2QA：多领域多语言问答

    通过引入多领域多语言问题回答基准 M2QA，并利用其探索经过微调的模型、最新最先进的 LLM 的跨语言跨领域性能，以及研究模块化方法对领域和语言进行适应，我们发现模型类别内在领域 - 语言组合上具有相当大的性能差异，并且在所有模型规模上源语言 - 目标语言 / 领域组合之间存在显著的性能下降。我们证明了 M2QA 并未得到完全解决，需要新的方法来有效地传递语言和领域特定信息。

    Jul, 2024

  • 预训练语言模型中的无监督域聚类

    本文提出了一种基于大规模预训练语言模型的领域数据选择方法，通过度量句子的隐式相似性进行聚类，仅需要少量数据即可有效提高神经机器翻译的准确性。

    Apr, 2020

  • 跨领域迁移的大规模仇恨言论检测

    本文研究 hate speech detection 模型的性能，构建了涵盖五个领域的大规模推文数据集，并利用变换器等算法，获得了至少 5%（英文）和 10%（土耳其语）的性能提升，在不同培训规模下具有强大的可扩展性和跨领域转移能力。

    Mar, 2022

  • 词汇的重要性：什么影响了摘要的领域适应性？

    通过分析训练数据中的 ` 词汇 ' 对总结任务的具体影响，本文研究细粒度因素对于领域适应性能的影响，并提出将数据集学习难度量化为生成式总结的学习难度，并得出跨域重叠与总结任务的性能增益之间存在近似线性关系的实验结论，从而实现对未知领域数据集模型性能的预测而无需经过训练。

    Jun, 2024

  • 大型语言模型作为视觉跨领域学习器

    近期由深度学习模型取得的进展基于独立且同分布的假设，限制了它们在具有领域转移的实际场景中的应用。为了解决上述问题，跨域学习旨在提取领域不变的知识，以减少训练和测试数据之间的领域转移。然而，在视觉跨域学习中，传统方法仅集中于图像模态，忽略了利用文本模态来减轻领域转移。本文提出了大型语言模型作为视觉跨域学习器（LLaVO）。LLaVO 使用视觉 - 语言模型将图像转换为详细的文本描述，然后使用设计的指令模板在源 / 目标领域生成的文本描述上对大型语言模型进行微调。对领域概括和无监督领域自适应设置下的各种跨域任务进行了广泛的实验，结果表明了所提方法的有效性。

    Jan, 2024