Mar, 2023

UZH_CLyp 参加 SemEval-2023 任务 9：Tweet 亲密度预测的跨语言 Fine-Tuning 和 ChatGPT 数据生成

PDF
TL;DR跨语言信息亲密度的多语言 Tweet 分析，通过融合预训练模型与少量合成数据，提出了一种跨语言迁移学习方法 HeFiT，进一步探究其对模型域适应和零样本学习的影响，显著提高了模型性能，证实了合成数据在零样本学习中的作用。
multilingual tweet analysiscross-lingual transfer learningpre-trained modelslow-resource settingssynthetic data
发现论文，激发创造
  • HULAT 参加 SemEval-2023 任务 9：基于数据增强的预训练 Transformer 在多语言推特亲密度分析中的应用

    该研究讨论了使用数据增强技术 fine-tune 最流行的 Transformer 模型来参加 SemEval-2023 任务 9，多语言推文的亲密度分析。研究结果表明，我们的系统在多种语言中有良好表现，尤其是葡萄牙语、英语和荷兰语。

    Feb, 2023

  • 跨语言中间微调改进对话状态跟踪

    该论文提出了一种在预训练多语言模型之间进行跨语言传递学习的方法，通过中间微调预训练的多语言模型，使其适用于不同但相关的数据和 / 或任务，以提高对话系统的性能。

    Sep, 2021

  • 使用 XLM-T、Google Translate 和集成学习的多语言推文亲密度检测在 SemEval-2023 任务 9 中的应用

    本文基于 XLM-T 提出了一种基于 transformer 的系统，用于预测多语言推特的亲密度，使用英语翻译数据可用于优化训练和推理，取得了 0.599 的总体 Pearson's r 值和排名第四的成绩。

    Apr, 2023

  • 跨语言跨时间摘要：数据集、模型、评估

    本文探讨如何应用跨语言和跨时期的文字连线技术在信息总结中的应用，并通过构建数据集、建模和评估得出结论：通过中间任务微调的端到端模型的总结质量一般；ChatGPT（无需微调）的总结质量良好，并与人类评分中相关；在对抗攻击的情况下，ChatGPT 在省略和实体替换方面的表现更好。

    Jun, 2023

  • 基于 ChatGPT 的跨语言摘要

    使用互动提示进行零翻译交叉语言生成任务，ChatGPT 可以在信息性和简洁性之间保持平衡，并显着提高其交叉语言生成任务性能。ChatGPT 在三个常见交叉语言生成数据集上的实验结果表明，其优于高级的 GPT 3.5 模型 (text-davinci-003)。

    Feb, 2023

  • KInITVeraAI 在 SemEval-2023 任务 3 中的表现：简单而强大的多语言微调用于说服技巧检测

    本文提出了在 SemEval 2023 任务 3 的子任务 3 中检测说服技巧的最佳解决方案，主要是通过细调预训练的基于 Transformer 的语言模型来处理多语言输入数据和多个预测标签，该方案使用大型的跨语言模型（XLM-RoBERTa 大型模型）在所有输入数据上联合训练，而且针对已知语言和未知语言分别设置合理的置信度阈值，最终在 9 种语言中的 6 种语言上（包括两个未知语言）表现最优秀并取得了高度竞争的结果。

    Apr, 2023

  • HFL 在 SemEval-2022 任务 8 中：一种基于语言学的回归模型与数据增强的多语言新闻相似性方法

    本文介绍了我们的系统，以应对针对于 SemEval-2022 任务 8：多语言新闻文章相似性。我们提出了一种受语言学启发的模型，采用了几个任务特定的策略进行训练。我们的系统的主要技术包括：1）数据增强，2）多标签损失，3）适应 R-Drop，4）头尾组合中的样本重构。我们还对一些负面方法进行了简要分析，例如两塔架构。我们的系统在排行榜上排名第 1，并在官方评估集上实现了 0.818 的皮尔逊相关系数。

    Apr, 2022

  • 参数高效的鲁棒性全语种持续学习微调

    研究 Continual Multilingual Learning 的问题，提出使用 parameter-efficient finetuning 更新 multilingual model 来减少语言特异性的遗忘，同时提高跨语言转移能力，通过 LAFT-URIEL pipeline 来改善支持语言的性能

    Sep, 2022

  • 自动语音翻译的跨语言转移学习改进

    本论文旨在通过语义知识蒸馏来改进多语言语音转文本翻译中的跨语言迁移学习。通过使用 SAMU-XLS-R 来初始化编码器，我们在 CoVoST-2 和 Europarl 语音转文本数据集上实现了比基线模型更好的交叉语言任务知识传输，其中平均提高了 12.8 个 BLEU 分数。在零 - shot 翻译情景下，我们在未见过的中低资源语言上平均提高了 18.8 分和 11.9 个 BLEU 分数。

    Jun, 2023

  • 分析监督式 NLP 任务中的零样本跨语言迁移

    本文论述了跨语言零 - shot 迁移的问题，并通过对 XLM-RoBERTa 进行实验，研究机器阅读理解、情感分析和句子嵌入对跨语言迁移的影响。发现跨语言迁移在语义文本相似度检验（STS）中表现最强，情感分析次之，机器阅读理解中表现最弱。

    Jan, 2021