通过对抗性语言适应实现零样本跨语言立场检测
利用来自瑞士选举候选人的评论,构建了一个多语言立场检测数据集,包含 3 种语言的 67,000 条评论,预先加入自然问题代表目标,并用此训练出一种适用于所有政治问题的单一模型,使用多语言 BERT 的基线结果表明,该方法在零样本的情况下,进行跨语言和跨目标的转移效果相对成功。
Mar, 2020
本研究提出新的模型,在跨语言环境下实现了最全面的立场检测实验,通过基于情感的立场数据预训练,相较于几个强基准测试,以及低资源设置下取得了 6% 以上的 F1 绝对改善。
Sep, 2021
本文研究了跨语言立场检测,提出了一种新颖的对抗语言适应方法应用于记忆网络,确保源语言和目标语言之间的立场对齐,可以有效地处理目标语言中标注数据有限的挑战。实验结果表明,与当前最先进的方法相比,该方法的有效性得到了证明。
Oct, 2019
本文旨在研究大型语言模型在对于语言数据集难以获得的语言,如形态复杂、资源较少的语言中进行自动立场检测的适用性,同时探索了 ChatGPT 作为一种全零样本分类器的可行性,结果表明 ChatGPT 的性能可与有监督学习相当。最佳模型的应用还可用于研究爱沙尼亚主流新闻来源和右翼民粹主义新闻来源在七年间的历时趋势,并探讨立场变更与现实事件的对应关系,这为新闻分析和媒体监测提供了一个更为简单和省钱的文本分类任务的替代方案。
May, 2023
本研究评估了立场检测方法的演变,从早期的机器学习方法过渡到划时代的 BERT 模型,最终到现代的大语言模型(LLMs),如 ChatGPT、LLaMa-2 和 Mistral-7B。结果强调了 LLMs 在准确检测立场方面的卓越能力,LLaMa-2 和 Mistral-7B 表现出极高的效率和潜力,值得进一步研究。
Apr, 2024
研究了零样本学习和基于翻译的方法在预训练语言模型(mPTLMs)的跨语言适应性中的应用,提出了一种新的框架来整合这两种方法,通过定制一个预热机制来快速更新 mPTLMs,应用于细化的参数上进行跨语言适应性的实验结果表明,我们的方法有助于各种序列标注任务的跨语言适应性。
Oct, 2020
本论文旨在将英语在反谬误领域的研究成果转移到其他语言上,提出了一种利用领域自适应技术的黑盒式非侵入式方法,通过对低质量数据集的监督与非监督学习使领域差距减小,在不需要人类专家的情况下,可在 Zulu 语言的立场检测方面达到与英语类似的结果,并提供了 Zulu 语言的数据集。实验结果表明,利用英语数据集和机器翻译技术可提高英语数据以及其他语言的性能。
May, 2022
本文提出了一种使用文本和网络特征进行多模态嵌入的新模型 CT-TN 来解决社交媒体中的跨目标立场检测问题,在跨目标场景下的实验结果表明,相比于现有的基线模型,CT-TN 的平均性能提高了 11% 至 21%,表明了其有效性。实验中还发现 CT-TN 在看到 300 个目标实例后能够胜过其他模型,并且网络交互分析进一步表明了利用社交特征进行跨目标立场检测具有潜力。
Jan, 2023
本文研究了零 - shot 语言跨域转移学习在对抗言检测等任务中所面临的挑战,并提出使用多语种辅助任务(情感分析、命名实体识别和依靠语法信息的任务)进行训练,以提高模型的零 - shot 转移到不同语言的能力,最终实现跨语言之间的言语和文化差异的缩小。
Oct, 2022