Jun, 2024

Transformer 模型中的语言指纹：语言变体对讽刺检测参数选择的影响

PDF
TL;DR本研究探讨语言多样性、情感分析和变压器模型体系结构之间的相关性，旨在调查不同的英语变体对于基于变压器模型的讽刺检测的影响。我们使用 EPIC 语料库提取了五个不同的英语变体特定数据集，并在五个不同的体系结构上应用了 KEN 修剪算法，从而进行了研究。我们的结果揭示了最佳子网络之间的几个相似之处，这些相似之处提供了对共享强烈相似之处和表现出更大差异的语言变体的见解。我们发现，跨模型的最佳子网络至少共享 60% 的参数，强调了参数值在捕捉和解释语言变化方面的重要性。本研究突显了在不同语言变体上训练的模型之间固有的结构相似性，并强调了参数值在捕捉这些细微差别中的关键作用。
发现论文，激发创造
  • 基于依存句法和神经模型的多语言讽刺检测

    本研究旨在探讨句法依赖特征在多语言讽刺检测任务中的有效性，并发现句法特征在讽刺检测中是具有信息量的。

    Nov, 2020

  • 多语言环境下的讽刺检测

    本文提出了第一个多语言（法语、英语和阿拉伯语）和跨文化（印欧语系语言与不太文化接近的语言）的讽刺检测系统。我们使用基于特征和基于神经网络的体系结构，采用单语词表示法。我们比较了这些系统与最先进的系统的性能，以确定它们的能力。我们发现，使用多语言词表示或基于文本的特征在不具备讽刺注释数据的语言中分别训练的这些单语言模型可以打开讽刺检测的大门。

    Feb, 2020

  • 分岔路径的花园：大型语言模型中动态参数分布的观测

    这篇论文提出通过观察模型参数的统计分布随时间的演化，特别是通过观察分叉效应，可以帮助理解模型质量的原因，从而降低训练成本和评估工作，并在实践中展示了权重稀疏化的有效性。

    Mar, 2024

  • 使用大型语言模型增强讽刺检测中的情感特征

    本研究介绍了一种用于讽刺检测的新方法，采用基于提示的学习的大型语言模型（LLMs）来促进以情感为中心的文本增强。与传统的讽刺检测技术相比，通常由于依赖静态的语言特征和预定义的知识库，往往忽视了讽刺中至关重要的微妙情感维度。相反，我们的方法通过将微妙的情感线索与经过增强的 LLMs 相结合，整合到三个广泛应用于讽刺检测中的基准预训练 NLP 模型（BERT、T5 和 GPT-2）中来增强检测过程。我们使用 SemEval-2018 Task 3 数据集评估了我们的方法，并观察到在讽刺检测能力方面得到了显著的增强。

    Apr, 2024

  • 通过语言类型分类探究单语 BERT 的语言学特征

    本文采用了语言类型相似性的新视角，通过观察不同语言的 transformers 在各自的层次上是否出现了相似性，利用层内加权矩阵来测量相似度，发现句法类型相似性与中间层的权重相似性一致，这一发现证实了通过句法探针 BERT 获得的结果，从而重要地确认了 BERT 在复制传统的语言模型。

    May, 2023

  • Indic-Transformers: 基于 Transformer 模型的印度语言模型分析

    该研究通过对 Hindi、Bengali 和 Telugu 语言进行广泛实验，评估了基于 Transformer 架构的语言模型在印度语言上的性能，发现 Fine-tuning 预训练模型参数比从头训练语言模型更有效，而数据集大小与模型性能之间的严格依赖关系需要被探讨。最终，在文本分类任务中实现了 Hindi 和 Bengali 语言的最新技术水平，并提出了处理印度语言建模问题的有效策略。

    Nov, 2020

  • 加载所需：多语言 BERT 的较小版本

    本文探讨如何通过减少多语言模型中的词汇量来生成更小且性能相当的模型，研究结果表明，相比蒸馏的方法，此种方法能在保持性能的情况下，将模型总参数减少达 45% 左右。

    Oct, 2020

  • 我们正在呼唤干预：对语言模型在不同类型语言变异中的适应性进行深入研究

    通过一系列干预和实验证明，我们可以理解语言模型对于存在语言变异（例如非标准或方言文本）的文本的适应性。在包括字符级、子词级和词级变化的语言变异方面进行干预，通过不同规模和性质的训练数据进行语言模型适应，我们对于语言变异对于语言模型的困难有了重要的认识。我们的发现对于方言自然语言处理和增强语言模型对语言变异的鲁棒性的未来研究有着重要的启示。我们公开提供了可以应用于任何英文文本数据的干预代码。

    Apr, 2024

  • 探究语音情感识别变形金刚在语言知识方面的应用

    本文研究了使用 self-attention layer（transformers）预先训练的神经网络在情感识别中的表现，并发现这些模型成功利用语言信息来提高其 valence predictions，在测试他们时应包括对语言分析。

    Apr, 2022

  • 评估基于 Transformer 的多语言文本分类

    研究探讨了 NLP 工具在不同语言的应用情况以及针对语言结构差异进行的分析，指出哪些变量最影响语言建模的效果，通过计算词序和形态相似性指数等方法进行实证研究，最后通过多分类文本分类实验验证了研究结论。

    Apr, 2020