Sep, 2022

PART: 预训练的作者表示转换器

PDF
TL;DR提出 PART: 一种对比训练的模型，用于学习作者嵌入，以确定文本的专有权通过评估所述文件的余弦相似性，用于文学作品、匿名博客帖子和公司电子邮件的作者识别的零炮验证，并在可用数据集的不同数据可视化下定性评估表征。
authorship identificationstylometric representationscontrastive trainingtransformer modelcosine similarity
发现论文，激发创造
  • 利用监督对比预训练转换器解析社交媒体中的写作风格

    在线社交网络是有害行为的肥沃土壤，从仇恨言论到虚假信息的传播。我们提出了一种基于作者风格的转换模型 STAR，通过关联内容与其各自的作者来理解有害行为。我们的模型在与 PAN 挑战中的归因和聚类任务上表现出有竞争力的性能，并且在 PAN 验证挑战中使用单个密集层取得了有希望的结果。

    Oct, 2023

  • 构建稳健且保护隐私的文本表现

    本文提出了一种明确遮蔽作者特征的方法，使训练后的表示对这些属性不变，以便在两个任务中评估，表明这导致所学表示的隐私性增强，以及更强大的模型应对不同的评估条件，包括领域外语料库。

    May, 2018

  • 寻凶？学习对比进行作者归属度量

    本论文提出了一种新方法 —— 使用对比学习在预训练语言模型的基础上微调特定作者的表征，以提高文本作者鉴定的准确性，该方法将最新的研究前沿提高至多 6.8％。但是，该方法的性能指标有所牺牲，需要进一步研究解决。

    Sep, 2022

  • 学习文体特征表示用于作者分析

    本文提出了一种使用神经网络方法来模拟人类组合句子过程，将语言特征的不同类别合并到单词的分布式表示中，以同时学习作者文体表示的作者分析方法，提取出每个文档的话题、词汇、句法和字符级别的特征向量，实验结果表明，这种方法在作者特征化和作者验证方面具有优异的性能。

    Jun, 2016

  • 作者身份表达学习能捕捉到文体特征吗？

    自动从作者的写作风格中脱离其内容是计算语言学中一个长期存在且可能难以逾越的问题。然而，最近可用的带有作者标签的大型文本语料库使得可以通过完全基于数据驱动的方式来学习作者表征，用于作者归属的任务，这个任务似乎更多地依赖于编码写作风格而不是编码内容。然而，成功完成这个替代任务并不能确保这些表征能够捕捉到写作风格，因为作者归属也可能与其他潜在变量（如主题）相关。为了更好地理解这些表征传达的信息性质，特别是验证它们主要是否编码写作风格的假设，我们通过一系列有针对性的实验系统地探查了这些表征。这些实验的结果表明，学习用于替代作者归属预测任务的表征确实对写作风格敏感。因此，可预期作者表征对某些数据转换具有稳健性，例如随时间的主题漂移。此外，我们的发现可能为需要风格表征的下游应用开启大门，如风格转换。

    Aug, 2023

  • 大型语言模型上的神经作者归属性：风格分析

    通过实证分析大型语言模型（LLMs）的写作特征、对比专有和开源模型的异同、并探索通过语言的词汇、句法和结构方面的风格特征整合实现对 AI 生成文本的追溯，为神经网络作者归属提供经验性洞见，为应对 AI 生成的错误信息的威胁铺平道路。

    Aug, 2023

  • 面向内容丰富的文本图像生成的自回归模型扩展

    该研究提出了 Pathways Autoregressive Text-to-Image（Parti）模型，它是一个将文本转换为高保真度照片般的图像的模型，并支持包含复杂组合和世界知识的内容丰富的合成。

    Jun, 2022

  • 从语言行为出发的人格检测：一个 Transformer 结合了心理语言学特征文字轮廓

    本文介绍基于语言使用进行人格预测的交叉性研究，报道了用于文本数据的最全面的心理语言学特征和混合模型的两个主要改进，实验结果表明，这些模型优于同一数据集上的现有工作，并通过对心理语言学特征的不同类别进行消融实验来量化其影响。

    Apr, 2022

  • 使用多头循环神经网络进行作者识别

    通过把一个字符级 RNN 语言模型的输出层划分成几个独立的预测子模型，每个子模型代表一个作者，而循环层被所有子模型共享，本文提出了一种新的方法，该方法允许循环层模拟整个语言而不会产生过拟合，同时输出选择反映其作者风格的潜在模型方面，该方法在四种语言中两次排名第一，证明了它的有效性。

    Jun, 2015

  • 将双向长短期记忆网络与子单词嵌入结合，用于作者归属度量

    本文提出了一种基于双向长短期记忆 (BLSTM) 和二维卷积神经网络 (CNN) 的方法来进行文本作者识别，通过使用子词信息获得特征之间的顺序关系以及了解风格的局部语法位置，实验证明该方法相比其他最新方法在 CCAT50 和 Twitter 上分别提高了 1.07％和 0.96％的准确率，并在其余数据集上产生了可比较的结果。

    Jun, 2023