May, 2023

通过提示 LLMs 学习可解释的风格嵌入

PDF
TL;DR本研究使用提示技术，对大量文本进行文体分析，得到了一组可解释的文体表示方法 LISA embeddings，为解决当前使用神经网络进行文体表示学习所面临的可解释性困境提供了新的解决方案。
stylometrystyle representation learningneural methodsauthorship attributionlisa embeddings
发现论文，激发创造
  • 作者身份表达学习能捕捉到文体特征吗？

    自动从作者的写作风格中脱离其内容是计算语言学中一个长期存在且可能难以逾越的问题。然而，最近可用的带有作者标签的大型文本语料库使得可以通过完全基于数据驱动的方式来学习作者表征，用于作者归属的任务，这个任务似乎更多地依赖于编码写作风格而不是编码内容。然而，成功完成这个替代任务并不能确保这些表征能够捕捉到写作风格，因为作者归属也可能与其他潜在变量（如主题）相关。为了更好地理解这些表征传达的信息性质，特别是验证它们主要是否编码写作风格的假设，我们通过一系列有针对性的实验系统地探查了这些表征。这些实验的结果表明，学习用于替代作者归属预测任务的表征确实对写作风格敏感。因此，可预期作者表征对某些数据转换具有稳健性，例如随时间的主题漂移。此外，我们的发现可能为需要风格表征的下游应用开启大门，如风格转换。

    Aug, 2023

  • StyleChat: 基于 LMM 的记忆式学习在风格化对话生成中的应用

    通过构建 38 种风格的语料库，研究团队提出了一种基于记忆和多任务学习策略的对话生成框架 StyleChat，它能够有效地解决基于大规模语言模型的风格化对话生成中的数据偏差问题，并在测试中取得了优秀的表现。

    Mar, 2024

  • 使用词汇表进行指令调整的零样式分类

    本研究探讨了基于词典的指示如何发现训练时未曾涉及的新风格，以指导大型预先训练的语言模型进行文本风格分类，并展示了这种方法对提高迁移零样本性能的显著效果。

    May, 2023

  • StyLEx: 用基于词典的人类感知解释风格

    本篇研究介绍了 StyLEx，一种使用人工识别的文体词汇作为预测句子文体的附加信息的模型，它不会牺牲原始并且跨域数据集上的句子级文体预测性能，同时可以提供类似于人类感知的文体词汇解释。

    Oct, 2022

  • 使用大型语言模型进行任意文本风格转换的方法

    本文采用大型语言模型（LM）来进行零样式转移，提出了一种提示方法，称为增强的零样式学习，将样式转移作为句子重写任务，并仅需要自然语言指令，无需目标样式的模型微调或示例。增强的零样式学习简单易用，不仅在情感等标准样式转换任务上表现出色，而且可以进行任意变换，例如 “使其多愁善感” 或 “插入一个隐喻”。

    Sep, 2021

  • SemStyle: 使用非对齐文本学习生成风格化图像标题

    通过 SemStyle 模型，利用自然语言处理技术和语义框架生成语义和风格相符且与图片语义相关的题注，为从丰富的网络语言数据中学习更丰富的图像描述提供可能性。

    May, 2018

  • 学习在任意书写风格中生成文本

    通过对比训练的表示捕捉风格特征，从而引导语言模型以目标风格生成文本，实现满足作者特定风格的生成，而不需要微调底层语言模型。

    Dec, 2023

  • 利用可解释自动提示的语言模型解释数据中的模式

    本文探讨利用大型语言模型的学习能力来发现和解释数据中的模式，并提出了一种名为 iPrompt 的算法来生成自然语言字符串，从而实现可解释的自动提示，用于帮助数据分析、科学发现和信息处理等领域。

    Oct, 2022

  • 基于提示的文本风格转移编辑

    该论文提出了一种基于提示的文本风格转换编辑方法，其中使用预训练语言模型进行风格分类，使用分类概率计算风格得分，然后通过词级别的编辑，以最大化全面的评分函数来实现风格转换任务，实验表明其性能远高于具有 20 倍参数的现有技术。

    Jan, 2023

  • 学习潜在 "外貌": 从时尚图像中无监督发现风格一致的嵌入

    提出了一种基于概率多语言主题模型的无监督方法来发现一组潜在的风格因子，进而通过混合这些因子来对时尚图片进行风格总结，并无需任何风格标签，从而可以根据风格来组织衣服图库。

    Jul, 2017