Sep, 2023

StyloMetrix: 一款用于表示文体向量的开源多语言工具

PDF
TL;DR该研究提供了一个关于开源多语言工具 StyloMetrix 的概述，它提供了涵盖语法、句法和词汇等各个方面的风格测量文本表示。StyloMetrix 覆盖了四种语言：波兰语作为主要语言，英语、乌克兰语和俄语。每个特征的标准化输出可成为机器学习模型的有益课程，也可以成为任何深度学习算法中嵌入层的有价值补充。我们力求提供对 StyloMetrix 向量应用的简明而全面的概述，并解释开发的语言特征集合。实验证明，在使用简单算法如随机森林分类器、投票分类器、逻辑回归等进行监督内容分类时，取得了令人满意的结果。深度学习评估揭示了 StyloMetrix 向量在增强由 Transformer 体系结构提取的嵌入层中的实用性。StyloMetrix 已经被证明是机器学习和深度学习算法对执行不同分类任务的可靠来源。
发现论文，激发创造
  • 基于语法和句法的乌克兰语语料库分析工具

    该研究提供了一个文本挖掘工具 StyloMetrix 的概述，该工具最初为波兰语开发，后来扩展为英语和乌克兰语。研究人员使用计算语言学家和文学研究人员手工制作的各种度量衡来构建统计评估句法和语法特征的思路是直接而熟悉的，但对于乌克兰语等低资源语言，该工具仍需开发。该论文描述了 StyloMetrix 的流程和用于文本分类任务的一些实验，同时也描述了该包的主要限制和度量衡的评估程序。

    May, 2023

  • 语言模型词嵌入空间中的词汇文体特征表达

    本研究发现，通过预训练语言模型（LMs）建立的表征空间，不仅编码了单词及其关系等抽象语义概念，也能够识别如复杂性、正式程度和象征性等字词风格，以及使用在小数量文本中产生的矢量表征。此外，本文还对这些表征空间的词级与短语级特征进行了分析，并表明无论静态嵌入还是上下文化 LMs，都可以在对不同长度的文本进行字符化时得到更高的准确度。

    May, 2023

  • 风格指纹、词性标注和屈折语言：以波兰语为例的案例研究

    本研究使用 NLP 技术中的 lemmatization 和 parsing，研究了词语和语法标记对于作者风格识别的效果，并在多种标记类型下进行了分类准确度的对比，结果显示虽然其性能较字词标记差，但不相差的程度不超过 15%。

    Jun, 2022

  • StyloAI：使用词体分析区分 AI 生成内容

    该研究提出了 StyloAI，一种基于数据驱动的模型，通过在两个多领域数据集上应用随机森林分类器使用 31 个文体特征来识别人工智能生成的文本，该方法在 AuTextification 数据集的测试集和教育数据集上分别取得了 81% 和 98% 的准确率，并提供了人工智能生成文本和人类撰写文本之间差异的有价值的见解。

    May, 2024

  • 通过提示 LLMs 学习可解释的风格嵌入

    本研究使用提示技术，对大量文本进行文体分析，得到了一组可解释的文体表示方法 LISA embeddings，为解决当前使用神经网络进行文体表示学习所面临的可解释性困境提供了新的解决方案。

    May, 2023

  • LINSPECTOR WEB: 用于词表示的多语言探针套件

    LINSPECTOR WEB 是一种开源多语言检测器，支持 16 种简单的语言学探测任务分析 28 种语言的单词嵌入表示，支持静态单词嵌入表示和预训练的 AllenNLP 模型的探测。

    Jul, 2019

  • 大规模语言模型的文体水印

    提出了一种新的方法来生成文本水印，通过策略性地改变生成过程中的令牌概率，利用语言学特征（如风格学）对大型语言模型（LLMs）进行参数化，以提高鲁棒性和应对传统攻击。

    May, 2024

  • StyLEx: 用基于词典的人类感知解释风格

    本篇研究介绍了 StyLEx，一种使用人工识别的文体词汇作为预测句子文体的附加信息的模型，它不会牺牲原始并且跨域数据集上的句子级文体预测性能，同时可以提供类似于人类感知的文体词汇解释。

    Oct, 2022

  • 使用文体学技术检测机器生成的假新闻的限制

    本文讨论了神经语言模型与人工写作之间的风格差异，发现传统风格测量技术不能有效地检测机器生成的虚假新闻。作者提出了构建新型检测机制的必要性与重要性。

    Aug, 2019

  • 自动生成作者风格诗歌的多语言方法

    该论文研究多语言环境下的文本风格生成问题，并基于长短时记忆人工神经网络和扩展语音和语义嵌入，实现了文学创作的风格生成，最终通过双语评估，调查调查和交叉熵等指标比较结果，认为该模型在创作文本方面优于随机采样和经典 LSTM 基线模型，并且生成文本的风格和目标作者十分相似。

    Jul, 2018