评估用于上下文词形还原的最短编辑脚本方法

COLINGMar, 2024

评估用于上下文词形还原的最短编辑脚本方法

Evaluating Shortest Edit Script Methods for Contextual Lemmatization

Olia Toporkov, Rodrigo Agerri

TL;DR通过研究多种语言的上下文词形还原系统，本文发现计算大小写和编辑操作可以改善该系统的性能，尤其对于具有高派生形态的语言。值得注意的是，多语言预训练语言模型在每个评估环节中始终优于特定语言的模型。

Abstract

Modern contextual lemmatizers often rely on automatically induced Shortest Edit Scripts (SES), namely, the number of edit operations to transform a word form into its lemma. In fact, different methods of computing SES have been proposed as an integral component in the architecture of s

contextual lemmatizers shortest edit scripts lemmatization multilingual pre-trained language models morphological complexity

发现论文，激发创造

用于词汇简化的 LLM 增强对抗编辑系统

在低资源场景下，我们提出了一种无需平行语料库的新型词汇简化方法，该方法利用对原始句子进行混淆损失和不变性损失的指导来预测词汇编辑，并引入了创新的 LLM 增强损失，将大型语言模型的知识蒸馏到小型词汇简化系统中。大量的实验结果和三个基准 LS 数据集的分析证明了我们提出方法的有效性。

Feb, 2024

利用大型语言模型预测编辑操作来减少序列长度

本文提出一种通过预测编辑操作集合来实现本地序列转导任务的方法，并使用指令调整来对大型语言模型进行监督学习，实验证明该方法在常见任务中具备与基线模型相当的性能，同时可将目标文本长度缩小 21%。

May, 2023

通过重述前缀提示编辑语言模型的知识表示

我们介绍了一种名为 PSPEM 的新方法，它可以解决知识编辑方法的低效性和通用性问题，通过自动寻找最佳软提示来克服提示工程的不透明性，从而在效率和准确性之间保持最佳平衡。我们通过知识编辑和属性插入验证了 PSPEM 的有效性，在 COUNTERFACT 数据集上实现了近 100％的编辑准确性，并展示了最高水平的流畅性。

Mar, 2024

上下文感知机器翻译的序列缩短

在此研究中，我们展示了一种特殊情况的多编码器架构，其中源句子的潜在表示被缓存并在下一步中被重复使用作为上下文，这在对比数据集上实现了更高的准确度，并且与单编码器和多编码器方法相比具有相可比的 BLEU 和 COMET 分数。此外，我们还研究了将序列缩短应用于缓存表示的方法，我们测试了三种基于汇聚的缩短技术，并引入了两种新方法 - 潜在分组和潜在选择，其中网络学习将标记分组或选择为上下文进行缓存。我们的实验结果表明，这两种方法在对比数据集上达到了与其他测试方法相当的 BLEU 和 COMET 分数和准确度，同时可能具有更高的可解释性，并在上下文大小增加时减少了内存需求的增长。

Feb, 2024

上下文化语言模型用于语义变化检测：经验教训

本文研究使用基于上下文嵌入方法进行检测历时语义变化的可能存在的输出错误。通过引入单一方法并进行深入的分析，作者发现这种方法可能会将词汇的词典含义变化与上下文语境的变化混淆，同时将词汇实体的句法和语义方面合并在一起。本文提出了一些解决这些问题的未来可能方案。

Aug, 2022

大规模语言模型的鲁棒可扩展模型编辑

利用 EREN（通过阅读笔记编辑模型）提出方法来提高大型语言模型的可伸缩性和鲁棒性，通过正确响应语法相似但语义无关的输入以及从多个修改中整合知识，优于现有技术。

Mar, 2024

利用编辑操作的端到端神经句子简化

通过句子级和标记级损失权重，使用自然语言处理模型对生物医学文本进行自动简化，以实现更接近人工注释者创建的简化文本的编辑距离，语言简约度和编辑数量。

Nov, 2023

利用背景信息进行句子级词素切割

通过将整个句子作为输入，我们将形态素分割任务重新定义为序列到序列问题，结果显示多语种模型在性能上优于单语种模型，尽管没有超过最先进性能，但与高资源语言相比展现出了可比较的效果，同时揭示了在低资源语言情境下的限制。

Mar, 2024

大型语言模型对齐的光谱激活编辑

大型语言模型经常表现出不良行为，本研究提出了一种新的推理时编辑方法，即激活的频谱编辑（SEA），通过将输入表示投影到与积极示范具有最大协方差方向，同时最小化与消极示范具有协方差的方向，有效地缓解了生成虚假或有偏差内容的问题。

May, 2024

关于词形信息在上下文词形还原中的作用

本文通过实证研究，考察了在六种不同的语言上，使用不同的形态学特征开发上下文词形还原器对下游表现的影响，并发现：（i）为词形还原器提供细粒度的形态学特征在训练时并不那么有益，即使对于词汇连接语言；（ii）实际上，现代上下文词表示似乎隐式地编码了足够的形态信息，以获得无需查看任何明确形态信号的良好上下文词形还原器；（iii）最佳的领域外词形还原器是使用简单的 UPOS 标签或者没有训练形态学的模型；（iv）目前的词形还原评估实践并不足以清晰地区分模型之间的差异。

Feb, 2023