应用差分隐私（DP）在自然语言处理中的研究必须区分其操作的句法级别，通常采用单词级或文档级的隐私化形式。最近，已经提出了几种基于 Word Embedding 空间的通用 DP 概念的单词级 Metric Differential Privacy 方法。然而，这些方法往往无法产生语义连贯的文本输出，只能通过基本的单词扰动组合实现在句子或文档级别的应用。本研究通过在单词和句子级别之间操作，即使用 Collocations，来解决这些挑战。通过扰动 n-grams 而不是单个单词，我们设计了一种方法，其中组合的隐私化输出具有更高的语义连贯性和可变长度。我们通过构建一个基于频繁出现的单词组的嵌入模型来实现这一目标，在该模型中，unigram 词与 bi - 和 trigram collocations 共存。我们在效用和隐私测试中评估了我们的方法，明确提出了超越单词级的标记化策略。

Jun, 2024

通过引入简单且有效的减法归纳偏差，条件于单个样本，我们提出了一种新颖且简单的架构，以减少信息泄漏，并展示了在生成和预测任务上相比多个强基准方法更先进的结果。

Jun, 2024

基于最新的自然语言处理技术，本研究通过使用基于写作指南的文本对文本界面而无需提供培训样本的方法，评估其在实际应用中自动化注释任务中的效果，结果表明即使受到本地计算资源限制，这种以提示为基础的方法与经过优化的 BERT 模型相当，且无需任何已标记的训练数据。

Jun, 2024

我们调查了知识蒸馏在多语言环境中的价值和模型初始化方法，发现通过将教师模型的权重直接复制到学生模型来增强初始化对于各种多语言环境中的模型初始化最为重要，并证明了高效的权重初始化在低资源场景下仍能保留多语言能力。

Jun, 2024

使用 ProtoPNeXt 框架，结合贝叶斯超参数调整和角度原型相似度度量，有效提高了原始 ProtoPNet 在 CUB-200 上的准确性，同时优化了原型的可解释性，产生了具有显著改进的模型。

Jun, 2024

利用当代语言模型在序列到序列任务中的应用来增强心理健康研究，通过小型模型，可以准确高效地进行领域特定临床变量的数据标注和心理健康仪器的数据收集，并表现出比商业大型模型更好的性能。

Jun, 2024

Visual Speech Recognition (VSR) aims to interpret spoken content from visual cues, and SyncVSR presents an end-to-end learning framework that synchronizes visual representation with acoustic data, achieving state-of-the-art results while reducing data usage by up to ninefold.

Jun, 2024

基于自我监督方法使用大规模数据集训练的基础模型（FMs）被广泛应用于各个领域，包括医疗保健领域，特别在自然语言处理、医学图像分析、临床大型语言模型和病理组学数据等方面。该综述论文全面概述了 FMs 在医疗保健领域的历史、学习策略、旗舰模型、应用和挑战，并提供了详细的医疗应用分类，同时讨论了 FMs 所面临的挑战和未来研究方向。

Jun, 2024

为解决 NLP 任务中的暴露偏差和指标不匹配问题，本文提出了一种基于动态预示算法的解决方案，并开发了新型的动态预示算法，证明其在类似基于跨度的 F1 指标上保持了 DAgger 的无遗憾保证。作者评估了该算法在命名实体识别、文本摘要和机器翻译等任务中的性能，在机器翻译实验中，DAgger with dynamic oracle 的结果不如基准技术，但在命名实体识别和文本摘要方面表现优秀。

Jun, 2024

通过 OpenObj 方法，在 3D 场景重建方面，有效地建立开放性对象级别的 Neural Radiance Fields，以实现细粒度的理解和零 - shot 语义分割。

Jun, 2024