本文提出了一种名为 KEST 的自训练框架，利用基于核的损失函数代替标准交叉熵来处理生成模型中的模式崩溃和多样性缺失等问题，进而提高半监督可控语言生成任务的表现。

Jun, 2023

本文讨论了直接语音到语音翻译模型面临的数据稀缺性问题，探索了自监督预训练和数据增强技术来解决此问题，实验表明自监督预训练可以提高模型性能，结合数据增强技术可以进一步提高模型性能。

Apr, 2022

介绍了一种自我控制的文本增强方法（Self-Controlled Text Augmentation - STA），该方法可以控制样本的语义内容，对比现有技术在多个数据集上实验表明 STA 的性能显著优于现有技术，并且生成的样本词汇多样性高，语义可靠。

Feb, 2023

利用自身记忆的自我训练模型在数据到文本生成中引入了一种新颖的训练模型 (STSM)，使模型能够在子集上进行自我训练，其中包括直接从训练模型和 / 或新数据推断出的自身记忆作为输出。该模型的自身记忆质量经由数据到文本 (D2T) 模型和文本到数据 (T2D) 模型进行验证，满足两个预定义条件：(1) D2T 模型输出中包含所有源值，以及 (2) T2D 模型输出中可以将文本转换回源数据。我们使用贪婪算法生成较短的 D2T 输出，以确保其包含所有源值。然后，我们使用 T2D 模型确认这些输出能够捕捉输入关系，即通过将文本转换回数据来展示其能力。使用数据集的 30%，我们可以训练 D2T 模型，在相同的设置下与完全训练相比，获得具有竞争力的性能。我们在两个数据集 E2E NLG 和 DART 上进行了实验。STSM 在减少训练数据量的同时，为 D2T 模型提供了来自子集记忆的泛化能力。最终，我们希望这篇论文能为连续学习解决方案做出贡献，该解决方案能够适应新的训练数据，并将其作为 DTG 任务中的一种自身记忆形式。精选数据集可在此链接获取：https:// 这个 URL

Jan, 2024

提出了一种文本无关的声学模型与自我监督蒸馏策略相结合的噪声鲁棒表达式语音翻译 (S2ST) 模型，通过将 U2S 生成器与语音到单元翻译模型级联，可以在存在噪声的环境中生成高质量的语音，并在干净环境中保持竞争性性能。

Jun, 2024

使用 DGST 模型，经过定量和定性实验，在不需要识别器或并行语料库的情况下，与其他结构更为复杂的基准模型相比，实现了较高的文本风格转换性能。

Oct, 2020

在半监督学习中，为了减少标记数据的需求，经常使用自我训练来分配伪标签。然而，由于自我训练中可能会出现错误的伪标签，从而导致训练不稳定，因此提出了一种去偏差的自我训练方法，它使用两个参数独立的分类器头来分离伪标签的生成和利用，并通过对抗优化表征来改善伪标签的质量，从而稳定训练并提高性能。

Feb, 2022

本文提出并研究了两种自我监督方法：保持潜在一致性和建模对话行为，以提高数据效率，实验结果显示这种方法将使联合目标的准确度提高了 8.95％。

Oct, 2020

本文提出了一种无需实际数据就能够获取对抗黑盒攻击的替代模型的数据自由替代训练方法 (DaST)， 该方法利用一种特别设计的生成式对抗网络（GAN）来训练替代模型，实验表明，DaST 产生的替代模型可以取得竞争性的性能，并且是第一个无需任何真实数据训练对抗攻击替代模型的方法。

Mar, 2020

通过应用声学效果生成大量合成数据，利用现有的大量不同语言的未标记文本，提出了一种有效的方法来利用大量的语音到语音翻译数据，改进翻译质量，在西班牙语 - 英语和俄语 - 英语翻译中提高了 2 个 BLEU，尤其是在极低资源情况下表现显着。

Oct, 2022