- 利用机器生成的理由促进对话中的社会意义检测
我们提出了一种可以推广的分类方法,利用大型语言模型(LLM)来侦测对话中隐含的社会意义。我们设计了一个多方面的提示来提取将可见线索与潜在社会意义相连接的推理的文本解释。这些提取的解释或理由作为对话文本的增强,以促进对话理解和转移。我们在 2 - 稀疏域迁移:通过弹性网正则化
本研究提出了 Elastic Net Optimal Transport (ENOT) 框架来解决稀疏分布转移问题,并证明 ENOT 的稀疏梯度可以提供稀疏领域传输映射,通过应用 ENOT 框架进行特征选择和数值结果的演示,表明 ENOT - 基于灰度重新定义的高分辨率图像转换模型
提出了一种创新的图像翻译方法,包括利用灰度调整方法进行像素级翻译、利用 Pix2PixHD 模型以及改进的损失函数来增强图像翻译性能,解决了稀疏训练数据的问题。
- ACL语言修正流:通过概率流推进扩散语言生成
Language Rectified Flow 是一种基于标准概率流模型改进的方法,通过学习(神经)常微分方程模型在源分布和目标分布之间进行转换,提供了生成建模和领域转换的统一有效解决方案。实验证明该方法在多个 NLP 任务中能够持续优于其 - EMNLPBERT 走出题材范畴:通过类型分类研究领域转换挑战
基于预训练语言模型的文本分类任务在主题分布变化时仍存在性能差距,本文通过大规模语料库和大量主题的实证研究量化了这一现象,验证了经典 PLMs 和现代大模型都面临领域转移的挑战。同时,通过将训练数据集增加主题控制的合成文本,F1 得分在某些主 - 潜在空间中的领域转移(DTLS)能在图像超分辨率中取得胜利 - 一种非降噪模型
本文提出了一种简单的方法来进行高效图像超分辨率,该方法采用了扩散模型的基本结构,通过建立领域之间的转移关系,学习统计特性的差异以促进逐步插值,并通过参考输入的 LR 图像对转移领域进行条件控制,实验结果表明,该方法不仅优于最先进的大规模超分 - 利用大型语言模型进行零样本 ASR 领域自适应的语料合成
提出了一种新的自适应 ASR 模型到新目标领域的策略,其中使用大型语言模型生成目标领域文本语料库,并使用最先进的可控语音合成模型生成相应的语音,通过在上下文中进行指令微调以提高大型语言模型生成新领域文本语料库的效果,实验证明该方法在未知目标 - 面向无需一致性筛选的密集检索无监督学习
通过替换一致性过滤器为直接伪标签、伪相关反馈或无监督关键词生成方法,实现无过滤训练的一致性过滤器自由无监督稠密检索。实验结果表明,基于 TextRank 的伪相关反馈方法的表现超过其他方法,并且研究还分析了该方法的训练和推理效率。
- 跨越国家、时间和体裁的多语种政党宣言分类
通过对政治宣言的大规模数据库进行研究,我们展示了领域转移在地理位置、语言、时间和体裁等方面的潜力,以及细调的变压器模型在领域内的分类性能。此外,我们观察到不同来源国家的政治宣言存在(部分)显著差异,即使这些国家共享一种语言或文化背景。
- 利用开放信息抽取提升少样本触发器检测的领域迁移能力
本研究提出了通过 open information extraction (OIE)系统所获取的主客体关系将触发器耦合在不同领域之间从而增强域迁移的性能,并在目标领域上使用 OIE 系统最后结合掩盖语言建模技术来降低负迁移。
- 流线型迅速:学会使用修正流生成和转移数据
我们介绍了修正流 (即沿最短路径连接两个分布的神经常微分方程模型) 的概念及其在各种相关任务中的应用,它能够为生成建模和域迁移等提供统一解决方案,并且在图像生成、图像翻译和域适应方面表现出优秀的性能。
- 领域通用和适应预训练的广泛研究
本研究对深度模型的预训练、网络结构、大小等方面进行了广泛的研究和深入分析,发现通过使用最先进的主干网络可以有效提高领域适应基线和设置新的基线,为未来的领域转移研究提供了更多的见解。
- 使用 Q 网络表示的转移强化学习在不同操作空间中的应用
本研究旨在探究在不同动作空间领域之间进行知识传递的可能性和有效性,提出了一种基于源嵌入相似性的奖励塑形方法,可适用于具有离散和连续动作空间的领域。在 Acrobot-v1 和 Pendulum-v0 领域上,基于两个基线的比较表明我们的方法 - 基于评分的生成模型实现逼真星系图像模拟
利用去噪扩散概率模型(DDPM)生成逼真的模拟星系图像,并借鉴深度生成学习文献中的 Frechet Inception 距离和新引入的合成星系距离指标进行相似度比较和 Emergent 物理特性比较,其效果比其他生成方法(如对手网络)更为真 - ACL面向目标的零资源命名实体识别微调
本文提出了一个以目标为导向的微调框架,从特定领域、语言和任务等三个方面利用各种数据来解决零资源命名实体识别中的数据稀缺问题,并在六个基准测试中实现了新的最先进性能表现。
- ASR 的对比半监督学习
本文提出了一种名为对比半监督学习(Contrastive Semi-supervised Learning, CSL)的方法,通过挑选正负样本来替代直接预测教师生成的伪标签,并将其应用于翻译公共社交媒体视频的挑战任务中,从而比标准的交叉熵伪 - CVPRZeroScatter: 透过散射介质进行长距离成像与视觉的域转移
本文介绍了一种利用综合方法实现数据域转换的深度学习算法 ZeroScatter,并将其应用到解决在恶劣天气下自动驾驶过程中存在的缺陷,结果表明 ZeroScatter 优于现有的单目去雾方法。
- 鲁棒对话话语改写的序列标注
该论文提出了一种基于序列标注的对话重写模型,通过在 REINFORCE 框架下注入 BLEU 或 GPT-2 等损失信号,提高了生成语句的流畅度,进而在领域转移方面显示出比当前最先进系统更大的改进。
- EMNLPBioMegatron: 更大的生物医学领域语言模型
本研究通过实证研究多个因素,如子单词词汇集、模型大小、预训练语料库和领域转移等,对领域语言应用的表现进行评估,结果表明使用更大的 BioMegatron 模型训练的表现更好,对于生物医学命名实体识别、关系抽取和问答等方面也有显著提高。
- ECCV通过任务蒸馏进行领域适应
使用图像识别数据集作为源域和目标域之间的桥梁,通过任务蒸馏框架,在不同仿真器之间成功地传输导航策略,并在传统领域适应基准上展现出有前途的结果。