本文介绍了一种基于深度学习的框架，用于音频 - 视觉的语音修复，展示了多任务学习与视觉信息对语音信号修复的有效贡献并比较了仅音频信息下的表现。

Oct, 2020

本文提出一种基于图信号处理的快速点云修复方法，利用点云的局部平滑性和非局部自相似性，将修复过程转换为优化问题，该方法相对于其他四种方法在客观和主观质量上表现明显更优。

Sep, 2018

通过提出的两个新损失函数：音频 - 视觉关注损失和音频 - 视觉伪类一致性损失，我们向视频修复网络传递音频 - 视觉对应关系的先验知识，进而提高视频修复的性能。实验证明，我们的方法可以更好地恢复更广泛的视频场景，并且在场景中的声音对象局部遮挡时特别有效。

Oct, 2023

本文提出了一种名为视觉信息注入音频修补的多模态感知任务，通过学习视觉 - 音频联合特征空间，并在语音谱图上进行操作，能够修补音频中的缺失部分，实现音频与视频同步，经过大规模实验验证该方法的有效性。

Oct, 2019

本文提出了一种基于深度学习的快速视频修复网络，结合图像编解码模型，利用邻帧信息综合填充未知视频区域，并运用循环反馈和时间存储模块确保输出的时空连续性，与之前的视频修复方法相比，其结果更为语义正确和时空平滑，且可用于视频重定向任务并生成优质视觉效果。

May, 2019

这篇论文提出了一种基于全局、基于补丁的功能的自动视频修复算法，可以处理动态纹理、多个移动对象和移动背景等挑战情况，并在执行时间方面比现有技术快一个数量级。最终的算法不需要分割或手动输入，只需要定义修复遮罩即可，并且能够处理比以前的工作更广泛的情况。

Mar, 2015

使用语音自监督学习模型进行语音修复任务时，选择冻结一个模型并微调另一个模型以更好地适应单一或多说话者数据，提供了有效的信号重建策略。

May, 2024

提出了一种新颖的视频修复算法，通过 Deep Image Prior（DIP）推出的卷积网络，同时生成缺失的外观和光流信息，并采用一种无需先验训练的生成式方法进行修复。该方法具有良好的视觉效果和长期一致性。

Sep, 2019

本文关注于协作对象检测，研究了通过边缘设备进行前期深度特征计算，然后将其传输到云端进行后续处理的实践过程中，包丢失对特征传输产生的影响，并通过理论和实验表明，基于偏微分方程的图像修补方法可用于还原隐空间中丢失的特征，为协作对象检测中的丢失数据恢复的最新技术水平。

Jan, 2021

该研究提出了一种新颖的序列到序列模型，通过编码器 - 解码器架构的方式利用视觉信息来修复音频信号，证明了多模态方法在语音修复中的有效性。

Jun, 2024