循环卷积神经网络用于视频联合降噪和去马赛克

循环卷积神经网络在视频联合降噪和去马赛克中的应用 循环卷积神经网络（Recurrent Convolutional Neural Networks, RCNNs）是一种深度学习模型，它结合了卷积神经网络（CNNs）的强大特征提取能力与循环神经网络（RNNs）的时间序列建模能力。在视频处理领域，RCNNs被用来处理连续帧之间的相关性，有效地利用时间信息进行任务执行，如视频降噪和去马赛克。 视频降噪是去除由于传感器噪声、光照变化等因素引起的图像不清晰的过程，而去马赛克则是恢复由单色传感器捕获的色彩信息。传统上，这两个步骤通常是分开进行的。先进行去马赛克，但这样做会产生相关噪声。研究[28]表明，适应这种相关噪声的去噪器可以得到优于先去噪后去马赛克的效果。理想的解决方案是将这两个步骤整合到一个联合降噪和去马赛克模块中，这不仅可以提高结果质量，还能简化相机流水线，合并两个深度相关的模块。 尽管已经提出了许多联合降噪和去马赛克的方法，包括基于模型的传统方法和数据驱动的现代方法，大多数研究集中在单张图像或连拍（burst）图像上。连拍图像处理考虑了多帧输入，利用帧间的相似性来增强信息。例如，有些工作利用手持设备的运动来实现超分辨率sRGB图像[14, 60]。学习基方法，如监督学习[35, 19, 20, 21]和自我监督学习[11]，也在连拍联合降噪和去马赛克（Joint Denoising and Demosaicking, JDD）中取得了进展。 然而，针对视频的JDD研究相对较少。早期的视频去马赛克假设原始数据无噪声，或者采用基于补丁的方法分别处理降噪和去马赛克[66, 5]。[9]提出了一种方法，首先应用图像去马赛克算法于有噪声的原始帧，然后通过自我监督的视频降噪网络进行降噪。最近，神经场方法[47, 41]也开始被用来解决这个问题。另一个相关问题是原始连拍图像的超分辨率，其目标是获取超分辨率的sRGB图像[60, 3, 36, 2]。 视频降噪和去马赛克的关键在于时间信息的聚合，当有多帧输入时，可以通过相邻帧观察当前帧的缺失值。这种方法已被证明对于两者都有益。因此，循环卷积神经网络特别适合这样的任务，因为它能够捕捉并利用帧间的时序依赖性，同时通过卷积层处理空间信息。RCNNs在视频JDD中的应用有望实现更高效、更高质量的视频处理，同时降低计算复杂度，提高实时性能。