论文阅读笔记-2025论文

阅读2025年一系列论文时的笔记。

读一些新的论文，重点学习这些论文的写作思路、行文、架构等内容。

Auto-Encoded Supervision for Perceptual Image Super-Resolution

CVPR 2025

摘要

本文研究了感知超分辨率（SR）中的保真度问题。具体地说，我们解决了基于GAN的SR框架中像素级$L_p$损失（$L_{pix}$）的缺点。由于已知$L_{pix}$与感知质量具有折衷关系，因此现有方法通常乘以小的比例因子或利用低通滤波器。然而，这项工作表明，这些规避未能解决导致模糊的根本因素。因此，我们关注两点：

1）精确地区分$L_{pix}$的对模糊有贡献的子分量，以及2）仅基于不受该折衷关系影响的因素进行引导。我们证明，它们可以以一种令人惊讶的简单方式来实现，使用一个用$L_{pix}$预训练的自动编码器（AE）。

因此，我们提出了最佳惩罚损失的自动编码监督（LAESOP），一种新的损失函数，它在AE空间1中测量距离，而不是在原始像素空间中。通过简单地用LAESOP替代Lpix，我们可以提供有效的重建指导，而不影响感知质量。我们的方法设计简单，能够轻松集成到现有的SR框架中。实验结果表明，AESOP算法能够在感知SR任务中取得良好的效果。

一、介绍

图像超分辨率是图像处理中的一个基本挑战，其目标是从其低分辨率（LR）图像重建未知的高分辨率（HR）图像。在这一领域的最新进展已经分支成两个不同的主流：面向质量的SR和面向感知质量的SR（感知SR）。

面向质量的SR方法的目标是在像素的基础上对HR图像进行高保真度。这些方法通常采用每像素重构损失$L_{pix}$（即，像素级$L_{p}$损失），从而回归使预期误差最小化的唯一点。这个最小预期误差的唯一点被称为多个合理解的平均点[31]，我们将其称为最佳保真度点（图1中的棕色点）。另一个研究的分支是面向感知的SR任务，其中重点是生成视觉上合理的SR图像，而不仅仅是最小的像素误差。值得注意的是，固有的不适定性导致感知SR表现出一系列不同的现实解决方案（图1中的多个紫色点）。(a))每个都以上述最佳保真度点为枢轴。

感知SR中的代表性框架是基于SRGAN的[30]框架，它利用感知质量导向的损失[22，54]以及事实上的训练方案$L_{pix}$。然而，由于这些方法依赖于$L_{pix}$作为其保真度损失项，因此无法避免感知失真（PD）权衡中所示的模糊现象[2]。为了解决这个问题，他们要么对$L_{pix}$应用一个小系数[30，54]，要么在计算$L_{pix}$之前使用低通滤波器（LPF）[11，69]。然而，我们指出，这些规避导致次优性能，因为它们误解了$L_{pix}$含义，并且无法区分导致模糊的因素和那些不造成模糊的因素。

因此，这项工作重新审视$L_{pix}$，旨在通过引入SR图像的两个关键因素来正确分析其含义：1）感知方差因子，以及2）保真度偏差因子。在这里，感知方差是捕捉真实纹理和细节的必要方差（图1中的红线）。（一））。同时，保真度偏差是除了感知方差因子之外的SR图像的残余分量。这可以被理解为模糊的平均解，而没有具有随机性的细粒度纹理（无方差，图3。(d))，或者也可以被理解为分布的质心，其中SR图像最初预期从图1中的橙子点采样。（一））。对于最佳SR图像（或HR），其自身的保真度偏差是最佳保真度点。

根据上面定义的这两个关键分量，我们将证明$L_{pix}$与最小化保真度偏差引起的误差和感知方差因子相同。然而，虽然最小化保真度偏差引起的误差是$L_{pix}$的预期方面，但感知方差消失不适合感知SR。具体地，当感知方差因子最小化时，预测空间退化并且SR图像收敛到模糊的平均图像，如图1（B）。同时，感知质量损失的目的是保持这种必要的感知方差，这表明与$L_{pix}$的冲突。因此，只要SR网络从$L_{pix}$接收重建指导，面向感知质量的损失就不能收敛到最佳点，从而限制了视觉质量。

现在，我们关注SR图像的另一个参照物，保真度偏差及其引起的误差。保真度偏差引起的误差表示预测空间和解空间之间的总体不对齐程度。因此，减少保真度偏差引起的误差等同于对准预测空间和解空间的质心，而不改变预测空间的范围（即，保持感知方差），如图1（c）。因此，通过减少保真度偏差引起的误差，我们可以在不降低感知方差的情况下实现改善的保真度，这是感知SR的角度中的最佳重建指导的高度期望的方面。

因此，这促使我们设计一种新的重建损失，其可以精确地区分保真度偏差和感知方差，并且仅基于保真度偏差项进行惩罚。值得注意的是，我们将证明这可以通过预训练的自动编码器（AE）来惊人地简化。我们将使用$L_{pix}$预训练AE，并在AE空间而不是原始像素空间中获取$L_p$。由于$L_{pix}$消除了感知差异，因此AE空间中的损失将使我们能够仅基于保真度偏差进行惩罚。重要的是，我们相反地利用了$L_{pix}$的感知方差消失现象，这被认为是一个关键的限制。我们称之为感知SR的自动编码监督（AESOP）。

我们的贡献可简单概括如下：首先，我们指出了$L_{pix}$在知觉SR任务中的意义，这一点经常被误解。其次，我们提出一种新的重建损失，它只惩罚保真度偏差因子，从而保持视觉上重要的感知方差因子的SR图像。最后，通过大量的实验验证了AESOP的有效性，并在感知SR任务中取得了显著的改进。

免责声明：面向感知的损失负责处理保留的感知方差项，从而生成逼真的纹理和精细细节。我们将这些损失的改进排除在本工作范围之外。