【论文笔记】—低照度图像增强—ZeroShot—RetinexDIP网络—2021-TCSVT

题目:RetinexDIP: A Unified Deep Framework for Low-light Image Enhancement

DOI: 10.1109/TCSVT.2021.3073371

时间:2021
期刊:IEEE Transactions on Circuits and Systems for Video Technology(TCSVT)
机构:南昌航空大学

论文链接:RetinexDIP: A Unified Deep Framework for Low-Light Image Enhancement
代码链接:https://github.com/zhaozunjin/RetinexDIP

关键词: 低光照图像增强,retinex分解,深度优先,零样本。

提出问题:
分解模型中复杂的约束会使反射率和照明度更加耦合,并相互影响。此外,光照和噪声之间也存在耦合关系。因此,忽略耦合关系可能会导致较差的分解。

解决方案:
受Deep Image Prior 启发,使用了随机采样的白噪声和一些loss。

提出了RetinexDIP算法,包括两个步骤:Retinex分解和增强。首先通过深度神经网络RetinexDIP进行Retinex分解,同时生成反射和照明,然后使用获得的照明图进行增强。为了同时估计这两个分量并削弱彼此之间的耦合关系,提出了一种新的“生成”Retinex分解策略。

创新点:
1、零样本,不需要训练。
2、提出了一种新的Retinex分解“生成”策略,将分解问题转化为生成问题。

Retinex原理:S = R * L      S-捕获图像  R-反射图像  L-光照图像
本文:             S = (R+N)*I  S-捕获图像  R-反射图像  I-光照图像  N-噪声

RetinexDIP的整体Retinex分解框架:

两个步骤:(1)RetinexDIP用于Retinex分解。(2)使用获得的照明对微光图像增强。

【论文笔记】—低照度图像增强—ZeroShot—RetinexDIP网络—2021-TCSVT_第1张图片

I—光照图,R—反射图。S—由两个潜在分量重新组合的图像,S0—输入的低光照图像。

Z1、Z2—随机采样的高斯白噪声作为网络输入。Z1,2 N(0, δ^2)

Lill-sm 照明平滑度损失,Lill-con 照明一致性损失、Lref 反射损失、Lrecon 重建损失。

两个编解码网络都是由卷积块构建的编码器-解码器:DIP1—生成潜在照明I,DIP2—生成潜在反射ˆR。光照应该是平滑的,其梯度应该是稀疏的。反射图像期望有更丰富的细节。因此,DIP2比DIP1具有更深层的结构。

在RetinexDIP中,照明图是从随机噪声生成的,而不是细化初始照明。初始照明用于帮助生成潜在照明。

请注意,两个网络的层之间没有跳过连接。为了保证分解是正确的,两个分量的重新组合应与观察到的图像相同。

1、用于Retinex分解的RetinexDIP

1.1 本文的Retinex模型:

其中S是观察图像,R和I分别表示观察图像的反射图和光照图。N表示噪声。

光照图预期是分段平滑的,因此噪声被强制存在于另一个分解分量中,即(R+N)或^R。噪声的产生与抑制是同时执行的。(3)式简化了生成问题,因为拟合噪声变得不再必要。如下图图1。

【论文笔记】—低照度图像增强—ZeroShot—RetinexDIP网络—2021-TCSVT_第2张图片

(a)常用的“one-two”策略;(b)另一个变体;(c)本文的“生成”Retinex分解策略。

虚线框—Retinex分解操作,绿色框—增强的结果。z1和z2—噪声。ˆI—调整后的照明图。

1.2 损失函数的设计

L = 重建损失(Lrecon) + 光照一致损失(Lill-con) + 反射损失(Lref) + 光照平滑损失(Lill-sm)

本文通过最小化目标函数来执行Retinex分解:

∇ 表示一阶导数运算符, ∇h(水平),∇v(垂直)。λ1、λ2和λ3是平衡参数。W是权重矩阵。
GI是由DIP1生成的潜在照明,GR是由DIP2生成的潜在反射。

I0初始光照图:

权重:仅适用于输入图像的中间照明图。

两种权重策略,用于光照图和反射图有四种组合方式,如图10。本文选式10。

式11是对LIME[11]的改进,其中是一个小小数(分母上的第二项),用于避免分母为零。

2、使用获得的照明对微光图像增强

先对RetinexDIP分解后的光照I进行伽马变换得到^I

然后计算增强图像^S:

算法步骤:
首先进行Retinex分解以获得输入图像的潜在照度和反射;然后调整照明图;调整后的照明随后用于增强输入图像。

【论文笔记】—低照度图像增强—ZeroShot—RetinexDIP网络—2021-TCSVT_第3张图片

参数设置:δ、γ、λ1、λ2、λ3和最大迭代次数K分别设置为0.01、0.5、1、0.0001、0.5和300。

定性评估:

图4 伪影和噪声对比
BIMEF、LIME、MF和NPE产生可观察到的伪影和块效应,如相应增强图像中缩放的地球区域所示。EnlightenGAN和MBLLEN的结果往往会过度增强,从而导致细节损失。RetinexNet往往会在黑暗区域产生噪音。这些伪影也可以在SRIE中观察到。颜色的对比度可能会有所妥协。虽然LIESD显示了有希望的结果,但增强图像的明亮区域也趋于饱和。

【论文笔记】—低照度图像增强—ZeroShot—RetinexDIP网络—2021-TCSVT_第4张图片

图5 自然度对比
提出的RetinexDIP不仅可以保持自然度,还可以改善对比度。LIME的对比度很高,但由于过度增强,门上的图案丢失了,如图5(f)所示。

【论文笔记】—低照度图像增强—ZeroShot—RetinexDIP网络—2021-TCSVT_第5张图片

图6 夜间图像对比
对于这幅夜间图像,由于路灯的光线,图像中的照明变化很大。与其他方法相比,本文的结果更加详细。

【论文笔记】—低照度图像增强—ZeroShot—RetinexDIP网络—2021-TCSVT_第6张图片

定量评估:

较高的NIQMC和CPCQI分数意味着更好的图像质量,较低的NIQE分数意味着更好的自然度。

No.1-红色、No.2-绿色、No.3-蓝色。

表1-NIQE评价图像的自然性。
BIMEF和NPE也位列前三,这可以用它们的原理来解释。NPE算法的初衷是通过双对数变换在细节和自然之间取得平衡。然而,这种权衡可能会导致伪影。BIMEF的基本思想是融合一系列多曝光图像进行增强,这与NIQE的衍生方法类似。因此,BIMEF在NIQE方面实现良好性能是合理的。与这些方法相比,我们的RetinexDIP方法简单而有效。

【论文笔记】—低照度图像增强—ZeroShot—RetinexDIP网络—2021-TCSVT_第7张图片

表2-NIQMC评价图像的对比度。
从表2中可以看出,LIME的NIQMC得分最大。NIQMC特别喜欢对比度更高的图像。然而,LIME导致过度强化。虽然我们的NIQMC评分不是最高的,但它仍然排在前三位,这表明所提出的方法可以产生相对较高的对比度图像。

【论文笔记】—低照度图像增强—ZeroShot—RetinexDIP网络—2021-TCSVT_第8张图片

表3-CPCQI一种基于色彩的对比度质量评估指标,考虑了五个因素,即图像对比度、清晰度、亮度、色彩和自然度。本文方法No.1。
KinD和MBLLEN的CPCQI分数较低,因为这两种方法在进行增强时会影响颜色对比度,

【论文笔记】—低照度图像增强—ZeroShot—RetinexDIP网络—2021-TCSVT_第9张图片

表4-不同分辨率图像上的计算时间对比。
其中符号“-”表示对应图像的分辨率太大,该方法无法处理,因为它们的计算负担很重。传统的基于retinex的方法是在CPU上测试的。基于学习的方法在GPU上进行了测试。
本文方法,分辨率增大,计算时间不会增长很多,但在低分辨率的比较中没有优势。

【论文笔记】—低照度图像增强—ZeroShot—RetinexDIP网络—2021-TCSVT_第10张图片

图7 在目标函数有反射损失的情况下获得的中间输出。
其他方法:由于光照平滑损失与反射图的梯度加权,因此反射会影响光照图,并由于耦合关系进一步影响增强结果。

本文方法:随着迭代次数的增加,照明会变得更加平滑,即使反射图的细节比较粗糙。整个过程反射图变化很大,但在早期迭代中的中间增强图像在视觉上与后续迭代相当。图9中的红色曲线是图7中迭代过程的定量评估,也证实了观察结果。

结论:两个组件之间的耦合关系减弱。

【论文笔记】—低照度图像增强—ZeroShot—RetinexDIP网络—2021-TCSVT_第11张图片

图8从目标函数中去除反射损失的情况。

结论:从目标函数中去除反射损失可能会在非常暗的区域导致噪声放大,如图8中Iter-2600、Iter-3000和Iter-4000增强图像的右下角所示。

【论文笔记】—低照度图像增强—ZeroShot—RetinexDIP网络—2021-TCSVT_第12张图片

为什么反射损失有助于消除极暗区域的瑕疵?
在增强步骤中,通过ˆS=S/ˆI获得结果。伪影是由分母的极小值引起的奇异强度值。为了减少输入图像极暗区域中的伪影,我们必须处理ˆI的极小值。回顾Retinex模型:S=R* I。在最小化目标函数期间,对反射率梯度施加的TV约束会惩罚反射图的强度值,从而减少极暗区域中的强度值。由于输入图像S的强度值是固定的,自然地,ˆI的极暗区域中的值增加。由于目标函数中的光照损失,光照图极暗区域中的强度值不会很大,这将最终达到平衡。

图9 是图7和图8中迭代过程的定量分析。

【论文笔记】—低照度图像增强—ZeroShot—RetinexDIP网络—2021-TCSVT_第13张图片

消融研究:

表5-七个公共数据集上相应的平均定量指标。由于等式4中反射损失项的参数为λ2,因此我们将λ2设置为不同的值。

当去除反射损失时(λ2设置为零值,如第3组和第4组),指标略有下降。然而,当使用反射损失(λ2设置为非零值)时,#1组给出了最佳的定量指标,尽管相比之下只有略好一些。

结论:反射损失是一个可选术语,但如果将其包括在内,则可以获得稍好的性能。

【论文笔记】—低照度图像增强—ZeroShot—RetinexDIP网络—2021-TCSVT_第14张图片

图10-两种不同的权重策略对比。本文选择策略1。

第四象限中以初始光照作为光照平滑度损失的权重图的组合对LIME[8]是可行的,但对我们的算法不可行。LIME的基本思想是细化初始照明图。因此,从初始照明I0导出的W在LIME算法开始时只计算一次,并且W在Retinex分解期间保持不变。然而,在我们的RetinexDIP中,照明图是从随机噪声生成的,而不是细化初始照明。初始照明用于帮助生成潜在照明。

【论文笔记】—低照度图像增强—ZeroShot—RetinexDIP网络—2021-TCSVT_第15张图片

代码复现:

input(左) — result(右)

【论文笔记】—低照度图像增强—ZeroShot—RetinexDIP网络—2021-TCSVT_第16张图片  【论文笔记】—低照度图像增强—ZeroShot—RetinexDIP网络—2021-TCSVT_第17张图片

output

illumination

【论文笔记】—低照度图像增强—ZeroShot—RetinexDIP网络—2021-TCSVT_第18张图片

reflection

你可能感兴趣的