✍介绍

作者提出的问题：

1、目前去雨方法不能对不同密度和方向的雨条纹信息进行有效的编码

2、去除雨条纹的同时如何保持图像的细节不丢失

作者提出multi‐stage and multi‐scale joint channel coordinate attention fusion network (MMAFN)进行解决

总结来说：

1、使用两阶段的编解码网络来提取特征，第一阶段来提取粗略特征，第二阶段来整合并完善特征

2、joint channel coordinate attention block(JCCAB) 放置在两个网络中编解码层来编解码不同方向和密度的雨条纹特征

3、Multi‐level feature fusion (MLFF) block 利用注意力机制来防止图像细节丢失

4、Inception attention branch block (InceptionABB) 针对细雨条纹，融合不同尺度的相关信息

💪方法

网络是由两个编解码网络组成，对于每个阶段使用 $3 \times 3$ 卷积来提取初始特征（对应流程图中Conv2d）,然后JCCAB来提取每个维度(通道维度和空间维度)的有用信息，并使用InceptionABB来提取多尺度特征，跳连接依然使用JCCAB处理特征映射，并在两个编解码网络之间引入MLFF块来将第一阶段网络提取的特征给第二阶段，来丰富特征信息并补偿多次下采样造成的信息损失。最后通过一个 $3\times 3$ 卷积来获得输入图像的残差输出。

JCCA block(JCCAB)

设计目的：被用于在网络的编解码部分来提取特征

Joint channel coordinate attention (JCCA)

通过引入位置信息，可以消除具有不同密度，大小和方向的雨水条纹。JCCA对通道关系和位置信息进行编码，分两个步骤即多通道注意融合和位置信息嵌入。

多通道注意力融合

由多个不同大小的卷积内核输出的特征图的通道信息，采用类似于CAB模块的设置，受SKNet启发。

位置信息嵌入

设计了一个位置注意模块来准确捕捉雨点的位置信息，使用全局平均池对水平和垂直维度中的特征进行编码，生成水平和垂直方向的特征图。这两种变换在保持精确位置信息的同时，捕获了两个不同方向上的长距离依赖关系，有助于网络更准确地定位不同方向的雨点（可解释性好）。使用 $1\times1$ 卷积恢复出原通道数，并通过BN和Sigmoid进行激活

JCCA的最终输出：

$F_{\text {out }}=X \times \delta(B(\hat{P})) \times \delta(B(\tilde{P}))$