1. 论文信息

2. introduction

• 文章的贡献：

  提出了 sample-specific and invisible 的后门，并进行大量实验验证了效果

  • sample-specific：不同于以往的 trigger 都是统一的图案或者是根据分类条件生成的，本文的 trigger 是根据样本生成的。不同的图像具有不同的 trigger，比较难一检测。
  • invisible：生成的 trigger 是隐形的，更难以被检测

• 威胁模型：

  • 假设攻击者可以破坏一些训练数据，但是不知道模型的结构，损失的结构，也不能操作训练的过程。

3. method

• 进攻的过程，重点是如何训练出 encoder

  

  一般后门的流程如上图步骤：

  1. 训练一个用于加毒的 encoder ，并使用该 encoder 生成一些 posion image
  2. 使用加毒数据训练一个分类器
  3. 测试后门的情况

• encoder 的训练过程

  训练过程较为简单，使用了数字水印的技术

• 训练的框架参考了 StegaStamp ，除了中间的过程没做数据增强，其他部分基本相同
• 最小化 benign image 和 poisoned image 的区别
• 最小化 target label 产生的 code 和 decoder 产生的 code 之间的区别
• 整个过程就是将，target label 嵌入到 image 中作为 trigger

4. experiments

4.1 评价指标

PSNR 评价指标

PSNR​ (Peak Signal-to-Noise Ratio) 峰值信噪比

给定一个大小为 m×nm \times nm×n 的干净图像 III 和噪声图像 KKK , 均方误差（MSEMSEMSE) 定义为：

MSE=1mn∑i=0m−1∑j=0n−1[I(i,j)−K(i,j)]2M S E=\frac{1}{m n} \sum_{i=0}^{m-1} \sum_{j=0}^{n-1}[I(i, j)-K(i, j)]^{2}MSE=mn1​∑i=0m−1​∑j=0n−1​[I(i,j)−K(i,j)]2

然后PSNR(dB)PSNR(dB)PSNR(dB)定义为:

PSNR=10⋅log⁡10(MAXI2MSE)P S N R=10 \cdot \log _{10}\left(\frac{M A X_{I}^{2}}{M S E}\right)PSNR=10⋅log10​(MSEMAXI2​​)

• 其中 MAXIMAX_IMAXI​ 为图片的最大像素值。一般地，针对 uint8 数据，最大像素值为 255,；针对浮点型数据，最大像素值为 1

上面是针对灰度图像的计算方法，如果是彩色图像，通常有三种方法来计算

• 分别计算 RGB 三个通道的 PSNR，然后取平均值
• 计算 RGB 三通道的 MSE ，然后再除以 3
• 将图片转化为 YCbCr 格式，然后只计算 Y 分量也就是亮度分量的 PSNR

# method 1
diff = im1 - im2
mse = np.mean(np.square(diff))
psnr = 10 * np.log10(255 * 255 / mse)# method 2
psnr = skimage.measure.compare_psnr(im1, im2, 255)