介绍
图像中的 Noise 是指不源于原始场景内容的伪影的存在。一般来说，Noise 是由随机过程引起的测量值的统计变化。在成像中，Noise 以图像中出现的伪影形式出现，表现为覆盖图像的颗粒状结构。
Noise 在图像中可以有不同的形式和外观，在大多数情况下，它是一种不受欢迎或令人不安的伪影，会降低主观图像质量。
图 1：Noise 如何极大地影响图像质量的示例。
Noise 的问题
Noise 是伴随传输信号而来的不规则信号波动的副产品。需要理解的是，这些波动不是信号的一部分，而是遮蔽了目标。
因此，成像中最关键的任务之一是找到一种解决方案，以最小的 Noise 创建强大的信号。不幸的是，找到解决方案在成像中往往是一个重大挑战，尤其是在信号已经很弱的低光照情况下。处理图像 Noise 时，第一步是识别您遇到的 Noise 类型。
Noise 类型
在数字成像中，我们会遇到各种类型的 Noise。不幸的是，不同标准和出版物中的术语和定义略有不同，这使得总能就一两种解决方案达成一致变得困难。在本文中，我们尽力涵盖最广泛使用的定义和解决方案。
图 2：时间性 Noise（左）与空间性 Noise（右）。
时间性 Noise（随机 Noise）
时间性 Noise 几乎总是完全随机的，它是由单个 pixel 通过将入射光子转换为电子来生成数字值的变化引起的。此外，在曝光时间内击中单个 pixel 的光子数量也会发生变化。这个过程被称为 Photon Shot Noise。
如果我们在多次捕获的图像中观察同一个 pixel，我们会看到这个 pixel 在不同图像之间波动，如图像 2 所示。尽管图像的场景没有变化，我们仍然会看到从这个特定 pixel 接收到的数字值有所变化。
空间性 Noise（图案 Noise 或不均匀性 Noise）
空间性 Noise 通常由单个 pixel 的变化引起，因此不是随机的。这种 Noise 类型通常被称为“不均匀性”，因为 Noise 这个词本身暗示着一个随机过程。EMVA 1288 使用“不均匀性”一词，而 ISO 15739 使用“固定图案 Noise”。
传感器上相邻的 pixel 即使物体相同，其数字值也会显示差异。因此，每个 pixel 会显示略微不同的行为，导致数字值略有对比。
请记住，pixel 之间的变化也可能由时间性 Noise 引起。只有在最小化时间性 Noise 时才能观察到各种形式的空间性 Noise。这个过程通常通过平均数百张图像来最小化随机分量。剩余的（平均）图像将只显示空间性 Noise。
空间性 Noise 的一种形式是 Pixel Response Non-Uniformity (PRNU)，它是每个 pixel 灵敏度的微小变化。Dark Signal Non-Uniformity (DSNU) 是另一种形式，它在 pixel 之间存在信号的微小差异，或者更简单地说，是在没有光的情况下生成的信号。
图 3：平均图像以减少 Noise 的存在。
Color Noise 与 Intensity Noise
在上一节中，我们只分析了单色传感器中单个 pixel 及其相邻 pixel 的行为。这些传感器只会将 Noise 显示为强度的变化。然而，彩色传感器将同时显示 Intensity Noise 和 Color Noise。
Color Noise 在生成颜色信息期间产生并放大。本质上，单个 pixel 仅捕获特定光频谱带（例如，红色、绿色或蓝色）的颜色信息。这个过程适用于几乎所有类型的传感器。
Color Noise 归因于一个称为去马赛克（demosaicing）的过程。本质上，缺失的颜色信息是从相邻 pixel 内插得到的，以确保每个 pixel 都获得红色、绿色和蓝色。结果，单个 pixel 的 Noise 将影响相邻 pixel 的颜色信息。在内插过程中，这些 pixel 中的 Noise 将会扩散。
成像中典型的 Color Noise 情况是蓝色通道中的 Noise 强，而绿色和红色通道中的 Noise 较低。蓝色通道中的强烈 Noise 也会由于去马赛克而影响其他通道。
重要的是要注意，人眼对 Intensity Noise 比对 Color Noise 更敏感。然而，强烈的 Color Noise 仍然会干扰整体图像质量。
Noise 源
图像中存在许多不同的 Noise 源。为简化起见，我们可以将其分为两个主要 Noise 源：Photon-Shot noise 和 Read Noise。
Photon-Shot noise
Photon-Shot noise 指的是光本身固有的 Noise。如果我们将光想象成光子流，那么我们会发现这个流在时间上并非完全恒定。相比之下，想象一个测量小表面上雨量的仪器。如果雨很大，我们可以准确地提供一个在每个时间间隔内该表面上的平均值。然而，非常小的雨量在每个时间间隔内只会显示几滴，并且在各种测量中会迅速变化。
雨的例子中的相同想法适用于 Photon-Shot noise。Photon-Shot noise 的信噪比 (SNR) 等于信号的平方根。简单地说，光子越多，SNR 越好，反之亦然。
图 4：信号越多，SNR 越好。1
Read Noise
Read Noise 是传感器读取过程中多种 Noise 源的总和。在许多情况下，Noise 是恒定的，因此信号越低，SNR 越差。同样，光子数量越低，SNR 越低。
当我们将 SNR 与每个 pixel 每次曝光的光子数量绘制成图时，我们可以将 SNR 分为两个区域：
Read-noise 受限：当 Read Noise 过于强烈，导致 SNR 显著低于 Photon Shot Noise 出现的最低 SNR 时发生。
Photon Shot Noise 受限：当测得的 SNR 仅略低于 Photon Shot Noise 所能达到的最高 SNR 时发生。
改善 Noise
一台完美的相机（没有 Read Noise 和量化 Noise）并非没有 Noise，但仍然会显示 Photon Shot Noise。然而，请记住，每个 pixel 每次曝光的光子数量越少，SNR 越差。
要在传感器层面改善 Noise，您需要减少 Read Noise 并增加每个 pixel 每次曝光的光子数量。更大的 pixel 将收集更多的光子，更长的曝光时间将捕获更多的光子。曝光时间的最大长度取决于应用，因为它还会引入运动模糊。因此，改善 Noise 的选项有限，但在许多情况下，信号处理将使用图像增强和降噪算法从信号中减少 Noise。
如何测量 Noise？
ISO 15739 SNR
ISO 标准 15739 描述了测量和报告相机 SNR 的程序。2 该方法使用基于 ISO 14524 的 Test Target，因此受测相机可以在受控条件下重现 Test Target。3 请参阅下面的示例目标：
图 5：用于测量 Noise 的 TE269 OECF Test Chart。
图 6：用于测量 Noise 的 TE270X Test Chart。
SNR 是针对 Test Target 的每个 patch 计算的，并提供 SNR 与 Luminance 的函数。要报告单个数字，请遵循编号方法。
从 OECF 中提取 L_ref
计算 L_SNR
内插并报告 L_SNR 的 SNR
参考 Luminance (L_ref) 是在三个通道中的一个通道中导致数字值达到 245 的最低 Luminance。245 的值适用于 8 位 sRGB 图像。
如果我们有 L_ref，那么我们可以轻松计算 L_SNR 为：
LSNR = 0.13 x Lref
0.13 或 13% 的来源是什么？其想法是在 18% 的灰卡上计算，但相机的曝光控制不会将 18% 的反射曝光到最大数字值的 18%，因为它需要为图像中的高光留出一些“余量”。ISO 假设的余量为 140%，因此得出 13%。
本质上，当 L_SNR 已知时，将从 SNR 曲线内插相应的 SNR 值。
使用死叶图案测量 Noise
测量 Noise 的另一种选择是使用死叶图案 (dead leaves pattern) 4。这种图案由具有不同直径和颜色的随机圆形图案组成，为我们提供了不均匀的图案。使用不均匀图案测量 Noise 将提供更好的实际 Noise 性能结果，并最终带来更好的用户体验相关性。
图 7：死叶 Test Pattern 的示例。
Noise 标准（我们使用的）
ISO 15739 Visual Noise
虽然 SNR 值是描述传感器性能的成熟指标，但在表达人眼能看到多少 Noise 时，它并不是最佳选择。
ISO 15739 使用一种称为 Visual Noise 的指标，它与人眼对 Noise 的感知相关性更好。
Visual Noise 值很简单：值越高，观察者看到的 Noise 越多。SNR 和 VN 的主要区别在于，VN 会根据可见性来权衡 Noise。不可见的 Noise 将不计入 Noise 测量。
我们如何知道人眼能/不能看到什么 Noise？
我们可以模拟人眼视觉系统对空间频率的响应。本质上，对比敏感度函数 (CSF) 和对观看条件的假设允许我们计算不同 Noise 频谱部分的重要性。在下图中，图像 1x 的大部分“Noise”将出现在高空间频率中，并且在 CSF 中响应较低。图像 4x 的大部分“Noise”出现在低空间频率中，并且根据 CSF 可以很容易地观察到。因此，图像 4x 的 VN 值远高于 1x。
图 8：1x、2x 和 4x Noise。4x Noise 的 Visual Noise 值远高于其他。
EMVA 1288 Non-Uniformities
EMVA (European Machine Vision Association) 1288 的建立是为了帮助买家选择最适合其要求的相机或传感器。5 该标准描述了对相机系统中的 Noise 进行全面测试的适当测试设置、测试程序、算法和报告。
使用这些指南进行的测试将为以下项目提供 Noise 值：Dark Signal Non-Uniformity (DSNU)、Signal to Noise Ratio (SNR)、Pixel Response Non-Uniformity (PRNU)、dark noise 和 dark current。
结论
Noise 是伴随传输信号而来的不规则信号波动的副产品，但这些波动不是信号的一部分，而是遮蔽了目标。因此，成像中最关键的任务之一是找到一种解决方案，以最小的 Noise 创建强大的信号。
我们概述了几种测量 Noise 影响的不同解决方案。在我们的测试实验室中，我们遵循 ISO 15739 来获取 SNR，因为它更能准确地代表人眼对图像中 Noise 的感知。我们还经常使用死叶图表将我们的测试与自然环境进行关联。
最重要的是找到一个涵盖您的被测设备规格的解决方案。