噪声
简介
图像中的噪声是指源自原始场景内容之外的伪影。一般而言，噪声是由随机过程产生的测量值的统计波动。在成像领域，噪声表现为覆盖在图像上的颗粒状结构。
噪声在图像中可能呈现多种形式和外观，在大多数情况下，它是一种不受欢迎或干扰性的伪像，会降低主观图像质量。
图1：噪声如何严重影响图像质量的示例。
噪声的问题
噪声是伴随传输信号出现的非规则信号波动的副产品。这里需要理解的关键点是：这些波动并非信号的一部分，反而会遮蔽目标信号。
因此，成像领域最关键的任务之一，就是找到一种解决方案，以生成强信号并使其伴随的噪声量降至最低。 遗憾的是，在成像领域，找到解决方案往往是一项重大挑战，特别是在信号本就微弱的低光环境下。处理图像噪声时，第一步是识别所遇到的噪声类型。
噪声类型
在数字成像中，我们会遇到各种类型的噪声。遗憾的是，不同标准和文献中的术语和定义略有差异，因此很难始终就一两种解决方案达成一致。在本文中，我们将尽力涵盖最常用的定义和解决方案。
图 2：时间噪声（左）与空间噪声（右）。
时间噪声（随机噪声）
时间噪声几乎总是完全随机的，它源于将入射光子转换为电子以生成单个像素的数字值时产生的波动。此外，在曝光时间内击中单个像素的光子数量也会发生变化。这一过程被称为光子散射噪声。
如果我们观察同一张图像中多次拍摄的同一 pixel，会发现该 pixel 在不同图像间的数值存在波动，如图 2 所示。即使场景未发生变化，我们仍会发现该特定 pixel 输出的数字值存在波动。
空间噪声（图案噪声或非均匀性噪声）
单个像素的波动通常会导致空间噪声，因此并非随机。这种噪声类型常被称为“不均匀性”，因为“噪声”一词本身暗示了随机过程。 EMVA1288标准使用“非均匀性”这一术语，而ISO 15739标准则使用“固定模式噪声”。
即使拍摄对象完全相同，传感器上相邻像素的数字值也会存在差异。因此，每个像素的行为会略有不同，从而产生略有差异的数字值。
请注意，pixel之间的差异也可能由时域噪声引起。只有在将时域噪声降至最低时，各种形式的空间噪声才可被观测到。通常通过对数百张图像进行平均处理来最小化随机成分，最终得到的（平均）图像将仅显示空间噪声。
空间噪声的一种形式是像素响应不均匀性（PRNU），即每个像素的灵敏度存在细微差异。暗信号不均匀性（DSNU）是另一种形式，表现为像素之间的信号存在细微差异，或者更简单地说，就是在无光条件下产生的信号存在差异。
图3：将图像进行平均处理以减少噪声。
色彩噪声与亮度噪声
在前一节中，我们仅分析了单色传感器中单个像素及其邻近像素的行为。这类传感器只会将噪声表现为亮度的变化。然而，Color传感器则会同时呈现亮度噪声和色彩噪声。
色彩噪声是在生成色彩信息的过程中产生并放大的。本质上，单个像素仅捕获光谱中特定波段（例如红、绿或蓝）的色彩信息。这一过程适用于几乎所有类型的传感器。
彩色噪声源于一种称为“去马赛克”的过程。 简而言之，系统会从相邻像素中插值获取缺失的Color信息，以确保每个像素都能获得红、绿、蓝三原色。因此，单个像素的噪声会影响相邻像素的Color信息。在插值过程中，这些像素中的噪声会相互扩散。
成像中典型的色彩噪声情况是：蓝色通道噪声较强，而绿色和红色通道噪声较弱。由于去马赛克处理，蓝色通道中的强烈噪声也会影响其他通道。
需要注意的是，人眼对亮度噪声的敏感度远高于对色彩噪声的敏感度。尽管如此，强烈的色彩噪声仍会影响整体图像质量。
噪声来源
图像中的噪声来源多种多样。为简化起见，我们可以将其分为两大主要噪声源：光子-光子射击噪声和读出噪声。
光子-光斑噪声
光子散射噪声是指光本身产生的噪声。如果我们将光视为光子的流动，就会发现这种流动在时间上并非完全恒定。 举个例子，想象一台测量小面积表面降雨量的仪器。如果遇到大雨，我们可以准确地给出该表面在每个时间间隔内的平均降雨量数值。然而，微弱的降雨在每个时间间隔内只会显示几滴，且不同测量结果之间的变化会非常迅速。
雨量测量的这个原理同样适用于光子脉冲噪声。对于光子脉冲噪声，信噪比（SNR）等于信号值的平方根。简而言之，光子越多，信噪比越高；反之亦然。
图4：信号越多，信噪比（SNR）越高。1
读出噪声
读出噪声是传感器读出过程中多种噪声源的综合体现。在许多情况下，这种噪声是恒定的，因此信号越弱，信噪比就越差。同样地，光子数越少，信噪比就越低。
当我们将信噪比与每次曝光中每个像素的光子数绘制成图时，可以将信噪比划分为两个区域：
读出噪声限制区：当读出噪声非常强烈时，信噪比会显著低于由光子散射噪声导致的最低信噪比。
光子随机噪声限制区：当测得的信噪比仅略低于光子随机噪声所能达到的最高信噪比时，即处于该区域。
降低噪声
一台完美的相机（没有读出噪声和量化噪声）并非完全无噪声，但仍会表现出光子随机噪声。不过，请记住，每pixel每曝光的光子数越低，信噪比就越差。
要在传感器层面改善噪声，需要降低读出噪声并增加每次曝光中每个像素的光子数。更大的像素能收集更多光子，更长的曝光时间也能捕获更多光子。曝光时间的最大时长取决于具体应用场景，因为过长的曝光时间也会引入运动模糊。 因此，改善噪声的选项有限，但在许多情况下，信号处理可通过图像增强和降噪算法来降低信号中的噪声。
如何测量噪声？
ISO 15739 信噪比
ISO 15739 标准描述了测量和报告相机信噪比（SNR）的程序。2 该方法采用基于 ISO 14524 的测试标靶，以便被测相机能在受控条件下重现测试标靶。3 参见下方的标靶示例：
图5：用于测量噪点的TE269 OECF Test Chart。
图 6：用于测量噪声的 TE270X Test Chart。
需针对测试图标中的每个色块计算信噪比（SNR），并绘制信噪比与Luminance的关系曲线。若需报告单一数值，请遵循编号方法。
从OECF中提取L_ref
计算 L_SNR
对 L_SNR 进行插值并报告信噪比
参考 Luminance（L_ref）是指在三个通道中的任意一个通道内，导致数字值为 245 的最低 Luminance。该值 245 适用于 8 位 sRGB 图像。
如果已知 L_ref，则可轻松按以下公式计算 L_SNR：
LSNR = 0.13 × Lref
0.13 或 13% 这一数值从何而来？其计算依据是 18% 灰卡，但相机的曝光控制不会将 18% 的反射值曝光至最大数字值的 18%，因为这需要为图像中的高光部分预留一定的“余量”。 ISO标准假设的动态余量为140%，因此得出13%这一数值。
本质上，当已知 L_SNR 时，相应的信噪比值会从信噪比曲线中插值得出。
使用“枯叶”图案测量噪声
测量噪声的另一种方法是使用“枯叶”测试图案4。该图案由直径和Color各异的圆组成，形成一种随机分布的、非均匀的图案。使用非均匀图案测量噪声，可以更准确地反映实际的噪声性能，并最终与用户体验建立更好的关联。
图 7：枯叶测试图案示例。
（我们采用的）噪声标准
ISO 15739 Visual Noise
虽然信噪比（SNR）值是描述传感器性能的成熟指标，但在表达人眼可见的噪声程度时，它并非最佳选择。
ISO 15739采用了一种称为“Visual Noise”（VN）的指标，其与人类对噪声的感知相关性远高于信噪比（SNR）。
Visual Noise（VN）的数值易于理解：数值越高，观察者看到的噪声就越多。SNR 与 VN 之间的主要区别在于，VN 会根据可见性对噪声进行权重计算。无法被看到的噪声将不会被纳入噪声测量的考量范围。
我们如何知道人类观察者能够看到或无法看到哪些噪声？
我们可以建立人类视觉系统对空间频率的响应模型。 本质上，通过对比敏感度函数（CSF）以及对观测条件的假设，我们可以计算出不同噪声频谱部分的重要性。在下图中，图像 1x 的“噪声”主要集中在高空间频率，且在 CSF 中的响应较低。 图像 4x 的“噪声”主要集中在较低的空间频率上，根据 CSF，这种噪声很容易被观察到。因此，图像 4x 的 VN 值远高于 1x。
图 8：1x、2x 和 4x 的噪声。4x 的噪声其 Visual Noise 值远高于其他图像。
EMVA 1288 不均匀性
EMVA（欧洲机器视觉协会）1288 标准的制定旨在帮助买家选择最符合其需求的相机或传感器。⁵ 该标准详细规定了正确的测试配置、测试流程、算法及报告规范，用于全面测试相机系统的噪声。
遵循这些指南进行的测试将得出以下噪声参数：暗信号非均匀性（DSNU）、信噪比（SNR）、像素响应非均匀性（PRNU）、暗噪声和暗电流。
结论
噪声是伴随传输信号出现的异常信号波动所产生的副产品，但这些波动并非信号的一部分，反而会遮蔽目标图像。因此，成像领域中最关键的任务之一，就是找到一种解决方案，以产生强信号并将其伴随的噪声降至最低。
我们概述了几种用于测量噪声影响的不同解决方案。在我们的测试实验室中，我们遵循 ISO 15739 标准来获取信噪比（SNR），因为该指标更能准确反映人眼对图像中噪声的感知。此外，我们还经常使用“枯叶图”来使我们的测试结果与自然环境中的情况建立关联。
最重要的是找到一种能够满足被测设备规格要求的解决方案。
需要噪声测试方面的帮助吗？
寻找适合测试相机系统噪点性能的合适产品和服务。
产品与解决方案
Test Charts
分析软件
使用 iQ-Analyzer-X 图像质量分析软件来评估您的相机测试结果。
测试服务
欢迎通过我们的图像质量测试实验室进行专业相机测试，该实验室是全球规模最大的独立相机测试实验室之一。
参考文献
[点击添加章节描述]