车载摄像头系统

    车载摄像头系统

    博客

    汽车应用中摄像机的挑战

    在过去的二十年里，越来越多的摄像头进入汽车领域，如今，驾驶辅助系统已成为现代汽车不可或缺的一部分。当人们构想自动驾驶汽车时，许多人会想象这样一种场景：坐进车内，在前往目的地的途中，可以利用驾驶时间做其他事情，例如工作、看电视或者仅仅是睡觉。为了将这一愿景变为现实，车辆中的传感器系统必须在一天中的任何时间、任何天气条件、任何光照和道路条件下都能可靠地运行。 本文阐述了自动驾驶车辆的需求如何被证明对系统制造商来说是一个巨大的挑战，同时探讨了为应对这些挑战所做的努力。

    汽车中的摄像头

    摄像头在汽车中如何使用？目前，在豪华车型中，配备30多个用于不同目的的摄像头已不罕见。这些摄像头包括：

    • 倒车摄像头

    • 全景摄像头

    • 替代后视镜的摄像头

    • 驾驶员分析（用于车辆控制和注意力监控）

    • 车道检测

    • 交通标志识别

    • 距离预警系统

    • 灯光系统自适应（例如远光灯）

    • 夜视

    汽车摄像头系统面临的挑战

    根据应用的不同，摄像头面临各种挑战。主要挑战包括：

    • 恶劣的光照条件（夜间、大坝、隧道、停车场）

    • 极端对比度（阳光直射、夜间光线充足区域）

    • 恶劣天气条件（雨、雾、雪）

    • 摄像头污染

    • 场景的复杂性

    用于灯光系统的摄像头需要高动态范围，并且必须能够识别颜色。

    用于车道检测的摄像头需要高动态范围、高灵敏度，并且必须能够识别颜色。

    用于交通标志识别的摄像头需要高灵敏度、短曝光时间、高分辨率，并且必须识别颜色。

    用于物体识别的摄像头必须具有高灵敏度和高分辨率，并且它们必须能进行三维（立体）视觉识别。

    挑战示例

    污染

    摄像头的污染是一个持续存在的挑战，制造商正尝试通过例如仅在必要时打开的适当遮盖或将摄像头放置在雨刮器后方来解决这个问题。

    车道检测

    车辆周围的许多结构通常看起来像车道标记。识别正确的车道标记是自动驾驶汽车面临的最大挑战之一。此外，区域差异、不同颜色和天气条件都使识别变得困难。

    灯光辅助

    灯光辅助系统面临的艰巨挑战是区分迎面驶来和前方行驶的车辆与环境中的其他物体。移动物体必须与静态物体（路灯、反光镜等）区分开来。带有两个平行灯的汽车很容易识别。但是，如果其中一个灯发生故障或灯光闪烁，也必须能检测到。摩托车也必须被看到。

    高动态范围

    当太阳很低，我们直接朝着太阳行驶时，我们会放下遮阳板，但即使如此，也会出现我们肉眼无法看到物体的情况。这就是为什么这种情况下事故屡屡发生。摄像头面临着同样的挑战，但在隧道尽头和许多其他日常情况下也同样如此。

    Flicker

    在道路交通中，车辆会遇到来自路灯、交通标志和交通信号灯的许多人造光源。几乎所有现代光源都是基于LED的，它们会Flicker，这意味着光源是脉冲式的，并以未知且不同的频率Flicker。这种情况对车辆Camera构成了挑战，因为这些Camera会持续生成图像进行分析（基本上是Video）。在一张照片中，交通标志亮着；在下一张照片中，它却消失了。

    Resolution

    在行驶的车辆中，Camera会连续、快速地拍摄图像以捕捉环境变化。此过程会限制系统处理数据量的Resolution。如果Camera脏污、对焦不正确，或者对焦因温度影响而发生偏移，则会迅速出现问题，例如交通标志识别困难。

    杂散光

    高对比度或低对比度不仅会引起问题，Camera系统的特定特性也可能导致问题。特别是高对比度会受到杂散光的影响，即镜头或Camera外壳中不必要的反射和光散射。由于雾、霾或烟雾，Camera前方也可能出现额外的问题。

    天气和光照条件

    Camera必须全天候运行，承受所有温度（-40至100°C），并适应所有天气条件。这些条件自然会带来巨大的挑战。我们都曾用手机在弱光条件下经历过图像噪声。这种图像噪声在温度每升高7°C时平均会翻倍，即使在光照条件良好的情况下，也可能很快导致问题。

    区域差异

    对于许多物体，还需要识别和区分区域差异。例如，在法国和德国，高速公路标志使用蓝色，而乡村道路在法国则用绿色标记。在瑞士则恰恰相反，高速公路是绿色的，乡村道路是蓝色的。美国的道路标记根据类型不同，白色和黄色混合使用。在德国，常规道路标记是白色的，施工区域标记是黄色的。然而在奥地利，施工区域标记是橙色的。

    无穷无尽的物体

    无论你如何努力地对物体进行分类和分配，由于其数量庞大、形状和尺寸无穷无尽，这种尝试总是会失败。更重要的是，物体也会随着观察角度的变化而改变。

    摄像头的局限性

    在以下三个特定领域，摄像头达到了现有技术无法逾越的极限。

    1. 远距离物体（> 20 米）的距离测量

    2. 在雾和雨中观察

    3. 在弱光条件下观察

    为了克服这些局限性，高度自动化车辆中安装了额外的传感器。

    1. LIDAR（距离测量）

    2. RADAR（距离测量，不受雨雾影响）

    3. 热成像Camera（探测活体和受热物体）

    特别是 radar 传感器，在雨雾天气中表现良好。


    摄像头系统局限性的一个例子是夜视。如下图所示，在夜间使用标准曝光时间时，Cameras 难以检测黑暗区域中的物体。

    如果系统中加入热成像Camera，这些物体会变得更加清晰可见。

    应对挑战的解决方案

    应对这些挑战的解决方案是一个三层系统。

    1. Camera 系统近年来取得了显著改进，但其开发仍在继续，以改进 Camera 系统流程，确保图像中所有重要信息都能被看到。图像中没有的信息，系统也无法检测到。

    2. 一旦所有系统安装完毕，它们必须协调和校准，作为一个整体运作，协同效应在评估中变得显而易见。

    3. 持续开发智能评估算法至关重要，包括人工智能和神经网络，以改善复杂情况下的物体识别和功能。

    相机系统优化

    HDR

    当今车辆中的Camera系统通常具有HDR（高动态范围）功能，这些功能通过不同的技术方式实现。一个例子是使用传感器上具有不同灵敏度或增益的pixel。在这种情况下，相邻的各个pixel被组合成一个pixel。因此，可以同时创建两次曝光并将其组合成一张图像，从而记录高对比度范围。

    然而，这种HDR记录也存在问题，因为输出侧的色调值需要被打包到给定的色深（位数）中。这种情况导致隧道尽头并非总是更亮。相反，图像被“建模”到白色区域，这被称为“色调渲染”。

    由于这些相互作用，必须开发新的、扩展的算法以更好地描述Camera系统的属性。例如，Contrast Transfer Accuracy (CTA) [1] 指示是否可以检测到物体和背景之间的特定Contrast。


    Flare

    在优化Flare方面，制造商可以在镜头上使用特殊的、优化的抗反射涂层，并在Mount中使用高质量的吸光材料。镜头设计可以最大限度地减少空气-玻璃界面的数量，从而减少可能发生反射的区域。

    Distortion

    为了进行距离测量和立体Camera前的交互，图像必须没有Distortion。为此，可以对Distortion进行表征，然后进行计算校正。一种最初为空间地球观测Camera开发的测试方法已被修改，用于表征具有无限大视角的Camera。

    该方法包括一个光束扩展激光器，它照亮衍射光学元件 (DOE)。此设置生成一个虚拟来自无限远处的定义点阵，由Camera记录。然后，分析软件使用此图像来确定校正图像所需的参数。

    此方法也可用于表征挡风玻璃的影响。计算此影响的算法仍在开发中。

    气候

    另一个重要问题是在不同温度水平下优化图像质量。如果Camera位于挡风玻璃后区域，夏季温度很容易达到80°C甚至更高。在冬季，即使在-40°C的极端温度下，Cameras也必须正常工作。通过精心选择Camera材料可以实现这些场景。Camera需要在一个climate chamber中进行极端温度测试，以获得预期结果。将Camera放置在climate chamber内部，设置好温度后，它可以通过一个观察窗捕获测试图像。

    整体图像质量

    上述图像质量方面已选出，旨在说明为确保所有驾驶辅助和自动驾驶系统安全所需付出的努力。

    除了上述示例，还需要优化和进一步开发其他几个参数，以确保Cameras在安装到车辆之前提供必要的高质量。这些参数包括：

    • OECF (Opto Electronic Conversion Function) 测量

    • Noise

    • Resolution，包括球面像差

    • White balance

    • 强度和Color边缘变暗

    • Chromatic Aberration

    • Stray light

    • Color reproduction

    • 传感器上的Defective pixels和内含物

    • Flicker

    标定

    标定对于Camera系统至关重要，即使是最好的Camera，如果没有适当的标定，也无法提供有价值的结果。在标定过程中，您将确定并计算缺陷像素，表征并补偿边缘的光衰减，检测失真并进行校正。此外，还必须精确设置曝光、调整白平衡和色彩还原，最后，Camera必须正确安装和对准。

    对准涉及Camera与车辆之间以及Camera与Camera之间的关系，例如，对于“环视”系统，其图像需要一同进行评估。此外，所有传感器也必须正确对准。例如，radar系统必须与Camera对准，以便在检测物体时两者指向同一方向。这样，radar反射的物体就可以与视觉物体关联起来。

    物体识别

    在过去几年中，新的算法已被开发出来以改进物体识别。将这些算法与人工智能和神经网络训练相结合，带来了更好、更可靠的结果。

    以下是已开发解决方案的几个关键词：用于检测的物体特性，例如边缘、角点、线条、圆形等。行人检测使用基于直方图的梯度。霍夫变换用于检测几何物体，例如车道线和交通标志。光辅助系统使用分割和颜色分析。此外，还利用了物体跟踪、分类、环境模型和3D分析。

    结论

    驾驶辅助Camera系统已显著减少了致命事故。在欧洲，2010年至2017年间，这一数字平均下降了25%（Statista）。随着越来越多的汽车配备此类系统，以及这些系统的不断发展和改进，这一趋势将持续下去。

    在良好的天气条件下，无人驾驶汽车可以在旧金山等繁忙城市中相当可靠地行驶。然而，这种可靠性必须在所有天气条件下都保持不变，并且无需汽车每天都去标定车间。考虑到这一点，我们距离自动驾驶汽车在现实世界中广泛应用大约还有十年。尽管如此，这几乎肯定会在未来成为现实。

    致谢

    我们感谢我们的合作伙伴 Continental AG 和 Bosch GmbH 提供图片和图像。

    参考文献

    1. ARTMANN, U.; GEESE, M.; GAEDE, M.: "Contrast Detection Probability - Implementation and use cases," 2019,
      https://image-engineering.de/content/library/conference_papers/2019_02_28/EIC2019_CDP.pdf

    2. WUELLER, D.: A new dimension in geometric camera calibration, 2020,
      https://image-engineering.de/content/library/conference_papers/2020_03/Wueller_geometric_calibration_paper.pdf