汽车应用中相机面临的挑战
在过去的二十年里，越来越多的摄像头被应用到汽车中，如今，驾驶辅助系统已成为现代汽车不可或缺的一部分。当人们设想自动驾驶汽车时，许多人脑海中浮现的是一辆只需上车，就能被带到目的地的车辆，而驾车时间则可以用来处理其他事务，例如工作、看电视，或者干脆睡觉。 要将这一愿景变为现实，车辆中的传感器系统必须无论在何时、无论天气、光照和路况如何，都能可靠地运行。
本文将阐述自动驾驶汽车的要求为何对系统制造商构成了巨大挑战，同时探讨为克服这些挑战所做的种种尝试。
汽车中的摄像头如何应用？目前，在豪华级车型中，配备30多个用于不同用途的摄像头已司空见惯。其中包括：
倒车摄像头
全景摄像头
取代后视镜的摄像头
驾驶员分析（用于车辆控制和注意力监测）
车道检测
交通标志识别
距离预警系统
灯光系统调节（例如远光灯）
夜视
根据具体应用场景的不同，车载摄像头面临着各种各样的挑战。主要挑战包括：
光照条件差（夜间、水坝、隧道、停车场）
极端明暗对比（直射阳光、夜间高亮区域）
恶劣天气条件（雨、雾、雪）
摄像头受污染
场景复杂性
用于照明系统的摄像头需要具有高动态范围，并且必须能够识别颜色。
用于车道检测的摄像头需要高动态范围、高灵敏度，并且必须能够识别颜色。
用于交通标志识别的摄像头需要高灵敏度、短曝光时间、高Resolution，并且必须能够识别Color。
用于物体识别的摄像头必须具有高灵敏度和高Resolution，并且必须具备三维（立体）视觉能力。
摄像头的污染是一个长期存在的挑战，制造商试图通过一些方法来解决这个问题，例如使用只有在必要时才会打开的适当防护罩，或者将摄像头安装在雨刮器后面。
车辆周围的许多结构往往看起来像车道标线。识别正确的车道标线是自动驾驶汽车面临的最大挑战之一。此外，地域差异、颜色不同以及天气状况都会增加识别难度。
灯光辅助系统面临着将迎面而来的车辆和前方的车辆与环境中的其他物体区分开来的艰巨挑战。必须将移动物体与静止物体（路灯、反光板等）区分开来。 配备两盏平行车灯的汽车容易识别。但即使其中一盏车灯故障或车灯呈闪烁状态，也必须能够检测到。摩托车同样必须被识别出来。
当太阳低垂，且车辆正迎着阳光行驶时，我们会放下遮阳板，但即便如此，仍会出现肉眼无法看清物体的状况。正因如此，此类情况屡屡导致事故发生。摄像头面临同样的挑战，这一点在隧道出口以及许多其他日常场景中同样显而易见。
在道路交通中，车辆会遇到许多来自路灯、交通标志和交通信号灯的人造光源。 几乎所有现代光源都基于LED技术，且存在Flicker现象——即光源会以未知且各不相同的频率进行脉冲式Flicker。这种情况对需要持续生成图像（本质上是Video）以供分析的车载摄像头构成了挑战：在一帧画面中，交通标志亮着；而在下一帧中，它却已消失。
在行驶的车辆中，图像会以快速连续的方式拍摄，以捕捉环境的变化。这一过程限制了系统处理数据量的能力。如果摄像头脏污、未能正确对焦，或者因温度影响导致对焦偏移，就会迅速出现问题，例如交通标志的识别困难。
不仅高对比度或低对比度会引发问题，摄像系统本身的特定特性也可能导致问题。 特别是在高对比度环境下，杂散光（即镜头或相机外壳内的不需要的反射和光线散射）会引发问题。此外，雾、霾或烟雾等环境因素也可能在相机前方造成额外问题。
摄像机必须昼夜不间断运行，适应从 -40 到 100°C 的所有温度范围，并应对各种天气条件。这些条件自然带来了巨大的挑战。 我们都曾用手机在低光环境下遇到过图像噪点。这种图像噪点平均每升高7°C就会加倍，即使在光线良好的条件下，这也可能迅速引发问题。
对于许多物体而言，还必须识别并区分区域差异。例如，法国和德国的高速公路标志使用蓝色，而法国的乡村道路标志为绿色。在瑞士，情况则恰恰相反：高速公路标志为绿色，乡村道路标志为蓝色。 美国的道路标线根据类型不同，白色和黄色交替使用。在德国，常规道路标线为白色，施工区域标线为黄色。但在奥地利，施工区域标线则是橙色的。
无论你如何努力对物体进行分类和归类，由于世间存在数量庞大、形状和大小各异的事物，这种尝试终将以失败告终。更重要的是，物体的形态还会随着观察视角的变化而改变。
在三个特定领域，相机已达到其极限，以当前技术水平无法突破。
远距离（> 20 米）物体的距离测量
雾天和雨天的成像
低光环境下的成像
为克服这些局限性，高度自动化的车辆中安装了额外的传感器。
激光雷达（LIDAR，用于测距）
radar（测距，且不受雨雾影响）
热成像摄像头（可探测生物体和发热物体）
尤其是radar传感器，在雨天和雾天也能表现良好。
摄像头系统局限性的一个例子是夜视。如下图所示，当使用标准曝光时间时，摄像头很难在夜间黑暗区域检测到物体。
如果向系统中添加热成像摄像机，这些物体的可见度将大大提高。
应对这些挑战的解决方案是一个三层系统。
近年来，摄像机系统取得了显著进步，但开发工作仍在继续改进摄像机系统的流程，以确保图像中能显示所有重要信息。该系统无法检测到图像中未出现的内容。
所有系统安装完毕后，必须进行协调和校准，以作为一个整体运行，而在评估中，这种协同效应便显而易见。
继续开发智能评估算法（包括人工智能和神经网络）至关重要，这有助于在复杂情况下提高物体的识别能力和系统功能。
当今车辆中的摄像头系统通常具备 HDR（高动态范围）功能，其技术实现方式各不相同。其中一种方式是利用传感器上具有不同灵敏度或增益的 pixel。 在这种情况下，相邻的各个像素会被合并为一个像素。因此，系统会同时生成两张不同曝光度的图像并将其合并为一张，从而能够记录下较高的对比度范围。
然而，此类HDR成像也存在问题，原因在于输出端的色调值需要压缩到给定的色深（位数）内。正是这种现象导致隧道尽头并不总是更亮。相反，图像会被“塑形”为白色区域，这被称为“色调渲染”。
由于这些相互作用，必须开发新的、扩展的算法来更好地描述相机系统的特性。例如，对比度传递精度（CTA）[1] 表明是否能够检测到物体与背景之间的特定对比度。
在优化眩光方面，制造商可以在镜头上使用特殊的、经过优化的防反射涂层，并在卡口中采用高质量的吸光材料。镜头设计可最大限度地减少空气与玻璃之间的过渡区域，从而减少可能发生反射的区域。
为了进行距离测量以及立体相机前方的交互，图像必须无畸变。为此，可以对畸变进行表征，然后通过计算予以校正。一种最初为空间地球观测相机开发的测试方法，现已经过修改，用于表征在无限远处具有大视场的相机。
该方法采用一束束宽激光Illumination衍射光学元件（DOE）。该装置可生成一个定义明确的点阵图案——该图案在理论上源自无限远处——并由相机记录下来。随后，分析软件利用该图像确定校正图像所需的参数。
该方法还可用于表征挡风玻璃的影响。用于计算该效应的算法目前仍在开发中。
另一个重要问题是在不同温度条件下优化图像质量。如果摄像头位于挡风玻璃后方，夏季温度很容易达到 80°C 或更高。冬季，即使在 -40°C 的极端温度下，摄像头也必须保持正常工作。通过精心选择摄像头材料，可以满足这些工况要求。 为了获得预期结果，需要使用气候试验箱对摄像头进行极端温度测试。将摄像头放置在气候试验箱内，设定温度后，它便可通过观察窗拍摄测试图像。
上述关于图像质量的方面，旨在说明为确保所有驾驶辅助和自动驾驶系统安全所需要付出的努力。
除上述示例外，还有其他若干参数需要进行优化和进一步开发，以确保摄像头在安装到车辆上之前能够提供所需的高质量。这些参数包括：
OECF（光电转换函数）的测量
噪声
Resolution，包括球面像差
白平衡
边缘亮度与色彩变暗
色差
杂散光
色彩还原
传感器上的坏像素和杂质
Flicker
校准对于相机系统至关重要，即使是最好的相机，如果没有正确的校准，也无法提供有价值的结果。在校准过程中，您将确定缺陷像素，对其进行计算，分析并补偿边缘处的亮度衰减，并检测Distortion并加以校正。 此外，还必须准确设置曝光，调整白平衡和色彩还原，最后将摄像头安装到位并正确对准。
对准涉及摄像头与车辆之间的对准以及摄像头之间的相互对准，例如，对于那些为实现“全景视图”而共同评估图像的设备。此外，确保所有传感器都正确对准也至关重要。 例如，radar系统必须与摄像头对齐，以便在检测物体时朝向同一方向。这样，radar反射的物体就可以与视觉物体相对应。
在过去的几年里，人们开发了新的算法来提高物体识别的精度。将这些算法与人工智能及神经网络训练相结合，带来了更好、更可靠的结果。
以下是已开发解决方案的几个关键词：检测时利用了物体的属性，如边缘、拐角、直线、圆形等。 行人检测采用基于直方图的梯度算法。霍夫变换（Hough transforms）用于检测车道边界和交通标志等几何物体。辅助驾驶系统则运用图像分割和Color分析技术。此外，还广泛应用了物体跟踪、分类、环境建模以及3D分析等技术。
驾驶辅助摄像头系统已经显著减少了致命事故的发生。在欧洲，2010年至2017年间，此类事故数量平均下降了25%（Statista）。随着越来越多的汽车配备此类系统，且这些系统持续发展和改进，这一趋势将持续下去。
在合理的天气条件下，无人驾驶汽车在旧金山等繁忙的城市中行驶相当可靠。然而，这种可靠性必须在各种天气条件下都得以保持，且无需车辆每天前往校准车间。 考虑到这一点，自动驾驶汽车距离在现实世界中实现广泛应用，大约还需要十年时间。尽管如此，这在未来几乎肯定会成为现实。
我们要感谢合作伙伴大陆集团（Continental AG）和博世公司（Bosch GmbH）提供的图表和图片。
ARTMANN, U.; GEESE, M.; GAEDE, M.: “对比度检测概率——实现与应用案例”，2019年，
https://image-engineering.de/content/library/conference_papers/2019_02_28/EIC2019_CDP.pdf
WUELLER, D.：《几何相机标定的新维度》，2020年，
https://image-engineering.de/content/library/conference_papers/2020_03/Wueller_geometric_calibration_paper.pdf
