对于机器视觉算法的局限性的相关题，以及一汽大众RSD的题，想必不少人都很想知道，接下来听小编讲解吧
作者简介罗博士，东南大学工学博士，英国布里斯托大学博士后研究员。他是福瑞微电子英国研发中心GRUK的高级人工智能科学家，居住在剑桥。英国。罗博士长期从事科学研究和先进机器视觉产品开发，曾担任世界500强ICT公司机器视觉首席科学家。
《荀子素西姆》云“路虽短，不做就不能到达，不做小事就不能到达。”“我无法实现它。”
ADS近30年的现状可以说是“路漫漫其修远兮，但进步已来，只要继续努力，未来可期”。《象传》云“求而去，则明矣。”
ADS纯视觉产品设计痛点观察
自动驾驶ADS是新世纪工业革命的第二驱动力，即工业数字化和人工智能，近期搭载L2/L2+功能的车型已成功发布并占据市场主导地位，针对特定场景的L3/L4功能也已上市。可用。它开始着陆了。L3是安全责任的门槛，只有L3或更高级别才能被认为是自动驾驶，驾驶员成为车辆的自动驾驶系统，只有在必要时才由人类驾驶员接管。通过人工智能技术与驾驶场景的紧密结合，智能汽车AV将按照公众的预期，逐步实现从低速到高速、从货运到客运、从商用到民用的落地速度。驾驶员辅助驾驶作为L2+级别的功能也受到了大众的好评，基于自动巡航控制（ACC）、车道中央控制（LCC）等关键功能，车辆可以自主上下坡，定速控制（ALC），可以完成路线，并可以根据导航信息进行高速巡航、变道、超车等智能驾驶。半封闭、道路结构高速场景复杂度低，易于实现智能驾驶功能量产，商业实现主要包括车道保持辅助LKA、ACC、车道中心辅助LCA、高速等功能。诺阿。城市路况十分复杂，行人、非机动车、汽车等道路要素较多，NOA特征开发难度加大。上述L2的场景应用可以解放人的手脚，但责任方司机必须能够监控路况，并在必要时快速接管驾驶任务。打瞌睡可以说是迄今为止最致命的因素之一，汽车销售人员需要正确的推广和算法技能来有效地发现这些事件并与用户一起改进。很多分析表明，当前自动驾驶汽车的安全性能明显逊色于人类驾驶，这也可以说是人类的最高能力或者人类心理所能容纳的期望。虽然它可以应用于模拟和简单的低遮挡约束的现实世界场景，但它仍然很难应对复杂的城市道路交通场景，包括恶劣的天气环境、缺乏定位信号、高度模糊的目标、有限的全局视野和人车交通。交互、车车交互、小目标或干扰目标等场景动态适应性题，即所谓的“长尾挑战”，仍然是ADS目前需要解决的主要题之一。
为了提高ADS的时空4D感知能力和人身安全，商用AV通常配备29个摄像头、6个雷达和5个激光雷达的多模式多传感器设计。与昂贵的LiDAR设备相比，该相机的最大优势之一是其高分辨率和低成本，并且纯视觉的多相机组合设计可以提供足够的场景语义信息。除了上面提到的目前市场上使用的纯视觉感知产品设计的极端场景外，本文将重点分享整体的深入见解。特别是，涉及应用程序的关键场景被公众认为不安全，但以下情况除外恶劣天气下容易受到干扰，相信在驾驶场景等情况下不会轻易错过或误认目标。
图1交通事故现场网络媒体，2022年
对于ADS自动驾驶纯视觉识别产品的应用，现有市场上经常发生的严重或致命交通事故，大部分发生在相对正常的天气和一些被认为容易处理的交通场景中。如图1所示，注图片均取自报道或新闻，事故原因一般包括
2022年7月，台湾某城市，天气良好，自动驾驶模式却撞上高速公路路边桥梁，导致车辆起火，造成严重人员伤亡。
2022年7月，在美国佛罗里达州，天气良好，汽车处于自动驾驶模式，与一辆停在高速公路路肩上的卡车相撞，导致汽车起火，两人死亡。
2022年6月，美国多个州发生了16起交通事故，司机在夜间以自动驾驶模式行驶时与配备警示灯、照明弹、锥体和发光箭头板的故障车辆相撞。15人受伤，1人死亡。
2021年7月20日至2022年5月21日，美国各州共发生392起电动汽车事故和273起自动驾驶模式下的纯视觉识别产品应用事故。
2018年3月，美国加州天气良好，在使用自动驾驶模式时，一辆车辆与高速公路边界围栏相撞，导致汽车起火并死亡。
2016年二月，在美国威斯康星州，天气晴朗，汽车处于自动驾驶模式的情况下，在高速公路路肩的停车位上发生了第一起与卡车相撞的事故，导致汽车起火并引发火灾。一个人去死。
如图1所示，事故原因分析比较复杂，假设人为失误是主要原因，比如系统的感知和决策能力不符合应用场景，责任人就失败了。当涉及到系统感知和决策能力题时，例如承保，视觉分析可以从认知层对象识别中浮现出来。原因可能是撞毁的卡车、路边桥梁、未正确识别可行驶区域、脏相机、脏设备、突然故障等。上述分析表明，从2016年的第一起事件到2022年的同一事件，纯视觉解决方案仍然很有可能无法有效识别路肩停车位的卡车。我们的出发点是更好地解决ADS行业的诸多题。当然，我们不希望这些高科技讨论误导行业专家和消费者情绪。此外，我们特别声明，我们不承担ADS行业的任何法律责任。本文涉及敏感区域的讨论，请参阅完整事故分析结果报告作为事实参考。
对比美国全国每48.4万英里1人的事故率，知名T汽车厂商公布的2021年自产车交通事故安全评价分析数据如下。
10倍的提升仍然可以被视为没有满足公众对智能出行安全的期望。如果数百倍、数千倍的改进成为大众可以接受的目标或水平，对于行业设计师来说，未来的道路仍然漫长而艰巨，需要从上到下进一步探索。5-10年内将会有更完整的案。
ADS中的情景不确定性
自主ADS主要从高速场景向城市道路场景演进，实现助航NOA功能，并通过AI与场景的紧密结合，逐步实现从低速到高速、从货运到客运、从商业到民用的ADS。它促进。首先，将在拥堵高速公路上提供L2高级辅助驾驶和L3副驾驶功能，发展到第二阶段，将提供拥堵高速公路L3自动驾驶和高速公路L4自动驾驶，最后实施第一阶段。L4郊区及城市自动驾驶、L5商业自动驾驶等。ADS算法的总体系统层架构如图2所示，一般包括感知层、识别层、定位层、预测+决策层计划和控制层。做。每个级别均采用传统算法模型或与深度学习DNN模型相结合，提供ADS驾驶过程中人类可感知的高可靠性和高安全性，并在此基础上提供最高能耗率、汽车性能等基础功能。经验.以及用户社交。
图2ADS技术堆栈示例Nageshrao，2022年
非常糟糕的场景题
ADS部署的传感器在雨、雪、雾、弱光、高遮挡、部分传感器错误、主动或被动场景攻击等非常恶劣的场景中会产生不同程度的影响。常用的多模传感器包括CameraFront-View或多视图、Mono或Stereo、LD或HD、毫米波Radar3D或4D以及激光雷达LIDARLD或HD。如图3所示，ADS传感器的特点可概括如下
相机
优势
它可以提供360度环绕视图以及远距离前后视角的环境语义表示。
单目和多目相机可以提供一定程度的目标深度信息。
不足的
如图4、图7所示，受到雨、雪、浓雾、强光等恶劣场景影响严重。
脏镜头会严重影响图像质量。
需要有光照环境。
骑士
优势
它可以提供现场空间信息。
不足的
检测反光或透明物体很困难。
如图5所示，当降雨速度超过40mm/hr至95mm/hr时，信号反射密度损失严重，出现雨枕现象。
如图5和图6所示，大雪会降低能见度并产生反射干扰波。
如图5所示，在浓雾场景中会出现重影。
温差会导致额外的时间延迟。
雷达
优势
总体而言，它对环境的适应性较高。
周围车辆检测精度高，可提供目标速度信息。
4D雷达还可以提供有关目标高度的可靠信息。
不足的
不适合检测小目标。
无法检测塑料袋等材料。
如图6所示，大雨、浓雾和暴风雪会强烈衰减接收信号和散斑噪声。
图3ADS检测层Khan的不确定性和性能比较Khan，2022
图4CameraRGB、热成像和LiDAR张2022年的亮点
图5相机和激光雷达浓雾大雨场景张，2022年
图6激光雷达暴风雪场景张2022
图7相机和激光雷达的雨天场景张2022
ADS感知层的主要挑战是恶劣场景的挑战。如图8所示，对比激光雷达和摄像头，4D高清雷达发出的毫米波可以有效穿过雨滴和雪花，并且不受弱光和雨雪雾天气的影响，但受多径影响。总体而言，它具有较高的环境适应性，因此单独或组合使用时对于2D/3D目标检测非常有利，并且可以提供高精度的目标高度和速度信息，有助于改进预测规划。ADS的性能。
图8比较3D目标检测与4D雷达、摄像头和LiDAR点云识别的案例研究，2022年
遮挡场景题
ADS感知层的关键应用场景包括高速公路、郊区和城市道路、十字路口、环岛、潮汐公路、隧道、停车场等。主要任务是基于多模态的2D/3D人体、车辆和物体目标识别。动态目标跟踪和速度识别、交通标志识别、车道识别、红绿灯识别、道路可行驶区域语义分割、道路障碍物检测、盲点检测、交通事故检测、驾驶员困倦检测等。核心产品功能包括碰撞预警、紧急制动、车道偏离预警、部分故障预警检测、变道、并道、路口超车、行为预测、轨迹预测、轨迹规划、车速控制、转向控制等。
ADS识别层面临的挑战之一是目标遮挡或识别盲点题。仅依靠自动驾驶汽车自身的360度近距和远距传感，ADS很难在理论上完全超越人类驾驶水平，降低交通事故率，并通过预测和预警提供更好的人身安全。如图9所示，在典型的正面遮挡场景中，摄像头画面影响相对较小，而激光雷达正面由于遮挡而出现大片空白区域，严重影响识别决策。一种可能的策略是使用这些3D阴影特征进行障碍物目标检测。也就是说，我们将阴影与遮挡目标相关联，并使用此先验假设来降低目标漏检率。拖运，2022年。
图9关闭目标遮挡场景（Haul，2022年）
如图10的对比示例所示，
今天跟大家分享的是机器视觉算法的局限性，和一汽大众RSD对应的一些相关内容，希望对大家有所帮助。
No Comment