AI技术在座舱传感器上得到广泛应用

本文来源：智车科技  作者：刘洪

／ 导读 ／

为了达到驾驶安全的目的，汽车中的多传感器融合已成为主流趋势，把来自不同类型传感器传感器的信息组合起来，就能取长补短，提高决策过程的整体精度和可靠性。

据统计，在每年全球130多万人致死的交通事故中，由于驾驶者错觉或失误而引起的占35％左右。美国交通部的报告甚至说：“人类做出的选择与94％的严重车祸有关。”因为交通中最危险的是驾驶者。因此，为了驾驶安全，让汽车眼观六路，耳听八方还远远不够，还应该了解和掌握驾驶者在行车中的各种情绪和行为，尽量避免驾驶者的失控所产生的影响。

座舱传感器成为重要生力军

摄像头也是传感器的一种，只不过是一种将光信号转换成电信号的传感器。根据Yole预测，2020年全球汽车摄像头模组市场将达到35亿美元，到2025年有望超过80亿美元，摄像头数量的不断增长正迅速催生CMOS图像传感器市场体量的增加。

比如最爱摄像头的特斯拉，车身最少有四个环视摄像头，且高级辅助驾驶系统（ADAS）中至少使用三个摄像头，还会在座舱增加一个用来关注乘客及驾驶者的摄像头，因此，随着驾驶安全的不断提升，摄像头数量将呈指数级增长。

摄像头数量走势

面对性命攸关的汽车，人们对技术的追求更是无止境的。现在，技术赋予传感器以智能，有效提高了汽车环境感测的准确性和可靠性，使交通出行参与者更加安全。

从图像到人工智能

汽车正在成为一种四个轮子上的超级计算机，可以快速处理万亿字节的传感器数据，既然是计算，就离不开人工智能（AI）对数据的理解，否则就无法向车轮、引擎和制动器发出指令，从而实现ADAS和完全自动驾驶。

Aptiv高级副总裁、首席技术官Glen De Vos说：“只是摄像头没有什么用，它只能捕捉图像，却不知道这些图像是什么东西，更不知道如何根据图像做出反应和决策。”他补充道，摄像头是最早采用AI的设备，目前使用量最多。不管是ADAS还是未来的自动驾驶汽车，利用AI感知环境并采取行动，才能最大限度地让人们安全到达预定目的地。

如何让AI在安全的车辆中发挥作用呢？对于工程师来说，技术就是一切，是思考的核心。他们必须把复杂的技术问题分解成尽可能简单的元素，然后把它们重新组合起来，想出办法现实中的解决问题。

AI已经发展了多年，现在经济高效的处理器使我们能够解决以前几乎不可能解决的高度复杂的问题。AI的关键是训练，而训练意味着收集大量数据，这些数据可以用来训练神经网络来完成任务，使系统变得更加强大。

当AI＋传感器遇见车里的人

近年来，AI技术已在座舱传感器方面得到广泛应用，感知人的情绪和行为，为安全驾驶提供帮助。它可以处理来自摄像头、麦克风、生物传感器甚至雷达的实时数据，然后帮助汽车做出决策。

很容易想象，每时每刻，车内都可能有突发事件发生，比如，前车突然并线、路边的车祸现场、路面被碾压的小动物，还有手机掉到脚下、咖啡洒了一身……，驾驶者难免分心或不安，这一切都增加了事故的风险。

如果可以感测发生上述情况时人的情绪波动，就可以让汽车采取与安全相关的行动，如短暂进入自动模式并减速，直到驾驶者情绪平复；甚至可以在驾驶者失去知觉或丧失行动能力的紧急情况下，让汽车拨打急救电话，或自动开到医院。

事实上，近年来雨后春笋般出现的一些初创公司都在研发这类技术，例如Affectiva、Guardian Optical、Eyeris、Smart Eyer、Vayyar Imaging、Seving Machines、B－Secur、eyeSight、Nuance Automotive、BeyondVerbal和Sensay，还有中国的SmartSens Technology（思特威科技）等。

智能座舱安全之眼

毋庸讳言，疲劳驾驶极易引起交通事故，驾驶者在长时间连续行车后，会产生生理和心理机能的失调，在客观上出现驾驶技能下降的现象。近年来，DMS（疲劳驾驶预警系统）在汽车领域的渗透率持续增长，并有望迅速成长至百亿规模，为其核心部件CMOS图像传感器带来了可观的机会。而图像传感器技术的不断提升也将为包括DMS在内的智能座舱系统带来更高的安全性和场景适用性。

思特威科技副总经理欧阳坚认为：“随着汽车领域智能化的发展，有效的驾驶员监测是实现自动驾驶的重要一环，也为中国CIS（CMOS图像传感器）厂商带来了‘芯’的机遇。”他表示，图像传感器是赋能智能车载视觉系统的核心元件，中国图像传感器厂商将大有可为。

虽然过去一年汽车行业需求有所下滑，但未来汽车领域将朝着更加智能化的方向发展，而就目前的市场情况看来，新能源汽车的稳步上升正推动着汽车领域的智能化进程，这将对车载半导体产业产生十分深远的影响。

他介绍说，思特威凭借全局快门诸多优势性能，为包括DMS在内的ADAS提供更优质的影像技术支持，帮助主机厂打造更安全的智能座舱系统。其已量产的全新130W像素全局快门图像传感器SC133GS采用2．7μm像素及1／4″光学尺寸，有助于DMS系统有效监测驾驶员驾驶状态，时刻关注行车安全。

之所以被誉为智能座舱安全之眼，是因为搭载SC133GS的DMS系统可实时通过安全带监测、眼睑闭合、眨眼、注视方向、打哈欠和头部运动来识别驾驶员的驾驶状态，其影像可为智能座舱系统提供识别运算的基础，成为智能座舱系统的核心之眼。

据介绍SC133GS超高感度源于其领先的近红外增强技术，在940nm波段光线下的QE（光子转换效率）超过40％，确保DMS系统在不可见光波长范围内实现极高灵敏度的高清成像；专为DMS系统量身打造的3：4竖幅画面，更可确保覆盖驾驶员主体像素，进一步提升影像清晰度。

QE（光子转换效率）超过40％

由于SC133GS采用荣获多项业界殊荣的单帧HDR（高动态范围图像）技术，可保证图像传感器在阳光或车大灯直射车内的严苛光线环境下，依旧能够为智能识别应用终端提供明暗细节清晰可见的实时影像，为系统提供更丰富的数据。

安全并非唯一目标

Eyesight Technologies视觉技术产品副总裁Tal Krzypow认为：“安全并不是车内传感器的唯一目标。从现在有人驾驶的汽车到未来的自动驾驶汽车，都离不开人的情感和活动感测。传感器和AI的结合将被用来服务和取悦车内的所有人，包括功能安全到娱乐，一切的一切。”

他说，情绪和活动感测不仅能感测到驾驶者醉酒、压力、困惑、分心或嗜睡等情绪失控状态，改变“危险”人类驾驶者的行为，挽救更多生命，还能识别到车内人与人之间的互动，利用AI去“理解”人类行为，让人们在汽车内获得更好的出行体验。

未来的一些新功能将把驾驶安全性和出行参与者的满意度结合起来，通过凝视感测，车内的人可以对汽车提问，而不必使用手机：“路边这个建筑是什么地方？或“附近有没有饭馆？”

12月8日，Eyesight Technologies更名为Cipia，仍致力于让机器能够看到并理解人的自然交互，定位于DMS和新兴乘客监控系统（OMS）市场的发展，以提高安全性和整体驾驶体验。

Cipia解决方案Driver Sense的核心基于先进专有计算机视觉和AI。其逻辑层基于广泛的研究和测试，证明了视觉面部线索、嗜睡和分心之间的关系。其驱动逻辑可以检测到睡意的早期阶段，从而使救生机制能够实时智能地做出反应。系统还可以基于视觉功能检测安全带、使用手机和吸烟，甚至可以通过口罩检测跟踪驾驶员的身份、性别和状态。

驾驶者检测项目这么多

采用AI的车内强大的传感器不仅感测驾驶者，还会“注意”到乘客，理解他们更复杂的因素：情感、注意力和行为。使用的传感器主要是集成在后视镜或车顶模块中的摄像头，用来观看人的活动和读取面部表情；通过语音语调来感测情绪的麦克风；还有方向盘或安全带上的直接传感器。

值得一提的是与时俱进的戴口罩驾驶者检测功能，它在疫情日盛之际发挥了巨大作用，包括满足美国疾病控制和预防中心的要求，以及帮助运营商监测卡车和公共汽车司机的工作时长。

人是有情感的动物

虽然道路安全仍是重中之重，但欧洲新车安全评鉴协会（NCAP）也指出：加速部署驾驶者监控系统，一方面是利用摄像头等传感器感测驾驶者疲劳、分心和遗忘儿童；另一方面还要满足消费者期望的舒适和娱乐出行体验。

同为初创企业的Affectiva首席科学官和联合创始人Rana el Kaliouby博士认为：“汽车座舱感测AI的加快部署，将增强道路安全并重新定义出行体验。将深度学习软件集成到联网车辆平台，有助于主机厂、按需出行供应商和车队管理者了解车辆内人类的各种体验，包括情感，开发出更智能的车辆。”

Affectiva基于深度学习的专利软件加上摄像头，可以座舱实时感测驾驶者和乘客复杂微妙的情绪和认知状态、活动、物品和儿童状态。座舱感测可检测车内人员，识别注册用户，还可以检测中途停车后返回的乘客。通过感测和智能，系统可以调整车内环境，根据个人喜好设置座舱温度、座椅位置和信息娱乐功能。主机厂、Tier 1可以利用这些宝贵的数据来定制驾驶体验。

关于深度学习，Rana el Kaliouby表示：“构建多模态人类感知AI是一个极其复杂的问题。”她解释说，多模态－人类情绪和认知状态会以多种方式表现出来，包括声调和脸。例如面部肌肉产生的数百种表情、眼睛也会“说话”、情绪的演变……而根据当时环境，面部或声音的变化可能有不同的含义。因此，人类感知AI算法需要用收集和注释的大量真实世界的海量数据进行训练。除了建模的复杂性，人类感知AI模型还需要在设备上实时准确运行，而基于规则的启发式系统不可能为所有可能的模式和场景编写代码，所以机器学习是必须的。

最后要说

随着汽车有了情感AI，主机厂和出行即服务（MaaS）提供商必须清楚地了解车内感测技术，并告诉消费者该技术的作用、收集的数据以及如何存储和使用这些数据。这样，消费者才能建立起对AI系统的信任，并与之互动，获得更好的驾乘体验。