车载手势交互研究的六种技术路线

四儿
• 阅读 252

佐思汽研发布《2022-2023年中国汽车手势交互发展研究报告》,从手势交互技术、标杆车型手势交互方案、手势交互产业链以及手势交互方案商四个方面进行分析研究。

一、2022年车载手势识别功能装配量同比增长315.6%

随着智能座舱技术的迭代升级,座舱服务从被动智能逐渐演变为主动智能,人机交互模式从单一模态的交互方式转向多模态交互。在这一趋势影响下,车载手势交互功能得到了快速的发展。2022年,中国乘用车手势识别(标配)装配量总计42.7万辆,同比增长315.6%;装配率为2.1%,较2021年增加了1.6个百分点。

二、手势识别控制范围正从软件向硬件、从车内向车外延伸

随着手势交互技术的普及和应用场景的不断扩大,车载手势交互技术也得到了迅速发展。目前,汽车制造商正积极推动座舱交互功能的布局,手势交互技术从最初控制车内信息娱乐系统,包括接挂电话、调整音量、控制导航等功能,发展到可控制车身硬件以及安全系统,如车窗/天窗/遮阳帘开启或关闭、关闭车门、车辆行驶等功能。 此外,车外手势控制也是各大厂商积极拓展的技术领域。例如,WEY摩卡已经实现了驾驶员可以在车外通过手势控制车辆点火、前进、后退、暂停、熄火操作。未来,手势识别功能将不再局限于驾乘人员,而会逐步实现对车外路人的动作识别,例如识别路上交警的指挥手势或汽车周围骑车人做出的手势。

数据堂自制版权的系列数据集产品为“手势识别”这一技术路径的实现提供了强有力的支持。

1314,178张18种手势识别数据

314,178张18种手势识别数据涵盖多种场景、18种手势、5种拍摄角度、多年龄段、多种光照条件。在标注方面,标注21关键点(每个关键点有可见不可见属性)、手势类别和手势属性。314,178张18种手势识别数据可用于手势识别、人机交互等任务。

三、手势识别六种技术路线

从技术路线来看,手势识别技术主要包括基于3D摄像头的结构光、ToF、双目成像,基于雷达的毫米波、超声波,以及基于生物电的肌电技术。

手势识别技术路线

来源:佐思汽研《2022-2023年中国汽车手势交互发展研究报告》

目前,基于3D摄像头的手势感应技术路线是车载手势识别的主流技术路线。该技术路线由3D摄像头和控制单元组成。3D摄像头包括摄像头、红外LED、传感器等部分,用于捕捉手部动作,然后利用相应的图像处理算法识别手势的类型,并下达相关指令。基于3D摄像头的技术路线可细分为结构光、ToF和双目视觉。

结构光技术

结构光技术是将带有编码信息的光投射到人体,由红外传感器采集反射结构图案,最后由处理芯片构建3D模型的方案,适用于10米以内的近距场景,拥有硬件成熟、可识别精度高、分辨率高等优势。于2022年7月上市的哪吒S搭载的手势识别方案即为结构光方案。

哪吒S舱内手势识别传感器位于内后视镜上方,可识别6个手势动作,包括:手掌前后移动调节天幕透光率、比“嘘”静音、手指顺/逆时针调整音量、手掌张开左右移动切换音视频节目、比“V”车内自拍以及点赞收藏节目。

ToF技术

ToF技术即根据光的飞行时间测距,由底层感光元件构建3D图像实现,其可以获得5米内的有效与实时深度信息,适用场景更广,无论环境光较强(如:日光)或较弱,都可获得有效的景深信息。宝马iX、理想L9、极狐阿尔法S全新HI版等量产车型搭载的手势识别方案均为ToF方案。

宝马iX舱内手势识别传感器位于中控屏上方车顶灯处,可识别8个手势动作,包括: ① 手左右挥动拒接电话/忽略提示;

② 食指前后接听电话/确认提示;

③ 顺时针旋转可增大音量或放大导航地图;

④ 逆时针旋转可减小音量或缩小导航地图;

⑤ 手握拳伸出大拇指向左右挥动,调整上一曲/下一曲;

⑥ 两手指指向显示器可自定义;

⑦ 做出五-零-五手势(自定义);

⑧ 手握空拳,食指与大拇指相碰,左右挥动拉扯可查看车辆四周影像(需要车辆带自动泊车辅助系统PLUS)。

宝马iX 手势识别功能示意图

来源:安波福

理想L9为保证驾乘人员均可实现手势识别控制,在车内前舱及后舱分别安装了手势识别传感器。前舱传感器位于内后视镜上方,后舱传感器则位于后排娱乐屏处上方。

前舱可识别2个手势动作,包括: ① 控制车窗/天窗/遮阳帘(结合语音交互);

② 播放页面长握拳,上下移动调整音量。

后舱可识别7个手势动作,包括: ① 五指张开内侧手肘放置于扶手保持2秒,可进行手势定位;

② 五指张开,向下挥手打开屏幕;

③ 五指张开,手掌移动光标;

④ 握拳抓取图标;

⑤ 长握拳,抓取并移动实现画面甩屏;

⑥ 在播放页面,长握拳,左右移动可调节播放进度;

⑦ 在播放页面,五指张开,向上挥手可退出当前内容。

双目立体成像技术

双目立体成像技术基于视差原理,由多幅图像获取物体三维几何信息实现。该技术对硬件要求低,无需额外的特殊设备,是一种性价比高的方案。于2022年5月上市的奔驰EQS搭载的手势识别方案即为双目立体成像方案。

奔驰EQS舱内手势识别传感器位于车顶阅读灯处,可识别3个手势动作,包括: ① 比“V”调出收藏夹;

② 在内后视镜下方前/后挥手,控制天窗关/开;

③ 手向车内挥动,自动关门(需选配四门电动开闭)。

目前,基于雷达的毫米波、超声波以及基于生物电的肌电等手势识别技术,在汽车舱内手势识别功能中尚未被广泛应用。与传统的视觉手势识别技术相比,这些技术仍然存在一些限制和挑战。

毫米波雷达

毫米波雷达是一种无线电波传感器,即使在有障碍物的情况下,也能准确探测手的位置和运动。 2020年,木牛科技美国子公司Ainstein,与美国ADAC Automotive成立合资品牌RADAC,并在CES展上正式发布了基于毫米波雷达的车载手势识别解决方案。该方案中的手势识别传感器位于尾门上方,可通过手部的左右挥动打开车门。

超声波雷达

2020年2月,DS在日内瓦车展上推出的Aero Sport Lounge概念车,集成了Leap Motion体感控制技术和Ultrahaptics超声波触觉反馈技术,可轻松识别、解读驾乘者的每个手势动作,并通过微型扬声器发出的立体超声波予以驾乘者触觉反馈。

DS Aero Sport Lounge舱内手势识别以及超声波反馈传感器位于车内中央扶手处,可识别5个手势动作,包括: ① 舱内温度和吹风速度调节; ② 曲目以及音量调节; ③ 处理导航/地图,包括设置新路线; ④ 接听/拒绝电话;

⑤ 菜单功能切换。

DS Aero Sport Lounge手势识别传感器位置图

生物电

生物电是指人体肌肉运动产生的电信号。生物电传感器可以通过测量这些电信号来识别手势与动作。目前,基于生物电的肌电手势识别技术更多应用于控制外部设备和交互界面,例如控制假肢、虚拟现实和游戏设备等方面。致力于研发智能手势控制产品的加拿大公司Thalmic Labs,推出的首款可穿戴设备MYO腕带采用的就是肌电技术。该腕带内嵌8个肌电传感器记录手臂肌肉的电信号,通过分析这些信号识别不同的手势。在实际应用过程中,用户可以通过MYO腕带的蓝牙连接来控制无人机、电脑、智能手机等电子设备。目前尚无车内应用案例。

点赞
收藏
评论区
推荐文章
Wesley13 Wesley13
2年前
UIWebView长按保存图片和识别图片二维码的实现方案(使用缓存)
0x00需求:长按识别UIWebView中的二维码,如下图长按识别二维码0x01方案1:给UIWebView增加一个长按手势,激活长按手势时获取当前UIWebView的截图,分析是否包含二维码。核心代码:略优点:流程简单,可以快速实现。不足:无法实现保存UIWebView中图片,如果当前We
四儿 四儿
1年前
手势识别产品特性和主要应用领域
2020年,新冠疫情席卷全球,“保持距离”成为了防疫的必要措施,这让许多主打“零接触”的产品得到消费者青睐,如手势感应泡沫剂、手势感应水龙头、手势感应开关、手势识别门锁等。手势识别的目的不应该停留在字面上的解放双手,而是在安全保障下,提供更深层的人机交互体
四儿 四儿
1年前
手势识别数据集:让计算机了解你的表情与手势
在当今数字化时代,我们离不开计算机、手机和其他电子设备。与此同时,手势识别技术也越来越受关注。手势是我们与生俱来的一种表达方式,通过它们可以传达思想和情感。因此,手势识别技术也变得越来越重要。而在实现这项技术中,手势识别数据集起着关键性的作用。什么是手势识
四儿 四儿
1年前
手势识别在各领域有着广泛的应用
手势识别是现代科技发展中的一个热门话题。通过使用摄像头、传感器等设备来识别人类的特定手势,可以为人们的日常生活、医学、汽车驾驶等方面带来便捷和安全。本文将会详细从几个方面探讨手势识别的应用和发展。首先,手势识别在日常生活中的应用尤为广泛。可以通过手势控制智
四儿 四儿
1年前
手势识别数据集:利用数据注释让机器学习
手势识别是现代计算机视觉领域不可或缺的一部分,是指通过分析输入信号的空间变化来获取表达者的意图。手势识别技术可以应用于很多领域,比如交互式系统、人脸识别以及智能家居等。在许多场景中,手势识别是更加便捷的控制方式,它可以更方便地与设备进行交互,并且可以方便地
四儿 四儿
1年前
未来手势交互将成为新一代“触屏”
手势追踪被视为人机交互(HCI)/人类数据交互(Humandatainteraction,HDI)中最直观的交互模式之一,是混合现实(XR)终端交互的最新趋势。在XR领域中,手部运动轨迹的感知与追踪是改善用户在不同技术领域和平台体验的一个重要组成部分。手部
四儿 四儿
1年前
计算机视觉中手语识别研究
计算机视觉中手语识别研究手语识别的目的就是通过计算机提供一种有效的、准确的机制将聋哑人常用的手语手势识别出来,使得他们与健全人之间的交互变得更方便、快捷。同时,手语识别的应用还可以提供更自然的人机交互方式,方便聋哑人对计算机等常用信息设备的使用。目前手语识
四儿 四儿
1年前
车载语音为什么不好用?关键在这几点
据盖世汽车研究院报告显示,随着消费者对座舱体验要求的提升,智能座舱将融合更多智能化、数字化功能,使得其单车价值量将大幅提升,2030年有望达到千亿规模。车载语音交互系统作为智能座舱中不可或缺的一部分,是车内最直接、最人性化、最安全的交互方式。车载语音成为了
燕青 燕青
8个月前
mac 触控板增强神器:Bettertouchtool for Mac中文版 支持M1
是一款Mac上的触摸板手势控制工具,可以帮助用户根据自己的习惯和需求定制触摸板手势操作,提高工作效率和操作体验。首先,Bettertouchtool支持多种手势控制,包括双指手势、三指手势、四指手势等,并且可以根据用户需求进行定制。这些手势控制包括但不限于
绣鸾 绣鸾
8个月前
BetterMouse for Mac鼠标增强软件
是Mac电脑上一款优秀的鼠标增强工具,它可以帮助用户提高鼠标的使用效率,具有以下特点:1.定制鼠标手势:BetterMouse支持定制鼠标手势,用户可以通过手势来实现不同的操作,比如前进、后退、刷新等。2.智能鼠标滚轮:BetterMouse可以智能调整鼠