Recognition of visual-related non-driving activities using a dual-camera monitoring system

1月 1, 2021·
Lichao Yang
,
Kuo Dong
,
Yan Ding
,
James Brighton
,
Zhenfei Zhan
Yifan Zhao
Yifan Zhao
· 0 分钟阅读时长
DOI
摘要
For a Level 3 automated vehicle, according to the SAE International Automation Levels definition (J3016), the identification of non-driving activities (NDAs) that the driver is engaging with is of great importance in the design of an intelligent take-over interface. Much of the existing literature focuses on the driver take-over strategy with associated Human-Machine Interaction design. This paper proposes a dual-camera based framework to identify and track NDAs that require visual attention. This is achieved by mapping the driver’s gaze using a nonlinear system identification approach, on the object scene, recognised by a deep learning algorithm. A novel gaze-based region of interest (ROI) selection module is introduced and contributes about a 30
类型
出版物
Pattern Recognition, 116, 107955. Elsevier
publications
赵一帆
作者
赵一帆 (he/him)
讲席教授
赵一帆(Yifan Zhao), 宁波东方理工大学力学与机械工程学院讲席教授, 英国皇家工程院工业会士, 英国高等教育学会会士, 2025入选国家级高层次人才计划。曾任英国克兰菲尔德大学航空、交通与制造学院终身教授、博士生导师, 担任全生命周期工程服务实验室主任。2000年与2003年分别获得北京理工大学自动控制专业学士和硕士学位, 2007年获得英国谢菲尔德大学自动控制与系统工程博士学位。累计发表高水平学术论文200余篇, 其中包含IEEE Transactions顶刊论文30余篇, 以及CVPR、MICCAI、CIRP等国际顶级会议论文。出版学术专著6部, 获授权国际专利3项。已培养博士后6人、博士研究生20余人、硕士研究生80余人, 国际访问学者10名。主持和参与多项英国工程与自然科学研究理事会、英国皇家工程院、英国创新署以及空客和捷豹路虎等国际头部企业资助的重大科研项目, 累计经费逾8000万元人民币。在知识转化方面, 其研究成果已成功应用于飞机设计与运维、智能制造、自动驾驶以及智慧建造等领域。