北京航空航天大学学报 ›› 2021, Vol. 47 ›› Issue (9): 1857-1865.doi: 10.13700/j.bh.1001-5965.2020.0316

• 论文 • 上一篇    下一篇

基于眼动、位姿及场景视频的人体运动方向预测方法

张卿1, 王兴坚1,2, 苗忆南1, 王少萍1,2, Alexander I. GAVRILOV3   

  1. 1. 北京航空航天大学 自动化科学与电气工程学院, 北京 100083;
    2. 北京航空航天大学 大数据精准医疗高精尖创新中心, 北京 100083;
    3. 莫斯科国立鲍曼技术大学 自动控制系统系, 莫斯科 105005
  • 收稿日期:2020-07-03 发布日期:2021-10-09
  • 通讯作者: 王兴坚 E-mail:wangxj@buaa.edu.cn
  • 基金资助:
    国防基础科研项目(JCKY2018601C107);国家自然科学基金(51675019,51620105010)

Human motion direction prediction method based on eye tracking, pose and scene video

ZHANG Qing1, WANG Xingjian1,2, MIAO Yinan1, WANG Shaoping1,2, Alexander I. GAVRILOV3   

  1. 1. School of Automation Science and Electrical Engineering, Beihang University, Beijing 100083, China;
    2. Advanced Innovation Center for Big Data-Based Precision Medicine, Beihang University, Beijing 100083, China;
    3. Department of Automatic Control Systems, Bauman Moscow State Technical University, Moscow 105005, Russia
  • Received:2020-07-03 Published:2021-10-09
  • Supported by:
    Defense Industrial Technology Development Program (JCKY2018601C107); National Natural Science Foundation of China (51675019,51620105010)

摘要: 外骨骼机器人作为新提出的改善、提高人类生活能力的智能设备,同样需要高效智能的人机交互系统,而人机交互的第一步,则是精准预测人的行为意图。从外骨骼机器人的顶层控制角度出发,介绍了人体运动意图识别和外骨骼机器人智能交互能力的研究现状,并对人体运动方向识别进行了研究。提出了一种结合眼动信息、位姿信息及场景视频信息的多信息融合的人体运动意图识别网络架构,并进行了采集设备的穿戴实验。利用实验数据,对提出的网络方法进行了实验验证。结果表明:所提出的人体运动方向的识别系统,可以预测出人体运动过程中的运动方向。

关键词: 眼睛追踪, 预测方法, 运动方向, 人体行为, 人机交互

Abstract: Exoskeleton robots, as newly proposed smart devices to improve and enhance human life ability, require efficient and intelligent human-computer interaction systems, and the first step of human-computer interaction is to accurtely predict human behavior intention. From the perspective of top-level control of exoskeleton robots, the current states and progress of human motion intention recognition and the intelligent interaction capabilities of exoskeleton robots are reported. Then, the recognition of human motion direction is studied. A network framework of human motion intention recognition combining eye tracking information, position and posture information, and scene video information is proposed, and wearable experiments of acquisition devices are carried out. The predictive capability of the network has been proved by experiments. The results show that the proposed recognition system can predict the movement direction during human movement.

Key words: eye tracking, prediction method, direction of movement, human behavior, human computer interaction

中图分类号: 


版权所有 © 《北京航空航天大学学报》编辑部
通讯地址:北京市海淀区学院路37号 北京航空航天大学学报编辑部 邮编:100191 E-mail:jbuaa@buaa.edu.cn
本系统由北京玛格泰克科技发展有限公司设计开发