北京航空航天大学学报 ›› 2018, Vol. 44 ›› Issue (8): 1764-1771.doi: 10.13700/j.bh.1001-5965.2017.0653

• 论文 • 上一篇    下一篇

基于置信度的TOF与双目系统深度数据融合

孙哲, 张勇, 常衢通   

  1. 北京航空航天大学 仪器科学与光电工程学院, 北京 100083
  • 收稿日期:2017-10-23 修回日期:2018-01-05 出版日期:2018-08-20 发布日期:2018-08-29
  • 通讯作者: 张勇 E-mail:06952@buaa.edu.cn
  • 作者简介:孙哲,女,硕士研究生。主要研究方向:计算机视觉、三维重建;张勇,男,博士,副教授。主要研究方向:模式识别、图像采集与处理;常衢通,男,硕士研究生。主要研究方向:计算机视觉、三维重建。

In-depth data fusion of TOF and stereo vision system based on confidence level

SUN Zhe, ZHANG Yong, CHANG Qutong   

  1. School of Instrumentation Science and Opto-electronics Engineering, Beijing University of Aeronautics and Astronautics, Beijing 100083, China
  • Received:2017-10-23 Revised:2018-01-05 Online:2018-08-20 Published:2018-08-29

摘要: 为了解决铁路火车等结构单一环境的三维重建问题,提出了置信度的概念,将TOF系统与双目系统的互补性特点有效结合。通过联合标定,建立起TOF系统与双目系统的坐标关系,将TOF中的点映射到左相机视角下,得出双目系统左相机视角下的TOF测量视差图,再利用图像分割以及曲面拟合对其上采样处理至双目图像的分辨率大小。根据各系统特点定义置信度,确定数据融合的不同系统权重。利用Middlebury的数据集处理结果,融合后的匹配精度较双目系统精度提高一倍以上,且视差图的分辨率提升至与双目系统相同大小。

关键词: 双目立体匹配, TOF, 数据上采样, 数据融合, 置信度

Abstract: To solve the problem of 3D reconstruction in textureless environment like railway, the confidence coefficient is proposed to combine TOF and stereo vision system effectively. Through the joint calibration, the coordinate relationship between TOF and stereo vision systems is established. Then by projecting the points in TOF to left camera in stereo vision system, the disparity map of TOF is obtained. After image segment and surface fitting the disparity map is up-sampled and its resolution is equal to that of stereo images. According to the confidence coefficients of different systems, the system weight values of data fusion are defined. Finally, the proposed method is evaluated with Middlebury dataset, and the results show that the accuracy has been raised twofold or more, and the resolution of disparity map is equal to that of stereo images as well.

Key words: stereo vision, TOF, data upsampling, data fusion, confidence coefficient

中图分类号: 


版权所有 © 《北京航空航天大学学报》编辑部
通讯地址:北京市海淀区学院路37号 北京航空航天大学学报编辑部 邮编:100191 E-mail:jbuaa@buaa.edu.cn
本系统由北京玛格泰克科技发展有限公司设计开发