留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于智能手机APP的非合作目标三维重建与交互

翟敏 刘华平 张天昱 卢山 许静文

翟敏, 刘华平, 张天昱, 等 . 基于智能手机APP的非合作目标三维重建与交互[J]. 北京航空航天大学学报, 2018, 44(12): 2637-2643. doi: 10.13700/j.bh.1001-5965.2018.0356
引用本文: 翟敏, 刘华平, 张天昱, 等 . 基于智能手机APP的非合作目标三维重建与交互[J]. 北京航空航天大学学报, 2018, 44(12): 2637-2643. doi: 10.13700/j.bh.1001-5965.2018.0356
ZHAI Min, LIU Huaping, ZHANG Tianyu, et al. Space non-cooperative target 3D reconstruction and interaction based on smartphone APP[J]. Journal of Beijing University of Aeronautics and Astronautics, 2018, 44(12): 2637-2643. doi: 10.13700/j.bh.1001-5965.2018.0356(in Chinese)
Citation: ZHAI Min, LIU Huaping, ZHANG Tianyu, et al. Space non-cooperative target 3D reconstruction and interaction based on smartphone APP[J]. Journal of Beijing University of Aeronautics and Astronautics, 2018, 44(12): 2637-2643. doi: 10.13700/j.bh.1001-5965.2018.0356(in Chinese)

基于智能手机APP的非合作目标三维重建与交互

doi: 10.13700/j.bh.1001-5965.2018.0356
详细信息
    作者简介:

    翟敏  女, 硕士研究生。主要研究方向:机器学习、目标检测、计算机视觉

    刘华平  男, 博士, 副教授, 博士生导师。主要研究方向:多模态融合, 机器人感知、学习与控制, 计算机视觉

    通讯作者:

    刘华平, E-mail: hpliu@tsinghua.edu.cn

  • 中图分类号: TP391.4

Space non-cooperative target 3D reconstruction and interaction based on smartphone APP

More Information
  • 摘要:

    基于"软件定义卫星"的思想,设计并实现了一套利用天基观测序列对非合作目标进行三维重建的软件系统。考虑卫星与地面用户的交互性,该软件系统由2部分组成:星上云节点软件以及地面用户软件。在该软件系统中,普通用户可以通过地面用户软件,实时观测太空中非合作目标的三维结构,加强对太空的了解;对科研人员而言,对非合作目标的三维重建是对非合作目标进行抓取、捕获、提供在轨服务等进一步研究的基础。为了满足对非合作目标定轨、定姿的进一步需求,软件系统提供了三维重建中生成的匹配特征点的位置信息以及非合作目标与摄像机本体之间的向量信息。针对利用运动恢复结构(SFM)恢复三维结构存在的点云稀疏、可视化效果差的问题,采用SFM稀疏重建获得点云的基础上,进行泊松表面分布重建,获得致密、均匀的网格表面。由于缺乏空间非合作目标成像数据,采用地面仿真数据进行实验,结果表明,使用该方法可以完成对非合作目标的三维重建,重建效果好,并且三维重建中获得的匹配特征点数据可以对非合作目标的定姿、定轨提供数据支持。

     

  • 图 1  系统工作流程

    Figure 1.  System workflow

    图 2  三维重建流程

    Figure 2.  3D reconstruction workflow

    图 3  地面用户软件

    Figure 3.  Software for ground users

    图 4  “玉兔号”登月车模型

    Figure 4.  "Rabbit" lunar rover model

    图 5  “玉兔号”图像序列

    Figure 5.  "Rabbit" image sequence

    图 6  特征点提取

    Figure 6.  Feature point extraction

    图 7  稠密点云重建效果

    Figure 7.  Dense point cloud reconstruction results

    图 8  泊松重建结果

    Figure 8.  Possion reconstruction results

    图 9  三维重建不同角度展示

    Figure 9.  3D reconstruction from different perspectives

  • [1] NISTÉR D.An efficient solution to the five-point relative pose problem[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2004, 26(6):756-771. doi: 10.1109/TPAMI.2004.17
    [2] NISTÉR D.Calibration with robust use of cheirality by quasi-affine reconstruction of the set of camera projection centres[C]//8th IEEE International Conference on Computer Vision(ICCV2001).Piscataway, NJ: IEEE Press, 2001: 116-123. https://www.researchgate.net/publication/3906146_Calibration_with_robust_use_of_cheirality_by_quasi-affinereconstruction_of_the_set_of_camera_projection_centres
    [3] NISTÉR D.Frame decimation for structure and motion[C]//2nd European Workshop on 3D Structure from Multiple Images of Large-Scale Environments.Berlin: Springer, 2000: 17-34. doi: 10.1007%2F3-540-45296-6_2
    [4] TRIGGS B, MCLAUNCHLAN P F, HARTLEY R I, et al.Bundle adjustment-A modern synthesis[C]//International Workshop on Vision Algorithms.Berlin: Springer, 1999: 298-372. doi: 10.1007/3-540-44480-7_21
    [5] LOURAKIS M I, ARGYROS A A.SBA:A software package for generic sparse bundle adjustment[J].ACM Transactions on Mathematical Software(TOMS), 2009, 36(1):1-30. http://d.old.wanfangdata.com.cn/Periodical/wjclxb200304024
    [6] FURUKAWA Y, PONCE J.Accurate, dense, and robust multi-view stereopsis[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 2010, 32(8):1362-1376. doi: 10.1109/TPAMI.2009.161
    [7] 唐永鹤.基于序列图像的空间非合作目标三维重建关键技术研究[D].长沙: 国防科学技术大学, 2012: 13-36. http://cdmd.cnki.com.cn/Article/CDMD-90002-1014047858.htm

    TANG Y H.Researches on 3D reconstruction technologies for non-cooperative space targets using image sequences[D].Changsha: National University of Defense Technology, 2012: 13-36(in Chinese). http://cdmd.cnki.com.cn/Article/CDMD-90002-1014047858.htm
    [8] 张浩鹏, 魏全茂, 张威, 等.基于序列图像的空间目标三维重建[J].北京航空航天大学学报, 2016, 42(2):273-279. http://bhxb.buaa.edu.cn/CN/abstract/abstract13775.shtml

    ZHANG H P, WEI Q M, ZHANG W, et al.Sequential-image-based space object 3D reconstruction[J].Journal of Beijing University of Aeronautics and Astronautics, 2016, 42(2):273-279(in Chinese). http://bhxb.buaa.edu.cn/CN/abstract/abstract13775.shtml
    [9] 何豫航, 岳俊.基于CMVS/PMVS多视角密集匹配方法的研究与实现[J].测绘地理信息, 2013, 38(3):20-23. http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=chxxygc201303006

    HE Y H, YUE J.Research and implementation based on multi-view dense matching by applying CMVS/PMVS[J].Journal of Geomatics, 2013, 38(3):20-23(in Chinese). http://www.wanfangdata.com.cn/details/detail.do?_type=perio&id=chxxygc201303006
    [10] 曾蔚, 王汇源, 刘莹奇, 等.基于IR-SFS算法空间目标红外影像3D重建[J].中国光学, 2014, 7(3):376-388. http://d.old.wanfangdata.com.cn/Periodical/zggxyyygxwz201403003

    ZENG W, WANG H Y, LIU Y Q, et al.3D reconstruction of space target IR image based on IR-SFS algorithm[J].Chinese Optics, 2014, 7(3):376-388(in Chinese). http://d.old.wanfangdata.com.cn/Periodical/zggxyyygxwz201403003
    [11] 曹彩秀.非合作航天器位姿在轨测量方法的研究[D].北京: 北京邮电大学, 2015: 25-34. http://cdmd.cnki.com.cn/Article/CDMD-10013-1015585845.htm

    CAO C X.Pose on-orbit measurement of non-cooperative spacescraft[D].Beijing: Beijing University of Posts and Telecommunications, 2015: 25-34(in Chinese). http://cdmd.cnki.com.cn/Article/CDMD-10013-1015585845.htm
    [12] 郑恩, 成耀天, 林靖宇.采用去抖动模糊算法的稠密三维重建[J].计算机工程与应用, 2018, 54(1):217-223. http://d.old.wanfangdata.com.cn/Periodical/jsjgcyyy201801034

    ZHENG E, CHENG Y T, LIN J Y.Dense 3D reconstruction based on removing camera-shake fuzzy algorithm[J].Computer Engineering and Applications, 2018, 54(1):217-223(in Chinese). http://d.old.wanfangdata.com.cn/Periodical/jsjgcyyy201801034
    [13] VALENTIN J P C, SENGUPTA S, WARRELL J, et al.Mesh based semantic modelling for indoor and outdoor scenes[C]//IEEE Conference on Computer Vision and Pattern Recognition.Piscataway, NJ: IEEE Press, 2013: 2067-2074. https://www.researchgate.net/publication/261129160_Mesh_Based_Semantic_Modelling_for_Indoor_and_Outdoor_Scenes
    [14] LOWE D G.Distinctive image features from scale-invariant keypoints[J].International Journal of Computer Vision, 2004, 60(2):91-110. doi: 10.1023/B:VISI.0000029664.99615.94
    [15] FORSYTH D.Computer vision:A modern approach[J].Prentice Hall Professional Technical Reference, 2002, 14(1):294-299. http://d.old.wanfangdata.com.cn/Periodical/ranj201402073
    [16] BOLITHO M, KAZHDAN M M, BURNS R C, et al.Parallel Poisson surface reconstruction[C]//International Symposium on Visual Computing.Berlin: Springer, 2009: 678-689. doi: 10.1007%2F978-3-642-10331-5_63
  • 加载中
图(9)
计量
  • 文章访问数:  808
  • HTML全文浏览量:  187
  • PDF下载量:  307
  • 被引次数: 0
出版历程
  • 收稿日期:  2018-06-13
  • 录用日期:  2018-07-27
  • 网络出版日期:  2018-12-20

目录

    /

    返回文章
    返回
    常见问答