留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

利用激光散斑获取深度图

张绍阳 侯旭阳 崔华 高小梅

张绍阳, 侯旭阳, 崔华, 高小梅. 利用激光散斑获取深度图[J]. 中国光学(中英文), 2016, 9(6): 633-641. doi: 10.3788/CO.20160906.0633
引用本文: 张绍阳, 侯旭阳, 崔华, 高小梅. 利用激光散斑获取深度图[J]. 中国光学(中英文), 2016, 9(6): 633-641. doi: 10.3788/CO.20160906.0633
ZHANG Shao-yang, HOU Xu-yang, CUI Hua, GAO Xiao-mei. Depth image acquisition using laser speckle[J]. Chinese Optics, 2016, 9(6): 633-641. doi: 10.3788/CO.20160906.0633
Citation: ZHANG Shao-yang, HOU Xu-yang, CUI Hua, GAO Xiao-mei. Depth image acquisition using laser speckle[J]. Chinese Optics, 2016, 9(6): 633-641. doi: 10.3788/CO.20160906.0633

利用激光散斑获取深度图

doi: 10.3788/CO.20160906.0633
基金项目: 

中央高校基本科研业务费资助项目(自然科学类) No.310824152009

详细信息
    通讯作者:

    张绍阳(1971-),男,山西襄汾人,博士后,教授,硕士生导师,主要从事交通信息工程、软件技术及理论、模式识别等方面的研究。E-mail:zhsy@chd.edu.cn

  • 中图分类号: TP391.4

Depth image acquisition using laser speckle

Funds: 

Supported by Basic Scientific Research Projects(Natural Sciences) of Central Universities of China No.310824152009

More Information
  • 摘要: 相对于普通灰度和彩色二维图像,深度图像可以得到物体的三维信息,使视觉识别和人机交互更加智能。国内外目前还没有低成本、公开的实时获取高质量深度图的方法。本文在对散斑图获取深度图原理研究的基础上,采取激光散斑的方式,运用块匹配的方法给出了一种大范围深度图的获取方法。首先,从原理上验证了块匹配方法的可行性;然后,分别从理论和实验两个方面对深度图的计算公式进行了推导和验证;再次,对深度图恢复过程进行了详细叙述,包括散斑图像的预处理和块匹配的过程;最后,给出了运用该块匹配方法得到的实验数据。实验结果表明,本文方法在物体距离相机50 cm左右时精度可以达到5 mm,200 cm时精度可以达到5 cm,可以满足室内大部分对象的识别要求。

     

  • 图 1  散斑图获取示意图

    Figure 1.  Schematic diagram of laser speckle′s acquisition

    图 2  同一平面点(768,450) 与整幅图互相关系数三维图

    Figure 2.  Cross-correlation coefficient′s 3D graph of the same plane′s point(768,450) and the whole image

    图 3  不同平面点(768,450) 与整幅图互相关相关系数三维图

    Figure 3.  Cross-correlation coefficient′s 3D graph of the different plane′s point (768,450) and the whole image

    图 4  光路几何图

    Figure 4.  Geometric graph of light path

    图 5  实际测量到的深度与像素横向偏移量关系曲线

    Figure 5.  Curve of measured depth vs. pixel′s crosswise offset

    图 6  公式计算到的深度与像素横向偏移量关系曲线

    Figure 6.  Curve of depth computed with formula vs. pixel′s crosswise offset

    图 7  局部自适应二值化图

    Figure 7.  Local adaptive binary image

    图 8  剔除后的散斑二值化图

    Figure 8.  Speckle binary image after excluding isolated points

    图 9  单点散斑图

    Figure 9.  Single points speckle image

    图 10  参考图与测试图异或区域示意图

    Figure 10.  Schematic diagram of reference image and test image′s xor area

    图 11  匹配到的异或图

    Figure 11.  Matched Xor image

    图 12  未匹配到的异或图

    Figure 12.  Unmatched Xor image

    图 13  不同距离亮斑图

    Figure 13.  Bright speckle image at different distances

    图 14  测试散斑图和计算出的深度图

    Figure 14.  Test speckle image and the computed depth image

    图 15  斜面深度图

    Figure 15.  Depth image with inclined plane

    图 16  斜面中一行的曲线图

    Figure 16.  Curve of graphone row in inclined plane

    表  1  深度与横向偏移量关系

    Table  1.   Relation of depth and crosswise offset

    深度/m横向偏移/pixel纵向偏移/pixel深度/m横向偏移/pixel纵向偏移/pixel深度/m横向偏移/pixel纵向偏移/pixel深度/m横向偏移/pixel纵向偏移/pixel
    0.558.87-0.820.95.990.261.3-13.181.101.7-25.171.16
    0.639.22-0.421.0001.4-16.521.361.8-24.970.86
    0.724.6201.1-3.690.431.5-19.881.491.9-28.230
    0.814.840.171.2-8.800.751.6-23.891.682.0-28.710.75
    下载: 导出CSV

    表  2  实际深度与计算出的深度对比

    Table  2.   Comparison of real depth and computed depth

    实际深度/cm测量深度/cm实际深度/cm测量深度/cm实际深度/cm测量深度/cm实际深度/cm测量深度/cm
    5049.59088.07130128.48170172.09
    6058.27100100140140.72180183.23
    7069.00110109.0915149.97190192.00
    8079.12120119.97160161.04200205.94
    下载: 导出CSV
  • [1] 王一娇.结构光深度图像获取算法研究[D].北京:清华大学,2011.

    WANG Y J. Algorithm of obtaining the structure optical depth image[D]. Beijing:Tsinghua University,2011.(in Chinese)
    [2] 朱猛,李翔宇,龙宁波,等.大视场双缝载频散斑干涉成像检测系统[J].光学精密工程,2014,22(1):13-17. doi: 10.3788/OPE.

    ZHU M,LI X Y,LONG Y B,et al.. Double-slit based carrier frequency speckle interferometric system with large viewing filed[J]. Opt. Precision Eng.,2014,22(1):13-17.(in Chinese) doi: 10.3788/OPE.
    [3] 王永红,梁恒,王硕,等.数字散斑相关方法及应用进展[J].中国光学,2013,6(4):470-480. http://www.chineseoptics.net.cn/CN/abstract/abstract8999.shtml

    WANG Y H,LIANG H,WANG SH,et al.. Advance in digital speckle correlation method and its application[J]. Chinese Optics,2013,6(4):470-480.(in Chinese) http://www.chineseoptics.net.cn/CN/abstract/abstract8999.shtml
    [4] 王希军.纳米磁流体动态散斑干涉场的奇异场分布[J].中国光学,2015(6):919-925. http://www.chineseoptics.net.cn/CN/abstract/abstract9363.shtml

    WANG X J. Singularity distribution of the dynamic specklein the nano-magnetic fluid interferometry[J]. Chinese Optics,2015(6):919-925.(in Chinese) http://www.chineseoptics.net.cn/CN/abstract/abstract9363.shtml
    [5] 王永红,李骏睿,孙建飞,等.散斑干涉相位条纹图的频域滤波处理[J].中国光学,2014,7(3):389-395. http://www.chineseoptics.net.cn/CN/abstract/abstract9139.shtml

    WANG Y H,LI J R,SUN J F,et al.. Frequency domain filtering for phase fringe patterns of digital specklepattern interferometry[J]. Chinese Optics,2014,7(3):389-395.(in Chinese) http://www.chineseoptics.net.cn/CN/abstract/abstract9139.shtml
    [6] 范哲.基于Kinect的三维重建[D].西安:西安电子科技大学,2013.

    FAN ZH. Three dimensional reconstruction of Kinect based on[D]. Xi'an:Xi'an Electronic and Science University,2013.(in Chinese)
    [7] SMISEK J,JANCOSEK M,PAJDLA T. 3D with Kinect[C]. 2011 IEEE International Conference on Computer Vision Workshops(ICCV Workshops),IEEE,2011:1154-1160.
    [8] FREEDMAN B,SHPUNT A,MACHLINE M,et al.. Depth mapping using projected patterns:US,8493496 B2[P]. 2013-07-23.
    [9] GARCIA J,ZALEVSKV Z. Range mapping using speckle decorrelation:US,7433024 B2[P]. 2008-10-07.
    [10] SPEKTOR E,MOR Z,RAIS D. Integrated processor for 3D mapping:US,8456517[P]. 2013-06-04.
    [11] SHPUNT A. Optical designs for zero order reduction:EP,US,8630039[P]. 2014-01-14.
    [12] 樊雪松.数字散斑相关方法的研究[D].天津:天津大学,2004.

    FAN X S. Research on digital speckle correlation method[D]. Tianjin:Tianjin University,2004.(in Chinese)
    [13] 曾毅.激光散斑测量应用研究[D].重庆:重庆大学,2005.

    ZENG Y. Study on the application of laser speckle measurement[D].Chongqing:Chongqing University,2005.(in Chinese)
    [14] 李喜德.散斑检测技术及其应用[J].理化检验:物理分册,2004(5):245-251. http://www.cnki.com.cn/Article/CJFDTOTAL-LHJW200405010.htm

    LI X D. speckle detection technology and its application[J]. Physical and Chemical Inspection:Physical Sciences,2004(5):245-251.(in Chinese) http://www.cnki.com.cn/Article/CJFDTOTAL-LHJW200405010.htm
    [15] 王梦伟,黄向生,陈则西,等.基于投影散斑的实时场景深度恢复[J].计算机辅助设计与图形学学报,2014(8):1304-1313. http://www.cnki.com.cn/Article/CJFDTOTAL-JSJF201408013.htm

    WANG M W,HUANG X SH,CHEN Z X,et al.. Depth recovery of real time scene based on projection speckle[J]. Computer Aided Design and Graphics Journal,2014(8):1304-1313.(in Chinese) http://www.cnki.com.cn/Article/CJFDTOTAL-JSJF201408013.htm
    [16] 金观昌,孟利波,陈俊达,等.数字散斑相关技术进展及应用[J].实验力学,2007,21(6):689-702. http://www.cnki.com.cn/Article/CJFDTOTAL-SYLX200606002.htm

    JIN G CH,MENG L B,CHEN J D,et al.. Digital speckle correlation technology progress and application[J]. Experimental Mechanics,2007,21(6):689-702.(in Chinese) http://www.cnki.com.cn/Article/CJFDTOTAL-SYLX200606002.htm
    [17] 潘兵,吴大方,夏勇.数字图像相关方法中散斑图的质量评价研究[J].实验力学,2010(2):120-129. http://www.cnki.com.cn/Article/CJFDTOTAL-SYLX201002001.htm

    PAN B,WU D F,XIA Y. Study on the quality evaluation of speckle patterns in digital image correlation[J]. Experimental Mechanics,2010(2):120-129.(in Chinese) http://www.cnki.com.cn/Article/CJFDTOTAL-SYLX201002001.htm
  • 加载中
图(16) / 表(2)
计量
  • 文章访问数:  2029
  • HTML全文浏览量:  469
  • PDF下载量:  997
  • 被引次数: 0
出版历程
  • 收稿日期:  2016-06-22
  • 修回日期:  2016-07-18
  • 刊出日期:  2016-12-01

目录

    /

    返回文章
    返回