留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

光场成像目标测距技术

张石磊 崔宇 邢慕增 闫斌斌

张石磊, 崔宇, 邢慕增, 闫斌斌. 光场成像目标测距技术[J]. 中国光学(中英文), 2020, 13(6): 1332-1342. doi: 10.37188/CO.2020-0043
引用本文: 张石磊, 崔宇, 邢慕增, 闫斌斌. 光场成像目标测距技术[J]. 中国光学(中英文), 2020, 13(6): 1332-1342. doi: 10.37188/CO.2020-0043
ZHANG Shi-lei, CUI Yu, XING Mu-zeng, YAN Bin-bin. Light field imaging target ranging technology[J]. Chinese Optics, 2020, 13(6): 1332-1342. doi: 10.37188/CO.2020-0043
Citation: ZHANG Shi-lei, CUI Yu, XING Mu-zeng, YAN Bin-bin. Light field imaging target ranging technology[J]. Chinese Optics, 2020, 13(6): 1332-1342. doi: 10.37188/CO.2020-0043

光场成像目标测距技术

doi: 10.37188/CO.2020-0043
基金项目: 国家自然科学基金委员会 中国工程物理研究院NSAF联合基金资助(No. U1730135)
详细信息
    作者简介:

    张石磊(1982—),男,黑龙江哈尔滨人,硕士,工程师,2020年于西北工业大学获得工学硕士学位,2006年起长期在92941部队从事测控靶标总体工作。E-mail: zsl71382@163.com

    闫斌斌(1981—),男,陕西西安人,副教授,2010年于西北工业大学导航、制导与控制专业获得博士学位,主要研究方向为飞行器制导控制和无人系统自主飞行。E-mail: yanbinbin@nwpu.edu.cn

    通讯作者:

    闫斌斌(1981—),男,陕西西安人,副教授,2010年于西北工业大学导航、制导与控制专业获得博士学位,主要研究方向为飞行器制导控制和无人系统自主飞行。E-mail:yanbinbin@nwpu.edu.cn

  • 中图分类号: TP391

Light field imaging target ranging technology

Funds: Supported by the Joint Fund of the National Natural Science Commission and China Academy of Engineering physics (No. U1730135)
More Information
  • 摘要: 为了使现代制导律能够在图像制导中得以应用,提高图像制导的性能,针对图像制导难以获取目标距离信息的问题,提出基于光场成像的目标测距算法。该算法首先对光场数据进行解码和整定,从原始图像中提取出子孔径图像;其次,对两张子孔径图像进行双线性插值,以提高图像的空间分辨率;之后,选取两张子孔径图像进行标定以获取对应的内参数和外参数,并利用这些参数校正子孔径图像,使其共面且行对准;最后,采用半全局匹配方法进行图像匹配,获取目标的视差值,将视差进行三维转换即可得到目标距离。实验结果表明,改进前、后算法的平均测量误差分别为28.54 mm和14.96 mm,距离测量精度得到有效提高,能够在较为复杂的场景中有效提取目标距离信息,具有一定的理论和应用价值。

     

  • 图 1  光场成像原理

    Figure 1.  Light field imaging principle

    图 2  原始光场图像

    Figure 2.  Original light field image

    图 3  子孔径图像

    Figure 3.  Sub-aperture images

    图 4  4个坐标系空间相对位置

    Figure 4.  Relative position of four coordinate systems

    图 5  极线校正示意图

    Figure 5.  Schematic diagram of epipolar correction

    图 6  图像匹配示意图

    Figure 6.  Schematic diagram of image matching

    图 7  视差求取过程

    Figure 7.  Parallax finding process

    图 8  三维转换示意图

    Figure 8.  Schematic diagram of 3D conversion

    图 9  双线性插值

    Figure 9.  Bilinear interpolation

    图 10  不同姿态的标定板图像

    Figure 10.  Images of calibration plate with different attitudes

    图 11  标定板姿态复现

    Figure 11.  Calibration plate posture reproduction

    图 12  两张子孔径图像的校正图像

    Figure 12.  Correcting results of two sub-aperture images

    图 13  小参数匹配结果

    Figure 13.  Small parameter matching results

    图 14  大参数匹配结果

    Figure 14.  Large parameter matching results

    图 15  插值后匹配结果

    Figure 15.  Matching results after interpolation

    图 16  半全局匹配结果

    Figure 16.  Semi-global matching results

    图 17  双重改进结果

    Figure 17.  Double improvement results

    图 18  不同物体目标的测量结果(从左到右依次为原始图像,初始算法结果及双重改进算法结果)

    Figure 18.  Test results of different objects (From left to right are original image, initial algorithm results and double improvement algorithm results)

    表  1  不同算法的测量结果

    Table  1.   Measurement results with different algorithms

    距离测量/mm有效像素点
    初始算法488.57 8051
    双线性插值算法480.5921363
    半全局匹配算法483.1016659
    双重改进算法466.5557441
    下载: 导出CSV

    表  2  实验结果

    Table  2.   Experiment results

    真实距离/mm距离测量/mm有效像素点时间/s
    A-初始算法400442.83 172181.31
    A-改进算法400431.141113806.42
    B-初始算法400372.50 31611.06
    B-改进算法400392.54 285575.83
    C-初始算法450465.28 41561.27
    C-改进算法450443.72 141685.76
    下载: 导出CSV
  • [1] 姚秀娟, 彭晓乐, 张永科. 几种精确制导技术简述[J]. 激光与红外,2006,36(5):338-340. doi: 10.3969/j.issn.1001-5078.2006.05.002

    YAO X J, PENG X L, ZHANG Y K. Brief descriptions of precision guidance technology[J]. Laser &Infrared, 2006, 36(5): 338-340. (in Chinese) doi: 10.3969/j.issn.1001-5078.2006.05.002
    [2] 胡林亭, 李佩军, 姚志军. 提高外场重频激光光斑测量距离的研究[J]. 液晶与显示,2006,31(12):1137-1142.

    HU L T, LI P J, YAO ZH J. Improvement of the measuring distance of repetitive-frequency laser spot in field[J]. Chinese Journal of Liquid Crystals and Displays, 2006, 31(12): 1137-1142. (in Chinese)
    [3] 黄继鹏, 王延杰, 孙宏海. 激光光斑位置精确测量系统[J]. 光学 精密工程,2013,21(4):841-848. doi: 10.3788/OPE.20132104.0841

    HUANG J P, WANG Y J, SUN H H. Precise position measuring system for laser spots[J]. Optics and Precision Engineering, 2013, 21(4): 841-848. (in Chinese) doi: 10.3788/OPE.20132104.0841
    [4] 谢艳新. 基于LatLRR和PCNN的红外与可见光融合算法[J]. 液晶与显示,2019,34(4):423-429. doi: 10.3788/YJYXS20193404.0423

    XIE Y X. Infrared and visible fusion algorithm based on latLRR and PCNN[J]. Chinese Journal of Liquid Crystals and Displays, 2019, 34(4): 423-429. (in Chinese) doi: 10.3788/YJYXS20193404.0423
    [5] 赵战民, 朱占龙, 王军芬. 改进的基于灰度级的模糊C均值图像分割算法[J]. 液晶与显示,2020,35(5):499-507. doi: 10.3788/YJYXS20203505.0499

    ZHAO ZH M, ZHU ZH L, WANG J F. Improved fuzzy C-means algorithm based on gray-level for image segmentation[J]. Chinese Journal of Liquid Crystals and Displays, 2020, 35(5): 499-507. (in Chinese) doi: 10.3788/YJYXS20203505.0499
    [6] 冯维, 吴贵铭, 赵大兴, 等. 多图像融合Retinex用于弱光图像增强[J]. 光学 精密工程,2020,28(3):736-744. doi: 10.3788/OPE.20202803.0736

    FENG W, WU G M, ZHAO D X, et al. Multi images fusion Retinex for low light image enhancement[J]. Optics and Precision Engineering, 2020, 28(3): 736-744. (in Chinese) doi: 10.3788/OPE.20202803.0736
    [7] YANG J C, EVERETT M, BUEHLER C. A real-time distributed light field camera[C]. Proceedings of the 13th Eurographics Workshop on Rendering, ACM, 2002: 77-86.
    [8] NG R. Digital light field photography[D]. California: Stanford University, 2006: 38-50.
    [9] 计吉焘, 翟雨生, 吴志鹏, 等. 基于周期性光栅结构的表面等离激元探测[J]. 光学 精密工程,2020,28(3):526-534. doi: 10.3788/OPE.20202803.0526

    JI J T, ZHAI Y SH, WU ZH P, et al. Detection of surface plasmons based on periodic grating structure[J]. Optics and Precision Engineering, 2020, 28(3): 526-534. (in Chinese) doi: 10.3788/OPE.20202803.0526
    [10] 于洁, 李鹏涛, 王春华, 等. RGBW液晶显示中的像素极性排布方式解析[J]. 液晶与显示,2020,35(5):444-448. doi: 10.3788/YJYXS20203505.0444

    YU J, LI P T, WANG CH H, et al. Pixel polarity arrangement analysis of RGBW LCD module[J]. Chinese Journal of Liquid Crystals and Displays, 2020, 35(5): 444-448. (in Chinese) doi: 10.3788/YJYXS20203505.0444
    [11] 王江南, 丁磊, 倪婷, 等. 基于微结构阵列基板的高效顶发射OLED器件[J]. 液晶与显示,2019,34(8):725-732. doi: 10.3788/YJYXS20193408.0725

    WANG J N, DING L, NI T, et al. High-efficiency top-emitting OLEDs based on microstructure array substrate[J]. Chinese Journal of Liquid Crystals and Displays, 2019, 34(8): 725-732. (in Chinese) doi: 10.3788/YJYXS20193408.0725
    [12] 解培月, 杨建峰, 薛彬, 等. 基于矩阵变换的光场成像及重聚焦模型仿真[J]. 光子学报,2017,46(5):0510001. doi: 10.3788/gzxb20174605.0510001

    XIE P Y, YANG J F, XUE B, et al. Simulation of light field imaging and refocusing models based on matrix transformation[J]. Acta Photonica Sinica, 2017, 46(5): 0510001. (in Chinese) doi: 10.3788/gzxb20174605.0510001
    [13] 张春萍, 王庆. 光场相机成像模型及参数标定方法综述[J]. 中国激光,2016,43(6):0609004. doi: 10.3788/CJL201643.0609004

    ZHANG CH P, WANG Q. Survey on imaging model and calibration of light field camera[J]. Chinese Journal of Lasers, 2016, 43(6): 0609004. (in Chinese) doi: 10.3788/CJL201643.0609004
    [14] LIN X, RIVENSON Y, YARDIMCI N T, et al. All-optical machine learning using diffractive deep neural networks[J]. Science, 2018, 361(6406): 1004-1008. doi: 10.1126/science.aat8084
    [15] YAN T, WU J M, ZHOU T K, et al. Fourier-space diffractive deep neural network[J]. Physical Review Letters, 2019, 123(2): 023901. doi: 10.1103/PhysRevLett.123.023901
    [16] SHIN C, JEON H G, YOON Y, et al.. EPINET: a fully-convolutional neural network using epipolar geometry for depth from light field images[C]. Proceedings of 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, IEEE, 2018: 4748-4757.
    [17] PENG J Y, XIONG ZH W, LIU D, et al.. Unsupervised depth estimation from light field using a convolutional neural network[C]. Proceedings of 2018 International Conference on 3D Vision, IEEE, 2018: 295-303.
    [18] ZHOU T H, TUCKER R, FLYNN J, et al. Stereo magnification: learning view synthesis using multiplane images[J]. ACM Transactions on Graphics, 2018, 37(4): 65.
    [19] YEUNG H W F, HOU J H, CHEN J, et al.. Fast light field reconstruction with deep coarse-to-fine modeling of spatial-angular clues[C]. Proceedings of the 15th European Conference on Computer Vision, Springer, 2018: 137-152.
    [20] ZHANG ZH Y. A flexible new technique for camera calibration[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2000, 22(11): 1330-1334. doi: 10.1109/34.888718
  • 加载中
图(18) / 表(2)
计量
  • 文章访问数:  2270
  • HTML全文浏览量:  675
  • PDF下载量:  169
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-03-20
  • 修回日期:  2020-04-24
  • 网络出版日期:  2020-11-10
  • 刊出日期:  2020-12-01

目录

    /

    返回文章
    返回

    重要通知

    2024年2月16日科睿唯安通过Blog宣布,2024年将要发布的JCR2023中,229个自然科学和社会科学学科将SCI/SSCI和ESCI期刊一起进行排名!《中国光学(中英文)》作为ESCI期刊将与全球SCI期刊共同排名!