留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于多尺度区域对比的显著目标识别

成培瑞 王建立 王斌 李正炜 吴元昊

成培瑞, 王建立, 王斌, 李正炜, 吴元昊. 基于多尺度区域对比的显著目标识别[J]. 中国光学, 2016, 9(1): 97-105. doi: 10.3788/CO.20160901.0097
引用本文: 成培瑞, 王建立, 王斌, 李正炜, 吴元昊. 基于多尺度区域对比的显著目标识别[J]. 中国光学, 2016, 9(1): 97-105. doi: 10.3788/CO.20160901.0097
CHENG Pei-rui, WANG Jian-li, WANG Bin, LI Zheng-wei, WU Yuan-hao. Salient object detection based on multi-scale region contrast[J]. Chinese Optics, 2016, 9(1): 97-105. doi: 10.3788/CO.20160901.0097
Citation: CHENG Pei-rui, WANG Jian-li, WANG Bin, LI Zheng-wei, WU Yuan-hao. Salient object detection based on multi-scale region contrast[J]. Chinese Optics, 2016, 9(1): 97-105. doi: 10.3788/CO.20160901.0097

基于多尺度区域对比的显著目标识别

doi: 10.3788/CO.20160901.0097
基金项目: 国家高技术研究发展计划(863计划)资助项目(No.2013AAXXXX042)
详细信息
    通讯作者: 成培瑞(1990-),男,山东东营人,硕士研究生,主要从事计算机视觉方面的研究。E-mail:cpr@mail.ustc.edu.cn王建立(1971-),男,山东曲阜人,研究员,博士生导师,主要从事地基大型光电设备总体技术方面的研究。E-mail:wangjianli@ciomp.ac.cn
  • 中图分类号: TP391.41

Salient object detection based on multi-scale region contrast

  • 摘要: 为了对图像中的显著目标进行更精确的识别,提出一种新的基于多尺度区域对比的视觉显著性计算模型。首先基于多尺度思想将图像分别分割为不同数目的超像素,对超像素内的像素颜色值取平均以生成抽象化图像;然后根据显著特征的稀少性及显著特征的聚集性,计算单一尺度下超像素颜色特征的显著性值;最后通过取各尺度超像素显著度的平均值来融合多尺度显著图,得到最终的视觉显著图。实验表明,以MSRA图库中的1000张随机自然图片为例,该模型较现有较好的区域对比模型,显著目标识别的精确率提高了14.8%,F-Measure值提高了9.2%。与现有的算法相比,该模型提高了算法对显著目标大小的适应性,减少了背景对显著目标识别的干扰,具有更好的一致性,能更好地识别显著目标。
  • 图  1  不同尺度下的抽象化图像

    Figure  1.  Multi-scales abstract images

    图  2  原图

    Figure  2.  Origin image

    图  3  R值对应的显著图

    Figure  3.  Saliency map with value R

    图  4  D值对应的显著图

    Figure  4.  Saliency map with value D

    图  5  融合后的显著图

    Figure  5.  Fused saliency map

    图  6  各尺度下的显著图及最终显著图

    Figure  6.  Saliency maps of variety scale and final saliency map

    图  7  6种算法的显著图及人工标注图 1

    Figure  7.  Saliency maps obtained by using six different algorithms and human annotated image 1

    图  8  6种算法的显著图及人工标注图 2

    Figure  8.  Saliency maps obtained by using six different algorithms and human annotated image 2

    图  9  6种算法的显著图及人工标注图 3

    Figure  9.  Saliency maps obtained by using six different algorithms and human annotated image 3

    图  10  6种算法的显著图及人工标注图 4

    Figure  10.  Saliency maps obtained by using six different algorithms and human annotated image 4

    图  11  6种算法的显著图及人工标注图 5

    Figure  11.  Saliency maps obtained by using six different algorithms and human annotated image 5

    表  1  6种算法的平均精确率、召回率及F-Measure值

    Table  1.   Average Precision Ratio,average Recall Ratio and F-Measure obtained with six algorithms

    算法PRF-Measure
    IT0.438 50.246 70.371 8
    GB0.524 70.642 80.547 9
    CA0.526 80.695 10.558 0
    FT0.586 90.684 70.606 2
    RC0.759 60.874 80.783 4
    OURS0.872 30.804 70.855 7
    下载: 导出CSV
  • [1]

    [1] 敖欢欢,俞能海,李卫海.基于区域特征的图像显著性建模[J].中国科学技术大学学报,2013,43(10):837-842.AO H H,YU N H,LI W H.A saliency model based on region features[J].J.University of Science and Technology of China,2013,43(10):837-842.(in Chinese)
    [2] CHEN D,WU C.Object-based multi-feature competitive model for visual saliency detection[C].Proceedings of the 2nd Internation Conference on Intelligent Systems Design and Engineering Applications.Chinese Association for Artificial Intelligent,Sanya,2012:1079-1082.
    [3] 邵枫,姜求平,蒋刚毅,等.基于显著性分析的立体图像视觉舒适度预测[J].光学精密工程,2014,22(6):1631-1638.SHAO F,JIANG Q P,JIANG G Y,et al..Prediction of visual discomfort of stereoscopic images based on saliency analysis[J].Opt.Precision Eng.,2014,22(6):1631-1638.(in Chinese)
    [4] 赵宏伟,陈霄,刘萍萍,等.视觉显著目标的自适应分割[J].光学精密工程,2013,21(2):531-548.ZHAO H W,CHEN X,LIU P P,et al..Adaptive segmentation for visual salient object[J].Opt.Precision Eng.,2013,21(2):531-548.(in Chinese)
    [5] 曾文静,万磊,张铁栋,等.复杂海空背景下弱小目标的快速自动检测[J].光学精密工程,2012,20(2):196-205.ZHEN W J,WAN L,ZHANG T D,et al..Fast detection of weak targets in complex sea-sky background[J].Opt.Precision Eng.,2012,20(2):196-205.(in Chinese)
    [6] 贾松敏,徐涛,董政胤,等.采用脉冲耦合神经网络的改进显著性区域提取方法[J].光学精密工程,2015,23(3):819-826.JIA S M,XU T,DONG ZH Y,et al..Improved salience region extraction algorithm with PCNN[J].Opt.Precision Eng.,2015,23(3):819-826.(in Chinese)
    [7] 王源源,黄大庆.无人机侦察图像压缩[J].光学精密工程,2014,22(5):1363-1370.WANG Y Y,HUANG D Q.Compression for UAV reconnaissance images[J].Opt.Precision Eng.,2014,22(5):1363-1370.(in Chinese)
    [8] ITTI L,KOCH C,NIEBUR E.A model of saliency-based visual attention for rapid scene analysis[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,1998,20(11):1254-1259.
    [9] HAREL J,KOCH C,PERONA P.Graph-based visual saliency[C].Proceedings of Neural Information Processing Systems.Vancouver BC:Neural Information Processing System Foundation Press,2007:545-552.
    [10] HOU X,ZHANG L.Saliency detection:a spectral residual approach[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Los Alamitos:IEEE Computer Society Press,2007:1-8.
    [11] ACHANTA R,HEMAMI S,ESTRADA F,et al..Frequency-tuned salient region detection[C].Proceedings of IEEE Conference on Computer Vision and Pattern Recognition.Los Alamitos:IEEE Computer Society Press,2009:1597-1604.
    [12] BRUCE N,TSOTSOS J K.Saliency based on information maximization[C].Proceedings of In Advances in Neural Information Processing Systems.Vancouver BC:Neural Information Processing System Foundation Press,2006:155-162.
    [13] CHENG M,MITRA N,HUANG X,et al..Global Contrast Based Salient Region Detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2015,37(3):569-582.
    [14] ACHANTA R,SHAJI A,SMITH K,et al..SLIC superpixels compared to state-of-the-art superpixel method[J].J.Latex Class Files,2012,6(1):1-8.
    [15] GOFERMAN S,ZELNIK-MANOR L,TAL A.Context-aware saliency detection[J].IEEE Transaction on Pattern Analysis and Machine Intelligence,2012,34(10):1915-1926.

  • [1] 张瑞琰, 姜秀杰, 安军社, 崔天舒.  面向光学遥感目标的全局上下文检测模型设计 . 中国光学, 2020, 37(6): 1-12. doi: 10.37188/CO.2020-0057
    [2] 陈晓冬, 盛婧, 杨晋, 蔡怀宇, 金浩.  多参数Gabor预处理融合多尺度局部水平集的超声图像分割 . 中国光学, 2020, 13(5): 1-10. doi: 10.37188/CO.2020-0025
    [3] 应亚宸, 张广杰, 贾荟琳, 陆政元, 石玉洁, 席鹏.  多光子皮肤成像技术及其应用 . 中国光学, 2019, 12(1): 104-111. doi: 10.3788/CO.20191201.0104
    [4] 黄鹤, 李昕芮, 宋京, 王会峰, 茹锋, 盛广峰.  多尺度窗口的自适应透射率修复交通图像去雾方法 . 中国光学, 2019, 12(6): 1311-1320. doi: 10.3788/CO.20191206.1311
    [5] 石玉洁, 张广杰, 陆政元, 应亚宸, 贾荟琳, 席鹏.  新型多光子成像技术研究进展 . 中国光学, 2018, 11(3): 296-306. doi: 10.3788/CO.20181103.0296
    [6] 任升, 刘丽炜, 李金华, 胡思怡, 任玉, 王玥, 修景锐.  纳米尺度下的局域场增强研究进展 . 中国光学, 2018, 11(1): 31-46. doi: 10.3788/CO.20181101.0031
    [7] 龙思源, 张葆, 宋策, 孙保基.  基于改进的加速鲁棒特征的目标识别 . 中国光学, 2017, 10(6): 719-725. doi: 10.3788/CO.20171006.0719
    [8] 于洋, 崔新宇, 桑爱军, 陈绵书, 陈贺新, 李晓妮.  快速Walsh变换与多视角视频编码 . 中国光学, 2016, 9(2): 234-240. doi: 10.3788/CO.20160902.0234
    [9] 陈世伟, 杨小冈, 张胜修, 刘云峰.  基于自适应扩散模型的单帧红外条纹非均匀性校正算法 . 中国光学, 2016, 9(1): 106-113. doi: 10.3788/CO.20160901.0106
    [10] 江山, 张锐, 韩广良, 孙海江.  复杂背景灰度图像下的多特征融合运动目标跟踪 . 中国光学, 2016, 9(3): 320-328. doi: 10.3788/CO.20160903.0320
    [11] 王灿进, 孙涛, 李正炜.  基于快速轮廓转动力矩特征的激光主动成像目标识别 . 中国光学, 2015, 8(5): 775-784. doi: 10.3788/CO.20150805.0775
    [12] 柯洪昌, 孙宏彬.  图像序列的显著性目标区域检测方法 . 中国光学, 2015, 8(5): 768-774. doi: 10.3788/CO.20150805.0768
    [13] 郑亮亮, 张贵祥, 金光.  高速多光谱TDI CCD成像电路系统 . 中国光学, 2013, 6(6): 939-945. doi: 10.3788/CO.20130606.939
    [14] 闫辉, 许廷发, 吴青青, 徐磊, 吴威.  多特征融合匹配的多目标跟踪 . 中国光学, 2013, 6(2): 163-170. doi: 10.3788/CO.20130602.0163
    [15] 赵阳, 巩岩.  投影物镜小比率模型的计算机辅助装调 . 中国光学, 2012, 5(4): 394-400. doi: 10.3788/CO.20120504.0394
    [16] 许伟琳, 武春风, 逯力红, 侯晴宇.  基于光谱角时序不变性的红外目标识别 . 中国光学, 2012, 5(3): 257-262. doi: 10.3788/CO.20120503.0257
    [17] 刘希佳, 陈宇, 王文生, 刘柱.  小目标识别的小波阈值去噪方法 . 中国光学, 2012, 5(3): 248-256. doi: 10.3788/CO.20120503.0248
    [18] 陈兆兵, 郭劲, 林森.  有限元-边界法在光电目标散射计算中的应用 . 中国光学, 2011, 4(2): 169-174.
    [19] YANG T, LI C C, HO H P.  基于亚微米尺度干涉阵列的超小型高分辨光谱仪 . 中国光学, 2010, 3(1): 38-44.
    [20] 沈洪亮, 刘金国, 吕世良.  基于PCI总线的多通道图像数据高速采集 . 中国光学, 2009, 2(5): 438-444.
  • 加载中
图(11) / 表 (1)
计量
  • 文章访问数:  374
  • HTML全文浏览量:  47
  • PDF下载量:  797
  • 被引次数: 0
出版历程
  • 收稿日期:  2015-09-11
  • 录用日期:  2015-11-13
  • 刊出日期:  2016-01-25

基于多尺度区域对比的显著目标识别

doi: 10.3788/CO.20160901.0097
    基金项目:  国家高技术研究发展计划(863计划)资助项目(No.2013AAXXXX042)
    通讯作者: 成培瑞(1990-),男,山东东营人,硕士研究生,主要从事计算机视觉方面的研究。E-mail:cpr@mail.ustc.edu.cn王建立(1971-),男,山东曲阜人,研究员,博士生导师,主要从事地基大型光电设备总体技术方面的研究。E-mail:wangjianli@ciomp.ac.cn
  • 中图分类号: TP391.41

摘要: 为了对图像中的显著目标进行更精确的识别,提出一种新的基于多尺度区域对比的视觉显著性计算模型。首先基于多尺度思想将图像分别分割为不同数目的超像素,对超像素内的像素颜色值取平均以生成抽象化图像;然后根据显著特征的稀少性及显著特征的聚集性,计算单一尺度下超像素颜色特征的显著性值;最后通过取各尺度超像素显著度的平均值来融合多尺度显著图,得到最终的视觉显著图。实验表明,以MSRA图库中的1000张随机自然图片为例,该模型较现有较好的区域对比模型,显著目标识别的精确率提高了14.8%,F-Measure值提高了9.2%。与现有的算法相比,该模型提高了算法对显著目标大小的适应性,减少了背景对显著目标识别的干扰,具有更好的一致性,能更好地识别显著目标。

English Abstract

成培瑞, 王建立, 王斌, 李正炜, 吴元昊. 基于多尺度区域对比的显著目标识别[J]. 中国光学, 2016, 9(1): 97-105. doi: 10.3788/CO.20160901.0097
引用本文: 成培瑞, 王建立, 王斌, 李正炜, 吴元昊. 基于多尺度区域对比的显著目标识别[J]. 中国光学, 2016, 9(1): 97-105. doi: 10.3788/CO.20160901.0097
CHENG Pei-rui, WANG Jian-li, WANG Bin, LI Zheng-wei, WU Yuan-hao. Salient object detection based on multi-scale region contrast[J]. Chinese Optics, 2016, 9(1): 97-105. doi: 10.3788/CO.20160901.0097
Citation: CHENG Pei-rui, WANG Jian-li, WANG Bin, LI Zheng-wei, WU Yuan-hao. Salient object detection based on multi-scale region contrast[J]. Chinese Optics, 2016, 9(1): 97-105. doi: 10.3788/CO.20160901.0097
    • 显著目标识别是视觉显著性的一个重要应用。视觉显著性反映了场景中的目标对人类视觉注意力的吸引能力。通过建立视觉显著性计算模型可以对这种能力进行量化估计,并用灰度图像表示出来。视觉显著性广泛应用于视觉计算的各种领域,包括显著目标识别[1, 2, 3]、视频分析[4]、遥感图像处理[5, 6]、图像压缩[7]等。

      1998年,Itti等人[8]提出了基于颜色、方向、亮度特征的多尺度侧抑制计算模型,成为了视觉显著性计算模型的通用结构。之后的许多模型均基于这个框架结构建立,如Harel等人[9]提出的基于马尔科夫随机链的计算模型等。上述模型都是基于局部对比的计算模型,能有效地检测出目标像素与周围像素的特征差异大小,使得在边缘附近的像素显著性较大。但算法仅考虑了局部对比,未考虑全局的结构、布局等因素,容易检测到局部显著区域,而不能描述完整的显著目标。由于基于局部对比模型的局限性,基于全局对比的计算模型被提出来,主要包括Hou等人[10]提出的光谱残差模型和R.achanta等人[11]提出的频率域调制模型。基于全局对比的算法参数少且计算简单,充分考虑了全局的布局等因素,但由于算法缺乏局部对比机制,导致得到的显著性目标表示的一致性较差。本文综合考虑了局部对比与全局对比两方面因素,采用以空间距离为权值的颜色距离来表示显著性,并利用图像中颜色的分布性来以全局的角度定义目标整体,解决了片面考虑所带来的问题。

      对人类视觉系统的研究表明,人眼会自动地将属性相似且距离相近的像素点看做一个整体进行处理。因此,近些年视觉显著性计算模型的研究越来越偏向区域化,如Bruce等人[12]提出的基于区域自信息量的计算模型等。这些模型能均匀地突出物体而非突出边缘,且能保持物体轮廓及边缘特性,所以得到的显著性目标表示的一致性较好。尤其Cheng等人[13]提出了基于区域对比的计算模型RC(Region Contrast),是目前较好的区域对比模型,其采用GB(Graph-Based)分割算法将图像分割成多个区域,并对每块区域内的像素颜色进行直方图统计,以空间距离为权值计算直方图间的不相似性。该模型以直方图对比计算显著性,有效地降低了计算量,且采用空间距离作权值,结合了局部对比与全局对比的因素,提高了识别精确率,但由于该模型采用的分割算法分割出的区域较大,涉及到空间距离的表达会不精确,从而影响识别的精确率。因此本文采用SLIC(Simple Linear Iterative Clustering)算法[14]将图像抽象为多个超像素,每个超像素大小相似且适中,并且基于多尺度的思想,选择分割成不同的超像素个数,以实现多尺度分析的目的,从而更好地处理不同大小的显著目标的情况。实验证明,本文提出的显著性计算模型相较于现有的一些模型,提高了显著目标识别的精确率,为进一步的目标分析提供了良好的基础。

    • 本文采用SLIC算法抽象化图像,通过把具有相似颜色且距离相近的像素聚类,形成视觉上均匀的区域,生成超像素。SLIC算法利用K-means聚类在Lab颜色空间上分割图像,生成紧凑且边界清晰的超像素。设定抽象化图像分为3个尺度,所包含的超像素个数为Nk={100,400,1000},如图 1所示,并定义第k个尺度中的第i个超像素在Lab颜色空间上的颜色为Cik,空间位置为Pik,其中超像素的颜色由其内部所有像素的颜色平均值表示,空间位置取超像素的中心来表示。

      图  1  不同尺度下的抽象化图像

      Figure 1.  Multi-scales abstract images

    • 根据context-aware[15]提出的准则:(1)具有不同颜色的区域对应显著性值高,均匀的区域显著性值低;(2)经常出现的特征应当被抑制;(3)显著的像素应当聚集在一块,而不是遍布整幅图像。本文计算单一尺度下的超像素显著性值,下面以图 2为例,取Nk=400,图 2为一张测试图的原图。

      图  2  原图

      Figure 2.  Origin image

      首先,由准则(2)可以看出,当某个超像素与其他的超像素的颜色差异较大时,则该超像素的稀少性高。由准则(1)可以看出,空间距离也能影响超像素颜色特征的稀少性,超像素之间的空间距离越近,则其颜色差异对稀少性的影响越大。反之,当超像素之间的空间距离较大时,即使其颜色差异较大,对稀少性的影响也不大。

      基于上述分析,本文采用以超像素间空间距离作为权值的加权颜色距离之和来表示超像素的稀少性。定义dcolor(i,j)为第i个超像素与第j个超像素在Lab颜色空间上的欧式距离,并对其归一化。dposition(i,j)为两个超像素的空间位置的欧式距离,并对其归一化。定义 式中,σp2用来控制空间距离对颜色对比的影响大小,在本文取σp2为0.4。当两个超像素的空间距离较小时,Rik可以基本看成是两个超像素间的颜色空间的欧式距离之和,当两者的空间距离较大时,会大幅度减小两者的颜色距离对稀少性的影响。所以Rik越大,则在第k个尺度下第i个超像素的稀少性越高,如图 3所示。

      图  3  R值对应的显著图

      Figure 3.  Saliency map with value R

      上述是通过准则(1)、(2)的特征性质推出的一种稀少性计算方法,而由准则(3)可以看出,当某种颜色遍布在整幅图像时,则表现为该颜色的超像素空间分散性较高,而当某种颜色的超像素都聚集在某个区域,在图像的其他区域基本没有时,则这些超像素的空间分散性较低。

      基于上述分析,本文选择超像素与其他的与其颜色相近的超像素的空间距离之和来表示空间分散性。首先要选出与第i个超像素颜色相近的超像素,采用高斯低通滤波,定义 式中,σc2是关于中心的扩展度的度量,本文取σc为0.1。当dcolor(i,j)=3σc时,H(i,j)可近似为0。然后通过计算超像素间的空间距离之和来表示空间分散性,定义

      当超像素间颜色相近时,H(i,j)近似为1,即由超像素间的空间距离来表示空间分散性,而当超像素间的颜色距离较大时,H(i,j)近似为0,其空间距离对超像素的空间分散性基本没有影响。由式(3)可以看出,Dik越大,则表明第i个超像素所具有的颜色在整幅图像中分布越广泛,空间分散性越高,如图 4所示。

      图  4  D值对应的显著图

      Figure 4.  Saliency map with value D

      在分别计算得到每个尺度下的RikDik的值后,定义Sik表示第k个尺度下第i个超像素的显著性,如图 5所示。

      图  5  融合后的显著图

      Figure 5.  Fused saliency map

      根据上述分析,Sik应与Rik成正比,而与Dik成反比,且若某个超像素的Dik值较大时,即该超像素的颜色在整幅图像中分布广泛,则即使它在局部较为显著,在整幅图像上看,也是不具备高显著性的,故定义 式中,σk为第k个尺度下的参数,不同尺度下σk也不同。当Nk取400时,超像素面积都比较小,即超像素内包含的像素数较少,其平均颜色与其内各个像素的颜色差异较小,故超像素的Dik值能较好地反映出像素颜色的分布广泛性,故σk取值偏小。而当Nk取100时,超像素面积较大,即超像素内包含的像素数较多,则其平均颜色与其内各个像素的颜色差异较大,计算出的Dik值不能有效地反映实际像素颜色的分布情况,故σk取值应偏大。经过实验,本文分别在Nk取100、400、1 000时,σk分别取0.5、0.2、0.1。
    • 在单独计算出每个尺度的所有Sik值后,将每个尺度的显著值均归一化到[0,255],并将其以灰度图形式表达,如图 3所示。图 6中(a)、(b)和(c)分别对应图 1(a)在Nk={100,400,1 000}时的显著图。

      图  6  各尺度下的显著图及最终显著图

      Figure 6.  Saliency maps of variety scale and final saliency map

      在求得各尺度的显著图后,需将各尺度显著图融合以得到最终的显著图。由于要识别的显著目标大小未知,在没有先验知识的情况下并不能确定哪一个尺度下的显著值能更好地识别显著目标,故本文选择求取各尺度显著值的平均值作为最终显著值。

      首先分别将各尺度的显著值Sik分配到超像素内的各个像素,并归一化到[0,1],然后3个尺度下对应像素的显著值相加求平均值,最后将求得的最终显著值重新归一化到[0,255],并以灰度图像表示,如图 6(d)所示。

    • 本文在MSRA公开图像库中随机选取1 000张自然图片及其人工标注图作为图像测试集。

    • 为了评价本文提出的显著目标识别的优劣,比较Itti[4]算法(用IT标识)、Harel[5]算法(用GB标识)、Context-aware[11]算法(用CA标识)、频域调制算法[7](用FT标识)、区域对比算法[9](用RC标识)与本文算法,用这些算法对图像测试集内的图像进行处理,得到显著图,如图 7图11所示。

      图  7  6种算法的显著图及人工标注图 1

      Figure 7.  Saliency maps obtained by using six different algorithms and human annotated image 1

      图  8  6种算法的显著图及人工标注图 2

      Figure 8.  Saliency maps obtained by using six different algorithms and human annotated image 2

      图  9  6种算法的显著图及人工标注图 3

      Figure 9.  Saliency maps obtained by using six different algorithms and human annotated image 3

      图  10  6种算法的显著图及人工标注图 4

      Figure 10.  Saliency maps obtained by using six different algorithms and human annotated image 4

      图  11  6种算法的显著图及人工标注图 5

      Figure 11.  Saliency maps obtained by using six different algorithms and human annotated image 5

      图 7图11可以看出,本文算法较其它5种算法在显著目标识别上表现更加优异。IT算法仅能标识出显著目标的位置,且经常会标识出无意义的背景区域,甚至检测不到显著目标,如图 7所示。GB算法能标识出显著目标的位置,但仅标识显著目标的边缘,难以通过GB算法的显著图得到显著目标的整体信息。CA算法较GB算法有了明显提高,但依然仅突出显著目标的边缘,整体信息较少,且容易受背景干扰目标的影响,如图 9所示。FT算法能完整的标识出显著目标的整体信息,但对于背景的干扰不能有效排除,如图 8所示。RC算法能突出显著目标,但易将背景中的干扰目标标识为显著目标,如图10所示。本文算法相较于其他算法表现更好,能完整地标识出显著目标,且能有效排除背景的干扰,如图11所示。

    • F-Measure是分类算法中常用的算法评价方法之一,在很多视觉显著性研究工作中作为评价模型的目标检测准确率的方法之一。

      F-Measure是精确率P(Precision Ratio)和召回率R(Recall Ratio)的调和平均数,其计算过程如下: 式中,α是一个实数参数,其越大,表明精确率相对于召回率在评价体系中越重要;True positive表示模型检测到的真目标数;false positive表示模型检测到的假目标数;false negative表示模型未检测到的真目标数。精确率表明该模型进行显著目标识别的准确性,而召回率则表明该模型进行显著目标识别的全面性。

      通过对图像测试集进行处理计算,并与人工标注图对比,得到各类算法的平均精确率P和召回率R,并根据式(5)计算F-Measure值。精确率和召回率以及F-Measure值常用来作为目标识别效果的测量。本文取α=0.3,得到最后的结果,如表 1所示。

      表 1  6种算法的平均精确率、召回率及F-Measure值

      Table 1.  Average Precision Ratio,average Recall Ratio and F-Measure obtained with six algorithms

      算法PRF-Measure
      IT0.438 50.246 70.371 8
      GB0.524 70.642 80.547 9
      CA0.526 80.695 10.558 0
      FT0.586 90.684 70.606 2
      RC0.759 60.874 80.783 4
      OURS0.872 30.804 70.855 7

      表 1可以看出,IT算法的精确率、召回率及F-Measure值均远小于其他几个算法。GB、CA、FT算法的结果较为接近,但精确率仅有50%左右。RC算法的精确率、召回率及F-Measure值明显提高。本文算法精确率相较于RC算法提高了14.8%,召回率相较于RC算法降低了8.0%,总的来说,F-Measure值较RC算法提高了9.2%。分析召回率较低的原因:由图 7图11可以看出,在本文算法的显著图上,显著目标上的细节也有所体现,而给定的人工标注图只标注出显著目标的整体,对目标上的细节并没有任何标注,导致本文算法标识出的显著目标上的细节反而降低了算法的召回率,而RC算法对细节并没有很多体现,故其查全率会较高。如图11所示,警示牌上的字和符号在本文算法的显著图上有所体现,RC算法的显著图中细节体现较少,而人工标注图上并没有任何体现。

    • 通过上述主观评价和客观实验可以看出,本文算法在处理视觉场景时,相较于其他算法有更好的效果。

      由于IT算法是基于局部对比的计算模型,所以其不能排除背景中局部显著目标的干扰,在显著图中一些背景区域被标记为显著区域,在处理杂乱的背景时,背景中的纹理或边缘在局部对比中甚至会比显著目标更加显著,所以其准确率较低。GB和CA算法同样是基于局部对比的改进模型,所以其仅能突出显著目标的边缘,不能完整地表达显著目标,故其查准率和查全率并不能达到要求。FT算法是基于全局对比的计算模型,其能完整地表达显著目标,但由于缺乏局部对比,其并不能有效地排除背景的干扰,故其查准率和查全率与GB、CA算法相近。RC算法是基于FT算法提出的改进模型,同时考虑了全局对比和局部对比,故其既能完整地表达显著目标,又相对能排除复杂背景的干扰,所以其查准率和查全率相较于前几个算法有明显提高。但RC算法仅用稀少性作为显著性的判别依据,且其采用的图像分割的区域面积较大,并不适用于显著目标较小时的显著目标检测。本文算法在RC算法的基础上,采用超像素分割方法作为改进,并融合多尺度对比,通过融合超像素颜色特征的稀少性与空间分散性来计算显著值,使本文算法更广泛地适用于各种场景下的显著目标识别,故本文算法的显著图更接近于人工标注图,精确率及F-Measure值较RC算法也更高。

    • 本文提出一种基于多尺度区域对比的显著目标识别计算模型。本模型采用多尺度超像素抽象化图像,在单一尺度下以超像素为单位通过融合其稀少性及空间分散性进行显著性计算,最后融合多尺度显著图得到最终的视觉显著图。通过与其他几个计算模型的对比,可以看出本文的模型能够更加准确地标识出显著目标,且包含更多的目标信息,得到的显著图在视觉上有更好的显示效果。其精确率较RC算法提高了14.8%,F-Measure值提高了9.2%。下一步会尝试降低算法复杂度,提高算法的实时性。

参考文献 (1)

目录

    /

    返回文章
    返回