【作者】 付华柱；

【导师】 操晓春；

【作者基本信息】 天津大学 ， 计算机应用技术， 2013， 博士

【摘要】 目标间的协同关联性约束研究是计算机视觉领域中的热点问题之一。其主要指在单张图像处理受到制约或瓶颈时，通过引入其他图像或参考源，分析相互间关系，构建全局的关联性约束，以此来辅助提升图像处理的效果。但是现有的协同关联性约束算法大多数集中于多张图像之间的近似物体关联约束，而且算法构造复杂、计算量大。在本论文中，我们将深入研究协同关联性约束的核心思想，理解其构成形式。一方面，进一步挖掘多图像间的关联性约束，提高多张图片间的的协同处理效果。另一方面，我们还将借鉴协同关联分割的思想，将其协同约束的思想拓展到单幅图像的应用中，通过构建单张图像不同区域间的关联，以及单图像相关源间的关联，提高图像的处理效果。本文的主要研究内容包括：1)多张图像间的关联性约束：我们通过聚类构建多张图像之间的协同关联性约束。基于图像生物视觉显著性原理和多图像间目标关联性约束，提出一种基于聚类方法的多图片间的协同显著性目标检测算法。协同显著性主要指多图像中的重复出现的同一或近似的视觉显著性物体。我们的算法通过聚类构建多图像之间的物体全局关联结构,依据三种自底向上的协同显著性测度，包括特征对比度、中心偏移度、以及图间分布度，对图像进行聚类级别的协同显著性测量，最终将各测度结果进行融合，提取出多张图片中的协同显著性目标。我们的协同显著性物体检测算法避免了大量繁重的学习训练过程，具有简单高效的特点。该算法不仅在多张图片的协同显著性物体检测中取得优异结果，而且在单张图片的视觉显著性物体检测中，也取得了良好的测试结果。此外，我们还深入挖掘协同显著性物体检测算法的相关应用，提出四种典型应用：协同分割、鲁棒的图像测距、弱监督学习、以及视频前景提取等，进一步彰显了协同显著性检测在图像处理中的应用潜力。2)单张图像不同区域间的关联性约束：我们挖掘单张图像中物体自身的几何结构约束，对图像的不同区域间建立协同联系。自然图片中的物体往往满足一定的几何结构，这使得各个区域之间可以构建协同关联性约束。我们利用物体自身的这种几何结构约束，引入协同分割思想，提出一种图像内关联区域之间的几何结构约束分割算法。为了反映不同区域之间的协同关联性约束，我们首先利用物体自身的几何结构约束建立一个像素级别的稠密几何结构映射矩阵，该矩阵在描述前景物体的位置分布的同时，也反映了物体自身的几何结构约束。然后我们将这种几何结构矩阵引入到基于图的能量函数模型中，提出新的基于几何结构约束的图分割模型，该模型满足子模性，可以通过图分割算法优化求解。除此之外，我们还将该几何结构约束模型拓展到基于组件的分割框架中，以满足弱几何约束、以及复杂几何约束的物体分割需求。实验表明，这种不同区域之间的协同关联性约束提供了一种高级别的图像语义关联，相对于仅仅使用低级别特征的分割算法，我们的算法取得了更好的分割效果。3)单图像相关源间的关联性约束：除了单张图片不同区域间的关联以外，我们还发现，同图片的不同处理源之间也可以协同关联性约束。通过研究这些不同处理源之间的关联性约束，建立单幅图像与镜头畸变、以及单幅图像与其不同操作处理层之间的协同关联性，我们提出一种基于图像畸变度的广角图像伪造区域盲检测分割算法。镜头的径向几何畸变在绝大多数图像处理中通常被认为是需要消除的不良性质，但我们提出该几何畸变反映了镜头的内部结构属性，而且对图像提供一个全局的几何约束。因此我们将这种镜头径向几何畸变性质作为度量指标，引入到图像篡改盲检测取证算法中。首先，提出了一种镜头径向畸变映射模型，在该模型中，空间直线将在映射半球上投影成一个大切圆。其次，依据该几何约束，设计了两种底层测度用于获取目标图像的伪造取证分布图，检测图像中伪造物体的位置。最后，通过构造基于图分割的能量函数，将目标图像与其伪造取证分布图关联起来，作为单图像的两个处理层，构建协同关联，提取出像素级别的目标取证呈现。通过研究我们发现，协同关联性约束不仅存在于多图像之间，而且也可以存在于单张图像之中，通过图像的不同结构区域、以及相关源之间体现出来。这种协同关联性约束可以突破现有单张图像的局限，提高单/多张图像处理的结果，提供新的结构语义描述，以及提供有效的参考验证准则。更多还原

【Abstract】 Correspondence constraint is the hot issue in computer vision. Most existing corre-spondence constraint methods focus on the similar objects in multiple images, and theyare often computationally demanding. In this paper, we study the theory of correspon-dence constraint, demonstrate potential usages of the correspondence constraint. On onehand, we discover the correspondence constraint between the multiple images, and pro-mote its performance. On other hand, we extend the idea of correspondence constraintinto the single image processing, and generate the relation corresponding between themultiple regions and processing sources of the single image. Our paper includes:1) Correspondence constraint between the multiple images: we employ the cluster-ing to generate the correspondence constraint between the multiple images. We introducea new cluster-based algorithm for co-saliency detection, which is based on laws of thevisually salient stimuli and correspondence constraint. Global correspondence betweenthe multiple images is implicitly learned during the clustering process. Three visual at-tention cues are devised to efectively measure the cluster saliency. The advantage ofour method is mostly bottom-up without heavy learning, and has the property of beingsimple, general, efcient, and efective. Experimental results demonstrate the advantagesof the proposed method over the competing co-saliency methods. Our method on sin-gle image also outperforms most the state-of-the-art methods. Furthermore, we applythe co-saliency method on four applications to demonstrate the potential usages of theco-saliency map.2) Correspondence constraint between the multiple regions in the single image: weemploy the geometry structure to build correspondence constraint between the multipleregions in the single image. We take the geometry structure constraint into the foregroundextraction, and propose a novel geometry constraint segmentation method for extractingthe foreground. Firstly, the geometry foreground map is used to represent the geometrystructure of the image, which includes the geometry matching magnitude and the fore-ground location prior. Then, the geometry constraint model is built by introducing thisgeometry structure into the graph-based segmentation function. Finally, the segmenta-tion result is obtained via graph cut. Moreover, our geometry constraint segmentation isalso extended to the weak geometry object under a part-based framework. Experimentsdemonstrate that the high-level property of geometry constraint significantly improves thelow-level segmentation results. 3) Correspondence constraint between the multiple processing sources of the singleimage: we build the correspondence constraint between the single image and lens dis-tortion/multiple processing layers, and propose a novel forensic method for detecting theforgery object. We employ the radial distortion as the intrinsic property of the lens, whichcould ofer a global constraint. A modified spherical projection model is adopted, whichis equivalent to the other captured rays-based models of the fisheye lens with only onefree parameter. In this model, the straight world line is projected into a great circle onthe viewing sphere, which provides a unique geometric constraint. Two saliency measurecues are provided to compute the untrustworthy likelihoods of the candidate lines. Finally,a fake saliency map is obtained according to the untrustworthy likelihood to segment thefake region.Above all, we find out that the correspondence constraint is not only valid on themultiple images, but appears in the single image processing, which could be providedby multiple regions and processing sources. This correspondence constraint breaks thelimited of single image, which improves the performance of image processing, providesthe new semantics structure, and ofers the efective reference.更多还原