python计算机视觉-图像映射与全景拼接

文章目录

  • 全景拼接
    • 基础流程
    • 图像映射
      • 图像映射流程
      • 图像映射类型
      • 参数求解
        • 平移问题
        • 仿射变换
        • 单应性变换
      • 前向映射
      • 逆向映射
      • 像素插值
    • RANSAC求解单应矩阵
      • RANSAC loop
    • APAP算法
    • 图割方法
    • 图像融合
    • 图像拼接整体流程
    • 实验过程
  • 拼接图像Deep rectangling

全景拼接

基础流程

  1. 针对某个场景拍摄多张/序列图像
  2. 计算第二张图像与第一张图像之间的变换关
  3. 将第二张图像叠加到第一张图像的坐标系中
  4. 变换后的融合/合成
  5. 在多图场景中,重复上述过程
    在上述流程当中,我们可以发现图像之间的变换关系是一个关键部分。

图像映射

图像映射流程

  1. 针对两张/多张图像提取特征
  2. 特征匹配
  3. 根据图像变换特点,选取合适的变换结构
  4. 根据DLT等方法计算变换结构
  5. 采用正向/逆向映射,利用插值方式实现图像映
    射变换

图像映射类型

图像映射类型有平移、旋转、尺度变换、仿射、透视映射、桶装映射等,不同的类型所对应的自由度也不同,如下图所示:
python计算机视觉-图像映射与全景拼接_第1张图片
单应性变换即一个平面到另一个平面的映射关系。公式如下所示:

在这里插入图片描述
坐标变换:
在这里插入图片描述

参数求解

平移问题

python计算机视觉-图像映射与全景拼接_第2张图片
如图所示:
第i个特征点的位移量为( x i ′ − x i x_i^{'}-x_i xixi, y i ′ − y i y_i^{'}-y_i yiyi
( x t , y t ) = ( 1 n ∑ i = 1 n x i ′ − x i , 1 n ∑ i = 1 n y i ′ − y i ) (x_t,y_t)=(\frac{1}{n}\sum_{i=1}^nx_i{'}-x_i,\frac{1}{n}\sum_{i=1}^ny_i{'}-y_i) (xt,yt)=(n1i=1nxixi,n1i=1nyiyi)

给定任意像素点 ( x i , y i ) (x_i,y_i) (xi,yi)
x i + x t = x i ′ x_i+x_t=x_i^{'} xi+xt=xi
y i + y t = y i ′ y_i+y_t=y_i^{'} yi+yt=yi
定义映射残差为:
在这里插入图片描述

优化目标(使残差平方和最小化)
python计算机视觉-图像映射与全景拼接_第3张图片
得到最小二乘解,在平移问题中最小二乘解和平均残差得到的结果等价

仿射变换

残差:
在这里插入图片描述
平方和代价函数:
在这里插入图片描述
矩阵表达式:
在这里插入图片描述
python计算机视觉-图像映射与全景拼接_第4张图片

单应性变换

python计算机视觉-图像映射与全景拼接_第5张图片
在这里插入图片描述
python计算机视觉-图像映射与全景拼接_第6张图片

前向映射

对于f(x)中每个像素x,根据变换模型计算相应的映射坐标x’=h(x),并将x像素值赋给g(x’)
python计算机视觉-图像映射与全景拼接_第7张图片

逆向映射

对于g(x‘)中的每个像素x’,根据变换模型计算相应的映射坐标 x = h − 1 ( x ′ ) x=h^{-1}(x') x=h1(x),并将x的像素值赋给g(x’)
python计算机视觉-图像映射与全景拼接_第8张图片

像素插值

主要插值方法:

  • 最近邻插值
  • 线性插值
  • 双线性插值
  • 三线性插值

RANSAC求解单应矩阵

在直线拟合时,我们需要根据给定的若干二维空间中的点,求出直线y=ax+b,并使得该直线对空间点的拟合误差最小,但可能存在噪声点对结果造成很大影响,如图所示:
python计算机视觉-图像映射与全景拼接_第9张图片
此时我们可以随机选取两个点,并根据选择点构造直线,再给定阈值计算出inliers的数量
python计算机视觉-图像映射与全景拼接_第10张图片
python计算机视觉-图像映射与全景拼接_第11张图片
python计算机视觉-图像映射与全景拼接_第12张图片

RANSAC loop

python计算机视觉-图像映射与全景拼接_第13张图片
python计算机视觉-图像映射与全景拼接_第14张图片
python计算机视觉-图像映射与全景拼接_第15张图片
python计算机视觉-图像映射与全景拼接_第16张图片

APAP算法

APAP算法流程:

  • 通过SIFT得到两幅图像的匹配点对
  • 通过RANSAC剔除外点,得到N对内点
  • 利用DLT和SVD计算全局单应性
  • 将原图划分网格,取网格中心点,计算每个中心点和原图上内点之间的欧氏距离和权重
  • 将权重放到DLT算法的A矩阵中,构建新的W*A矩阵,重新SVD分解,得到当前网格的局部单应性矩阵
  • 遍历每个网格,利用局部单应性矩阵映射到全景画布上,得到APAP变换后的原图
  • 最后进行拼接线的加权融合
    python计算机视觉-图像映射与全景拼接_第17张图片

图割方法

在寻找拼接缝时,我们希望找到一条不明显的拼接缝,而这就需要通过最大流最小割图割方法进行操作。
最大流:
给定指定有向图,其中有两个特殊的点源S(Sources)和汇T(Sinks),每条边有指定的容量(Capacity),求满足条件的从S到T的最大流(MaxFlow)。
最小割:
割是网络中定点的一个划分,它把网络中的所有顶点划分成两个顶点集合S和T,其中源点s∈S,汇点t∈T。记为CUT(S,T),满足条件的从S到T的最小割(Min cut)。
python计算机视觉-图像映射与全景拼接_第18张图片
python计算机视觉-图像映射与全景拼接_第19张图片

图像融合

在进行图像融合时我们通常采用multi-band blending策略进行融合
基本原理:
1.建立两幅图像的拉普拉斯金字塔
2.求高斯金字塔(掩模金字塔-为了拼接左右两幅图像)因为其具有尺度不变性

  • 进行拼接blendLapPyrs() ; 在每一层上将左右laplacian图像直接拼起来得结果金字塔resultLapPyr
    4.重建图像: 从最高层结果图
    将左右laplacian图像拼成的resultLapPyr金字塔中每一层,从上到下插值放大并和下一层相加,即得blend图像结果
    python计算机视觉-图像映射与全景拼接_第20张图片
    python计算机视觉-图像映射与全景拼接_第21张图片
    python计算机视觉-图像映射与全景拼接_第22张图片

图像拼接整体流程

  • 根据给定图像/集,实现特征匹配
  • 通过匹配特征计算图像之间的变换结构
  • 利用图像变换结构,实现图像映射
  • 针对叠加后的图像,采用APAP之类的算法,对齐
    特征点
  • 通过图割方法,自动选取拼接缝
  • 根据multi-band blending策略实现融合

实验过程

具体代码:

from pylab import *
from numpy import *
from PIL import Image

# If you have PCV installed, these imports should work
from PCV.geometry import homography, warp
from PCV.localdescriptors import sift

"""
This is the panorama example from section 3.3.
"""

# set paths to data folder
featname = ['./panoramicpic3/' + str(i + 1) + '.sift' for i in range(5)]
imname = ['./panoramicpic3/' + str(i + 1) + '.jpg' for i in range(5)]

# extract features and match
l = {}
d = {}
for i in range(5):
    sift.process_image(imname[i], featname[i])
    l[i], d[i] = sift.read_features_from_file(featname[i])

matches = {}
for i in range(4):
    matches[i] = sift.match(d[i + 1], d[i])

# visualize the matches (Figure 3-11 in the book)
for i in range(4):
    im1 = array(Image.open(imname[i]))
    im2 = array(Image.open(imname[i + 1]))
    figure()
    sift.plot_matches(im2, im1, l[i + 1], l[i], matches[i], show_below=True)


# function to convert the matches to hom. points
def convert_points(j):
    ndx = matches[j].nonzero()[0]
    fp = homography.make_homog(l[j + 1][ndx, :2].T)
    ndx2 = [int(matches[j][i]) for i in ndx]
    tp = homography.make_homog(l[j][ndx2, :2].T)

    # switch x and y - TODO this should move elsewhere
    fp = vstack([fp[1], fp[0], fp[2]])
    tp = vstack([tp[1], tp[0], tp[2]])
    return fp, tp


# estimate the homographies
model = homography.RansacModel()

fp, tp = convert_points(1)
H_12 = homography.H_from_ransac(fp, tp, model)[0]  # im 1 to 2

fp, tp = convert_points(0)
H_01 = homography.H_from_ransac(fp, tp, model)[0]  # im 0 to 1

tp, fp = convert_points(2)  # NB: reverse order
H_32 = homography.H_from_ransac(fp, tp, model)[0]  # im 3 to 2

tp, fp = convert_points(3)  # NB: reverse order
H_43 = homography.H_from_ransac(fp, tp, model)[0]  # im 4 to 3

# warp the images
delta = 2000  # for padding and translation

im1 = array(Image.open(imname[1]), "uint8")
im2 = array(Image.open(imname[2]), "uint8")
im_12 = warp.panorama(H_12, im1, im2, delta, delta)

im1 = array(Image.open(imname[0]), "f")
im_02 = warp.panorama(dot(H_12, H_01), im1, im_12, delta, delta)

im1 = array(Image.open(imname[3]), "f")
im_32 = warp.panorama(H_32, im1, im_02, delta, delta)

im1 = array(Image.open(imname[4]), "f")
im_42 = warp.panorama(dot(H_32, H_43), im1, im_32, delta, 2 * delta)

figure()
imshow(array(im_42, "uint8"))
axis('off')
show()

实验结果:
python计算机视觉-图像映射与全景拼接_第23张图片
python计算机视觉-图像映射与全景拼接_第24张图片
python计算机视觉-图像映射与全景拼接_第25张图片
python计算机视觉-图像映射与全景拼接_第26张图片
python计算机视觉-图像映射与全景拼接_第27张图片
如图所示:由于拍摄角度、光线不同以及分辨率大小等原因,出现了一些错误的特征点匹配,全景拼接后的图像拼接缝明显,但整体上还是能够将图像进行拼接完成。

不同拍摄及全景图像拼接后效果
python计算机视觉-图像映射与全景拼接_第28张图片
python计算机视觉-图像映射与全景拼接_第29张图片
python计算机视觉-图像映射与全景拼接_第30张图片
python计算机视觉-图像映射与全景拼接_第31张图片
python计算机视觉-图像映射与全景拼接_第32张图片
由图所示:当调整拍摄角度后,图像的全景拼接效果相较之前的效果更好,对于同一场景,不同的拍摄状态对全景图像拼接效果有一定的影响。

拼接图像Deep rectangling

在使用图像拼接技术时因为视角投影带来了不规则的边界问题,因此为了获得规则的矩形边界,通常采用裁剪和补全的方法,但这两种方法会减少原始图像内容或新增图像内容,使得结果在实际应用中并不完全可靠。

因此为了解决上述问题,何凯明提出了第一个解决该问题的方法-rectangling(矩形化),该方法在不增加、不减少图像内容的基础上,通过网格变形的方式将不规则的拼接图映射为矩形。但该算法受限于LSD检测性能同时也无法提取有效语义感知特征,对结构复杂的场景并不鲁棒,结果往往呈现出部分扭曲。

传统pipeline vs. 深度pipeline
python计算机视觉-图像映射与全景拼接_第33张图片
网络结构和损失函数设计
python计算机视觉-图像映射与全景拼接_第34张图片
实验结果
python计算机视觉-图像映射与全景拼接_第35张图片

python计算机视觉-图像映射与全景拼接_第36张图片
python计算机视觉-图像映射与全景拼接_第37张图片

你可能感兴趣的