此部分是计算机视觉部分主要側重在底层特征提取，视频分析跟踪，目标检测和识别方面等方面对于自己不太熟悉的领域比如摄像机标定和立体视觉，仅仅列出上google仩引用次数比较多的文献有一些刚刚出版的文章，个人非常喜欢也列出来了。

图像对齐和拼接教程——

　　1该报告的简短版本出现在ParagiosN.等人，《计算机视觉的数学模型手册》第273-292页，Springer2005年的编辑中。

摘要 -本教程将介绍图像对齐和图像拼接算法 图像对齐算法可以发现重疊程度不同的图像之间的对应关系。 它们非常适合视频稳定摘要和全景马赛克的创建等应用。 图像拼接算法采用由此类配准算法产生的對齐估计并以无缝方式混合图像，并小心处理诸如视差和场景移动以及变化的图像曝光等可能引起的模糊或重影等潜在问题 本教程回顧了对齐和缝合算法基础的基本运动模型，描述了有效的直接(基于像素)和基于特征的对齐算法并描述了用于产生无缝镶嵌的混合算法。 朂后讨论该地区的开放研究问题。

3D转换52.3圆柱坐标和球坐标112.4镜头变形143直接(基于像素)对齐153.1错误指标163.2分层运动估计193.3基于傅立叶的对齐203.4逐步完善233.5參数运动284基于特征的注册334.1关键点检测器334.2特征匹配364.3几何配准404.4基于vsfeature的直接对齐465全球注册475.1捆绑包调整485.2视差消除515.3识别全景图536合成566.1选择复合面566.2像素选擇和加权586.3混合647扩展和未解决的问题68

对齐图像并将其缝合成无缝的光马赛克的算法是计算机视觉中最古老应用最广泛的算法之一。具有“圖像稳定”功能的每台摄录机都使用帧速率图像对齐图像拼接算法可创建高分辨率的马赛克图像，用于制作当今的数字地图和卫星照片它们还与当前出售的大多数数码相机捆绑在一起，可用于创建美丽的超广角全景

广泛使用的图像配准算法的早期示例是Lucas和Kanade(1981)开发的基于補丁的平移对齐(光学流)技术。这种算法的变体几乎用于所有运动补偿视频压缩方案例如MPEG和H.263(Le Gall 1991)。类似的参数运动估计算法已发现了广泛的应鼡包括视频摘要(Bergen等人，1992a； Teodosio和Bender1993； Kumar等人，1995；

在摄影测量学界基于被调查的地面控制点或手动记录的联络点的更密集的方法长期以来一直鼡于将航空照片记录为大规模的照相马赛克(Slama 1980)。该社区的主要进步之一是开发了束调整算法该算法可以同时求解所有摄像机位置的位置，從而产生全局一致的解决方案(Triggs等人1999)。产生光马赛克的反复出现的问题之一是消除了可见的接缝这些年来，已经开发了多种技术(Milgram

在胶片攝影中本世纪初开发了特殊的相机来拍摄超广角全景照片，通常是在相机绕其轴旋转时通过垂直缝将胶片曝光(Meehan 1990)在1990年代中期，图像对齐技术开始被用于从常规手持相机上构建广角无缝全景图(Mann和Picard 1994Szeliski 1994，Chen 1995Szeliski 1995，Sawhney等1998)对此可以进行评论和比较。在网上

2003)。基于特征的方法的优点是对場景移动的鲁棒性更高并且如果实施正确的方法，则可能更快但是，它们的最大优势是“识别全景图”的能力即自动发现无序图像集之间的邻接关系(重叠)，这使其非常适合全自动拼接由休闲用户拍摄的全景图(棕色和Lowe 2003)

那么，图像对齐和拼接的本质问题是什么对于图潒对齐，我们必须首先确定将一个图像中的像素坐标与另一个图像中的像素坐标相关联的适当数学模型第2节回顾了这些基本运动模型。接下来我们必须以某种方式估计与各种图像对(或集合)相关的正确对齐方式。第三部分讨论如何将直接的像素间比较与梯度下降(以及其他優化技术)相结合来估算这些参数第4节讨论如何在每个图像中找到独特的特征，然后有效地进行匹配以快速建立图像对之间的对应关系當全景中存在多个图像时，必须开发出一种技术来计算全局一致的路线并有效地发现哪些图像相互重叠这些问题在第5节中讨论。

对于图潒拼接我们必须首先选择一个最终的合成表面，在该表面上翘曲并放置所有对齐的图像(第6节)我们还需要开发算法，以无缝融合重叠的圖像即使存在视差，镜头失真场景运动和曝光差异(第6节)。在本调查的最后一部分中我将讨论图像拼接的其他应用程序和开放式研究問题。

在注册和对齐图像之前我们需要建立数学关系，以将像素坐标从一幅图像映射到另一幅图像从简单的2D变换到平面透视模型，3D摄潒机旋转镜头变形以及到非平面(例如圆柱)表面的映射，各种各样的此类参数化运动模型都是可能的(Szeliski 1996)

为了便于处理不同分辨率的图像，峩们采用了计算机图形学中使用的规范化设备坐标的一种变体(Watt 1995OpenGL-ARB 1997)。对于典型的(矩形)图像或视频帧我们让像素坐标的长轴范围为[-1，1]沿短軸的范围为[-a，a]其中a是长宽比的倒数，如图1所示¹对于宽度为W，高度为H的图像将整数像素坐标映射到归一化设备坐标x =(x，y)的方程为

请注意如果我们处理金字塔中的图像，则需要在每个抽取步骤之后将S值减半而不是根据max(W，H)重新计算因为(W，H)值可能会以不可预测的方式四舍伍入或被截断方式请注意，在本文的其余部分中当引用像素坐标时，我们将使用归一化的设备坐标

　　1在计算机图形学中，通常两個轴的范围都在[?11]范围内，但这需要在垂直和水平方向上使用两个不同的焦距这使得处理纵向和横向混合图像变得更加尴尬 。

图1：从潒素坐标到规范化设备坐标的映射

定义了坐标系统后我们现在可以描述如何转换坐标。 最简单的转换发生在2D平面中如图2所示。

图2：基夲的2D平面变换集

翻译 二维翻译可以写成x'= x + t或
其中I是(2×2)单位矩阵，^?x =(xy，1)是齐次或投影2D坐标

旋转+平移。 此变换也称为2D刚体运动或2D欧几里得變换(因为保留了欧几里得距离) 可以写成x'= Rx + t或

缩放旋转。 也称为相似度变换该变换可以表示为x'= sRx + t，其中s是任意比例因子 也可以写成

在这里峩们不再要求a² + b² =1。相似度转换保留了线之间的角度

仿射。 仿射变换写为x'= A^?x其中A是任意2×3矩阵，即

在仿射变换下平行线保持平行。

投射嘚 此变换(也称为透视变换或单应性)在同构坐标^?x和^?x'上进行操作，

其中?表示等比例的缩放^?H是任意的3×3矩阵。 注意^?H本身是同质嘚，即它仅按比例定义。 产生的齐次坐标^?x'必须进行归一化以获得不均匀的结果x'即

表1：2D坐标转换的层次结构。 将2×3矩阵扩展为第三行[0^T 1]以形成用于均匀坐标变换的完整3×3矩阵。

2D转换的层次结构图2中说明了前面的转换集表1中对此进行了概述。最简单的方法是将它们看作昰一组在2D齐次坐标矢量上运行的(可能受限的)3×3矩阵 Hartley和Zisserman(2004)对2D平面变换的层次结构进行了更详细的描述。

上面的变换形成了一组嵌套的组即咜们在组成下是封闭的，并且具有作为同一组成员的逆 每个(简单)组都是其下更复杂组的子集。

对于3D坐标转换也存在类似的嵌套层次结構，可以使用4×4转换矩阵表示具有与平移，刚体(欧几里得)和仿射变换以及同形(有时称为collineation)的3D等效项(Hartley和Zisserman 2004)

图3：中央投影，显示3D和2D坐标p和x之间嘚关系以及焦距f和视场θ之间的关系。

中心投影过程是通过摄像机原点上的针孔将3D坐标p =(X，YZ)映射为2D坐标x =(x，y1)到沿z轴的距离为f 的2D投影平面仩，
如图3所示(无单位)焦距f 与视场θ之间的关系为
要将焦距f转换为更常用的等效35mm焦距，请将上述数值乘以17.5(35mm负片照相框的半宽度)要将其转換为像素坐标，将其乘以S / 2(风景照片的一半宽度)
在计算机图形学文献中，透视投影通常写为置换矩阵该置换矩阵置换齐次4-向量p =(X，YZ，1)的朂后两个元素

然后缩放并转换为屏幕和z缓冲区坐标。

在计算机视觉中传统上会丢弃z缓冲区值，因为无法在图像中感知到这些值并进行寫入

其中K = diag(ff，1)称为内在校准矩阵²该矩阵可以由更通用的上三角矩阵K代替，该矩阵考虑非正方形像素偏斜和可变的光学中心位置 (Hartley and Zisserman 2004)。 但是实际上，在拼接来自常规相机的图像时上面使用的简单焦距缩放可提供高质量的结果。
　　2 K的最后一列通常包含光学中心(cxcy)，但是如果我们使用归一化的设备坐标则可以将其设置为零。

在本文中我更喜欢使用4×4投影矩阵P，
它将均质的4-矢量p =(XY，Z1)映射到一种特殊的均質屏幕矢量^?x =(x，y1，d) 这使我可以将投影矩阵P的左上3×3部分表示为K(使其与计算机视觉文献兼容)，而不会完全放弃逆屏幕深度信息d(有时也称為视差d)(Okutomi and Kanade 1993) 如下所述，后一数量对于推理3D场景的图像之间的映射是必需的

图4：将一个点投影到两个图像中：(a)3D点坐标(X，YZ，1)和2D投影点(xy，1d)の间的关系； (b)由均位于共同位置?n₀·p + c₀ = 0的点引起的平面单应性。

当我们从不同的相机位置和/或方向拍摄3D场景的两幅图像时会发生什么(图4a) 通過3D刚体(欧几里得)运动E₀的组合，将3D点p映射到摄像机0中的图像坐标^?x0
假设我们知道一个图像中像素的z缓冲区值d0，我们可以使用以下方式将其映射回3D坐标p
然后将其投影到另一个图像中
不幸的是我们通常无法访问常规摄影图像中像素的深度坐标。 但是对于平面场景，我们可以鼡通用平面方程 代替(13)中的P₀的最后一行该方程将平面上的点映射到d₀ = 0值(图4b)。 然后如果我们设置d₀ = 0，则我们可以忽略(17)中M₁₀的最后一列以及它的最後一行因为我们不在乎最终的z缓冲区深度。 映射方程式(17)因此简化为

　　4请注意对于单对图像，一组刚性相机正在查看3D平面这一事实并鈈会减少自由度的总数 但是，对于从校准相机拍摄的大量平面图像(例如白板)我们可以通过假设平面位于标准位置来将每个图像的自由喥数从8减少到6。 例如z = 1)

图5：纯3D摄影机旋转。单应性(映射)的形式是特别简单且仅取决于三维旋转矩阵和焦距

旋转全景图更有趣的情况是相機进行纯旋转(图5)，这等效于假设所有点都距离相机很远即在无穷远的平面上。 设置t₀ = t₁ = 0我们得到简化的3×3单应性

这揭示了映射方程式的简單性，并使所有运动参数明确 因此，我们获得了与焦距f已知固定或可变的情况相对应的3、4或5参数3D旋转运动模型，而不是与一对图像相關的一般8参数单应性(Szeliski and Shum 1997) 估计与每个图像关联的3D旋转矩阵(以及可选的焦距)本质上比估计完整的8-d.o.f.更稳定。

参数化3D旋转 如果我们要使用旋转和焦距的组合来表示全景图，那么代表旋转本身的最佳方法是什么 选项包括：

?完整的3×3矩阵R，每次更新后都必须重新正交化；
?欧拉角(α，β，γ)是个坏主意因为您不能始终平稳地从一个旋转移动到另一个旋转。
?轴/角度(或指数扭曲)表示形式代表轴?n和旋转角θ或两者之积的旋转，
它具有最少数目的3个参数，但仍不是唯一的；
?和单位四元数代表具有4位向量的旋转，

其中?n和θ是旋转轴和角度。

对应於围绕轴?n旋转θ的旋转矩阵为
对于小(无限小)旋转旋转减小为

罗德里格斯的四元数公式可以转换为
这建议使用一系列叉积，标度和加法通过四元数旋转矢量的快速方法。 由此我们可以得出R(q)的常用公式是q =(x，yz，w)的函数

在轴/角度表示和四元数之间，我通常更喜欢单位四え数因为它们具有很好的代数，可以轻松地乘积(组合)比率(旋转变化)和线性插值(Shoemake 1985)。 例如两个四元数q₀ =(v₀，w₀)和q₁ =(v₁w₁)的乘积为

具有R(q₂)= R(q₀)R(q₁)的属性。 (请注意四元数乘法不是可交换的，就像3D旋转和矩阵乘法不是可交换的一样)对四元数取反也很容易：只需翻转v或w的符号(但不能同时翻转！)。 泹是当需要更新旋转估计值时，我将使用增量形式的轴/角度表示形式(26)如第4.3节所述。

2.3圆柱坐标和球坐标

使用单应性或3D运动对齐图像的另┅种方法是先将图像扭曲为圆柱坐标然后使用纯平移模型对齐它们(Szeliski 1994，Chen 1995) 不幸的是，这仅在所有图像均使用水平摄像机或已知倾斜角度拍攝的情况下才有效

现在假设摄像机处于其标准位置，即其旋转矩阵为恒等式R = I以使光轴与z轴对齐且y轴垂直对齐。 因此对应于(x，y)像素的3D射线为(xy，f)

我们希望将此图像投影到单位半径的圆柱表面上(Szeliski 1994)。 该表面上的点由角度θ和高度h参数化其中3D圆柱坐标对应于(θ，h)，由

图6：從3D投影到圆柱坐标和球坐标

如图6a所示。 根据这种对应关系我们可以计算变形或映射坐标的公式(Szeliski and Shum 1997)，
其中s是任意缩放比例因子(有时称为圆柱体的半径)可以将其设置为s = f，以最大程度地减小图像中心附近的失真(缩放比例)⁵该映射方程式的逆公式为

　　5根据所需的输出全景分辨率，也可以将最终合成表面的比例尺设置为更大或更小值(请参见§6)

图像也可以投影到球形表面上(Szeliski and Shum 1997)，如果最终的全景图包括一个完整的球媔或半球视图而不是仅一个圆柱形的条带，则这很有用 在这种情况下，用两个角度(θ，φ)对球进行参数化，其中3D球坐标由
请注意从(35)苼成缩放的(x，yz)方向，然后将透视图除以z然后按f缩放可能会更简单。

当已知相机水平且仅绕其垂直轴旋转时通常会使用圆柱图像拼接算法(Chen 1995)。 在这种情况下不同旋转角度的图像通过纯水平平移相关联。⁶这使它作为计算机视觉入门课程中的入门级项目具有吸引力因为透視图对齐算法(第3.5和第4.3节)的全部复杂性可以 被避免。 图7显示了来自水平旋转全景的两个圆柱扭曲图像如何通过纯平移进行关联(Szeliski和Shum 1997)

　　6有时鈳以使用垂直平移来补偿小的垂直倾斜。

图7：圆柱全景图的示例：(a)两个通过水平平移关联的圆柱扭曲图像； (b)由一系列图像合成的圆柱全景圖的一部分

专业的全景摄影师有时还会使用云台，这样可以轻松控制倾斜并在旋转角度的特定定位点停下来这不仅确保了视野均匀覆蓋，并具有所需的图像重叠量而且还可以使用圆柱或球面坐标和纯平移拼接图像。在这种情况下在将像素坐标(x，yf)投影到圆柱坐标或浗坐标之前，必须先使用已知的倾斜和平移角度对其进行旋转(Chen 1995)具有一个大致已知的摇摄角度也使计算对齐更加容易，因为所有输入图像嘚粗略相对位置都是提前知道的从而可以减小对齐的搜索范围。图8显示了展开到球体表面上的完整3D旋转全景图(Szeliski and Shum 1997)

图8：由54张照片构成的球形全景的示例。

值得一提的最后一个坐标图是极坐标图其中北极沿着光轴而不是垂直轴，

其中r =√(x²+ y²⁾是(xy)平面中的径向距离，而sφ在(x'y')平面Φ起类似的作用。 如第2.4节所述此映射为某些种类的广角全景图提供了有吸引力的可视化表面，并且还是由鱼眼镜头引起的失真的良好模型请注意，对于(xy)的较小值，映射方程式如何简化为x'≈sx / z这表明s的作用类似于焦距f。

图9：径向镜片变形的示例：(a)镜筒(b)枕形和(c)鱼眼。 鱼眼的图像从一侧到另一侧几乎覆盖了整个180°。

使用广角镜拍摄图像时通常需要对镜头畸变(例如径向畸变)建模。 径向畸变模型表示观察箌的图像中的坐标偏移(桶形畸变)或朝向(枕形畸变)图像中心，偏移量与它们的径向距离成正比(图9a–b) 最简单的径向失真模型使用低阶多项式，例如
其中将r²=x²+y²和κ₁和κ₂称为径向变形参数(Brown 1971Slama 1980)。⁷ 更复杂的变形模型还包括切向(偏心)变形(Slama 1980)但是对于消费者级别的缝合来说通常不需要。

　　7囿时x和x'之间的关系以相反的方式表示即使用右侧的准备好的(最终)坐标。

可以使用多种技术来估计给定透镜的径向畸变参数最简单也是朂有用的方法之一是拍摄具有很多直线的场景图像，尤其是与图像边缘对齐并靠近图像边缘的直线然后可以调整径向畸变参数，直到图潒中的所有线都笔直为止这通常称为铅垂线法(Brown 1971，Kang 2001El-Melegy和Farag 2003)。

另一种方法是使用几个重叠的图像并将径向变形参数的估计与图像对齐过程结匼在一起。 Sawhney和Kumar(1999)在粗糙到精细的策略中结合了二次径向畸变校正项使用了运动模型的层次结构(平移，仿射射影)。他们使用直接(基于强度)朂小化来计算对齐 Stein(1997)将基于特征的方法与一般的3D运动模型(以及二次径向失真)结合使用，与无视差的旋转全景图相比它需要更多的匹配项，但可能更通用最近的方法有时同时计算未知的固有参数和径向变形系数，其中可能包括高阶项或更复杂的有理或非参数形式(Claus和Fitzgibbon 2005Sturm 2005，Thirthala和Pollefeys

魚眼镜头与传统的径向畸变多项式模型需要不同的模型(图9c)取而代之的是，鱼眼镜头的表现近似于等距投影机的角度与光轴的夹角(Xiong and Turkowski 1997)与等式(40-42)描述的极投影相同。Xiong和Turkowski(1997)描述了如何通过在φ中添加额外的二次校正来扩展该模型，以及如何从一组重叠的鱼眼中估计未知参数(投影中心比例因子s等)。使用直接(基于强度)非线性最小化算法的图像

3直接(基于像素)对齐

一旦我们选择了合适的运动模型来描述一对图像之间的对准，就需要设计某种方法来估计其参数一种方法是使图像彼此相对移动或扭曲，并查看像素的一致性与下一节中介绍的基于特征的方法相反，使用像素间匹配的方法通常称为直接方法

要使用直接方法，必须首先选择合适的误差度量来比较图像一旦确定了这一点，就必须设计一种合适的搜索技术最简单的技术是穷举尝试所有可能的比对，即进行完整搜索在实践中，这可能太慢因此已经开发了基於图像金字塔的分层粗到细技术。可替代地可以使用傅立叶变换来加速计算。为了获得对准中的亚像素精度通常使用基于图像函数的泰勒级数展开的增量方法。这些也可以应用于参数运动模型这些技术中的每一种将在下面更详细地描述。

在两个图像之间建立对齐的最簡单方法是相对于另一个图像移动一个图像给定在离散像素位置{x_i = (x_i, y_i)} 采样的模板图像I₀(x)，我们希望找到它在图像I₁(x)中的位置解决此问题的最小②乘方法是找出平方差和(SSD)函数的最小值
被称为残差误差(或视频编码文献中的位移帧差异)。⁸(目前我们忽略了I₀的某些部分可能位于I₁边界之外戓看不见的可能性) 。)

　　8使用最小二乘法的通常理由是它是针对高斯噪声的最佳估计。 请参阅下面有关健壮替代方案的讨论

通常，位迻u可以是分数因此必须对图像I₁(x)应用合适的插值函数。实际上通常使用双线性插值，但是双三次插值应该会产生更好的结果可以通过將所有三个颜色通道之间的差异求和来处理彩色图像，尽管也可以先将图像转换为不同的颜色空间也可以仅使用亮度(这通常在视频编码器中完成)。

健壮的范式p(e)是一个增长速度小于与最小二乘相关的二次惩罚的函数有时由于其速度而有时在视频编码的运动估计中使用的此類功能是绝对差之和(SAD)指标，即
但是由于此函数在原点不可区分，因此不适用于§3.4中介绍的渐变方法

取而代之的是，通常使用平滑变化嘚函数该函数对于较小的值是平方的，但在远离原点的位置增长得更慢Black and Rangarajan(1996)讨论了许多此类函数，包括Geman-McClure函数

其中a是可以视为异常值阈值嘚常数。阈值的适当值本身可以使用稳健的统计数据得出(Huber 1981Hampel等人1986，Rousseeuw和Leroy 1987)例如，通过计算绝对差的中位数MAD = med_i |e_i| 并乘以1.4得到一个非离群噪声过程嘚标准偏差的可靠估计(Stewart 1999)。

空间变化的权重上面的误差度量忽略了以下事实：对于给定的对齐方式，要比较的某些像素可能位于原始图像邊界之外此外，我们可能希望部分或全部降低某些像素的贡献例如，我们可能想从考虑中选择性地“擦除”图像的某些部分例如，茬拼接已切掉不需要的前景对象的马赛克时对于诸如背景稳定化之类的应用，我们可能希望减轻图像的中间部分的重量该中间部分通瑺包含由相机跟踪的独立移动的对象。

所有这些任务都可以通过将空间变化的每像素权重值与匹配的两个图像中的每个图像相关联来完成然后，错误度量成为加权(或加窗)的SSD函数

其中加权函数w₀和w₁在图像的有效范围之外为零

如果允许大范围的潜在运动，则上述度量可能会偏姠于较小的重叠解为了抵消这种偏差，可以将开窗的SSD得分除以重叠区域

计算每像素(或均值)平方像素误差 该数量的平方根是均方根强度誤差
在比较研究中经常看到报道。

偏差和增益(曝光差异)通常，没有以相同的曝光拍摄对准的两个图像两个图像之间线性(精细)强度变化嘚简单模型是偏置和增益模型，

与其采取相应补丁之间的简单平方差不如执行线性回归，这会变得更加昂贵请注意，对于彩色图像鈳能需要为每个彩色通道估计不同的偏差和增益，以补偿某些数码相机执行的自动色彩校正

(Jia and Tang 2003)提出了一个更通用的(空间变化的非参数)强度變化模型，该模型是在配准过程中计算的这对于处理局部变化(例如由广角镜引起的渐晕)很有用。也可以在比较图像值之前对图像进行预處理例如，使用带通滤波图像(Burt和Adelson 1983Bergen等人1992a)或使用其他局部变换，例如直方图或秩变换(Cox等)等人，1995年；

相关性 采取强度差异的另一种方法昰执行关联，即最大化两个对齐图像的乘积(或互相关)

乍一看，这似乎使偏置和增益建模变得不必要因为图像将更倾向于对齐，而无论咜们的相对比例和偏移如何 但是，实际上并非如此 如果I₁(x)中存在非常明亮的色块，则最大乘积实际上可能位于该区域

因此，更常用归┅化互相关 是相应补丁的平均图像，N是补丁中的像素数 归一化互相关分数始终保证在[-1，1]范围内这使它在某些更高级别的应用程序中哽易于处理(例如确定哪些补丁真正匹配)。 但是请注意如果两个色块中的任何一个色差为零，则NCC得分不确定(实际上对于嘈杂的低对比度區域，其性能会降低)

既然我们已经定义了一个对齐成本函数进行优化，我们如何找到它的最小值最简单的解决方案是使用整数或子像素步长对一定范围的位移进行全面搜索。这通常是在运动补偿视频压缩中用于块匹配的方法其中探索了可能的运动范围(例如±16像素)。⁹

　　9在立体匹配中几乎总是执行对所有可能的视差(即平面扫描)的显式搜索，因为由于潜在位移的一维性质搜索假设的数量要少得多(Scharstein和Szeliski 2002)。

為了加速该搜索过程经常使用分层运动估计，其中首先构造了图像金字塔然后首先在较粗糙的级别上执行较少数量的离散像素(对应于楿同的运动范围)的搜索(Quam 1984，Anandan 1989Bergen et al。1992a)然后，可以从金字塔的一个级别进行运动估计以在下一个更细的级别初始化较小的局部搜索。虽然不能保证产生与完全搜索相同的结果但通常效果几乎一样，而且速度更快

是通过对级别 l-1的图像进行平滑采样(预滤波)获得的级别l 抽取的图像。 在最粗糙的水平上我们搜索最佳位移u^(l)，以使图像I^(l)₀和I^(l)₁之间的差异最小 通常使用对位移u^(l)∈2^-l [?S，S] ²的某个范围进行全面搜索来完成此操作(其ΦS是在最佳(原始)分辨率级别上所需的搜索范围)然后可选地跟随 §3.4中所述的增量优化步骤。

一旦估计了合适的运动矢量就可以用来预测鈳能的位移

下一个更高的水平。¹⁰ 然后在更狭窄的位移范围(例如?u^(l-1)±1)上以更细的层次重复位移的搜索，再次有选择地与增量细化步骤结合使用(Anandan 1989) 在(Bergen et al。1992a)中可以找到对整个过程的一个很好的描述扩展到参数运动估计(第3.5节)。

　　10只有在整数像素坐标中定义了位移时才需要将位移加倍这是文献中的常见情况，例如(Bergen et al1992a)。 如果改用规范化的设备坐标(§2)则位移(和搜索范围)不必在各个级别之间变化，尽管步长需要进行調整(以保持大约1个像素的搜索步长)

3.3基于傅立叶的对齐

当搜索范围对应于较大图像的重要部分时(如图像拼接的情况)，分层方法可能效果不佳因为在重要特征被模糊掉之前，通常不可能对表示进行过多的粗化在这种情况下，基于傅里叶的方法可能更可取

基于傅立叶的对齊方式依赖于这样一个事实，即移位信号的傅立叶变换具有与原始信号相同的幅度但线性变化的相位，即

傅立叶变换的另一个有用特性昰空间域中的卷积对应于傅立叶域中的乘法(Oppenheim等人，1999第58页)。因此互相关函数E_cc的傅立叶变换可以写为

是相关函数，即一个信号与另一个信号的反卷积而L₁*(f) 是复共轭L₁(f)。 (这是因为卷积被定义为一个信号与另一个信号的求和(Oppenheim等人1999)。)

因此为了在u的所有可能值的范围内有效地评估E_cc，我们采用了u的傅立叶变换分别将图像I₀(x)和I₁(x)都相乘(在第二个共轭之后)，并对结果进行逆变换快速傅立叶变换算法可以在O(NM log NM) 操作中计算N*M图潒的变换(Oppenheim等人1999)。当考虑整个图像重叠范围时这可能比进行完整搜索所需的O(N²M²) 操作快得多。

尽管基于傅立叶的卷积通常用于加速图像相关性嘚计算但它也可以用于加速平方差函数之和(及其变体)。考虑(44)中给出的SSD公式它的傅立叶变换可以写成

因此，可以通过取两倍的相关函数並将其从两个图像中的能量之和中减去来计算SSD函数

窗口相关。 不幸的是傅立叶卷积定理仅适用于在两个图像中所有像素上进行x_i 求和时，当访问原始边界之外的像素时使用图像的圆移 尽管这对于较小的偏移和大小相对应的图像是可以接受的，但是当图像重叠少量或一个圖像是另一个图像的一小部分时这是没有意义的。

在这种情况下应将互相关函数替换为加窗(加权)互相关函数，
其中加权函数w₀和w₁在图像嘚有效范围之外为零并且对两个图像进行填充，以便循环移位返回原始图像边界之外的0值

一个更有趣的情况是在(48)中引入的加权SSD函数的計算

因此，所得表达式的傅立叶变换为
加权函数以及加权原始和平方图像信号的傅立叶变换因此，以一些额外的图像乘法和傅立叶变换為代价可以计算出正确的加窗SSD函数。 (据我所知我以前没有看过这个公式，但是几年来我一直在教给学生)

相同的推导可以应用于平方差函数E_BG的偏差增益校正和。同样可以使用傅立叶变换来有效地计算在偏置和增益参数中执行线性回归所需的所有相关性，以便为每个电位偏移估算曝光补偿的差异

相位相关。 有时用于运动估计的规则相关性(60)的一种变体是相位相关性(Kuglin and Hines 1975Brown 1992)。 在此通过将(60)中的每个频率乘积除鉯傅里叶变换的幅度，将匹配的两个信号的频谱变白

在进行最终的傅立叶逆变换之前。 对于具有完美(循环)位移的无噪声信号我们有I₁(x + u)= I₀(x)，洇此从(59)得到
因此相位相关性的输出(在理想条件下)是位于u正确值处的单个尖峰(脉冲)，这(原则上)使查找正确的估计更为容易

相位相关在某些方面的表现优于常规相关，但这种行为取决于信号和噪声的特性如果原始图像被窄频带中的噪声(例如，低频噪声或峰值频率“嗡嗡声”)污染则白化过程会有效地消除这些区域中的噪声。但是降低性能。最近梯度互相关已经成为相位相关的有前途的替代方法(Argyriou and Vlachos 2003)，尽管鈳能需要进一步的系统研究Fleet和Jepson(1990)还研究了相位相关性，作为估计一般光学流和立体视差的方法

旋转和缩放。尽管基于傅立叶的对齐方式主要用于估计图像之间的平移但在某些有限条件下，它也可以用于估算面内旋转和缩放考虑两个纯粹通过旋转相关的图像，即

如果我們将图像重新采样为极坐标
然后可以使用基于FFT移位的技术来估计所需的旋转。
如果两个图像也按比例相关
我们可以重新采样为对数极唑标，
在这种情况下必须注意选择合理采样原始图像的s值范围。
De Castro和Morandi(1987)提出了一种巧妙的解决方案该解决方案使用几个步骤来估计未知参數。 首先将两个图像都转换为傅立叶域，并且仅保留已转换图像的大小 原则上，傅立叶幅值图像对图像平面中的平移不敏感(尽管通常會出现关于边框效果的警告) 接下来，使用极坐标或对数极坐标表示将两个幅值图像旋转并按比例对齐。 一旦估计了旋转和比例就可鉯对其中一张图像进行旋转和缩放，然后可以应用常规的平移算法来估计平移

不幸的是，此技巧仅在图像重叠大(平移运动小)时适用 对於补丁或图像的更一般的运动，需要使用第3.5节所述的参数运动估计器或第4节所述的基于特征的方法

到目前为止描述的技术可以估计到最菦像素(如果使用较小的搜索步骤，则可能是分数像素)的平移对齐通常，图像稳定和缝合应用需要更高的精度才能获得可接受的结果

为叻获得更好的亚像素估计，我们可以使用以下几种技术之一(Tian和Huhns 1986)一种可能是，根据迄今为止找到的最佳值对(u, v)的几个离散(整数或小数)值进荇评估，然后对匹配分数进行插值以求出解析最小值。

图10：函数的泰勒级数逼近和光流校正量的增量计算 J₁(x_i + u)是(x_i + u)处的图像梯度，e_i是当前强喥差

Lucas和Kanade(1981)首次提出的一种更常用的方法是使用图像函数的泰勒级数展开对SSD能量函数(44)进行梯度下降(图10)，
是(x_i+u)处的图像渐变并且
首先在(44)中介绍嘚是电流强度误差。¹¹

　　11我们遵循通常在机器人技术和(贝克和马修斯2004年)中使用的约定，即关于(列)向量的导数产生行向量因此公式中需偠较少的转置。

通过求解相关的正态方程可以使上述最小二乘问题最小化(Golub and Van Loan 1996)，

分别称为Hessian和梯度加权残差向量(的Gauss-Newton逼近)¹² 这些矩阵通常也表示為

　　12真正的Hessian是误差函数E的完整二阶导数，它可能不是正定的

其中I_x和I_y中的下标表示空间导数，而I_t称为时间导数如果我们正在计算视频序列中的瞬时速度，这是有意义的

可以与估计I₁(x_i + u)所需的图像扭曲同时评估J₁(x_i + u)所需的梯度，实际上通常将其计算为图像插值的副产品。 如果您担心效率问题可以将这些渐变替换为模板图片中的渐变，

由于接近正确的对齐方式因此模板和目标图像应该看起来相似。 这具有允許对Hessian和Jacobian图像进行预计算的优势这可以节省大量计算量(Hager和Belhumeur 1998，Baker和Matthews 2004) 通过将用于计算ei的变形图像I₁(x_i + u)写为(80)中的子像素插值滤波器与I₁中的离散样本的卷积，可以进一步减少计算量(Peleg and Rav-Acha 2006 ) 预计算梯度场和I₁的偏移版本之间的内积，可以在恒定时间内(与像素数无关)执行e_i的迭代重新计算

上述增量哽新规则的有效性取决于泰勒级数逼近的质量。当远离真实位移(例如1-2像素)时可能需要几次迭代。 (但是可以使用最小二乘方拟合一系列較大的位移来估计J1的值，以增加会聚范围(Jurie和Dhome 2002))在正确的解附近开始，通常只需几次迭代即可常用的停止标准是监视位移校正||u||的大小，并茬其降低到某个阈值(例如像素的1/10 th)以下时停止对于较大的运动，通常将增量更新规则与分层的粗到细搜索策略结合在一起如第3.2节所述。

調节和光圈问题有时，线性系统(81)的反转条件不佳因为要对齐的贴片中缺少二维纹理。一个常见的例子是孔径问题最早是在光学流的┅些早期论文中确定的(Horn和Schunck 1981)，然后由Anandan(1989)进行了更广泛的研究考虑一个图像块，该图像块由向右移动的倾斜边缘组成(图11)在这种情况下，只能鈳靠地恢复速??度(位移)的法线分量这在(81)中表现为秩秩矩阵A，即其较小特征值非常接近于零的矩阵¹³

　　13矩阵A通过构造始终保证是对称嘚正半定数，即它具有真实的非负特征值

图11：不同图像斑块的光圈问题：(a)稳定(“角状”)流动； (b)经典光圈问题(理发极幻觉)； (c)无纹理的区域。

求解方程(81)时沿边缘的位移分量的调节条件很差，并且可能会在较小的噪声干扰下产生错误的猜测缓解此问题的一种方法是在预期的運动范围上添加先验(软约束)(Simoncelli等人，1991； Baker等人2004； Govindu 2006)。这可以通过向A的对角线添加一个较小的值来实现这实际上会使解决方案偏向较小的值，該较小的值仍然(大部分)使平方误差最小

但是，例如在使用简单的(固定的)二次函数时(例如，Simoncelli等人1991)，假定的纯高斯模型在实践中并不总昰成立例如，由于沿强边的混叠(Triggs2004)。因此在进行矩阵求逆之前，应将较大特征值的一小部分(例如5％)添加到较小特征值中这是明智的莋法。

不确定性建模可以使用不确定性模型更正式地捕获特定基于补丁的运动估计的可靠性 最简单的此类模型是协方差矩阵，该协方差矩阵捕获所有可能方向上运动估计中的预期方差 在少量加性高斯噪声下，可以证明协方差矩阵Σu与Hessian A的逆成比例 A的最小和最大特征值解釋为运动的最小和最大方向上的(缩放)逆方差。 (可以在(Steele和Jaynes 2005)中找到使用更逼真的图像噪声模型进行的更详细的分析)

偏差和增益，加权以及可靠的误差指标Lucas-Kanade更新规则也可以应用于偏置增益方程式(52)，以获得

　　14在实践中有可能去耦偏置增益和运动更新参数，即解决两个独立的2×2系统这要快一些。

也可以使用Lucas-Kanade算法的加权(窗口式)版本

请注意，此处从原始加权SSD函数(48)导出Lucas-Kanade更新时我们忽略了w₁(x_i + u)加权函数相对于u的导数，这在实践中通常是可以接受的特别是在 加权函数是具有相对较少转换的二进制掩码。

Baker等人(2003a)仅使用w0(x)项如果两个图像具有相同的范围并苴在重叠区域中没有(独立)切口，则这是合理的 他们还讨论了使权重与?I(x)成比例的想法，这对于非常嘈杂的图像(梯度本身很嘈杂)很有帮助 由研究最小光通量(运动)估计的其他研究人员也进行了类似的观察，以总最小二乘法(Huffel和Vandewalle 1991)表示(Weber和Malik

Lucas-Kanade增量精炼步骤也可以应用于第3.1节中引入的健壯误差度量

我们可以利用此函数的导数w.r.t. u并将其设置为0，
其中是ρ的导数。如果我们引入一个权重函数我们可以这样写：

 如第2节所述，许哆图像对齐任务(例如使用手持式摄像机进行图像拼接)要求使用更复杂的运动模型 由于这些模型通常比纯转换具有更多的参数，因此无法茬可能的值范围内进行全面搜索 相反，可以将增量Lucas-Kanade算法推广到参数化运动模型并与分层搜索算法结合使用(Lucas和Kanade 1981，Rehg和Witkin 1991Fuh和Maragos

对于参量运动，峩们使用一个由低维向量p参数化的空间变化的运动场或对应图x′(x; p)而不是使用单个常数转换向量u，其中x′可以是任何运动 §2中介绍的模型 现在，参数增量运动更新规则变为

即图像梯度?I₁与对应字段的雅可比行列式 J_x' = ?x′/?p 的乘积

表2：二维坐标转换的雅可比行列式。

表2显示叻在§2中引入的2D平面变换的运动雅可比矩阵J_x'¹⁵ 请注意，我如何重新参数化运动矩阵以便它们始终是原点p = 0的标识。 我们讨论合成和逆合成算法 (这也使对动作施加先验更加容易。)

　　15在§4.3中给出了在§2.2中引入的3D旋转运动模型的导数

表2中的导数都非常简单，除了投影的二维運动(单应性)外它需要按像素划分才能评估，c.f (8)在这里以新的参数形式重写为
其中D是(97)中的分母，它取决于当前参数设置(x'和y'也是一样)

请注意，方括号内的表达式如何与在较简单的平移运动情况下计算出的表达式相同(82-83)

基于补丁的近似值。与平移情况相比用于参量运动的Hessian向量和残差向量的计算可能要昂贵得多。对于具有n个参数和N个像素的参数运动A和b的累加需要O(n²N) 运算(Baker和Matthews 2004)。减少此数量的一种方法是将图像分成較小的子块(补丁)P_j并仅在像素级别的方括号内累积更简单的2×2数量(Shum和Szeliski 2000)，

完整的Hessian和残差可以近似为

其中?x_j是每个补丁P_j的中心(Shum和Szeliski 2000)这等效于用汾段恒定近似替换真实运动Jacobian。实际上这很好。在第4.4节中讨论了这种近似与基于特征的注册的关系

合成方法对于单应性之类的复杂参数運动，运动雅可比行列式的计算变得很复杂并且可能涉及每个像素的划分。Szeliski和Shum(1997)观察到这可以通过根据当前运动估计x'(x; p)首先对目标图像进荇变形来简化，

然后将此变形图像与模板I₀(x)进行比较
请注意，由于假定这两个图像相当相似因此仅需要增量参数运动，即可以围绕p=0评估增量运动这可能导致相当大的简化。例如平面投影变换(97)的雅可比行列式变为
一旦计算了增量运动?x，它就可以放在先前估计的运动之湔这对于以变换矩阵表示的运动(例如表1和2中给出的运动)很容易做到。Baker和Matthews(2004)将此称为前向合成算法因为目标图像正在重新变形，并且最终運动估计值正在合成

如果扭曲的图像和模板图像的外观足够相似，则可以用I₀(x)的梯度替换?I₁(x)的梯度如先前在(85)中建议的那样。 这具有潜在嘚巨大优势因为它允许对(99)中给出的Hessian矩阵A进行预计算(和反演)。

贝克和马修斯(Baker and Matthews2004)引入了另一种变体，称为反成分算法他们没有(从概念上)重噺扭曲变形的目标图像?I₁(x)，而是扭曲了模板图像I₀(x)并最小化了

这与前向翘曲算法(107)相同除了e_i的符号以外，用梯度?I₀(x)代替了梯度 所得的更新昰由修改项(107)计算的更新的负数，因此增量变换的逆必须先于当前变换。 因为逆合成算法有可能预先计算逆黑森州和最陡的下降图像这使其成为(Baker and Matthews 2004)中所调查者的首选方法。 摘自(Baker等人2003a)的图12精美地显示了实现逆合成算法所需的所有步骤

图12：逆合成算法的示意图(经许可，从(Baker等2003a)複制)。步骤3-6(浅色箭头)作为预计算执行一次主要算法仅包含以下迭代：图像变形(步骤1)，图像差分(步骤2)图像点积(步骤7)，与Hessian逆的乘法(步骤8)以忣对变形的更新(步骤9))。所有这些步骤都可以高效执行

Baker和Matthews(2004)还讨论了使用高斯-牛顿迭代(即最小二乘的一阶展开，如上所述)与其他方法(例如朂速下降法和Levenberg-Marquardt)的优势该系列的后续部分(Baker等人2003a，Baker等人2003bBaker等人2004)讨论了更高级的主题，例如每像素权重提高效率的像素选择，对稳健指标的哽深入讨论以及算法线性外观变化以及参数先验。它们为有兴趣实施增量图像配准的高度优化实现的任何人提供了宝贵的阅读资源

如湔所述，直接匹配像素强度只是图像配准的一种可能方法另一个主要方法是首先从每幅图像中提取独特的特征，以匹配这些特征以建立铨局对应关系然后估计图像之间的几何变换。这种方法自立体匹配的早期(Hannah 1974Moravec 1983，Hannah 1988)就被使用并且最近在图像拼接应用中也越来越流行(Zoghlami等人，1997； Capel和Zisserman1998；

在本节中，我将介绍检测独特点进行匹配以及计算图像配准的方法，包括第2.2节中介绍的3D旋转模型 我还将讨论直接和基于功能的方法的相对优缺点。 

正如我们在§3.4中所看到的那样运动估计的可靠性最关键地取决于图像Hessian矩阵最小特征值λ₀(Anandan 1989)的大小。这使其成为寻找图像中可以高精度匹配的点的合理候选者 (该领域中的较旧术语讨论了“角状”特征(Moravec 1983)，但是现代用法是关键点兴趣点或显着点。)确实Shi和Tomasi(1994)提出使用此数量来发现良好特征。跟踪然后结合使用平移和基于细微的斑块比对，以通过图像序列跟踪此类点

使用权重相等的方形补丁可能不是最佳选择。相反可以使用高斯加权函数。F?rstner(1986)和Harris and Stephens(1988)都提出了使用这种方法发现关键点的建议可以使用一系列滤波器和代数運算来有效评估Hessian和特征值图像，

其中G_σd是宽度为σ_d的降噪预平滑“导数”滤波器G_σi是积分滤波器，其比例为σ_i用于控制有效补丁大小。 (a_ij是A(x)矩阵中的条目为简洁起见，我在其中删除了(x))例如，F?rstner(1994)使用σ_d=0.7和σ_i=2一旦计算出最小特征值图像，就可以找到局部最大值作为潜在嘚关键点

最小特征值不是唯一可用于发现关键点的数量。哈里斯和斯蒂芬斯(1988)提出的一个更简单的量是

(例如α= 0.05)这会降低一维边缘的响应，其中混叠误差有时会影响较小的特征值 他还展示了如何将基本的2×2 Hessian扩展到参数运动，以检测在比例和旋转上也可以精确定位的点 布朗等人(2005)，另一方面使用调和均值，
在λ₀≈λ₁所在的区域中这是更平滑的功能。图13显示了各种兴趣点算子的等高线(请注意所有检测器嘟需要两个特征值都较大)。图14显示了Brown等人的多尺度定向斑块检测器的输出 (2005)在5种不同的规模上。

图13：流行的关键点检测功能的等高线图(摘洎(Brown等2004)。 每个检测器寻找的特征值λ₀、λ₁都较大的点

图14：在五个金字塔级别提取的多尺度定向补丁(MOPS)(摘自(Brown等人，2004年))这些框显示了特征方姠和从中采样描述符向量的区域。

Schmid等人(2000年)调查了大量关于关键点检测的文献并进行了一些实验比较以确定特征检测器的可重复性，这被萣义为在扭曲图像中相应位置的ε=1.5像素内发现一幅图像中检测到关键点的频率他们还测量每个检测到的特征点上可用的信息内容，它们萣义为一组旋转不变的局部灰度描述符的熵在他们调查的技术中，他们发现带有σ_d=1和σ_i=2的Harris算子的改进版本效果最好

2004)探测器的尺度空间朂大值，即一个图像金字塔，其中相邻级别之间的子采样小于两倍洛(Lowe)的原始论文(2004)使用半八度音阶octave(√2)金字塔，而特里格斯(Triggs(2004))建议使用四分の一八度音阶octave()特征点检测器和描述符的领域仍然非常活跃，每年在大型计算机视觉会议上发表论文(Carneiro和Jepson

当然关键点不是唯一可用于注册圖像的功能。Zoghlami等人(1997年)使用线段以及点状特征来估计成对图像之间的单应性而(Bartoli等人2004年)使用沿边缘具有局部对应关系的线段来提取3D结构和运動。Tuytelaars和Van Gool(2004)使用细微不变的区域来检测宽基线立体匹配的对应关系Matas等(2004)使用与流域检测有关的算法来检测最大稳定区域，而局部最大 (Corso和Hager(2005)使用┅种相关技术将面向2D的高斯核拟合到均匀区域。)虽然这些技术都可以用来解决图像配准问题但本调查将不对其进行详细介绍。

 在检测到特征(关键点)之后我们必须对它们进行匹配，即确定哪些特征来自不同图像中的相应位置在某些情况下，例如对于视频序列(Shi和Tomasi，1994年)或巳被纠正的立体声对(Loop和Zhang1999年，Scharstein和Szeliski2002年)，每个特征点周围的局部运动可能大部分是平移的在这种情况下，第3.1节中引入的误差度量(例如E_SSD或E_NCC)可鼡于直接比较每个特征点周围小补丁中的强度 (下面讨论的Mikolajczyk和Schmid(2005)的比较研究使用互相关。)由于可能无法精确定位特征点因此可以通过执行苐3.4节中所述的增量运动修正来计算更准确的匹配分数。耗时有时甚至会降低性能(Brown等人，2005)

如果在较长的图像序列上跟踪特征，则它们的外观可能会发生较大的变化 在这种情况下，使用仿射运动模型比较外观是有意义的 Shi和Tomasi(1994)使用转换模型在相邻帧之间比较补丁，然后使用此步骤产生的位置估计值来初始化当前帧中的补丁与首次检测到特征的基础帧之间的仿射配准 实际上，特征很少被检测到即仅在跟踪夨败的区域中被检测到。 在通常情况下使用增量配准算法搜索特征当前预测位置周围的区域。 这种算法是先检测后跟踪的方法因为检測很少发生。 适用于可以合理预测特征点的预期位置的视频序列

2003)，首先在所有图像中都检测到特征点的先检测后匹配方法更为合适因為特征可以以不同的方向或比例出现，所以必须使用更多的视图不变类型的表示形式Mikolajczyk和Schmid(2005)回顾了一些最近开发的视图不变的局部图像描述苻，并通过实验比较了它们的性能

补偿平面内旋转的最简单方法是在对补丁进行采样或计算描述符之前，在每个特征点位置找到主导方姠布朗等人(2005)使用平均梯度方向的方向，该方向是在每个特征点的较小邻域内计算的而Lowe(2004)(以及Mikolajczyk和Schmid不变)仅通过选择尺度空间中局部最大值的特征点来进行尺度缩放，如第4.1节所述使描述符对于细微的变形(拉伸，挤压偏斜)保持不变甚至更加困难(Baumberg，2000；

在Mikolajczyk和Schmid(2005)比较的局部描述符中怹们发现David Lowe(2004)的尺度不变特征变换(SIFT)通常表现最好，其次是Freeman和Adelson(1991)的可操纵滤波器然后是互相关的(可以通过逐步改善位置和姿势来改善这种状况，泹请参见(Brown等人2005年)。微分不变量的描述符对设计导致的方向变化不敏感因此效果也不理想。

SIFT特征是通过使用局部梯度方向的直方图首先估计局部方向来计算的它可能比平均方向更准确。一旦建立了局部框架就将渐变复制到不同的定向平面中，并将这些图像的模糊重采樣版本用作特征这为描述符提供了对小特征定位误差和几何变形的不敏感(Lowe 2004)。

可控滤波器是高斯滤波器导数的组合可以快速计算所有可能方向上的偶数和奇数(对称和反对称)边缘状和角状特征(Freeman和Adelson 1991)。因为它们使用的是广义的高斯函数所以它们对定位和方向误差也不敏感。

对於不显示大量缩图的任务例如图像拼接，简单的归一化强度补丁表现相当好并且易于实现(Brown等人，2005年)(图15) 特征描述符领域继续快速发展，获得了更新的结果包括SIFT特征描述符的主成分分析(PCA)(Ke和Sukthankar 2004)和包括局部颜色信息的描述符(van de Weijer和Schmid 2006)。

图15：使用偏置/增益归一化强度值的8 × 8采样形成MOP描述符相对于检测尺度，采样间隔为5个像素(摘自(Brown等人2004))这种低频采样使特征对关键点位置误差具有一定的鲁棒性，并且可以通过在比检测呎度更高的金字塔层次上采样来实现

快速索引和匹配。查找图像对中所有对应特征点的最简单方法是使用上述局部描述符之一将一个图潒中的所有特征与另一图像中的所有特征进行比较不幸的是，这在预期的功能数量上是二次的这对于某些应用程序来说是不切实际的。

可以使用不同类型的索引方案来设计更有效的匹配算法其中许多都是基于在高维空间中找到最近的邻居的想法。例如Nene and Nayar(1997)开发了一种他們称为切片的技术，该技术使用一系列1D二进制搜索来有效地剔除位于查询点超立方体内的候选点列表他们还很好地回顾了该领域以前的笁作，包括诸如k-d树之类的空间数据结构(Samet 1989)Beis和Lowe(1997)提出了一种Best-Bin-First(BBF)算法，该算法对k-d树算法使用了一种经过修改的搜索顺序以便按距查询位置最近的距离搜索特征空间中的bin。Shakhnarovich等(2003年)扩展了以前开发的称为位置敏感哈希的技术该技术使用独立计算的哈希函数的并集，使其对参数空间中点嘚分布更加敏感他们称之为参数敏感哈希。布朗等(2005年)从8*8图像补丁中散列了第三个(非恒定)Haar小波甚至最近，Nister和Stewenius(2006)使用了度量树该树包括将特征描述符与层次结构中每个级别的少量原型进行比较。 尽管进行了所有有希望的工作但是快速计算图像特征对应关系远非解决问题。

RANSAC囷LMS一旦计算出一组初始的特征对应关系，我们需要找到一个将产生高精度对准的集合一种可能的方法是简单地计算最小二乘估计值，戓使用最小二乘的稳健(迭代重新加权)版本如下所述(第4.3节)。但是在许多情况下，最好先找到一个良好的初始内联点集即所有与某个特萣运动估计值一致的点。¹⁶

　　16对于直接估计方法通常使用分级(粗到精)技术来锁定场景中的主导运动(Bergen等人，1992aBergen等人，1992b)

解决此问题的两种廣泛使用的解决方案称为RANdom SAmple Consensus，或简称RANSAC(Fischler和Bolles 1981)和最小二乘平方中位数(LMS)(Rousseeuw 1984) 两种技术都始于(随机地)选择k个对应项的子集，然后将其用于计算运动估计p洳第4.3节所述。 然后将全套对应项的残差计算为
其中?x'_i是估计(映射)位置，而x'_i是感测(检测)特征点位置

然后，RANSAC技术计算在其预测位置的1/3之内(即其)的内部数量 (The值取决于应用程序，但通常约为1-3个像素)最小二乘方中值可得出||r_i||值的中值。

重复随机选择过程S次并保留具有最多内部數(或中位数残差最小)的样本集作为最终解决方案。然后将初始参数猜测值p或计算出的所有惯常值集传递给下一个数据拟合阶段。在最近開发的RANSAC版本中称为PROSAC(渐进式样本一致)，首先从最“一致”的匹配中添加随机样本从而加快了(统计上)可能的良好内在集的查找过程(Chum和Matas 2005)。 )

叻确保随机抽样有很好的机会找到一组真实的内线，必须尝试足够数量的试验S设p为任何给定对应关系有效的概率，P为S次试验后成功的总概率在一个试验中，所有k个随机样本都是内部值的可能性是p^k因此，S种此类试验都将失败的可能性是

Stewart(1999)给出了以下示例这些示例要求达箌99％的成功概率所需的试验次数S：
如您所见，随着使用的采样点数量的增加试验的数量迅速增加。 这为在任何给定的试验中使用尽可能尐的采样点k提供了强烈的动力这实际上是通常使用RANSAC的方式。

一旦我们计算出一组匹配的特征点对应关系下一步就是估计最能记录两个圖像的运动参数p。通常的方法是使用最小二乘即最小化由(118)，
第2节中介绍的许多运动模型即平移，相似性和相似性在运动和未知参数の间具有线性关系p.¹⁷在这种情况下，使用正态方程Ap = b的简单线性回归(最小二乘)效果很好

　　17 可以通过线性算法估算二维欧几里德运动，方法昰先独立估计余弦和正弦项然后对其进行归一化以使其大小为1。

不确定度加权和稳健回归上面的最小二乘公式假定所有特征点都以相哃的精度匹配。通常不是这种情况因为某些点可能会落在比其他点更多的纹理区域中。如果我们将方差估计值σ_i²与每个对应关系相关联那么我们可以最小化加权最小二乘，
如第3.4节所述可以通过将Hessian的倒数与每个像素的噪声估算值相乘来获得基于补丁的匹配的协方差估算徝(86)。通过逆方差(称为信息矩阵)对每个平方残差进行加权得到
其中A_i是黑森补丁(101)。

如果在基于特征的对应关系中存在异常值(并且几乎总是存茬)则最好使用最小二乘的可靠版本，即使已使用初始RANSAC或MLS阶段来选择合理的线性值也是如此然后，将健壮的最小二乘成本度量(类似于(45))

如湔所述一种最小化此数量的常用方法是使用迭代重新加权的最小二乘，如第3.4节所述

单应性更新。对于非线性测量方程式例如(97)中的单應性，此处重写为和

需要迭代解决方案才能获得准确的结果 对8个未知数的初步猜测{h₀₀，... h₂₁}可以通过将等式的两边都乘以分母得出线性的等式组，

但是从统计的角度来看，这不是最佳的因为分母之间的差异可能会很大。

对此进行补偿的一种方法是通过对分母D的当前估计值嘚逆来对每个方程重新加权,

尽管这乍一看似乎与(126)完全相同但由于使用最小二乘法求解超定方程组，因此权重确实很重要并且会产生一組性能更好的正态方程组在实践中(带有嘈杂的数据)。

但是最基本的估算方法是使用Gauss-Newton逼近直接最小化平方残差方程(118)，即在p中执行一阶泰勒級数展开得到

虽然这看起来类似于(127)，但在两个重要方面有所不同 首先，左手边由未加权的预测误差而不是像素位移组成并且解矢量昰对参数矢量p的扰动。 其次J_x'内部的数量涉及预测的特征位置(?x'，?y')而不是感测到的特征位置(?x'、?y')。 两者都很微妙但是它们导致了┅种算法，当与下坡步的正确检查相结合时(如在Levenberg-Marquardt算法中一样)将收敛到最小。 (不保证对(127)式进行迭代因为这没有使定义明确的能量函数最尛化。)

上面的公式类似于直接注册的加性算法因为要计算对完全转换的更改，请参阅§3.5 如果我们将增量单应性放在当前的单应性之前，即使用组合算法则D = 1(因为p = 0)，并且上述公式简化为

为了简洁起见我用(x，y)替换了(?x'?y')。 (请注意这如何导致与(108)相同的雅可比行列式。)

旋轉全景图更新如第2.2节所述，使用旋转矩阵和焦距的集合表示全景图像的对齐方式会比直接使用单应性图产生更稳定的估计问题(Szeliski 1996Szeliski和Shum 1997)。给萣这种表示方式我们如何更新旋转矩阵以最佳地对齐两个重叠的图像？

回想一下(18-19)涉及两个视图的方程可以写成

请注意，这里我以合成形式编写了更新规则其中增量更新D优先于当前单应性。使用(26)中给出的的小角度近似值我们可以将增量更新矩阵写为

请注意，现在D矩阵Φ的条目与表2和(125)中使用的h₀₀...，h₂₁参数之间存在良好的一对一对应关系即

因此，我们可以将链式规则应用于(130)和(134)

给出了估计所需的线性化更新方程¹⁸请注意，此更新规则取决于目标视图的焦距f₁并且与模板视图的焦距f₀无关 。 这是因为合成算法实质上会对目标产生较小的扰动 一旦计算了增量旋转矢量，就可以使用R₁←R()R₁

更新焦距估计值的公式要复杂得多并在(Shum and Szeliski 2000)中给出。 我不会在这里重复它们因为在第5.1节中将给出一個基于最小化反向投影3D射线之间差异的替代更新规则。 图16显示了3D旋转运动模型下的四个图像的对齐方式

图16：使用3D旋转运动模型注册的手歭模型拍摄的四幅图像(来自(Szeliski和Shum，1997年)) 请注意，单应性如何具有良好定义的梯形形状而不是任意的，梯形形状的宽度远离原点增加

焦距初始化。为了初始化3D旋转模型我们需要同时估计摄像机的焦距和旋转矩阵的初始猜测。可以使用基于(Szeliski and Shum 1997)中首先提出的公式从基于单应性(岼面透视)的对准线直接获得。

利用旋转矩阵R₁₀的正交性和(136)的右手仅在一定范围内已知的事实我们得到

据此，我们可以计算出f₀的估算值

(请注意(Szeliski和Shum 1997)中给出的方程是错误的；可以在(Shum and Szeliski 2000)中找到正确的方程。)如果以上两个条件都不成立我们也可以取第一个(或 第二)行和第三。 通过分析嘚列对于f1也可以获得类似的结果。如果两个图像的焦距相同我们可以将f₀和f₁的几何平均值作为估计的焦距f =√(f₁f₀)。 当f的多个估计值可用时(例洳来自不同的单应性)，可以将中值用作最终估计值

间隙闭合。 本节中介绍的技术可用于估计一系列旋转矩阵和焦距它们可以链接在┅起以创建大全景图。 不幸的是由于累积的错误，这种方法很少会生成封闭的360度全景图 相反，将始终存在间隙或重叠(图17)

图17：间隙闭匼：(a)当焦距错误时可见间隙(f = 510)； (b)对于正确的焦距(f = 468)，看不到任何间隙

我们可以通过将序列中的第一个图像与最后一个图像进行匹配来解决此問题。 与该帧相关联的两个旋转矩阵估计之间的差异表示套准量 通过获取与这些旋转相关联的两个四元数的商，然后将该“误差四元数”除以序列中图像的数量(假设帧间旋转相对恒定)可以将该误差均匀地分布在整个序列中。 我们还可以根据未对准的数量更新估计的焦距 为此，我们首先将误差四元数转换为间隙角θ_g

图17a显示了配准图像序列的结尾和第一个图像。 最后一个图像和第一个实际上是相同图像嘚图像之间有很大的差距 差距为32°，因为使用了错误的焦距估计(f = 510)。 图17b显示了以正确的焦距(f = 468)缩小间隙后的定位 请注意，两个镶嵌图都显礻很少的视觉重合失调(间隙处除外)但是图17a是使用具有9％误差的焦距计算得出的。 (Hartley 1994McMillan and Bishop 1995，Stein 1995Kang and Weiss 1997)开发了相关方法来解决使用纯平移运动和柱面图潒的焦距估计问题。

不幸的是这种特殊的缩小间隙的启发式方法仅适用于相机不断向同一方向旋转的“一维”全景。在下一节§5中我將介绍一种适用于任意相机运动的消除间隙和重叠的不同方法。

4.4直接对齐与基于特征对齐

假设存在这两种对齐图像的替代方法哪个更可取？

我曾经当过直接匹配营地的负责人(Irani和Anandan 1999)早期基于特征的方法似乎在纹理过多或纹理不足的区域中感到困惑。这些特征通常会在图像上鈈均匀地分布从而无法匹配应该对齐的图像对。此外建立对应关系依赖于围绕特征点的面片之间的简单互相关，当图像旋转或由于单應性而缩短时这种互相关不能很好地工作。

此外由于它们在比例空间中操作并使用主导方向(或方向不变的描述符)，因此它们可以匹配仳例方向甚至是透视不同的图像。 我自己最近在使用基于特征的方法时的经验是如果特征在图像上分布得很好，并且为重复性合理地設计了描述符通常可以找到足以进行图像拼接的对应关系(Brown等人，2005年)

我以前喜欢直接方法的另一个主要原因是，它们可以最佳利用图像對齐中可用的信息因为它们可以测量图像中每个像素的贡献。 此外假设高斯噪声模型(或其稳健版本)，则它们例如通过强调高梯度像素嘚贡献来适当地加权不同像素的贡献 (参见Baker等人(2003a)，他们建议在强梯度上添加更多的权重是可取的因为梯度估计中存在噪声。)有人可能会爭辩说对于仅具有缓慢变化的梯度的模糊图像，将找到一种直接方法 对齐而特征检测器将找不到任何东西。 但是这样的图像实际上茬消费者成像中很少出现，并且使用比例空间特征意味着可以以较低的分辨率找到某些特征

直接技术的最大缺点是它们的收敛范围有限。 即使可以在分层(粗到细)估计框架中使用它们实际上，在重要细节开始被模糊掉之前很难使用多于两个或三个级别的金字塔。 为了匹配视频中的顺序帧通常可以使直接方法起作用。 但是为了匹配基于照片的全景图中的部分重叠的图像，它们经常失败而无用 我们较舊的图像拼接系统(Szeliski 1996，Szeliski和Shum 1997)依靠圆柱图像的基于傅立叶的相关性和运动预测来自动对齐图像但是对于更复杂的序列，必须手动进行校正 我們更新的系统(Brown等人，2004； Brown等人2005)使用功能，并且在无需用户干预的情况下自动拼接全景图具有良好的成功率

那时没有直接注册的角色吗？峩相信有一旦使用基于特征的方法对齐了一对图像，我们就可以将两个图像扭曲到一个公共参考帧并使用基于补丁的对齐方式重新计算出更准确的估算值。请注意在(103-104)中给出的基于补丁的近似值与直接对准之间的近似关系与在逆协方差加权的基于特征的最小二乘误差度量(123)之间如何紧密相关。

实际上如果我们将模板图像分成多个小块，并在每个小块的中心放置一个假想的“特征点”则这两种方法将返囙完全相同的答案(假设在每种情况下都找到正确的对应关系)。 但是要使此方法成功，我们仍然必须处理“异常值”即由于视差(§5.2)或运動对象(§6.2)而与所选运动模型不匹配的区域。 尽管基于特征的方法可能更容易推断出异常值(特征可以归类为异常值或异常值)但基于补丁的方法由于建立的对应关系更加密集，因此对于消除局部配准错误(视差)可能更有用 ，正如我们在§5.2中讨论的那样

 到目前为止，我已经讨論了如何使用直接和基于特征的方法以及各种运动模型来注册成对的图像在大多数应用中，给我们提供的图像不止一对然后的目标是找到一组全局一致的对齐参数，以最大程度地减少所有图像对之间的配准错误(Szeliski和Shum1997； Shum和Szeliski，2000； Sawhney和Kumar1999； Coorg和Teller，2000)为了做到这一点，我们需要将成對匹配标准(44)(94)和(121)扩展到一个涉及所有基于图像的姿势参数(第5.1节)的全局能量函数。一旦计算了整体对齐方式我们通常需要执行局部调整，唎如去除视差以减少双重图像和由于局部配准错误而引起的模糊(第5.2节)。最后如果给我们提供了一组无序的图像进行配准，则需要发现哪些图像一起形成一个或多个全景图第5.3节介绍了全景识别的过程。

注册大量图像的一种方法是一次将新图像添加到全景图中将最新图潒与集合中已有的先前图像对齐(Szeliski and Shum 1997)，并在必要时发现哪些图像它重叠(Sawhney和Kumar，1999年)在360°全景图的情况下，累积的误差可能会导致全景图两端之间存在间隙(或过度重叠)，可以通过使用称为间隙闭合(Szeliski)的过程拉伸所有图像的对齐方式来解决和Shum 1997)但是，更好的选择是使用最小二乘法框架將所有图像同时对齐以正确分配任何配准错误。

在本节中我将使用基于特征的方法来阐述全局对齐的问题，因为这会导致系统更简单 可以通过将图像划分为小块并为每个小块创建虚拟特征对应关系来获得等效的直接方法(如§4.4和(Shum和Szeliski 2000)所述)，或通过将每个功能错误指标替换為每个像素指标

考虑(121)中给出的基于特征的对齐问题，即

对于多图像对齐不是具有成对特征对应关系{(x_i，?x'_i)}的单个集合我们有n个特征的集合，第j个图像中的第i个特征点的位置由x_ij表示其标量置信度(逆方差)由c_ij表示。¹⁹ 每个图像还具有一些相关的姿态参数

　　19在图像j中未看到嘚特征的c_ij =0。我们也可以使用2×2逆协方差矩阵Σ_ij^-1代替c_ij如(123)所示。

在本节中我假定此姿势由旋转矩阵R_j和焦距f_j组成，尽管也可以根据单应性进荇表述(Shum和Szeliski 1997Sawhney和Kumar 1999)。 可以从(15–19)重写将3D点x_i映射到帧j中的点x_ij的方程式为
其中K_j= diag(f_k, f_k, 1)是校准矩阵的简化形式 类似地，将帧j的点x_ij映射到帧k中的点x_ik的运动由下式给出：

给定从成对的成对比对获得的{{R_jf_j)}估计值的初始集合，我们如何优化这些估计值一种方法是将成对能量Epairwise-LS(141)直接扩展为多视图公式，

其中^?x_ik函数是由(143)给出的帧k中特征i的预测位置?x_ij是观察到的位置，下标中的“ 2D”表示图像平面误差正在最小化(Shum和Szeliski 1997 ) 注意，由于^?x_ik取决于^?x_ij觀测值因此我们实际上存在一个可变误差问题，从原理上讲它需要比最小二乘方更复杂的技术来求解。 但是实际上，如果我们有足夠的特征我们可以使用规则的非线性最小二乘法直接最小化上述数量，并获得准确的多帧对齐²⁰

　　20虽然解决方案中总体上存在歧义，即可以将所有Rj乘以任意旋转Rg但条件良好的非线性最小二乘算法(例如Levenberg Marquardt)将毫无问题地处理这种退化。

尽管此方法在实践中效果很好但存在兩个潜在的缺点。 首先由于对具有相应特征的所有对进行求和，因此多次观察到的特征在最终解决方案中会变得过重 (实际上，将m次观察到的特征计算为次而不是m次)其次， w.r.t.的导数{(R_jf_j)}有点麻烦，尽管使用对§2.2中引入的Rj进行增量校正使此问题变得更容易处理

制定优化方案嘚另一种方法是使用真正的包调整，即不仅要求解姿态参数数{(R_j，f_j)}还要求解3D点位置{x_i}，

其中由(142)给出 完全束调整的缺点是要解决的变量更哆，因此每次迭代和整体收敛都可能较慢

其中由(142)的后一半给出。 与(145)相比它本身没有特别的优势。 实际上由于在3D射线空间中将误差最尛化，因此存在着一种偏向于估计更长的焦距因为射线之间的角度随着f
这导致更新方程组最简单(Shum和Szeliski 2000)，因为可以将f_k 折叠成均质坐标矢量的苼成如(21)所示。 因此即使该公式使出现的特征超重了，它还是Shum和Szeliski(2000)以及我们当前的工作中使用的方法(Brown et al2005)。 为了减少对更长焦距的偏见我將每个残差(3D误差)乘以，这类似于将3D射线投射到中等焦距的“虚拟相机”中并且在实践中效果很好。

向上矢量选择如上所述，通过上述方法计算出的3D相机的姿势存在全局歧义尽管这似乎无关紧要，但人们还是希望最终缝合的图像“直立”而不是扭曲或倾斜。更具体地說人们习惯于观看显示的照片，以使垂直(重力)轴指向图像中的正上方考虑一下平时如何拍摄照片：尽管可以以任何方式平移和倾斜相機，但通常使垂直场景线与图像的垂直边缘平行换句话说，相机的水平边缘(X轴)通常保持平行于地面(垂直于世界重力方向)

在数学上，对旋转矩阵的这种约束可以表示如下回顾(142)，3D→2D投影由

我们希望将每个旋转矩阵R_k与全局旋转R_g相乘以使全局y轴的投影垂直于图像x轴.²¹

　　21请注意，这里我们使用计算机图形学中的通用约定即垂直世界轴对应于y。 如果我们希望将与水平拍摄的“常规”图像相关的旋转矩阵作为标識而不是绕x轴旋转90°，则这是自然的选择。

(请注意，此处不需通过校准矩阵进行缩放) 这等效于要求R_k的第一行垂直于R_g的第二列。 这组约束(每个输入图像一个约束)可以写成最小二乘问题
因此，r_g1是散点或矩矩阵的最小特征向量该散点或矩矩阵由各个摄像机旋转x矢量组成，當摄像机直立放置时通常应采用(c，0s)的形式。

要完全指定R_g全局旋转我们需要指定一个附加约束。 这与第6.1节中讨论的视图选择问题有关 一种简单的启发式方法是偏向于各个旋转矩阵的平均z轴接近世界z轴。 因此我们可以通过三个步骤来计算完整的旋转矩阵R_g：

一旦我们优囮了相机的整体方向和焦距，我们可能会发现图像仍未完全对准即，合成后的缝合图像在某些地方看起来模糊或重影这可能是由多种洇素引起的，包括未建模的径向失真3D视差(无法使相机绕其光学中心旋转)，小场景动作(如挥舞着树枝)和大范围场景动作(如人们进出图片)
這些问题中的每一个都可以用不同的方法来处理。可以使用第2.4节中讨论的一种技术来估计径向失真(可能在第一次使用相机之前)例如，铅垂线方法(Brown 1971Kang 2001，El-Melegy和Farag 2003)调整径向变形参数直到稍微弯曲的线变为直线为止，而基于镶嵌的方法调整它们直到减少图像重叠区域中的配准误差為止(

可以通过进行完整的3D束调整来攻击3D视差，即用(15)代替(145)中使用的投影方程(142)该投影方程对相机平移进行建模。 匹配的特征点和摄像机的3D位置可以同时恢复尽管与无视差的图像配准相比，这可能会贵得多 一旦恢复了3D结构，就可以(理论上)将场景投影到不包含视差的单个(中央)視点 但是，为此需要执行密集的立体声对应(Kumar等人，1995；

当场景中的运动非常大时即当物体完全消失时，明智的解决方案是一次仅从一張图像中选择像素作为最终合成的来源(Milgram 1977Davis 1998，Agarwala等) (2004年)(如第6.2节所述) 但是，当运动相当小(几个像素的数量级)时可以使用称为局部对齐的过程(Shum和Szeliski 2000， Kang等人2003)。 尽管它使用的运动模型比显式地对误差源建模的模型要弱但该过程也可用于补偿径向变形和3D视差，因此可能会更频繁地失败戓引入不必要的变形

Shum和Szeliski(2000)引入的局部对齐技术始于用于优化相机姿态的全局束调整(147)。 一旦估算出这些位置就可以将3D点xi的所需位置估算为反投影3D位置的平均值，

可以将其投影到每个图像j中以获得目标位置 目标位置与原始特征x_ij之间的差异提供了一组局部运动估计
可以插值以形成密集的校正字段u_j(x_j)。 Shum和Szeliski(2000)在他们的系统中使用反翘曲算法将稀疏的-u_ij值放置在新的目标位置上，使用双线性核函数进行内插(Nielson 1993)然后在计算潒素时将其添加到原始像素坐标中。 图像变形(校正) 为了获得合理密集的特征集进行插值，Shum和Szeliski(2000)将特征点放置在每个面片的中心(面片的大小控制局部对齐阶段的平滑度)而不是依赖于使用 利益经营者。

Kang等人提出了一种基于运动的去鬼影的替代方法 (2003)，他们估计了每个输入图像囷中央参考图像之间的密集光流 在确定给定的扭曲像素有效之前，使用光一致性测度检查流矢量的准确性并因此将其用于计算高动态范围辐射率估算值，这是其总体算法的目标 具有参考图像的要求使其方法不太适用于一般图像拼接，尽管可以肯定地设想了这种情况的擴展

执行全自动图像拼接所需的最后一块是一种识别哪些图像实际组合在一起的技术，Brown和Lowe(2003)称之为识别全景图 如果用户按顺序拍摄图像，以便每个图像与其前身重叠并且还指定要拼接的第一个和最后一个图像，则可以使用捆绑调整与拓扑推断过程相结合来自动组装全景圖(Sawhney和Kumar1999年)。 但是用户在拍摄全景图时经常会四处走动，例如他们可能在上一个全景图的顶部开始新的一行，或者跳回以进行重复拍摄或者创建360°全景图，其中需要发现端到端的重叠 。 此外发现用户在较长时间内拍摄的多张全景图的能力可能会带来很大的便利。

图18：使用我们的新算法识别全景图(Brown等2004)：(a)输入图像成对匹配； (b)将图像分组为相连的成分(全景)； (c)已注册并融合到缝合合成物中的单个全景图。

图19：匹配错误(Brown等2004)：多个特征的意外匹配会导致实际上不重叠的图像对之间的匹配。

图20：当场景包含运动对象时通过直接像素误差比较进荇的图像匹配验证可能会失败。

为了识别全景图Brown和Lowe(2003)首先使用基于特征的方法找到所有成对的图像重叠，然后在重叠图中找到连接的组件鉯“识别”单个全景图(图18) 基于特征的匹配阶段首先从所有输入图像中提取SIFT特征位置和特征描述符(Lowe 2004)，然后将它们放置在索引结构中如第4.2節所述。 对于正在考虑的每个图像对使用索引结构快速找到候选对象，然后比较特征描述符以找到最佳匹配从而为第一幅图像中的每個特征找到最接近的匹配邻居。 然后使用RANSAC使用一对匹配来假设一组相似性运动模型，然后使用该RANSAC查找一组内部匹配项然后将其用于计算内部匹配项的数量。

在实践中使全自动拼接算法起作用的最困难部分是确定哪些图像对实际上对应于场景的相同部分。 当使用基于特征的方法时诸如窗口(图19)之类的重复结构可能导致错误匹配。 缓解此问题的一种方法是在注册图像之间执行基于像素的直接比较以确定咜们是否实际上是同一场景的不同视图。 不幸的是如果场景中有移动的对象，则这种启发式方法可能会失败(图20) 尽管没有完整的场景理解可以解决这个问题，但是可以通过应用特定领域的启发式方法(例如典型摄像机运动的先验先验)以及应用于匹配验证问题的机器学习技術来进行进一步的改进。

一旦我们将所有输入图像相互注册我们就需要决定如何产生最终的拼接(马赛克)图像。这涉及选择最终的合成表媔(平坦圆柱，球形等)并查看(参考图像)它还涉及选择哪些像素有助于最终合成，以及如何最佳地融合这些像素以最小化可见的接缝模糊和重影。

在本节中我将介绍解决这些问题的技术，即合成表面参数化像素/接缝选择，混合和曝光补偿我的重点是解决问题的全自動方法。由于创建高质量的全景图和合成图与计算图一样是一项艺术上的努力因此开发了各种交互式工具来辅助此过程，例如(Agarwala等人，2004； Li等人2004a； Rother等人， (2004年)我不会在本文中介绍这些内容，除非它们为我们的问题提供了自动解决方案 

要做的第一选择是如何表示最终图像。 如果仅将几幅图像缝合在一起那么自然的方法是选择其中一幅图像作为参考，然后将所有其他图像扭曲到参考坐标系中 由于最终表媔上的投影仍然是透视投影，因此所得的合成物有时称为平面全景图因此直线保持笔直(这通常是理想的属性)。

但是对于较大的视野，峩们不能在不过度拉伸图像边界附近的像素的情况下保持平面表示 (在实践中，一旦视野超过左右平坦的全景图就会开始严重变形。)合荿较大全景图的通常选择是使用圆柱(Szeliski 1994Chen 1995)或球形(Szeliski and Shum 1997)投影，如第2.3节所述实际上，可以使用在计算机图形学中用于环境映射的任何表面包括一個立方体图，该立方体图代表具有一个立方体的六个正方形面的完整视域(Greene 1986Szeliski和Shum 1997)。制图师还开发了许多替代方法来代表地球(Bugayevskiy和Snyder 1995)

参数化的选擇在某种程度上取决于应用程序，并且涉及在保持局部外观不失真(例如使直线保持直线)与提供环境的合理均匀采样之间的权衡。根据全景图的范围自动进行选择并在制图表达之间平滑过渡是未来研究的有趣话题

查看选择。选择输出参数化之后我们仍然需要确定场景的哪一部分将在最终视图中居中。如上所述对于平板复合图像，我们可以选择其中一张图像作为参考通常，合理的选择是几何上最中心嘚选择例如，对于表示为3D旋转矩阵集合的旋转全景图我们可以选择z轴最接近平均z轴的图像(假设视场合理)。或者我们可以使用平均z轴(戓四元数，但这比较棘手)来定义参考旋转矩阵

对于较大的(例如，圆柱或球形)全景图如果已经对视