朱宁宁，杨必胜，陈 驰，董 震
武汉大学测绘遥感信息工程国家重点实验室，湖北 武汉 430079
全景图像能够反映摄影位置360°球型范围内的所有景致，在无人驾驶、街景地图和虚拟现实(VR)等领域有广泛的应用[1-5]。将全景相机中不同方向镜头采集的普通或鱼眼图像进行投影变换，如球面投影、柱面投影，通过拼接可获取全景图像[6-11]。全景图像的位置和姿态参数是后期目标定位、场景重建等工作的前提，因此，准确、稳健地获取全景图像的位姿参数是一项基础且关键的工作[12-13]。
文献[14]研究了基于车载全景相机的影像自动匹配和光束法区域网平差，对全景相机所能达到的定位精度做了详细的分析；
文献[15]对广泛使用的5点法相对定向算法[16]进行改进，使其适用于球面全景影像，并提出一种适合球面全景成像特点的相对定向计算流程，试验表明相对定向解算的姿态和平移参数能够达到较高的精度；
文献[17]根据多镜头组合型全景相机的严格成像机理，分析了广泛采用的全景理想成像模型系统误差的来源，推导出误差分布规律，并深入比较了严格成像模型和理想成像模型之间的差异；
文献[18]指出多镜头图像变换拼接全景图像会破坏成像中的共线条件，使拼接后的全景图像难以精确进行摄影测量中的三维重建等工作，并通过仿真试验详细分析了姿态误差和位置误差对柱面全景成像的影响。
在影像位姿参数的解算中，线特征具有很好的优化作用[19-24]。文献[19]通过提取建筑物边缘的直线特征作为配准基元，利用LiDAR点云空间中的线特征替代传统配准模型中的点特征，实现高分辨率航空影像与机载激光雷达的一步配准；
文献[20]利用高精度的规则化道路矢量线，解算新的影像外方位元素，实现机载激光雷达数据和高分辨率航空影像自动配准；
文献[21]通过提取建筑物顶面的线特征，实现了无人机影像与激光点云的粗配准，削弱现有配准方法对惯导系统输出值的依赖；
文献[22]利用从全景图像和激光点云中提取的天际线特征，通过迭代优化的方式实现天际线的最优匹配，从而获取全景图像精确的位姿参数，但并未给出基于线特征的全景图像位姿解算模型。
综上所述，目前线特征在航空影像的位姿解算中得到了较为广泛的应用，但全景图像的位姿解算仍多基于点特征，而真实场景中普遍存在的线特征尚未得到充分利用，如建筑物轮廓、杆状地物等，且缺少点-线特征联合的全景图像位姿解算模型。因此，本文提出一种点-线特征联合的全景图像位姿解算方法，其中，点特征可直接计算位置和姿态参数，线特征可对姿态参数进行约束，将点-线特征结合有利于提高全景图像位姿解算的精度和稳健性。本文方法流程如图1所示。
图1 本文方法流程
本节首先论述基于点特征的全景图像位姿解算模型(简称“点模型”)；
其次，研究基于线特征的全景图像位姿解算模型(简称“线模型”)；
然后，构建点-线特征联合的全景图像位姿解算模型(简称“联合模型”)，并针对水平线和垂直线这两类特殊的线特征，获取简化后的联合模型；
最后，给出联合模型的精度评价指标。
1.1 点模型
根据几何成像模型的不同，全景图像可分为球面全景图像、柱面全景图像和立方体全景图像等，目前最常用的是球面全景图像，如图2所示，球面模型分别以竖直角(v)和水平角(h)表示全景图像的行和列坐标，属于等角投影成像。
图2 全景图像的位置和姿态参数
球面全景图像的成像模型如式(1)所示[25]
(1)
式中，r、c为地物点p(x,y,z)在全景图像上的行和列坐标；
R为全景图像的成像姿态矩阵，由姿态参数(ex,ey,ez)构成；
(XS,YS,ZS)为全景图像的成像位置；
D为弧度和像素之间的转换参数，单位为像素/rad。式(1)中
(1)对式(1)适当变换可得到点模型，如式(2)所示
(2)
式中，v、h为地物点(x,y,z)在全景图像上的俯仰角和水平角。其中，v=r/D，h=c/D。
(2)在点模型中，令r′=tanh，c′=tanv/cosh，则式(2)可表示为
(3)
(3)使用直接线性变换(DLT)方法解算式(3)中的姿态矩阵R和位置参数(XS,YS,ZS)，如式(4)所示
(4)
式中，li(i=1,2,…,11)是内外方位元素的表达式。li、r1、r2、r3的计算公式为
则点模型可表示为
G2p×11·X11×1=W2p×1
(5)
式中，G、X、W的计算公式如下
点模型中的待求解矩阵X包含11个参数(l1,l2,…,l11)，因此至少需要6对同名特征点(p≥6)进行解算。在计算出X后，由式(6)求解姿态矩阵R和位置参数(XS,YS,ZS)
(6)
式中，γ2、Rv的计算公式如下
1.2 线模型
线模型是使用同名特征线求解成像参数，由于三维空间中直线上的任意两点p1(x1,y1,z1)、p2(x2,y2,z2)与全景图像中对应直(曲)线上的任意两点pm(rm,cm)、pn(rn,cn)满足共面条件，线模型不要求点对满足对应关系。三维空间中直线上任意两点p1、p2和成像位置(XS,YS,ZS)的共面方程可表示为
(7)
(1)对式(3)进行变换可得
(8)
(9)
式中，Δx、Δy、Δz的计算公式如下
(3)将式(9)展开计算可得
[Δck-Δr]·Rv·[ΔxΔyΔz]T=0
(10)
式中，Δr、Δc、k的计算公式如下
则线模型可表示为
Qt×11·X11×1=Ut×1
(11)
式中，Q、U的计算公式如下
式(11)为t条线组成的线模型，该模型为奇次方程，无法单独求解，必须结合点模型进行解算；
此外，该模型中l4和l8的系数为0，其余未知参数的系数不为0，表明线特征主要用于约束姿态参数。
1.3 联合模型
综合点特征和线特征的全景图像位姿解算模型，可得点-线特征联合的全景图像位姿解算模型，如式(12)所示
(12)
式(12)为p对同名点和t对同名线组成的联合模型，点模型为非齐次方程，线模型为齐次方程，两者结合的点-线联合模型为非齐次方程。在联合模型的求解中，要求2p+t≥11，为保证有非零解，p≥1。在平差求解出X后，可由式(6)计算姿态矩阵R和位置参数(XS,YS,ZS)。
入院后当日或次日清晨采集空腹血标本，采用自动生化分析仪测定空腹血糖、甘油三酯(TG)、总胆固醇(TC)和高密度脂蛋白胆固醇(HDL-C)水平。酶联免疫吸附试验测定脂蛋白(a)[Lp(a)]水平。用标准方法直接测定低密度脂蛋白胆固醇(LDL-C)水平。
针对垂直线特征，即Δx=Δy=0，联合模型可简化为
(13)
针对水平线特征，即Δz=0，联合模型可简化为
(14)
式中，vi表示水平线的斜率，计算公式如下
vi=Δyi/Δxi
在垂直线简化的联合模型中，线特征仅Δr、Δc和k未知，3个变量只与全景图像的坐标相关，与三维场景坐标无关，因此在实际应用中具有极大的实用性。
1.4 联合模型的精度评价
由全景图像的姿态矩阵R可计算(ex,ey,ez)，此时位姿参数均已得到。但应指出，DLT解算方法本身的缺陷会对位姿参数求解的精度产生影响，理论上6个未知参数(ex,ey,ez,XS,YS,ZS)至少需要3对控制点求解，但本文中使用的DLT解法至少需要6对控制点解算，或者同时满足2p+t≥11&p≥1。此外，使用检查点对联合模型的精度进行评价，在解算出X后无须计算(ex,ey,ez)和(XS,YS,ZS)，可将其直接代入式(4)中计算(r′,c′)，并由式(15)获取检查点在全景图像中的俯仰角和水平角(v′,h′)
(15)
使用式(16)计算各个检查点的模型误差(δi)和模型求解中误差(δ)，δ为联合模型的精度评价指标
(16)
使用仿真数据检验联合模型的适用性和容差性。首先，仿真道路场景点云，由此可获取不同位姿参数下的虚拟全景图像；
然后，从特征点和线的不同组合方式以及大姿态角两方面分析联合模型的适用性；
最后，通过人工引入不同类型与量级的点-线误差分析该模型的容差性。
2.1 仿真道路场景
仿真的道路场景以路面中轴线为基准，分别生成道路、路边护栏、道旁树和建筑物4种地物的点云，约300万点，为了易于分析，将建筑物和道路等面状地物使用格网表达[26-29]。如图3所示，路面长度和宽度分别为900和24 m，以路面作为高程基准，护栏高度为2 m，树木高度位于8～12 m，建筑物高度位于20～50 m，将各条线的交点作为控制点或检查点，如建筑物角点、路面格网交点等。图3(a)、(b)分别从不同视角展示了仿真点云，图3(c)为该场景下生成的虚拟全景图像(2000×4000像素，D=2000/π像素/rad，下同)，成像位置在道路中间距路面3 m高度处，其中的黑色方块表示特征点，场景中共有1608个特征点，任意两个特征点构成特征线。
图3 仿真道路场景
2.2 联合模型的适用性分析
(1)特征点和线的组合方式分析。联合模型要求特征点和线的组合必须满足两个条件：2p+t≥11和p≥1，在特征点和线最少条件下检验该模型的适用性，分别试验2点+7线、3点+5线、4点+3线和5点+1线这4种组合方式，由于特征点的数量均小于6个，点模型无法使用(p≥6)。将全景成像的姿态参数(ex,ey,ez)设为(1.0°,-2.0°,3.0°)，位置参数(XS,YS,ZS)设为(300.0 m, 400.0 m, 3.0 m)。场景中共有1600多个特征点，选取与成像位置平面距离小于100 m的特征点共136个，再从中随机选取特征点分别构建4种特征点和线的组合，特征线由随机选取的两个特征点组成，为避免偶然误差，每种组合进行10次试验，取平均误差作为最终精度评价指标。图4(a)—(d)分别展示了4种组合下特征点和线的分布，红色数字与对应的红色方块为选取的特征点(图4(a)中1～2)；
黑色数字与对应的黑色连线为特征线(图4(a)中1～7)。使用136个特征点进行模型精度评价，经过10次试验取平均值的方式，结果表明4种组合下模型误差均为0像素，由此证明联合模型在不同特征点和线组合情况下的适用性，同时也表明联合模型可用于点特征缺失场景中全景图像位姿参数的解算。
图4 特征点和线的不同组合方式
(2)大姿态角分析。使用2点+7线的组合方式，检验联合模型在大姿态角情况下的适用性。如图5(a)—(d)所示，分别试验(a)ex=30°,ey=0°,ez=0°；
(b)ex=0°,ey=30°,ez=0°；
(c)ex=0°,ey=0°,ez=30°；
(d)ex=30°,ey=30°,ez=30°这4种大姿态角情况，由于仅选取2个特征点，无法使用点模型进行求解。将全景成像的位置参数(XS,YS,ZS)均设为(300.0 m, 400.0 m, 3.0 m)，特征点和特征线的选择方法跟上文一致，且每种情况仍随机进行10次试验，取平均误差作为评价指标。使用136个特征点进行模型精度评价，结果表明4种大姿态角情况下联合模型误差均为0像素，由此证明了联合模型在大姿态角情况下的适用性。
图5 不同情况的大姿态角分析
2.3 联合模型的容差性分析
表1 垂直线辅助的联合模型精度与可靠性分析
图6 全景图像坐标误差分析
图7 三维场景坐标误差分析
由表1、图6和图7可得出以下6条结论：
(4)不同量级(0.5～5.0像素)的一类误差试验表明，两条垂直线效果优于1条垂直线，3条垂直线效果与两条垂直线相似，不同数量垂直线的加入均优化了解算结果。
(6)综上可知，无论是一类误差还是二类误差，无论是多控制点、均控制点还是少控制点，每种情况10 000次试验的结果表明，理论上联合模型在精度、稳健性和容差性等方面优于常用的点模型。
点-线特征联合的全景图像位姿解算方法可应用于全景图像与激光点云的融合，使用真实场景的车载激光点云和两幅全景图像进行试验，同时验证点-线特征联合的位姿解算方法优于单纯的点特征解算方法[31]。图8展示了真实场景的激光点云，约1800万点，包含建筑物、路灯和道旁树等地物，道路长度约为500 m，场景中的建筑物轮廓、灯杆等可提供垂直线信息。图9为该场景中采集的两幅全景图像(4096×8192像素)，分别为全景图像Ⅰ和Ⅱ，两幅全景图像中各选取了两条垂直线。
图8 真实场景的激光点云
图9 真实场景的全景图像及其垂直线信息
从激光点云和全景图像中手动选取同名特征点，全景图像Ⅰ和Ⅱ中各选取了20对同名点，此外分别从两幅全景图像中选取两条垂直线。在联合模型中，无须从激光点云中选取垂直线上的特征点，仅从全景图像中选取垂直线上、下两端点的图像坐标。为避免点位分布的影响，从20对特征点中随机选取p=6、10对点，分别进行500次有垂直线(δa)和无垂直线(δb)的试验，每次试验均使用20对特征点进行精度评价。将500次试验的结果划分为4个等级，即强优化(δa≪δb)、弱优化(δa<δb)、弱退化(δa>δb)和强退化(δa≫δb)，在此以|δa-δb|>5像素作为强弱区分指标。
如表2所示，在均控制点情况下(p=6)，两条垂直线的加入可以极大地优化点特征解算方法，两幅全景图像的优化率均在90%左右，且强优化率在70%左右，远远大于弱优化率的20%左右；
在多控制点情况下(p=10)，两幅全景图像的优化率均在75%左右，且弱优化率大于强优化率，表明在控制点较多的情况下，垂直线的加入仍然可以优化融合效果，但不如控制点较少的情况下明显。试验中出现的少量弱退化和极少数强退化的原因，首先是全景图像与激光点云的融合精度跟特征点的空间分布有关，当随机选择的特征点过于集中，会导致融合出现较大偏差，即使附加垂直线也不能达到优化效果；
其次，全景图像本身存在拼接误差，特征点的选取若位于拼接误差较大的区域也会影响融合结果，导致垂直线特征辅助作用的削弱。图10展示了使用点-线特征联合的全景图像位姿解算方法，实现全景图像与激光点云融合的局部效果，图中的黑色点为激光点云。
图10 全景图像(局部)与激光点云的融合
表2 点-线特征联合全景图像位姿解算方法的应用分析
本文提出了一种点-线特征联合的全景图像位姿解算方法，通过仿真道路场景证明了该方法具有优异的适用性和容差性，将该模型应用于全景图像与激光点云的融合，从理论和实践两方面证明了点-线特征联合的位姿解算方法优于单纯的点特征解算方法。本文的结论如下：①点-线特征联合的全景图像位姿解算方法中，使用线上的任意两点表示线特征，且不要求选点具有对应关系，因此易于选取，具有较高的实用性；
②点-线特征联合的全景图像位姿解算方法适用于任意姿态角下全景成像位姿参数的解算，具有极大的适用性；
③点-线特征联合的全景图像位姿解算方法在精度、稳健性和容差性等方面优于常用的点特征解算方法。