光栅式双目立体视觉传感器的立体匹配方法_魏振忠

Vol.39No.2

红外与激光工程

InfraredandLaserEngineering

2010年4月Apr.2010

光栅式双目立体视觉传感器的立体匹配方法

魏振忠，樊妍睿，张广军

（北京航空航天大学精密光机电一体化技术教育部重点实验室，北京100191）

摘

要：光栅式双目立体视觉传感器的难点之一在于立体匹配问题，为此，提出了一种基于极线

约束和空间点最小距离搜索的立体匹配方法。该方法将光栅式双目立体视觉传感器看作两个光栅结构光传感器，分别标定后可测定光条中心点关于某个结构光模型的三维坐标，若两点匹配，则其三维坐标间的距离理论上为零。引入极线约束，在左摄像机成像光条上找一个特征点，在右摄像机所成像中便可计算出一条极线与之对应，在极线与各光条中心的交点中寻找匹配点。该方法在三维空间进行匹配，计算量小，能够实现点与点的唯一匹配。仿真实验表明了该方法的有效性。

关键词：立体匹配；

立体视觉；

极线约束；

光栅

文章编号：1007-2276(2010)02-0330-05

中图分类号：TP391.41

文献标识码：A

Stereomatchingmethodforrasterbinocularstereovisionsensor

WEIZhen蛳zhong,FANYan蛳rui,ZHANGGuang蛳jun

(KeyLaboratoryofPrecisionOpto蛳mechatronicsTechnology,MinistryofEducation,BeihangUniversity,Beijing100191,China)

Abstract:Stereomatchingisoneofthedifficultiesofrasterbinocularstereovisionsensor.Forthisproblem,astereomatchingmethodwaspresentedbasedonepipolarconstraintsandsearchingminimumdistanceofspacepoints.Themethodtreatedrasterstereovisionsystemastworasterstructurlightsensors.Aftercalibration,the3Dcoordinateforcentrepointoflightstripetothestructurelightmodelwasmeasuredbyusingthismethod.Iftwopointswerematchingpoints,theirdistancebecamezero.Leadinginepipolarconstraint,afeaturepointcouldbefoundintheleftpicture.Thenaepipolarlinecouldbefoundcorrespondinglyintherightpicture.Thematchingpointcouldbefoundintheintersectionpointsofepipolarlineandstructurelinestripes.Thismethodachievedpointsmatchingin3Dspace.Ithassmallaccountofcalculation,andcanobtainuniquematchingpoint.Thesimulationresultshowstheeffectivenessofthemethod.

Keywords:Stereomatching;

Stereovision;

Epipolarconstraint;

Raster

0引言

光栅式双目立体视觉传感器用于物体三维形貌的测量，其关键技术之一在于如何准确快速地实现立体匹配。现有的立体匹配方法[1-5]通常有基于图像灰

度的匹配、基于图像特征和基于解释的匹配或者多种方法相结合的匹配。但这些方法计算量大，获得的特征点较稀疏，需要插值或多种方法融合来获得密集的视差场。而对于光栅式双目立体视觉传感器来说，通过向待测物体投射光栅结构光来增加特征，从而实现

收稿日期：2009-06-10；修订日期：2009-08-05

基金项目：北京市自然科学基金资助项目（3092014）；教育部新世纪优秀人才资助项目（NCET蛳07蛳00043）作者简介：魏振忠(1972-)，男，山东青岛人，副教授，博士，主要从事机器视觉、光电精密测试等方面的研究。

Email:zhenzhongwei@buaa.edu.cn

第2期

魏振忠等：光栅式双目立体视觉传感器的立体匹配方法

331

立体匹配。光栅结构光存在一个光条识别的问题，现有的方法如空间编码方法[6]，时间编码方法[7]等，有些要投射多幅图像，不适用于动态测量，有些最少可见光条数，这些要求了其实际运用。文中的方法，先利用光栅结构光进行标定，得到一组点的三维坐标，然后利用极线约束和最小距离搜索来实现光条上光点的立体匹配。该方法中，结构光模型号的判断（即光条的识别）辅助光点立体匹配，同时，极线约束的引入减少了光条识别的计算量，也实现了光点的立体匹配。

得的图像，即左图像IL与右图像IR，如图1所示。如果pL和pR是空间同一点p在两个图像上的投影点，称

pL和pR互为对应点。

图1双目立体视觉中的极线几何关系

1立体匹配原理

光栅式双目立体传感器可看作左右两个光栅结构光传感器，分别由左、右摄像机和光栅投射器组成，对其分别进行标定后，便可获得被测物体上任意一点的三维坐标。对于物体上同一点，在两光栅结构光传感器中测量所得三维坐标理论上应该相同或很相近。因此，根据两光栅结构光视觉传感器对不同光条测量结果之间的距离即可判断两光点是否匹配。光条三维中心点间距离的计算方法如下[8]：

左右光栅结构光视觉传感器所得各光条三维中心点构成的集合分别记为准LT和准RT。取准LT中一点，计算其与准RT中所有点的欧式距离，找出最小值记为d，并记录准RT中对应点的三维坐标。计算该对应点与准LT中所有点的欧式距离，找出最小值记为d′，若d=d′，且对应点相同，则该距离参与最小距离的计算。对准LT中所有点依次进行上述计算后，将所有最小距离相加所得之和即为两光条三维中心点间的最小欧式距离和。

但该方法要求光条中心上所有的点都参与计算，在光条中心点较多或光条数较多的情况下，计算量非常大，可能会影响匹配的速度，所以在此基础上进行改进。该光栅式双目立体视觉传感器是一个双目系统，可引入极线约束，在左摄像机成像光条上找一个特征点，在右摄像机所成像中便可计算出一条极线与之对应，这样便将搜索的范围由整个光条中心点缩小到极线与光条中心的交点，减少了计算量，且实现了点与点之间的匹配。

Fig.1Epipolarconstraintinbinocularstereovisionsystem

如果已知左右摄像机的内参数矩阵AL、AR和两个摄像机之间的结构参数R、T，则极平面方程可表示为：

pRARSRALpL=0

式中：S为反对称矩阵，由平移矢量定义为：

󰀁󰀂󰀂󰀂󰀂󰀂󰀂󰀂󰀂󰀂󰀂󰀂󰀃

T-T-1

(1)

0

-tz0

ty-tx0

S=[t]x=tz

-tytx

󰀄󰀅󰀅󰀅󰀅󰀅󰀅󰀅󰀅󰀅󰀅󰀅󰀆

因此，基本矩阵可表示为：

F=ARSRAL

-T-1

(2)

基本矩阵只与视觉系统的参数（摄像机内部参数和两摄像机结构参数）有关，与外部场景无关，是双目立体视觉内在的一种约束关系。

3立体匹配算法

对于左图像中的待匹配点，可利用极线约束计算出其在右图像中的极线，该极线与右图像中各光条的交点作为待选点。将左右图像的特征点分别代入标定好的结构光传感器模型中得出其三维坐标，再计算相同模型号对应两图像中点的距离，搜索其中最小距离，并记录其对应的模型号和匹配点，即完成了光条的识别和光点的匹配。

3.1定义点及模型的集合

左右光栅结构光视觉传感器中各线结构光传感器测量模型集合分别记为准LM和准RM：

2极线约束

在双目立体视觉系统中，数据是两个摄像机获

[9]

准LM=MLi

=軒=AxρXLL

MLi=

軌·x=0L

Ri

=i=1,2,…,n

=(3)

332红外与激光工程第39卷

軒

准RM=MRiMRi=ρRXR=ARxi=1,2,…,n

LRi·x=0

===(4)

左光栅结构光视觉传感器各光条图像中心点构成的集合记为准LPi，i=1,2,…,m1，右光栅结构光视觉传感器各光条图像中心点构成的集合记为准RPi，i=

1,2,…,m2,则有：

軒X軒=(u,v,1)Tk=1,2,…,n=准LPi==XLkLkLkLki軒X軒=(u,v,1)Tk=1,2,…,s=准RPi==XRkRkRkRki

3.2具体算法

(1)在左光栅结构光传感器图像中，取某一光条中心点集合准LPi中的一特征点pL，将其代入左光栅结构光视觉传感器的测量模型集合准LM中，得到关于这

(5)(6)

图2仿真系统三维图

Fig.23Dplotofsimulationsystem

光平面方程：

L1-0.1077x+0.0077y-0.0231z=1L21.4000x-0.1000y-0.3000z=1L30.0933x-0.0067y+0.0200z=1L40.0483x-0.0034y+0.0103z=1L50.0326x-0.0023y+0.0070z=1从世界坐标系到摄像机坐标系的变换矩阵：

0

0000000000

n个测量模型的n个特征点三维坐标。

(2)将pL代入极平面方程(1)中，即可得到一个关于pR的线性方程，即该点在右光栅结构光视觉传感器所成图像上的极线方程，该极线与右图像中光条的中心集合准RPi，i=1,2,…,m2有m2′(m2′≤m2)个交点。

(3)将m2′个交点依次代入右光栅结构光视觉传感器的测量模型集合准RM中，由其中每一个光平面测量模型可获得对应所有m2′个交点的三维坐标，共可获得n×m2′个交点三维坐标。

0.8138-0.34200.0000-0.9397

00000000000

0.46980.8660-0.1710

00000000000

RL=-0.5000

-0.2962

00000000000

(4)分别计算步骤(3)与步骤(1)中，由同序号线结构光传感器测量模型得到的光条三维中心点之间的距离，对应每一个结构光传感器可得到m2′个距离，记录其中最小者，最终可得到n个最小距离。

-80.0000

tL=-150.0000

20.00000.1710-0.2962-0.9397

00000000000

(5)搜索n个最小距离中的最小者记为dmin，若小于某一阈值，即dminRR=0.5000

0.0000

00000000000

0.86600.46980.8138-0.3420

00000000000

00000000000

90.0000

4仿真实验

4.1双目系统仿真

构架一个由两个摄像机和5个光平面构成的双目光栅结构光视觉传感器模型，如图2所示。

在世界坐标系下设定5个光平面方程、两个摄像机坐标系及内参矩阵。

tR=-150.0000

50.0000

内参矩阵（设两摄像机的内参矩阵相同）：

00000000000

1200.00.00001200.00.0000

0.00000.00001.0000

AL=AR=0.0000

0.0000

00000000000

第2期

魏振忠等：光栅式双目立体视觉传感器的立体匹配方法

333

计算两摄像机之间的旋转矩阵R及平移矩阵T：

!\"\"\"\"\"\"\"\"\"#

在左图像中左数第一根光条上任取一个点pL，计算其极线，设极线方程为ax+by+c=0，其中lpR=[a

0.480.5656

-0.29620.82450.4821

!\"\"\"\"\"\"\"\"\"#

0.8399-0.01550.25

$%%%%%%%%%&

R=

-0.6880

$%%%%%%%%%&

bc]=FpL。该极线与右图像上的5个光条有5个交点，如图4所示。

T

-147.2243-0.880990.1345

T=

摄像机模型[9]为：s=v=0

l

0

!\"\"\"\"\"\"\"\"#

u

$%%%%%%%%&

!\"\"\"\"\"\"\"\"\"#

αx

0

u0v01

000

αy0

$%%%%%%%%%&

’(R0

t

T

l

!\"\"\"\"\"\"\"\"\"#XYZl$%%%%%%%%%&

(7)

用一平面截5个光平面于5条直线，然后将光条上点的世界坐标和内外参矩阵代入公式(7)，可得到这

5条截线在两摄像机图像平面上的像坐标，在像坐标上加上正态分布的位置噪声，画出图像如图3所示。

图4极线约束示意图

Fig.4Epipolarconstraintfigure

分别计算前面得到的具有相同序号的结构光模型所得的三维点坐标之间的距离，结果如表1所示。

表1最小距离数据

Tab.1Dataofminimaldistances

Modelnumber1

图3仿真光栅图

Sequencenumberintherightpicture/mm10.00011456.55827.11311223311

2476.03152.712165.36513.913198

31424.742.508610.373128.37596.2

42496.2440.9163.4631363.94342.1

532.91046.926.923483.042415.3

23

Fig.3Simulationfigureofraster

4.2立体匹配

计算基本矩阵如下：

!\"\"\"\"\"\"\"\"\"\"#

45

$%%%%%%%%%%&

-3.4982e-006-5.1905e-0063.0748e-006-0.010138

7.6371e-0050.0129650.30174

F=-4.187e-006

-0.0069058

可以看出：第一行第一列的数据明显小于其他值并接近零，其对应模型号为1，在右图像中为第一根光条上

334红外与激光工程第39卷

的交点，该点的图像坐标为(-125.9293,-257.4259)，而通过仿真模型算出的图像点坐标应为(-125.9742,

[4]

onComputerVisionandPatternRecognition,2004:74-81.BLEYERM,GELAUTZM.Alayeredstereomatchingalgorithmusingimagesegmentationandglobalvisibilityconstraints[J].JournalofPhotogrammetryandRemoteSensing,2005,59(3):128-150.[5]

ZHANGAi蛳wu,YANXue蛳ping,HUShao蛳xing,etal.Newstereo

precise

matching

method

for

free蛳form

surface

-257.3685)，误差很小，所以对应交点为匹配点。按上述方法可以实现所有光条点的立体匹配。

5结论

文中将光栅式双目立体视觉传感器看作两个光栅结构光传感器，分别对其进行标定后，可获得光条上任意点关于某个光平面模型的三维坐标。利用极线约束，通过计算极线与各光条的交点来找出候选点，然后通过计算在相同模型参数下各候选点与待匹配点间的三维坐标距离，找出其中的最小距离对应的模型号和匹配点，从而实现了光点的匹配。该方法节省了计算量，提高了匹配速度，具有较好的发展空间。且因为利用点的三维信息来完成立体匹配，可减少误匹配。参考文献：

[1]

ZHOUDong蛳xiang,CAIXuan蛳ping,SUNMao蛳yin.Afeature蛳constrainedstereomatchingalgorithm[J].JournalofImageandGraphics(周东翔,蔡宣平,孙茂印.一种基于特征约束的立体匹配算法.中国图像图形学报)，2001，6(A):7.

measurementwithcomputervision[J].InfraredandLaserEngineering(张爱武,闫雪萍,胡少兴,等.用于自由曲面视觉测量的立体精匹配方法.红外与激光工程),2001,30

(2):87-90.[6]

TAOGuo蛳zhi,ZHUJi蛳gui,YESheng蛳hua.Codingmethodofthe

grate

structure

sensor

[J].

Aviation

Precision

ManufacturingTechnology(陶国智，邾继贵，叶声华.光栅式结构光传感器的编码方法.航空精密制造技术),1999,35

(3):18-20.[7]

SUNJun蛳hua,WEIZhen蛳zhong,ZHANGGuang蛳jun.Acodingmethodforhigh蛳densitygratingstructuredlight[J].Opto蛳ElectronicEngineering(孙军华,魏振忠,张广军.一种高密度光栅结构光编码方法.光电工程),2006,33(7):78-82.

[8]XIEGuang蛳hui,WEIZhen蛳zhong,LIUZhen,etal.Light蛳stripesmatchingmethodforrasterbinocularstereovisionsensor[J].JournalofBeijingUniversityofAeronauticsandAstronautics(谢光辉，魏振忠，刘震，等.一种光栅式双目立体视觉传感器光条匹配方法.北京航空航天大学学报),

[2]SUNJ,ZHENGNN,SHUMHY.Stereomatchingusingbeliefpropagation[J].IEEETransactionsonPatternAnalysisandMachineIntelligence,2003,25(7):787-800.

2008,35(1):113-116.[9]

ZHANGGuang蛳jun.MachineVision[M].Beijing:SciencePress(张广军.机器视觉.北京:科学出版社),2005:108-112.

[3]LIH,CHENG.Segment蛳basedstereomatchingusinggraphcuts[C]//ProceedingsofIEEEComputerSocietyConference