一种基于特征级融合的多模态生物特征识别方法

一种基于特征级融合的多模态生物特征识别方法王风华孟文杰（中国石油大学（华东）计算机与通信工程学院，青岛266555）摘要牛物特征识别是信息技术领域的研究热点，其中多模态牛物识别技术凭借更好的适用性、更高的安全性及更优的性能成为发展趋势。提出了一种融合虹膜特征和掌纹特征的多模态生物特征识别方法，该方法分别提取虹膜及掌纹特征，融合时不同于传统的匹配级融合，而是从特征级融合入手，采用并行特征融合策略，将两特征向量以复向量的形式进行融合，构威复向量空间，并利用酉距离进行匹配决策。实验结果表明此方法比单模生物特征方法在识别性能上有了明显改善，同时与传统兀呢级融合策略相比，更有优势，识别效果更好。关键词特征级融合多模态生物特征识别中图法分类号TP391.41;文献标志码A随着信息技术的迅速发展，如何在数字环境中进行快速、准确、安全的个人身份识别与验证成为备受关注的热点问题。生物特征识别技术因而受到广泛关注，并成为未来信息安全的重要解决方案。日前，基于单模态的生物识別技术取得了非常多的研究成果，并得到了应用。但随着应用领域的不断拓宽，单模态牛物识别技术在应用中表现出许多弊端和局限性，具体表现在：在复杂环境下某些牛物特征在采集过程中易受干扰；生物特征伪造技术的进步使得单模态识别系统存在安全隐患；实际存在的不普遍性（如特殊群体存在牛物特征缺失、损伤.病变等｝影响了生物识别技术的广泛应用。基于上述原因，一种更可靠的应用模式，多模态牛物识别技术应运而生。多模态生物识别技术就是利用多种牛物特征进行身份识别，在提高识别可靠性和应用广泛性方面，表现出更好的性能⑴O多模态生物识別技术的研究始于20世纪90年代，并提出了许多有效的多模态生物特征识别方2012年2月13H收到山东省自然科学基金（ZR2011FQ018/、中央高校基本科研业务费专项资金3]o从融合层次的角度分析目前的方法，多种生物特征在融合时，匹配级和决策级是选择较多的层次。决策级融合在逻辑上比较简单，但对系统性能的提高能力有限。匹配级融合的对象是特征匹配后的分数（MatchingScore），这种方式是应用最普遍的一种，但匹配级的融合同样没冇充分利用不同模态生物特征所蕴含的类别信息。相比兀配级和决策级，特征级能够最人程度的利用不同模态特征的区分性，同时消除原始样本的冗余性，在理论上可以达到最佳的识别效果⑷，因此本文没有选择匹配级或决策级，而是从特征级融合入手，提出了一种基于虹膜和掌纹的多模态生物特征识别方法。1多模态生物识别系统框架虹膜识别和拿纹识别是广受关注的两种生物特征识别技术，二者都具备非侵犯性、易于接受等特点，此外在识别原理和识别过程上也具有许多相似性。因此，基于两者结合的多模态生物识别系统具有良好的可操作性和广阔的应用前景。虹膜识别和掌纹识别主要包括图像采集.图俊预处理、特征提取、匹配和决策等几个过程。当多牛•物特征的融合时，由于兀配级与决策级不能最大 选择了特征级，在特征级对虹膜特征和掌纹特征进行融合，并对融合后的多模态特征进行决策识别，具体框架结构如图1所示。⑻内外边绿定位石图像化后图像(b)眼险定位后图像(d)对比度增强石图像图2虹膜图像预处理特征提取特征提取羣纹待征_►特征融合V_1图像険处理模式匹配决策模板数据库Gabor滤波器，通过提取多方向和多尺度虹膜滤波图像的绝对平均偏差来描述虹膜纹理特征，具体实现如下。首先将经过预处理后的虹膜图像分为8个大小均匀的子块，每个图像子块的大小为64X64像素。对于每个子块图像利用构建的Log-Gabor滤波器组提取相应的虹膜纹理特征。我们共构造了4个同类匹配/接受异类匹配/長潍图1结构框架图从图1所示的结构框架可见，利用多模生物特征进行身份识別时，首先从待识別人采集虹膜和学纹图像，并分别进行特征提取，然后对两种特征进行融合，融合后特征与对应模板库进行匹配，最后根据兀配结果进行最终的决策(判为同类匹配则搖收，判为异类兀配则拒绝)。下面分别对采用的谚别算法和融合策略进行介绍。2识别算法介绍2.1虹膜识别算法虹膜识别冃前己提岀了许多有效的识别算法，其中广泛采用的是利用2DGabor滤波器提取虹膜纹理特征同o近来的研究发现Log-Gabor滤波器在提取虹膜纹理特征时表现出更好的性能。因此，本文采用的是基于2DLog-Gabor滤波的识别算法，具体过程如下。虹膜识别首先需要对虹膜图像进行预处理，包括内外边缘及眼脸的定位、归一化及对比度增强等，具体如图2所示。尺度，每个尺度4个方向(0=0：,45c,90!,135*),这样就一共构造了16个Log-Gabor滤波器。根据公式］D，每个子图像使用这16个不同的Log-Gabor滤波器进行滤波,总共可以产生128个滤波图像。F；(m,n)二Ij(x,y'gB(m-x,n■y)i二1,2,・・・，20;j=1,2,・・・，8(1)式(1)中Ij(x,y)是增强后的第j个有效虹膜图像子区域，g；(x,y)表示构造的第i个偶Log-Gabor滤波器，F'(m,n)是第j个子图像的第i个尺度的输出。在这128个滤波图像中提取虹膜纹理特征。对每一个滤波后的图像，按照下式计算它的绝对平均偏差V作为特征：V；=yj~(XIF；(m,n)・M|)，i二1,2,・・・，16;j二1,2,・・・，8(2)式(2)中M表示滤波图像F；(m,n)的均值，N是滤波图像的总个数。特征绝对平均偏差是一个类似于方差的统计量，但在描述图像特征方面要优于方差。所有滤波图像的平均绝对偏差组成了一个一维的特征向量V:V=［v；,vj,V：6,V；,V「,…,V?,…,v「］°‘腹探瀛艰緞¥蹲般魄yw过畑的歩骤將得到-的28维的纨理特 (a)原始图像(b)二值图像(c)边界跟踪(d)建立坐标(c)取屮间区域(0预处理后图像征向量，用它来描述蛆膜的细节特征。2.2掌纹识别算法掌纹识别是最近发展起来的一种生物特征识别技术，由于它的取样可以像指纹和手形那样方便，乂可以保证稳定性和唯一性，所以受到了广泛的关注。手掌是指从手指根部到手腕这部分，掌纹是其上出现的花纹和纹理。掌纹图像屮的主要特征可以分为屈肌纹.皱纹、乳突纹.点特征这四类。本文在提取掌纹特征时，采用了局部保留投影(LocalityPreservingProjections,LPP)的算法⑹。具体如下。当采集掌纹图像时，手掌放的位置、方向以及手掌张开的程度每次都有所不同，这使得不同时间从同一手掌采集的图像会有不同程度旋转和位移。同时，由于每个人的手掌大小不一样，使得采集到的掌纹图像大小也不一样，这不利于特征提取和匹配。因此在特征提取前，先要进行预处理，对准和归一化掌纹图像。预处理过程如图3所示。纹图像向由拉普拉斯掌纹张成的子空间上投影，得到的系数向量作为该掌纹的特征向量V2o3特征级融合策略及决策在分别得到虹膜和掌纹的特征后，需要在特征级进行融合。传统策略往往是将两组特征向量首尾相连生成一个超级向量作为新的特征向量。斥管这种方法在多数情况下能有效地提高识别率，化其缺点也是明显的：由于特征合并后的维数是两原始特征的维数之和，这就导致了合并后新特征的维数急剧增加，从而使得融合后特征抽取或识别的速度受到影响。本文采用了一种并行特征融合策略。该策略的基本思想是：利用复向量将两组特征向量合并在一起，给出融合特征的一种合理表示。自然，融合后各样本的并行特征构成复向量空间，然后在复向量空间中进行模式匹配。具体介绍如下：设a和P为虹膜和掌纹对应的两个特征向量。我们用复向量丫二a+ip(i为虚数单位｝来表示a和0的并行融合特征。从广义上看，若两组特征a与p的维数不等，低维的特征向量用零补足。例如，a=(8],a2,83)T10=(b[,b?)丁,则组合特征为Y二(+ib[,a?+ib2,a3+iO)T。并行特征空间定义为C=｛a+iplaeA,pgB)。明显地，该空间为n维复向量空间。定义如下内积：(X，Y)=XhY,其中，X,YGC,H为共觇转置符号。定义了以上内积的复空间称为酉空间。在酉空间内，由内积引入以下度量(范数):图3拿纹图像预处理过程Wp二WPCAWLPP(3)对拿纹图像预处理后，然后选出一部分掌纹作为训练样本，并利用训练样本生成拉普拉斯掌纹，具体的实现方法是：先用PCA将预处理后掌纹图像图像映射到PCA子空间中，再在子空间中釆用LPP方法降维，最后得到的映射矩阵口J表示为：映射矩阵W屮的每一列向量便构成了拉普拉其中，Z=(a,+ig,…，a.+ibjT两复向量间的距离(称之为酉距离｝定义为：丨丨乙-乙丨丨二榛乙辽2)-Z?)。其中｛乙-Z2)h表示共辘矩阵。这样就可以利用酉距离来对融合后的多实例特征进行匹配，根据计算的酉距离来进行最后的决策。 酉距离可以认为是一种相异度衡量，酉距离越小则相似度越大，同类兀配和异类匹配的酉距离具有可区分性，根据训练好的区分阈值，作岀接受或拒绝的最终决策。4实验结果与分析为了对提出的方法进行分析和评价，本文选取UBIRIS虹膜库可和PolyU1；Version2.0）掌纹库⑻构成多模生物特征库。UBIRIS虹膜库是一个噪声图像库，可更真实的模拟实际应用环境。PolyU掌纹图像库是常纹识别领域最大的共享图像库。实验时，从PolyU掌纹库中选取了40类共480幅掌纹图像（每类12幅），其中的每类掌纹中的6幅图像共240幅作为训练样本生成拉普拉斯棠纹。其余的240幅图像（每类6幅）和UBIRIS虹膜库中的240幅虹膜图像（40人，每人6幅图像}组成一个40人的多模生物特征测试库。则该库共包含40人，每人包括6个记录，每个记录包含一幅虹膜图像和一幅常纹图像,一个记录表示一次采集数据。评估识别性能时，本文提出的方法分别与单模生物识别方法（仅利用虹膜或掌纹）及传统匹配级融合方法进行比较,实验结果如图4和表1。图4本文方法和其他方法的ROC特性比较表1不同方法的等错误率比较方法单一虹膜*—.传统匹配单—掌纹级融合本文特征级融合EER/%0961.48047026到的基于错误接收率（FAR）和错误拒绝率（FRR；的接收特性dlj线|ReceiverOperatingCharacteristic,ROC）比较图。表1为三种方法的等错误率（EER}比较。通过实验测试结果可见，本文的融合方法与单模生物特征相比较，在识别性能上有了明显提高，等错误率可降低到0.26%,这表明利用多生物特征融合提高身份识别的精度及可靠性是有效的。融合策略的选择对多生物特征融合方法至关重要。通过图中的实验测试结果可见，本文提岀的特征级融合策略与传统匹配级融合策略相比°,两种融合策略虽然在性能上比单生物特征方法都有不同程度的提高，但釆用特征级融合策略的方法性能提高更明显，表明本文提出的特征级融合策略比常用的叽配级融合策略更冇优势，效果更好。5结论本文对基于虹膜和掌纹的多模态生物特征识别进行研究，提出了一种特征级融合的识别方法。该方法在对两种生物特征进行融合时，不同于传统的匹配级融合，而是从特征级入手，采用了一种并行特征融合策略，将两种生物特征的特征向量以复向量的形式进行融合，构成复向量空间，并利用酉距离进行匹配决策。实验结果表明本文的多模生物特征识别方法比单模生物特征方法在识别性能上有了明显改善，进一步证明多生物特征融合与识别是提高身份识别粘度及可靠性的有效途径。此外，与传统匹配级融合相比，本文方法更有优势，效果更好。参考文献1LiuZongyi•SarkarSOutdoorrecognitionatadistancebyfusinggaitandfaceImageVisionComputing,2007:25{6):817—8322RossA,JainAKInformationfusioninbiometricsPatternRecogni-tionLetters,2003:24(13：i:2115—2125KimD,ChungK,HongKPersonauthenticationusingface,teeth3andvoicemodalitiesformobiledevicesecurityIEEETransactionsonConsumerElectronics,201056(4)2678—2685PohNtBourlaiT・Amultimodalbiometrictestbedforquality-de-°pendent»cost-sensitiveandclient-specificscoreHevelfusionalgorithmsPatternRecognition,201043(3):1094—1105TialElectronicPublishiri§?MgmanJGHowirisrecognitionworksIEEETransactiononCir-图4为本文融合方法和其他方法分别测试后得5 cuitsandSystemsforVideoTechnology•200414(1):21—306WangJ,YauWY,SuwandyA,etalPersonrecognitionbyfusingpalmprintandpalmveinimagesbasedon"Laplacianpalm"representationPatternRecognition,2008:41{5):1514—15277ProencaH,AlexandreLAUBIRISirisimagedatabasehttp://irisdiubipt,2005/2006-038ZhangD,KongWK>YouJ,etalOnlinepalmprintidentificationIEEETransactiononPatternAnalysisandMachineIntelligenee,2003:25