子空间特征提取及生物特征识别应用

博士学位论文子空间特征提取及生物特征识别应用作者：殷俊指导教师：金忠教授南京理工大学2011年6月 Ph．D．DisseNationSubspacebasedfeatureextractionmethodsandtheirapplicationstobiometricsBy胁Jun’一hProfJinZh,!gbupervtstonJtnon：z艺～Pyo|lNanjingUniversityofScience＆TechnologyJune，201 声明本学位论文是我在导师的指导下取得的研究成果，尽我所知，在本学位论文中，除了加以标注和致谢的部分外，不包含其他人已经发表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使用过的材料。与我一同工作的同事对本学位论文做出的贡献均已在论文中作了明确的说明。研究生签名：如，／年臼莎日学位论文使用授权声明南京理工大学有权保存本学位论文的电子和纸质文档，可以借阅或上网公布本学位论文的部分或全部内容，可以向有关部门或机构送交并授权其保存、借阅或上网公布本学位论文的部分或全部内容。对于保密论文，按保密的有关规定和程序处理。研究生签名：山，／年铀影日 博‘t=论文子宅间特征提取及生物特征识别应用摘要生物特征识别经常需要处理高维数据，予空间特征提取算法可以降低数据的维数并获得最有利于识别的特征，因此在牛物特征识别中具有广泛应用。主成分分析、线性鉴别分析、基于流形学习的方法以及基于稀疏表示的方法是几类比较流行的子空间特征提取方法。本文丰要对子空间特征提取算法进行了研究，提出了一些新的子空间特征提取算法，并将其应用在生物特征识别中。本文研究了小样本下的线性鉴别分析方法。在分析得到直接线性鉴别分析与Fisher鉴别分析关系的基础上，提出归一化直接线性鉴别分析。在分析得到零空间线性鉴别分析与基于广义奇异值分解的线性鉴别分析关系的基础上，提出修改的零空间鉴别分析。人脸识别以及手指关节纹识别实验的结果证明了所提出算法的有效性。本文研究了基于流形学习的特征提取方法。为了同时利用局部散度矩阵零空间内和零空间外的信息，在非监督鉴别投影的基础上，提出完备非监督鉴别投影。为了同时利用局部信息、非局部信息和类别信息，并且有区别地对待局部信息和非局部信息，提出加权线性嵌入。所提出的算法在人脸识别、人脸表情识别、掌纹识别以及手指关节纹识别中取得了较高的识别率。本文研究了稀疏表示方法。为了获得具有更强鉴别信息的稀疏表示系数，将稀疏表示推广到高维特征空间，并利用核方法在高维特征空间进行稀疏表示，进而提出核稀疏表示。利用核稀疏表示得到的核稀疏表示系数，提出基于核稀疏表示的分类算法和核稀疏保持投影子空间特征提取算法。核稀疏保持投影在人脸识别和掌纹识别中表现出了不错的性能。关键词：子空间特征提取，生物特征识别，线性鉴别分析，流形学习，稀疏表示 博卜论文子宅间特征提取及生物特征识别应用AbstractBiometricsoftenneedstodealwithhigh—dimensionaldata．Subspacebasedfeatureextractionalgorithmscouldreducethedimensionandobtainthemostefficientfeaturesforrecognition，SOtlleyhavewideapplicationinbiometrics．PrincipalComponentAnalysis(PCA)，LinearDiscriminantAnalysis(LDA)，manifoldlearningbasedmethodsandsparserepresentationbasedmethodsarepopularsubspaeebasedfeatureextractionmethods．Inthispaper,westudysubspaeebasedfeatureextractionalgorithmsandproposenewsubspacebasedfeatureextractionalgorithms．Theseproposedalgorithmsareappliedinbiometrics．Thispaperstudieslineardiscriminantanalysismethodsinsmallsamplesize．WiththeanalysisofDirectLinearDiscriminantAnalysis(DLDA)andFisherDiscriminantAnalysis(FDA)，NormalizedDirectLinearDiseriminantAnalysis(NDLDA)isproposed．WiththeanalysisofNullSpaceLinearDiscriminantAnalysis(NLDA)andLinearDiscriminantAnalysisbasedOnGeneralizedSingularValueDecomposition(LDA／GSVD)，ModifiedNullSpaceLinearDiscriminantAnalysis(MNLDA)isproposed．Theresultsoffacerecognitionandpalmprintrecognitionexperimentsdemonstratetheeffectivenessoftheproposedalgorithms．ThisPaperstudiesmanifoldlearningbasedfeatureextractionmethods．Basedonunsuperviseddiscriminantprojection(UDP)，CompleteUnsupervisedDiseriminantProjection(CUDP)isproposedtoutilizetheinformationbothinandoutofthenullspaceofthelocalscattermatrix．Toutilizelocalinformation．nonlocalinformationandclassinformationtogetherandtreatlocalinformationandunlocalinformationdifferently,W萌ghtedLinearEmbedding(WEE)isproposed．Theproposedalgorithmsobtainhighrecognitionratesinfacerecognition，faceexpressionrecognition，palmprintrecognitionandfingerknuckleprintrecognitionexperiments．ThisPaperstudiessparserepresentationmethod．Inordertoobtainsparserepresentationcoefficientswhichhavemorepowerfuldiscriminatingability,weextendsparserepresentationintoahighdimensionalfeaturespaceandmakesparserepresentationinthehighdimensionalfeaturespacebyutilizingkerneltrick,thenproposekernelsparserepresentation．Utilizingkernelsparserepresentationcoefficientsobtainedthroughkernelsparserepresentation，aKernelSparseRepresentationbasedClassification(KSRC)algorithmandaKernelSparsityPreserveProjection(KSPP)subspacebasedfeatureextractionalgorithmareproposed．KSPPhasgoodperformancesinfacerecognitionandpalmprintIII Ab栅ct博士论文recognitionexperiments．Keywords：subspacebasedfeatureextraction，biometrics，lineardiscriminantanalysis，manifoldlearning，sparserepresentationIV 博十论文了窄间特征提取及生物特征识别应用目录摘要．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．⋯⋯⋯．．．⋯．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．IAbstract．．．．．．．．．．．．⋯．．．．．．．⋯．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．1II目录．．．．．．．．．．．⋯⋯．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．⋯⋯．．．．．．．．．．．．．．．．．．．．1●71绪论．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．⋯．⋯⋯．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．11．1概述⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯11．2子空间特征提取⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯一21．2．1主成分分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．21．2．2线性鉴别分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．31．2．3基于流形学习的方法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯51．2．4基于稀疏表示的方法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯71．3生物特征识别⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯81．3．1人脸识别⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯81．3．2掌纹识别与手指关节纹识别⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯1O1．4本文研究工作概述⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯121．5本文的内容安排⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯122小样本下的线性鉴别分析方法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．142．1引言⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．142．2线性鉴别分析(LDA)⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯152．3解决LDA小样本问题的方法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯152．3．1Fisher鉴别分析(FDAl⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。152．3．2直接线性鉴别分析(DLDA)⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．162．3．3零空间线性鉴别分析(NLDA)⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯172．3．4基于广义奇异值分解的线性鉴别分析(LDA／GSVD)⋯⋯⋯⋯⋯⋯⋯⋯⋯182．4归一化直接线性鉴别分析(NDLDA)⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯192．4．1DLDA和FDA的关系⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。l92．4．2DLDA的不足⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯212．4．3NDLDA算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．2l2．4．4实验结果与分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。222．5修改的零空间线性鉴别分析(MNLDA)⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯272．5．1一个温和条件⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯272．5．2NLDA和LD～GSVD的联系⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯282．5．3MNLDA算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯292．5．4MNLDA、LDA／GSVD和NLDA的比较分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯30V 目录博1仁论文2．5．5实验结果与分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯302．6本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．363基于流形学习的子空间特征提取方法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．373．1引言⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．373．2几种基于流形学习的子空间特征提取算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯383．2．1局部保持投影(LPP)⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯383．2．2非监督鉴别投影(UDP)⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯393．2．3局部鉴别嵌入(LDE)⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯403．3完备非监督鉴别投影(CUDP)⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯413．3．1CUDP基本思想⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．413．3．2CUDP算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯423．3．3实验结果与分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．433．4加权线性嵌入(WLE)⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．473．4．1WLE基本思想⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。483．4．2参数的设置方法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．493．4．3与LDA和LDE的联系⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．503．4．4WLE算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯513．4．5实验结果与分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．513．5本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯564基于稀疏表示的子空间特征提取方法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯584．1引言⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．584．2基于稀疏表示的分类(SRC)和稀疏保持投影(SPP)⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯594．2．1稀疏表示⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。594．2．2基于稀疏表示的分类(SRC)⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯604．2．3稀疏保持投影(SPP)⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．604．3基于核稀疏表示的分类(KSRC)和核稀疏保持投影(KSPP)⋯⋯⋯⋯⋯⋯⋯⋯⋯634．3．1核稀疏表示⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯634．3．2基于核稀疏表示的分类(KSRC)⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯。644．3．3核稀疏保持投影(KSPP)⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．．654．3．4实验结果与分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯684．4本章小节⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯．73结束语⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯74致谢．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．76参考文献⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯77附录⋯。⋯⋯⋯．⋯．．．．⋯。。⋯。⋯⋯⋯。⋯⋯⋯．。．．．⋯⋯．⋯⋯⋯．。．．．．⋯．．．．．．．．⋯⋯⋯．．⋯．89VI 博卜论文了窄间特征提取及生物特征识别应用1绪论1．1概述模式识别技术诞牛于上世纪二十年代，随着计算机的出现及计算机技术的发展，在上世纪六十年代初迅速发展成为-f-j学科。模式通常是指观测具体事物所获得的时间和空间的分布信息，模式所属的类别称为模式类。模式识别就足利用观测到的具体事物的时间和空间分布信息，将其划分到正确的模式类中。模式识别宅要分为两类[1】：统计模式识别和句法模式识别。统计模式识别也称为决策论模式识别，它从被研究的模式样本中选择足够代表它的若干特征。假设有m个特征，并设这m个特征张成的空间为测量空间，那么每一个模式在m维测量窄间中都对应一个系数。一个合理的假设是同类模式在测量空间的系数应聚集在一起，而不同类模式在测量空间的系数则相距较远。因此，可以根据模式的系数位于测量空间的哪一个区域，来判定模式的类别。句法模式识别也称为结构模式识别，它模仿了语言学中的层次结构，首先将模式分解为若f个体现模式的基元，并用基元和基元间的结构化关系描述复杂的模式；然后检查代表模式的基元组合是否符合现实规定的某一类文法规则，从而判断模式所属的模式类。在句法模式识别中，基元的选择有时也需要用到统计模式识别的算法，所以可以说，统计是模式识别的基础。因此，统计模式识别受到研究人员的广泛重视，是当前模式识别的主流。一个统计模式识别系统主要由三部分组成：数据获取和预处理、特征提取和特征选择、分类决策。(1)数据获取和预处理数据获取就是通过一定的技术和手段对具体事物进行观测，从而获取计算机可以处理的，对事物的数据描述，如测量到的一维信号、二维信号或逻辑信号等。而预处理就是尽量将数据获取阶段所引入的干扰和噪声滤除。一般把经过预处理的原始数据组成的空间称为测量空间。(2)特征提取和特征选择通常情况下，由于测最空间获得的数据量较大，不能直接反映测量对象的本质，因此不宜直接在测量空间中对数据进行分类。这时需要对数据进行维数约简[2】，维数约简可以通过特征提取和特征选择来完成，通过它们找到最能体现数据类的本质特征。(3)分类决策分类决策的作用是根据特征提取得到的投影系数确定测试样本所属的类别。分类的1 1绪论博士论文难易程度取决于两个因素，其一是来自同一类别的不同个体之间投影系数的波动，其二是不同类别样本的投影系数之间的差异。特征提取是其中的一个关键问题，它直接决定模式识别系统性能的优劣。在实际问题中，直接获取的原始数据一般都具有很高的维数，直接处理这些高维数据会遇到很多问题，比如计算和存储最大、数据可视性差、包含很多噪声，另外最严重的一个问题就是会导致维数灾难而影响分类器设计【3】。为了使分类识别能够有效实现，就需要对原始的高维数据进行变换、选择，获取最能反映数据的本质特征，这就是所谓的特征提取，它的基本任务就是研究怎样从大量特征中获得对于分类识别最有效的特征。特征提取研究通常有两个丰要任务：一是寻找反映不同模式类之间差异的特征；二是降低数据的维数。在很多实际问题中，因为那些最重要的特征常常不容易找到，或由于条件限制不能对它们进行测量，所以使得特征提取的仟务变得复杂而成为构建模式识别系统中最困难的任务之--[4，51。子空间分析方法在特征提取研究领域有着广泛的应用，它通过将样本投影到一个子空间来达到降维和寻找最优特征的目的，是一种有效的克服维数灾难的方法。子空间特征提取方法的出发点是把高维空间中松散分布的数据样本，通过线性或非线性变换投影到一个低维的子空间中，使得样本在该子空间中的分布更加紧凑，更利于分类识别，并且使计算复杂度减小。子空间特征提取方法涉及模式识别中的许多本质问题，如鉴别、参数估计、维数等，并且具有描述性强、可分性好、计算代价小以及易实现等特点[6】，在图像分析、数据挖掘、计算机视觉和机器学习等领域受到广泛莺视。不同的子空间特征提取方法由于获得的子空间不一样，提取的特征也就完全不同。在众多子空间特征提取方法中，哪种方法获得的子空间是对应具体分类识别问题的本质子空间，如何去获得这个子空间，都是子空间特征提取方法所需解决的问题。本文主要针对子空间特征提取方法中存在的一些局限和不足，以生物特征识别中的人脸识别、掌纹识别、手指关节纹识别为应用背景展开相关研究。1．2子空间特征提取丰成分分析和线性鉴别分析是两种主要的子空间特征提取方法。近来，随着流形学习理论的发展，许多由流形学习导出的子空间特征提取方法被陆续提出。最近，在稀疏表示理论的基础上，又有学者提出了基于稀疏表示的子空间特征提取方法。下面，我们分别介绍这几种子空间方法的研究和发展情况。1．2．1主成分分析关于主成分分析(PCA)的理论与方法，Fukunaga在1972年就在专著“IntroductiontoStatisticalRecognition"进行了系统阐述。Fukunaga[7]和Young[8]等人都对PCA做过比2 博t：论文子宅间特征提取及t物特征识别应用较深入的研究，并讨论了它作为特征提取方法的稳定性问题。经典的丰成分分析方法(以总体协方差矩阵作为产生矩阵的K．L展开方法)是非监督的方法，即其没有利用训练样本的类别信息。当训练样本的类别已知时，Young等人总结了三种典型的K-L展开方法[9】：包含在类平均向量中的判别信息的最优压缩方法，包含在类中心化本征向量中判别信息的提取方法，从类平均向量中提取判别信息的方法，这三种方法分别从不同的角度利用了训练样本的类别信息。近20年来，PCA被应用在人脸识别中。上世纪九十年代初，Kirby和Sirovich[10】研究了利用PCA对人脸图像进行最优表示的问题。紧接着，Turk和Pentland[11．13】研究了这种表示的物理意义，他们将K-L展开得到的本征向量还原成图像矩阵，发现这些图像竟然足标准化的人脸。这就揭示了利用K-L展开来表示人脸的本质，即通过标准化的人脸图像的加权叠加来表示人脸。用获得的表示系数作为新的人脸特征进行分类识别，这就是著名的特征脸(Eigenfaces)方法。在原始空间中线性不可分的数据样本，通过非线性映射变换到高维特征空间中，有可能变得线性可分。从这一点出发，Sch61kopf等人提出了核主成分分析(KPCA)[14．16】，它的基本思想为：首先通过非线性映射将线性不可分数据样本从原始空间变换到一个线性可分的高维特征空间，然后在新的高维特征空间中执行差成分分析。在计算中，KPCA引用了支持向量机(SVM)中的核技巧，即利用满足Mercer条件的核函数来计算高维特征空间中样本的内积。由于在高维空间中，样本有更好的线性可分性，所以KPCA比PCA具有更优的识别性能。但是，执行KPCA时，对于每一个测试样本，需要计算它与所有训练样本的内积，因此KPCA比PCA的计算复杂度更高。基于PCA的特征提取方法，需要先将图像矩阵转化成图像向量，由于图像向量的维数一般部很高，给之后的鉴别分析过程带来很大的困难。直接在高维图像向量上进行鉴别分析不但计算复杂度高，而且由于样本数小，在高维向量空间中精确计算样本的散度矩阵也很困难。针对这个问题，Yang等人[17，18】提出了二维末成分分析(2DPCA)，其基本思想为：利用图像矩阵直接构建图像散度矩阵，并利用此散度矩阵进行特征提取。2DPCA相比PCA有两个优点：(1)计算散度矩阵更容易、更精确；(2)计算相应本征向量的速度更快。然而，2DPCA比PCA需要更多的系数来表示图像，因而需要更多的时间进行分类。1．2．2线性鉴别分析线性鉴别分析(LDA)的研究最早可以追溯到Fisher在1936年发表的经典论文【19】，它的基本思想为：寻找使Fisher准则函数达到最大值的向量作为最优投影方向，从而使得数据样本在该方向上投影后，获得最大的类间散度和最小的类内散度。Wilks[20]和Duda等人[2l】在Fisher思想的基础，h提出了鉴别矢量集的概念，即寻找一组鉴别矢最构3 1绪论博士论文成子空间，将原始样本投影到该子空间内，用投影后的样本特征进行分类识别，这就是经典Fisher线性鉴别分析方法。目前此方法仍然被广泛应用于人脸识别、掌纹识别等生物特征识别问题中。除了经典的Fisher线性鉴别分析方法，Sammon提出了基于Fisher鉴别准则的最佳鉴别平面[22】。在此基础上，Foley和Sammon[23]又提出了利用满足正交条件的一组最优鉴别矢量集进行特征提取的方法，该方法称为Foley-Sammon鉴别分析方法。Foley和Sammon给出的是求解两类问题的最优鉴别矢量集的算法[23]，随后，Duchene和Leclercq[24]给出了求解多类情况下最佳鉴别矢量集的算法。类似于KPCA的做法，Mika等人[25，26】、Baudat和Anouar[27】以及Roth和Steinhage[28]利用核技巧将Fisher线性鉴别分析拓展到非线性情形，从而提出核Fisher鉴别分析(KFDA)方法。Mika等人的算法主要针对两类模式分类问题，而Baudat和Anouar提出的算法则面向多类模式分类问题。KFDA的基本思想为：fi-先通过非线性映射将线性不可分的样本从原始空间变换到一个线性可分的高维特征空间，然后在新的特征空间中执行Fisher线性鉴别分析。在新的特征空间中，样本的内积可以利用满足Mercer条件的核函数来计算。Yang等人揭示了KFDA的本质[29】，证明KFDA实质上等价于KPCA+LDA，从而得到一个KFDA的两步执行方案。Jin等人[30．34]从统计不相关的角度，提出了统计不相关的最优鉴别矢量集。与Foley-Sammon鉴别矢量集不同，统计不相关的最优鉴别矢量集满足共轭正交条件，此方法被称为统计不相关的鉴别分析。Jin等人在文献[30，31]qb给出了求解统计不相关最优鉴别矢量集的精确算法，但该算法的计算过程较为复杂。在文献[32]qh，Jin等人对于一种特殊情况，即Fisher准则函数所对应的广义本征方程的本征值互不相等时，给出了求解统计不相关的最优鉴别矢量集的简捷算法，并指出在此情况下统计不相关的线性鉴别分析等价于经典的Fisher鉴别分析方法。在实际应用中，LDA所遇到的一个棘手问题是小样本问题。在此情况下，由于训练样本的不足，类内散度矩阵一般是奇异的，不能直接求解LDA的广义本征方程。针对此问题，许多研究者提出了不同的解决方法[35—55】，有以下一些常用的方法：较早的解决方法有规则化方法[37．39]和广义逆方法[40】，其中规则化方法给奇异的类内散度矩阵加上一个小的扰动矩阵使其变得町逆，而广义逆方法则利用类内散度阵的广义逆取代逆矩阵。对高维数据，这两种方法的计算量较大，难以实用。之后的方法多用降维技术来处理LDA的小样本问题。比较典氆的有：Belhumeur等人提出的Fisher脸方法(Fisherface)或者叫PCA+LDA方法[35】，D．L．Swcts等人提出的最具有鉴别能力的特征提取方法(MDF)[41]，C．J．Liu等提出的增强Fisher线性鉴别模型法(EFM)[42】。这三种方法的共同点是，均采用PCA先降低图像向量的维数，在PCA变换后的特征空间内，再采用LDA做二次特征提取。另外有许多方法利用样本的类内散度矩阵零空间中的有用判别信息。Yu等人[43】4 博t论文子牢间特征提取及生物特征识别应用提出的直接线性鉴别分析(DLDA)首先将人脸样本投影到类间散度矩阵的非零窄间，在此空间中求解变换阵使类内散度最小。Chert等人【44】提出的零空间线性鉴别分析(NLDA)则在类内散度矩阵的零空间中求解最佳判别向量。对高维人脸图像数据样本，类内散度矩阵较大，求解其零空间需要较大的计算量，为此文献[44】首先对图像的像素值进行聚类分析来降低计算的复杂度，但是此过程改变了原始样本特征宅间，并减少了类内散度矩阵零空间的维数。Cevikalp等人[45】的实验显示此方法的识别性能较大依赖于零空间的维数，因此应该避免预先的降维处理。总体散度矩阵、类间散度矩阵和类内散度矩阵均为半正定阵，所以总体散度矩阵的零空间是类间散度矩阵和类内散度矩阵的零空间的交集。由于所求判别向量应使得类间散度最大，因此总体散度矩阵的零空间对判别分析无用，为此Huang等人【46】提出的PCA+NLDA方法首先将所有样本映射到总体散度矩阵的非零空间，然后用零窄间方法得到最佳判别向量。Ye等人提出了一个广义鉴别分析准则，用来解决LDA类内散度矩阵的奇异问题，并且研究了此准则下的一个特殊算法——正交线性鉴别分析(OLDA)[184]。另外，Ye等人还从理论上证明了OLDA与NLDA在一个给定条件下的等价性[169，185，186】。Yang等人认为，类内散度矩阵的零空间内和零空间外都存在鉴别信息，于是提出完备的线性鉴别分析方法(CLDA)[47，481，CLDA同时在两个空间中寻找鉴别信息。在此方法中，他们也先通过PCA变换去除总体散度矩阵的零空间，之后再执行CLDA，所以此方法也可以看成是PCA+CLDA。另外，Yang等人还将此推广到KFDA中，提出了完备的KFDA(CKFD)[49]，此方法的实质是KPCA+CLDA，即在执行完KPCA后，执行CLDA。受2DPCA的启发，一些学者提出二维线性鉴别分析(2DLDA)[50．53】，在2DLDA中，他们分别构建基于图像矩阵的类间散度矩阵和类内散度矩阵，有效地解决了类内散度矩阵奇异的问题，从而避免了小样本问题的出现。Howland等利用广义奇异值分解(GSVD)来解决LDA的小样本问题，并提出了基于广义奇异值分解的线性鉴别分析方法(LDA／GSVD)[54，551。1．2．3基于流形学习的方法流形学习是模式识别领域近期兴起的一个研究热点。一般子空间特征提取方法的基本思想是通过线性或非线性映射将原始数据样本变换到一个低维子空间，主要是考虑数据样本的全局线性或非线性结构。与它们不同，流形是一种非欧氏几何结构，它不满足全局线性结构。因此，流形学习更注重局部意义，利用局部学习获取近似的全局线性结构，最终获得全局不变特征。流形学习的辛旨是寻找已知数据集的内在结构特性，或者说是寻找其本质维数。它不需要更多的先验假设，比如数据满足线性独立分布、近似正态分布等，而是在通常意义下探寻数据集的本质属性。一般的子空间特征提取方法在处理数据时，经常需要一些5 l绪论博匕论文先验假设，接下来的运算部是建立在这些先验假设基础上的。实际上，因为我们获得的数据样本不一定满足或者说严格满足这些先验假设条件，所以一般的子空间特征提取方法的应用就有一定的局限性。一些神经生理学家认为，人类视觉和感知是以流形的方式工作的[561。目前的流形学习就是对这一工作方式进行数学建模，丰流方法有等距映射(ISOMAP)[57]、局部线性嵌入(LLE)[58】和拉普拉斯特征映射(LE)[59]。ISOMAP通过测地距离描述数据点间的相互关系，它寻找数据点在图意义下的最短路径获取数据点之间的距离，并由此构建距离矩阵。LLE则使数据之间原有的拓扑关系在低维嵌套空间中得到保持，由此得到了求解近邻样本数据间权值的算法。也就是说，LLE假设低维空间和原始空间中的样本数据具有相似的结构特点，它认为低维空间中的相应数据应该与原始数据具有相同的权值。类似于LLE，LE也是通过局部结构保持，获得数据在低维空间和原始窄间局部意义下的对应关系；与LLE不同，LE算法利用了Laplaeian．Beltrami算子。Laplacian．Beltrami算子是一个梯度向量的负散度函数，它定义在流形切空间中。LE通过求解Laplacian．Beltrami算子的特征函数获得最优嵌入，从而寻找到流形的最优嵌入。通过选择合适的权值，Laplacian．Beltrami算子可以由邻接图的加权Laplacian来近似。LLE和LE都是基于局部的算法，它们的矩阵都是稀疏的，因而稀疏矩阵的相关理论可以用来加速算法的实现。除了三种丰流的的流形学习方法，还有两个著名的流形学习方法：海赛局部线性嵌入(HLLE)[60]和局部切空间排列(LTSA)[61]。HLLE拓展了LLE算法，能够发现流形上局部的潜在的等距离映射参数；LTSA的基本思想是利用样本点邻域的切空间来表示局部的几何结构，然后将这些局部切空间排列起来构造流形的全局坐标。ISOMAP、LLE与LE都是搜索算法，计算复杂度大，并且对噪声较多的数据样本效果不好，这也是流形学习算法的一个共同问题。流形学习存在的另外一个问题是，它们没有给出新样本到特征空间的一个显式映射，因而不能轻易获得新样本的特征。He等人成功解决了这个问题，他们通过线性化LE得到一种叫做局部保持投影(LPP)的子空间特征提取方法[62】。在LPP中，新样本可以通过线性映射直接变换到低维子空间。He等人将LPP成功应用在人脸识别中，提出一种叫做拉普拉斯脸(Laplacianfaces)的人脸识别方法[63]。LPP的出现极大地推动了流形学习在模式识别中的应用研究：He等人又线性化了LLE，得到近邻保持嵌入∽E)[64】；而Zhang等人对LTSA进行了线性化，得到叫做线性局部切空间排列(LLTSA)的子空间特征提取方法[65】。LPP算法只考虑了样本的局部结构，Yang等人认为非局部结构对分类识别也具有十分重要的作用，因此，他们同时考虑样本的局部和非局部结构，提出了一种叫做非监督鉴别投影(UDP)的子空间特征提取方法[66，67]。Cai等人提出了一种叫正交化拉普拉斯脸(OL)的于空间特征提取方法[68]，OL方法有利于数据的藿建并具有更强的鉴别能力。利用2DPCA的思想，Hu等人和Chert等人将LPP推广到基于图像矩阵的形式，提6 博}‘论文了：宅间特征提取及生物特征识别应用出二维局部保持投影(2DLPP)[69，70】。利用核技巧，He等人在LPP的基础上提出了核局部保持投影(KLPP)[62】，Pang等人在LLE的基础上提出了核邻域保持投影(KNPP)[71]。为了进一步提高流形学习方法的鉴别能力，一些学者将流形学习准则和Fisher鉴别准则结合起来，即同时利用样本的局部信息和类别信息，提出一些新的基于流形学习的子空间特征提取方法：Yan等人认为，并不是所有的局部结构部对分类有作用，他们认为处于类别边界处的局部样本的结构更为重要，据此提出了一种叫边界Fisher分析(MFA)的子窄间特征提取方法[72，731，另外他们还提出了一个图嵌入框架，许多已有的子空间方法都可以归结到这个框架中；通过同时利用数据的近邻和类别信息，Chela等提出了局部鉴别嵌入(LDE)[74]：Yu等人在LPP中加入鉴别信息，提出了鉴别局部保持投影(DLPP)[75]；另外You等人提出近邻鉴别投影(NDP)[76】，Cai等人提出局部敏感鉴别分析(LSDA)[77】，Fu等人提出等角嵌入分析(CEA)[78】。1．2．4基于稀疏表示的方法稀疏表示最先是应用在信号处理和图像处理领域。在小波分析理论的基础上，Mallat和Zhang率先提出了信号在过完备原子库上的分解思想【79]。通过信号在过完备库上的分解，用来表示信号的基可以自适应地根据信号本身特点灵活选取，这样得到的分解结果具有非常简洁的表达。这种在变换域用尽量少的基函数来准确地表示原始信号，就是信号的稀疏表示。由于信号的稀疏表示的优良特性，信号稀疏表示的研究很快从一维信号推广到二维图像的表示上[85．89]。近年来，在数学和工程领域同时兴起的压缩感知[80．841与稀疏表示理论，使得稀疏表示的研究和应用成为一个热点。最近，wrist等人将稀疏表示运用在模式分类中【90】，提出了一种基于稀疏表示的分类(SRC)方法，SRC在人脸识别中取得了非常不错的效果。在SRC中，对于一个测试样本，用所有训练样本来线性表示它，并且要求这个表示系数向量足稀疏的；然后根据求得的稀疏表示系数，将测试样本划分到重构误差最小的那个类。SRC的出现，极大地促进了稀疏表示在模式识别和计算机视觉中的发展【91．97】。Yah等人以及Qiao和Chert等人分别利用稀疏表示系数来创建图[9l，96，97】，然后利用图嵌入方法进行特征提取；由于稀疏表示系数是通过最小化正范数得到的，所以由稀疏表示系数创建的图称为厶图。利用厶图，Yan等提出一个半监督学习框架[96】，在半监督人脸识别以及图像分类中，这个半监督学习框架取得了很好的效果。Qiao和Chert等人利用厶图提出一种叫做稀疏保持投影(SPP)的子空间特征提取方法[91】，SPP试图去寻找这样一个子空间，在这个子空间中，样本的稀疏莺构关系可以得到保持。之后，他们又利用厶图提出一种叫做稀疏保持鉴别分析(SPDA)的半监督方法[97】，SPDA在单个训练样本的人脸识别问题中表现出不错的性能。7 l绪论博’L论文1．3生物特征识别生物特征识别是模式识别研究领域的一大热点，大量的研究机构都在做生物特征识别方面的研究。如今在很多领域都有一些这样的需求，要求计算机能够根据传感器得到的人脸、掌纹、手指关节纹、指纹、虹膜、步态、语音等牛物特征自动识别人的身份，也有要求计算机能识别人的表情甚至识别人是否撒谎等等。以上提到的信息部是属于生物特征，利用生物特征进行识别就是生物特征识别，它是目前模式识别研究中具有重要应用前景的领域之一。经过数十年的发展，生物特征识别研究逐渐体现了它的价值，现在己经出现很多基于乍物特征识别的商用系统。然而，牛物特征识别从基础理论到具体应用，都有一些莺要问题尚未解决，它仍然是一个开放问题。人脸识别，掌纹以及手指关节纹识别是生物特征识别的几个重要的研究方向，下面，我们分别对它们的研究概况做下介绍。1．3．1人脸识别人脸识别是当前模式识别和计算机视觉领域的一个重要研究课题，近20年来成为了一个活跃的研究方向【98．100】。虹膜、指纹等一些生物特征获取比较麻烦，而人脸的获取则非常容易，它可以在对方无意识的状态下获取，这样的获取方式不会对对方造成侵犯，因而不会违反相关的法律，而虹膜、指纹等生物特征的获取则需要对方的配合，而且需要在法律允许的条件下进行。人脸识别技术就是利用计算机从静态图像或动态图像中检测出入脸并对其进行识别。虽然人类自身可以非常简单地识别出人脸，但是计算机要完成这项任务却很困难。这是因为：一方面计算机的学习能力是有限的，另一方面人脸识别本身就比较复杂。人脸的特征和结构是相对稳定的，因而人脸识别技术是有可能实现的。不过，人脸具有多样的形态并且其处于复杂的环境中，这又给识别带来了巨大困难：人脸是由三维曲面构成的可变形体，很难用数学模型对其进行精确地描述；人的脸部结构都是高度相似的，计算机只能通过不同入脸之间很小的差别来实现分类识别任务；人脸图像的成像受到很多条件的影响，如表情、姿态、背景、光照等的变化，发型、眼镜、胡须等对人脸的1二扰。此外，人脸识别研究涉及到计算机视觉、模式识别、图像处理、人工智能、牛理学、心理学等多个学科，因此它是一个极有挑战性的研究课题。人脸识别的研究最早可以追溯到上个世纪六七十年代，在四十多年的时间里，神经生理学家、心理学家以及工程技术人员对人类和计算机如何识别人脸进行了广泛和深入的研究[101．104】。上世纪九十年代开始，尤其是“9ll"恐怖袭击以来，对于人脸自动识别系统的要求越来越迫切，人脸识别成为一个十分热门的研究方向。现在，在警方、军方等的高度重视和巨额资助下，西方国家中成立了许多专门从事人脸识别的研究小组。另外，国内和国际上的很多科研院所、高校也开展了对人脸识别的研究，并且取得8 博}：论文子宅间特征提取及生物特征识别应用了较大进展。国内和国际期刊上发表了大量有关人脸识别研究的论文，国内和国际会议上也经常出现有关人脸识别的专题。人脸自动识别系统主要包括两个技术环节：一是人脸的检测与定位，即从输入图像中找到人脸，并将人脸从图像中分割出来；二是对分割出来的人脸图像进行特征提取和分类识别。人脸检测与定位的方法有基于人工神经网络的方法[107．109】，模板匹配法【105．106】，基于规则和知识的方法【110，1ll】，基于隐马尔科夫模氆的方法【1121等。人脸特征提取和分类识别则有以下一些方法：1)基于几何特征的方法人脸由眼睛、嘴巴、鼻子等一些部件构成，对这些部件以及其结构关系进行的几何描述，可以作为识别人脸的特征。Kanade将几何量作为人脸特征[113]，这些几何量包括眼角、鼻孔、嘴角、下巴这崞关键点之间的距离以及它们形成的角。Buhr用描述树法和图表示法[114]给出了33个宅要人脸特征和12个次要人脸特征。Yuille等人给出了包含鼻子、嘴、头发等并用弹簧连接其边缘的全局人脸模板[115]，用它提取出眼睛与嘴巴。Craw提出了一个包括眼睛、眉毛、头发线条、鼻子、嘴和面颊的更为复杂的人脸模板[116]。Lee等人提取人脸的5个距离度量，将其作为人脸特征[117】。人脸几何特征的优点是稳定且受人脸姿态变化与光照条件等的影响小，但弱点是提取比较网难，并且测量的精度不高。2)基于神经网络的方法人工神经网络因为其固有的并行运算机制以及对模式的分布式全局存储，所以可用其进行模式识别，而且它不受模式形变的影响。基于神经网络的人脸识别方法可训练有较多噪声和部分缺损的图像。Kohonen最早将神经网络用在人脸识别中[118】，他利用神经网络的联想记忆功能[口1忆人脸，即使输入的图像有很多噪音或部分图像丢失，也能准确地回忆出人脸。另外，Lin[119]等人提出用于人脸检测、定位与人脸识别的基于概率决策的神经网络，Ranganath和Anm[108]等人提出用于人脸识别的径向基函数网络，Lee等人提出用于人脸识别的模糊BP网络[117】，Lawrence等人提出了用于人脸识别的卷积神经网络f1201。3)基于弹性图匹配的方法弹性图匹配法是一种基于小波局部统计特征的方法。针对畸变不变性的物体识别，Buhmann等人[121】和Lades等人[122]提出了动态链接结构模型，他们用稀疏网格图形表达物体的图像，利用局部能量谱的多分辨率描述来标注图形上的端点，同时用几何距离向量标注连线。目标识别的过程就足测试样本与训练样本的弹性匹配过程，它是通过随机优化匹配代价函数来完成的。后来，Wiskott等人[123]和Kotropoulos等人[124]分别从不同的角度改进了此方法。弹性图匹配方法不但可以体现人脸中的几何特征信息，而且还可用标记图的弹性形变来描述人脸的一些变化，因而町以获得较好的识别性能，9 l绪论博士论文但是它的缺点是计算复杂大，所以很难达到实时处理。4)形变模型方法Lanitis等人[125]从人脸特征边沿选择一些基准点来描述人脸的形状特征，然后将形状变形到所有人脸图像的平均形状，再根据变形后的形状进行纹理灰度变形，从而获得形状无关的人脸图像。Romdhani等人[126]利用激光扫描仪获得人脸的3D数据，分别对一些基准点构成的形状以及基准点的灰度或彩色执行PCA变换，获得3D人脸的形状和灰度或彩色基图像。通过参数的变化就可获得不同的3D人脸模型，通过施加一些先验约束条件就可避免合成不真实的人脸图像。根据形状和纹理误差，并通过3D模型向2D输入图像的自动匹配实现人脸识别。5)基于支持向量机的方法基于支持向量机(SVM)理论和方法已经成为人脸识别领域的一种新方法[127]。此外，正是由于核方法在SVM中的成功应用，促进了采用核技巧改进传统线性数据处理算法的研究。SVM是一种性能优越的分类算法，建立在统计学习理论的基础上，具有较强的泛化能力。由于SVM是从两类问题发展而来的，因此对人脸识别这样的多类问题，必须将其细化为两两分类问题。Guo等人[128]提出了一个基于SVM的多类识别方法，Heiselc等人[129]采用一对多分类的方案利用SVM进行人脸识别，并比较了采用人脸的全局特征和部件特征的识别效果。6)基于子空间分析的方法基于子空间分析的人脸识别方法的基本思想是，把高维空间中松散分布的人脸图像，通过线性或非线性变换压缩到一个低维的子空间中去，使人脸图像在低维子空间中的分布更紧凑，更有利于分类。另外，子空间分析的方法使高维的计算减小为低维计算，从而减少了计算复杂度。因此，子空间分析方法具有描述性强、计算代价小、易实现及可分性好等特点。丰成分分析是最早被引入到人脸识别的予空间分析方法[12，131，也就是特征脸(Eigenfac．es)方法。在特征脸成功应用之后，子空间分析方法逐渐成为人脸识别的主流方法之一。目前在人脸识别中得到成功应用的子空间分析方法丰要包括丰成分分析、线性鉴别分析、基于流行学习的方法、基于稀疏表示的方法等，具体可参见1．2节的叙述。总的来说，基于子空间分析的方法依然是人脸识别中最有影响的方法。本文也将讨论基于子空间分析的人脸识别方法，主要研究新的子空间子空间特征提取方法，用来提取更有利于识别的人脸特征。1．3．2掌纹识别与手指关节纹识别掌纹识别和手指关节纹识别是牛物特征识别中两个比较新的分支。掌纹是指人的手掌内侧、从手指根部到手腕部份的手掌区域里的纹路；手指关节纹是指人的手指关节背10 博卜论文了：宅间特征-提取及’￡物特征识别应用面的纹路。与人脸一样，这两种特征也具有唯一性，所以可以通过它们识别人的身份。Zhang教授首先提出利用掌纹进行身份识别的课题[130】，他领导的香港理工大学生物特征识别研究中心在该领域的研究一直处于领先地位，他们在掌纹采集装置的设计[131，132]、掌纹图像的预处理[133】、掌纹特征提取[134．137]、多掌纹特征融合和层次性分类[138．141】、掌纹图像分类[142】、孪生双胞胎掌纹的唯一性【143]、掌纹系统研制[144】等方面都取得了很多成果。除Zhang教授的研究小组外，国内和闲际许多研究机构也在掌纹识别领域做了很多工作。美阍Michigan州立大学Jain教授领导的生物特征识别小组研究了掌纹匹配的问题，给出了一种掘捺掌纹图像匹配的方法[145】；马来西亚Multimedia大学Ngo教授领导的牛物特征识别与生物信息学研究中心研究了基于宅成分分析、独立成分分析、线性鉴别分析等方法的掌纹特征的提取问题[146】，他们还研究了掌纹生物特征识别系统用户信息安全性的问题[147】以及掌纹与手形的融合问题[148】；克罗地哑萨不勒格大学Ribarie教授的研究小组考察了一个特征掌和特征指的双生物特征融合系统，在237个人的1820幅手掌图像上取得了不错的实验效果[149】。中国台湾中华大学的Hart等人对扫描仪扫描得到的掌纹图像进行了研究，他们采用基于算子的方法提取掌纹图像感兴趣区域的特征，并用模板匹配和后向传播神经网络衡量掌纹图像的相似性，进而完成身份验证[150】，并且提出了一种由粗到精的多层次掌纹识别方法[151】；中国台湾台南工学院的Lin等人提出了一种基于层次结构分解的掌纹验证方法[152]；哈尔滨工业大学王教授领导的生物特征识别研究中心和Zhang教授的研究团队合作取得了很多成果[153．155】，其q][1551是国内第一部关于掌纹识别技术的学术专著，该书较为详细地总结了近几年来著者在掌纹识别领域的研究成果。除此之外，香港科技大学[156，157]、清华大学[158，1591、北京大学[1601、南京理工大学[67】、中科院自动化所[161】以及国防科技大学[162]也开展了掌纹识别方面的研究，并取得了一些成果。最近，Zhang教授的研究小组提出利用人的手指关节背面的纹路进行身份识别，展开了手指关节纹识别的研究[163—166】。这个研究小组设计了一个实时的手指关节纹采集设备，并利用这个设备创建了一个大规模的手指关节纹数据库；基于手指关节纹图像的局部凸方向图，他们定义了一个坐标系统用来对齐图像，从而提取出图像的感兴趣区域[164-166]。此外，他们还利用2DGabor滤波器提取FKP图像的局部方向特征，利用图像的傅垦叶变换系数获取全局特征，并通过加权平均将这两种特征融合起来，通过融合特征进行识别，并取得了很好的识别效果[163】。无论对于掌纹识别还是手指关节纹识别，如何获取有效的特征都是其中的一个关键问题。众所周知，子空间分析方法可以有效地提取数据的特征，并且许多子空间分析方法已经成功应用在掌纹识别中[69，146，147，136，137，162，167，168]。本文研究新的子空间方法，并将其应用在掌纹识别和手指关节纹识别中，从而获得更有效的掌纹和手指关节纹 l绪论博士论文特征。1．4本文研究工作概述本文对子空间特征提取算法及其在牛物特征识别中的应用进行了研究和探讨，所做的主要工作概述如下：本文对小样本情况下的线性鉴别分析方法进行了研究。首先分析了直接线性鉴别分析(DLDA)算法与Fisher鉴别分析(FDA)算法的关系，在此基础上指出DLDA算法的缺点：投影向量没有归一化，不利于提取有效的特征。于是我们对DLDA进行了归一化处理，从而提出了归一化直接线性鉴别分析(NDLDA)算法，NDLDA算法具有归一化的本征向量。其次分析了零空间线性鉴别分析(NLDA)与基于广义奇异值分解的线性鉴别分析(LDA／GSVD)的关系，我们发现NLDA与LDA／GSVD算法在满足一个温和条件下的联系，并且此温和条件对于高维数据一般都是成立的。基于这两种算法之间的联系，我们提出了等价于LDA／GSVD的修改的零空间鉴别分析(MNLDA)算法。当给定的温和条件满足时，MNLDA与LDA／GSVD具有相同的鉴别能力，但MNLDA具有更高的效率。本文对基于流形学习的子空间特征提取方法进行了研究。首先对非监督鉴别投影(UDP)算法进行了分析，指出UDP只利用了局部散度矩阵零空间外的信息，为此我们提出完备非监督鉴别投影(CUDP)算法，CUDP同时利用局部散度矩阵零空间内和零空间外的信息。由于局部散度矩阵零空间内的信息具有很强的鉴别能力，所以CUDP比UDP具有更好的识别性能。其次，我们提出了加权线性嵌入(WLE)算法，WLE解决了LDE忽略数据的非局部信息以及LDA将局部信息和非局部信息同等看待的问题，其同时利用局部信息、非局部信息和类别信息，并且通过使用权重有区别地对待局部信息和非局部信息。我们还给出了设置WLE中权重参数的方法以及参数的最优范围。本文对最近在模式识别和计算机视觉中十分流行的稀疏表示进行了研究。我们将稀疏表示推广到了高维特征空间，利用核方法在高维特征空间进行稀疏表示，提出核稀疏表示。利用核稀疏表示得到的核稀疏表示系数，分别进行分类和特征提取，从而提出基于核稀疏表示的分类(KSRC)算法和核稀疏保持投影(KSPP)子空间特征提取算法。由于高维空间中的稀疏表示系数(即核稀疏表示系数)比原始空间中的稀疏表示系数具有更强的鉴别信息，因此KSPP能够比利用稀疏表示系数进行特征提取的稀疏保持投影(SPP)提取更利于分类识别的特征。1．5本文的内容安排12本文余下内容分三章展开：第二章，小样本下的线性鉴别分析方法。首先分析了DLDA和FDA的关系，在此 博卜论文子宅间特征提取及生物特征识别应用基础上提出NDLDA算法；其次分析了NLDA和LDAYGSVD的关系，并在此基础上提出MNLDA算法。第三章，基于流形学习的子空间特征提取方法。首先，为了利用局部散度矩阵零空间内的信息，在UDP的基础上提出了CUDP算法：其次，为了同时利用数据的局部信息，非局部信息以及类别信息，提出了WLE算法。第四章，基于稀疏表示的子空间特征提取方法。将稀疏表示理论扩展到了高维特征空间，提出核稀疏表示，并利用核稀疏表示系数进行特征提取，提出KSPP算法。13 2小样本F的线性鉴别分析方．法博}=论文2小样本下的线性鉴别分析方法2．1引言线性鉴别分析(LDA)[21]是最流行的特征提取和降维方法之一，被广泛应用在高维模式识别问题中。LDA的基本思想是由Fisher[19]最早提出的，其目的是选择使得Fisher准则函数达到极值的向量作为最佳投影方向，从而使得样本在该方向上投影后，达到最大的类间离散度和最小的类内离散度。之后，Wilks[20]和Duda[21]分别提出了鉴别矢量集的概念，即寻找一组鉴别矢量构成子空间，以原始样本在该子空间内的投影矢量作为鉴别特征用于识别，这就是经典的线性鉴别分析方法。对于高维数据，在小样本情况下，样本的类内散度矩阵一般是奇异的，此时经典的线性鉴别分析方法就不能直接被执行，这就是所谓的小样本问题。针对此问题，相关学者已经提出了许多解决方法。比较流行的解决方法有：规则化的线性鉴别分析(RDA)[39]、主成分分析加线性鉴别分析(PCA+LDA)也叫做Fisherfaces方法或Fisher鉴别分析(FDA)[35]、零空间线性鉴别分析(NLDA)[44]、完备的线性鉴别分析(CLDA)[47]、基于广义奇异值分解的线性鉴别分析(LDA／GSVD)[54，55]以及直接线性鉴别分析(DLDA)[43]。RLDA通过给类内散度矩阵加上一个对角阵而使其不再奇异；在FDA中，在执行LDA前，首先用PCA进行降维而使得类内散度矩阵不再奇异；NLDA则认为类内散度矩阵的零空间包含最有用的鉴别信息，因此在类内散度矩阵的零空间中寻找投影向量：与NLDA不同，CLDA同时从类内散度矩阵的零空间内和零空间外寻找投影向量；LD～GSVD利用GSVD来解决小样本问题；DLDA从类间散度矩阵的非零空间寻找鉴别信息，它通过先对角化类间散度矩阵而后再对角化类内散度矩阵的方法来求解Fisher准则。尽管以上提到的算法从不同的角度出发来解决LDA的小样本问题，但是我们发现其中一些算法之间存在一定的联系。本章分析了DLDA与FDA之间的联系，并据此指出DLDA的不足，同时提出了克服DLDA不足的归一化直接线性鉴别分析(NDLDA)算法。另外，本章从理论上分析了NLDA与LDA／GSVD在一个温和条件下的关系，这个温和条件对于高维小样本数据一般部是成立的，并在此基础上，提出一种修改的零空间鉴别分析(MNLDA)算法，MNLDA等价于(具有相同的鉴别能力)LDA／GSVD，但是其效率远高于LDA／GSVD。在ORL、YALE、AR和FERET人脸数据库以及PolyU手指关节纹数据库上的实验，证明了我们的结论以及所提出算法的有效性。14 博L论文了：窀间特征提取及生物特征识别应用2．2线性鉴别分析0LDA)经典的LDA试图寻找这样的投影向量，经过这个投影向量投影后，数据的类间离散度尽可能大而类内离散度尽可能小。类间散度矩阵&和类内散度矩阵&分别如下定义：瓦=击喜枷，训(％训r(2．2．1)s。=万1缶c善l,(勃一％)(嘞一％)r(2．2．2)其中，而表示第f类的第／个样本，M表示总的训练样本数，c表示类别数，‘表示第f类的训练样本数，％表示第f类的中心，而m表示所有训练样本的中心。LDA的准则即Fisher准则是最大化如下函数：以(w)=而wrS6w此准则可以转化为求解广义本征方程SbW=2Sww(2．2．3)(2．2．4)通过选取方程(2．2．4)的对应于前d个最大本征值的本征向量w，w2，⋯wa，我们可以组成LDA的投影矩阵W=【wl，w2，⋯，wd】。对于样本x，经过LDA变换后的新特征为：Y=Wrx(2．2．5)2．3解决LDA小样本问题的方法本节介绍下几种解决小样本问题的算法：Fisher鉴别分析，直接线性鉴别分析，零空间线性鉴别分析以及基于广义奇异值分解的线性鉴别分析。2．3．1Fisher鉴别分析(FDA)[351为了解决类内散度矩阵&的奇异问题，FDA首先利用PCA降低数据的维数，使得降维后的乱不再奇异，之后再执行LDA算法。PCA是一种应用广泛的降维方法，它寻找一个使得投影后的数据具有最大总体离散度的投影方向。倘若有训练样本薯(扛l，2，⋯，M)，总体散度矩阵墨定义如下：·MS=百[∑---(葺一m)(薯-m)r(2．3．1)15 2小样本F的线性鉴别分析方法博士论文PCA的准则是最大化如F函数：以c"=wr[古善c薯一小，c葺一所，r]wc2．3．2，其中，w满足矿w=1。容易证明，最大化式(2．3．2)的W为墨的对应于最大本征值的本征向量。利用S的对应于前d个最大本征值的本征向量，我们可以组成PCA的投影矩阵。经过PCA变换后，使用新的PCA特征创建的&是非奇异的，此时LDA能够被顺利执行。FDA算法可以总结如下：Stepl执行PCA：根据式(2．3．1)计算总体散度矩阵S。求得S的对应于前d个最大本征值的本征向量Plp：，⋯，Pd。令尸=【p。，P2，⋯，Pd】，则新的PCA特征为矿=P7’五O=1，2，⋯，M)。Step2利用新的PCA特征矿(i=1，2，⋯，M)，并根据式(2．2．1)和(2．2．2)构建类间散度矩阵咒和类内散度矩阵&。Step3执行LDA：通过计算(sw)_1&的对应于前，个最大本征值的本征向量吼，q2，⋯，qr，来解LDA的Fisher准则。Step4令Q=[g，，92，⋯，q，]，则FDA的投影矩阵为酢踟=PQ。对于样本x，其新的FDA特征为：Y=％x(2．3．3)2．3．2直接线性鉴别分析(DLDA)[431DLDA寻找同时对角化瓦和氏的投影矩阵形：形。&W=I(2．3．4)形1毛W=A(2．3．5)其中I是单位矩阵，人是一个对角阵。DLDA的关键思想是丢弃咒的零空间，在咒的非零空间中寻找鉴别信息，它首先对角化&，之后再对角化&。DLDA算法可以归纳如下：Stepl对角化&：根据式(2．2．1)创建&，寻找矩阵u使得ur戈U=人，其中人是一个对角矩阵，且其对角线元素按降序排列。此问题町以转化成求解本征方程： 博}：论文子宅间特征提取及生物特征识别应用咒“=他，磊的对应非零本征值的本征向量用来构成矩阵y=【“。，材：，⋯，％】，此时有yrsff=D6>0。lStep2对角化瓦：设z=晒乒，我们有z7’Sz=，。令文=z7’SwZ，通过解本征方程SwV--AV对角化文。令V=[Vl，屹，⋯，％】，其中vfU=l，2，⋯，d)是文的本征向量，我fI、]有矿r§。V=Dw。1Step3DLDA最终的投影矩阵为％蚴=ZVDw一2，此时有％删r咒％删=，，％删r咒‰=玩1。对于样本x，它的新的DLDA特征为：Y=吃乙x(2．3．6)2．3．3零空间线性鉴别分析(NLDA)144lNLDA在S。的零空间中寻找投影向量，它的准则如下定义：W=argmax矽r&脚trace(W2sw)(2·3·7)为了提高算法的效率，在文献[44]中，Chert等人在执行NLDA之前，使用了一种图像像素分组的方法降低样本的维数；而Huang等人[46]认为S的零窄间中没有鉴别信息，于是他们首先去除墨的零空间，之后再执行NLDA。NLDA算法可以总结如下：Stepl根据式(2．3．1)计算S，求解出墨对应于非零本征值的本征向量Pi，p：，⋯，Pd。Step2根据式(2．2．1)与式(2．2．2)计算&和&。令P=[见，p：，⋯，办】，则在去除墨的零空间后的新的类问散度矩阵为墨=Pr&尸，新的类内散度矩阵为sw=Pr咒P。Step3计算文的对应于零本征值的本征向量吼，g：，⋯，qs，将数据投影到文的零空间。此时的类间散度矩阵变为毫=Qr孟Q，其中Q=【g。，鸟：，⋯，qs]。Step4计算&的对应非零本征值的本征向量，i，r2，⋯，o，令R=【吒，r2，⋯，o】，则NLDA的投影矩阵嘭蚴=PQR。对于样本x，其新的NLDA特征为Y=嚷删x(2．3．8)17 2小样本F的线件鉴别分析方法博士论文2．3．4基于广义奇异值分解的线性鉴别分析(LDA／GSVD)[541定义Howland等人[54】利用GSVD方法解决LDA的小样本问题。对于以维数据，我们吃=[嘉c％训，砉c％训，⋯，岳c％训]亿3∽风=面1。X．一％q，置一历z铲‘，置一所。巳】(2．3．10)其中置=[五。，再：，⋯，吒]∈R．Xt,a=1，2，⋯，c)是第i类的训练样本矩阵，另外，q=【l，l，⋯，1]eRM。根据式(2．3．9)91式(2．3．10)，有＆=nbnl，S。=矾n。T。通过对可和磁应用GSVD，我们可以得到P^’dn^-d嘭研V=n，0】dn-d一．P～^眈磁V=【F。，0】(2．3．11)(2．3．12)其中％和玑是正交矩阵，y是非奇异矩阵，d是矩阵(爱)的秩，而矩阵L和r。满足以下条件：r；r6和11T，．，r。是对角阵且有11；L+r，．，Trw=J(，是单位矩阵)。根据式(2．3．11)和式(2．3．12)町知：c“Tn。T矿，r“T仃。Ty=yr％彤y=矿7’咒矿=cr。，。，7’cr。，。，=(r吾6三)c2．3．·3，c吮T仃。T矿，ru：日二V=VrHwH：矿=矿r&V。，，．1"旷。，。，=(r吾”三)c2．3．t4，因为r；L和U．r，．，是对角阵且r；r6+r：=11。=，，我们有18VTSy=yTSwV=卜0^可0。一d(2．3．15)(2．3．16)一、●●●●●●●●●●／、●●●●●●●●●●／ 博i．论文子宅间特征提取及生物特征识别戍用其中A。>0与∑^>0是对角阵且有八l+∑。=‘，J，0，人和∑的下标分别表示各自矩阵的大小。从式(2．3．15)和式(2．3．16)n--]知，V同时对角化最和凡。矿的前j+k列形成它的非零空间，利用它们构成LDA／GSVD的投影矩阵。根据rank(咒)=j+k≤c一1，LDA／GSVD的投影矩阵一般是由V的前c—l列构成。LDA／GSVD算法可以总结如下：Stepl根据式(2．3．9)和式(2．3．10)计算瓯和日。。st印2对矩阵日=(爱]副“㈣”进行奇异值分解csvD，，有x7’册=(言》Step3令d=rank(H)，对x(1：G1：d)进行SVD，有UrX(1：c，1：d)么=r6。s删令～R则LDA／GSVD最终的投影矩阵为阡‰，岱阳=矿(：，l：c-1)。对于样本x，它的新的LDA／GSVD特征为：Y=吃，傩阳x2．4归一化直接线性鉴别分析(NDLDA)(2．3．17)本节给出DLDA和FDA之间的关系并指出DLDA的不足。之后，提出一种新的叫做归一化直接线性鉴别分析(NDLDA)的算法。ORL、YALE和AR人脸数据库上的实验结果证明NDLDA优于FDA和DLDA。2．4．1DLDA和FDA的关系．由2．3节可知，DLDA算法的第一步是对角化足，而FDA算法的第一步是PCA。经典的PCA是将墨作为产牛矩阵进行K-L展开，众所周知，当样本的类别信息已知时，可以将S作为产生矩阵进行K-L展开。由于利用了样本的类别信息，这样做往往能够提取鉴别能力更强的特征。如果在FDA算法的第一步使用瓦作为产牛矩阵进行K—L展开，它的第一步实际上实现了鼠的对角化，这恰好与DLDA的第一步是等同的。若在FDA的第一步将最作为产生矩阵进行K-L展开，则新的类间散度矩阵为yrsff=现>0，新的类内散度矩阵y7’&Y∈R出d，其中y和岛如2．3节的DLDA算法中定义。FDA的LDA步骤是解式(2．2．4)定义的广义本征方程，此时的广义本征方程变为：见W=2Y1&Yw(2．4．1)19 2小样本F的线性鉴别分析方法博L论文方程(2．4．1)等价于谚yr&呀壤w=÷西w(2．4．2)令z=嘎j，1，=喀w，则方程(2．4．2)变为zrs。加=÷V(2．4．3)再令文：zrSwZ，五：了1，我们有Swv=互v(2．4．4)此时可知FDA的LDA是对文进行特征分解，即对角化＆，这恰好就是DLDA的第二步。由上文定义的y=研W可知，本征方程(2．4．1)的广义本征向量为w=见2’，。FDA的投影向量一般是归一化的，即满足W。T(f)‰(f)=10=1，2，⋯，，．)(2．4．5)其中，Wro,。(f)表示％翻的第i列。我们知道，FDA算法的第一步求得的投影向量是归一化的，所以要使其最终的投影向量归一化，则需要其LDA步骤的投影向量W归一化，归一化的W为彤=￡乒M／√巧所1q(f=l，2，⋯，d)(2．4．6)因此，当把是作为产生矩阵作K-L展开时，FDA最终的投影矩阵为：‰(瓦)=觋2y人一(2．4．7)其中，V=【H，屹，⋯，vA，人一∈R捌是对角矩阵且对角线元素为人‰2赤(f_l’2，⋯∥)o妣．3啊舭DLDA髅撇瓤鼢％．删=ZVDw2=觋2VDw2(2．4．8)比较式(2．4．7)与式(2．4．8)，我们可以做出这样的结论：投影矩阵睨别(品)和％删的差别仅仪在于对角矩阵A，一和Dw2的差异。这就是FDA与DLDA唯一的区别，当然，这里的FDA算法的第一步是利用品进行K-L展开的。 博t论文子宅间特征提取及生物特征识别应用2．4．2DLDA的不足在2．4．1小节，我们讨论了DLDA与FDA的差刖，知道了它们的差别就是由对角l矩阵人一和仇z的差异引起的。人一的作用是归一化FDA的投影向量，即使得W。T㈨(f)‰(毛}(f)=1(待1，2，⋯，d)(2．4．9)其中阡‰(昆l(f)表示矽乙(品)的第z列。式(2．4．9)保证每个投影向量彬例(品)(f)q=l，2，⋯，d)具有相同的模。j仇2的作用是使得DLDA的每个投影向量满足嘭删(f)&％删(f)=1(江1，2，⋯，d)(2．4．10)其中‰(f)表示‰的第f列。我们知道，DLDA的第f个特征为y(i)=％‰(f)石=11％删(f)⋯Ixll：cosO(2．4．11)=0％删(f)lI：丘(f)其中，乡表示向量x与向量‰(f)之间的夹角，tx(i)表示向量X在％删(f)方向上投影的模。从式(2．4．11)，我们看到DLDA的第f个特征是由％删(f)的模的大小以及L(f)决定的。如果每个‰(f)有不同的模，由它们产生的特征将具有不同的尺度。这些不同的尺度是否能更好地表示特征呢?我们并不这么认为。这蝗尺度的大小丰要取决于乱，而S。是通过训练样本估计的。如若&的估计不够准确，会造成DLDA识别率的下降。因此，每一个‰(f)应该具有相同的模，而每一个特征只由乞(f)决定。DLDA不能满足这一点，而FDA通过式(2．4．9)则叮以满足这一点。2．4．3NDLDA算法根据2．4．2小节的分析，我们认为DLDA的投影向量应该像FDA一样进行归一化。我们将经过归一化处理的DLDA算法称作归一化直接线性鉴别分析(NDLDA)。NDLDA算法描述如下：Stepl对角化&：根据式(2．2．1)仓Ij建咒，寻找矩阵u使得Ur咒u=人，其中人是一个对角矩阵，且其对角线元素按降序排列。此问题可以转化成求解本征方程：u=勉，最的对应非零本征值的本征向量用来构成矩阵Y=[嵋，U2，⋯，Ud】，此时有Yr&l，=现>0。2l 2小样本下的线性鉴别分析方法博十论文lStep2对角化&：设z=国乒，我们有z7’咒z=，。令鼠=zrSwZ，通过解本征方程(Swv=3,v对角化鼠。令矿=[VI，屹，⋯，vd]，其中vt(i=1，2，⋯，d)是文的本征向量，我们有Vr文y=Dw。』Step3归一化投影向量：在对角化&和&后得到的变换矩阵是觋2V。根据2．4．2小』节的讨论，在归一化投影向量后，我们可以得到投影矩阵觋2VA。。，这就是NDLDA最终的投影矩阵形忸删。对于样本x，它的新的NDLDA特征为Y=‰x(2．4．12)我们可以看到，NDLDA算法最霞要的步骤是第三步中的归一化处理，这个处理使得NDLDA的每个特征具有统一的尺度。2．4．4实验结果与分析本小节通过人脸识别实验验证NDLDA算法的有效性。在实验中，将NDLDA与DLDA以及FDA进行对比。对于FDA的PCA步骤，按照文献[35】做法，我们将样本的维数降到训练样本数与类别数之差，从而使得&非奇异。在分类阶段，使用最近邻分类器进行分类。2．4．4．1ORL人脸库上的实验ORL人脸数据库包含40个人的400幅人脸图像，每个人10幅图像，图像的大小是l12x92。这些图像拍摄于不同时期；人的脸部表情和脸部细节有着不同程度的变化，如笑与不笑，眼睛或睁或闭，戴或不戴眼镜；人脸姿态也有相当程度的变化；深度旋转和平面旋转可达20度；人脸的尺度也有多达10％的变化。图2．4．1是ORL人脸库上一个人的lO幅人脸图像。我们随机选择每个人的3幅图像做训练，剩余图像做测试，实验重复20次。首先分别利用FDA，DLDA以及NDLDA进行特征提取，接着使用最近邻分类器对提取的特征进行分类。表2．4．1列出了三种算法在20次实验中的最大平均识别率、标准差以及对应的特征维数，图2．4．2显示了三种算法的平均识别率随特征维数的变化情况。从表2．4．1我们可以看到，NDLDA的最大平均识别率达到了87．5％，而FDA和DLDA的最大平均识别率分别只有86．4％和85．4％。图2．4．2则表明，与特征维数的变化无关，NDLDA几乎一直优于FDA和DLDA。 博t论文子守间特征提取及生物特征识别应用图2．4．1ORL人脸库上一个人的lO幅人脸图像图2．4．2在ORL人脸库上，三种算法的平均识别率随特征维数的变化表2．4．1在ORL人脸库上，-种算法的最人平均识别率(百分数)、标准羊以及对应的特征维数 2小样本下的线性鉴别分析疗法博k论文2．4．4．2AR人脸库上的实验AR人脸库包含126个人的4000多幅彩色人脸图像，其中每个人有26张正面图像，这些图像包括不同的表情、光照条件和遮挡情况。有120个人的图像是在两个时间段拍摄的，两个时间段相隔14天，每个时间段有13幅图像。在实验中，我们选择了这120个人在无遮挡情况下的14幅图像，将它们转化为灰度图像，然后手工切割出其人脸区域并缩放到50x40像素大小。图2．4．3显示了其中一个人的14幅人脸图像，这些图像按照如下顺序变化：正常表情、微笑、生气、惊愕、左面光照射、右面光照射、两面光同时照射。图2．4．3AR人脸库上一个人的14幅人脸图像在实验中，每个人在第一个阶段拍摄的前5幅图像做训练，剩余的图像做测试。FDA、DLDA和NDLDA提取图像的特征，最近邻分类器对提取的特征进行分类。表2．4．2列出了三种算法的最大识别率及对应的特征维数，可以看到，NDLDA的表现优于FDA和DLDA，在特征维数取118时，它的识别率达到了71．O％。图2．4．4显示了三种算法的识别率随特征维数的变化情况，我们看到，三种算法的识别率总体上都随着特征维数的增加而增大，当取的特征维数足够多时，NDLDA就会取得比其他两种算法更高的识别率。表2．4．2在AR入脸库上，三种算法的最大识别率(百分数)及其对应的特征维数 博}：论文子宅间特征提取及生物特征识别应用0．750．70．650．6豁0．55oR凇0．50．450．40．35121314151617181911011维数图2．4．4在AR人脸库上，三种算法的识别率随特征维数的变化2．4．4．3YALE人脸库上的实验YALE人脸数据库是由耶鲁大学的计算视觉与控制中心创建的，它包括15个人的165幅灰度图像。这些图像在光照，人脸表情方面都有一定的变化，另外有些图像中的人还佩戴’厂眼镜。在实验中，所有图像都被手工剪切并缩放到100x80像素大小。图2．4．5显示了其中一个人的11幅图像。在实验中，每个人的2、3、4和5幅图像分别被随机选择来做训练，剩余的图像则构成测试集。在利用FDA，DLDA和NDLDA提取特征后，利用最近邻分类器进行分类，实验重复20次。表2．4．3显示了三种算法的最大平均识别率和标准差，图2．4．6则显示了最大平均识别率随训练样本数的变化。从表2．4．3和图2．4．6可以看到，不管训练样本数如何变化，NDLDA一直比FDA和DLDA有更好的表现；另外，我们还能看到，随着训练样本数的增加，DLDA和NDLDA的识别率的差距在减小。当训练样本数为2时，它们的差距达到了20％；然而，当训练样本数为5时，这个差距就只有3％。我们认为这个现象可以这样解释：当训练样本数小时，作为样本的统计特性之一的墨．，不能被准确估计，这时DLDA根据瓦，调整特征尺度就不太合理：但是，当训练样本数增加后，鼠就可以被更准确地估计，此时根据其调整特征尺度的DLDA就比较合理。DLDA的投影矩阵最后乘上了巩2，这使得特征五和恐变为Dw2五和Dw2恐，此时两个新特征2S 2小样本下的线性鉴别分析方法博’}：论文的距离为(2．4．13)=瓜i了ii习这恰好是五和恐的马氏(Mahalanobis)距离。马氏距离的性能取决于类内散度矩阵S。的准确性，当咒在训练样本数增加后而被更准确地估计时，准确的马氏距离可以改善DLDA的识别效果。图2．4．5YALE人脸库上一个人的1l幅人脸图像表2．4．3在YALE人脸库上，三种算法的最大平均识别率(百分数)、标准差以及对应的特征维数 博i．论文子守间特征提取及’}物特征识别应用训练样本数图2．4．6在YALE人脸库上，三种算法的最大平均识别率随训练样本数的变化2．5修改的零空间线性鉴别分析(MNLDA)NLDA和LDA／GSVD使用了不同的方法来解决LDA的小样本问题，看起来它们之间没有什么关系，然而，本节我们通过理论分析得到，两种算法在～个温和条件下的联系，并且这个条件对于高维小样本数据通常是成立的。在此基础上，我们还提出了一种修改的零空间线性鉴别分析(MNLDA)算法。MNLDA与LDA／GSVD具有相同的鉴别能力，但是它的运算时间远少于LDA／GSVD。2．5．1一个温和条件假设C类共M个训练样本组成的矩阵X=[五，置，⋯，墨】的各列是线性不相关的，如文献[1691所述，在这个假设下，以下公式成立：frank(St)=M-1{rank(Sb)=c一1(2．5．1)Irank(Sw)=M—c因为数据的维数很高时，X的各列一般是线性不相关的，所以式(2．5．1)给出的条件对于高维数据一般都是成立的。当条件(2．5．1)成立时，我们有 2小样本下的线性鉴别分析方法rank(Sb)+rank(Sw)=rank(St)本章丰要研究高维小样本数据，所以我们假设条件(2．5．1)成立。2．5．2NLDA和LDA／GSVD的联系由式(2．3．15)和式(2．3．16)可得rank(Sb)=rank(Vrshy)=j+krank(Sw)=rank(VrSw矿)=d-k-j+k=d一歹矿r置y=矿r最y+矿r咒矿=[‘人I+∑t由式(2．5．5)可得rank(St)=rank(VrstY)=d0H—d=(厶。。一]如果条件(2．5．1)是成立的，由式(2．5．2)、式(2．5．3)、式(2．5．4)以及式(2．5．6)可得博t：论文(2．5．2)(2．5．3)(2．5．4)(2．5．5)(2．5．6)d=rank(St)=rank(sb)+rank(Sw)=j+k+d一．，=d+k(2．5．7)由式(2．5．7)可知k=0，这时式(2．3．15)和式(2．3．16)变为V7’sy=矿r&V=[‘r(2．5．8)(2．5．9)根据LDA／GSVD算法，y的前J=rank(S6)=C-1列构成LDA／GSVD的投影矩阵乃‰，岱叨，因此有WkG∞S矽㈣G姒D=Ij=Ic^Wr4，嚣旧&乃‰，岱阳=O，=0“(2．5．10)(2．5．11)由NLDA算法可知，NLDA的投影矩阵％删=PQR满足阡％脚&‰=尺rQ7’尸rS6PQR=RrQr文鲫=Rr&R=人，(2．5．12)、●●●●●●／、●●，●●●／可％以√以厶 博}：论文子宅间特iIF提取及生物特征识别应用孵乙s。甄删=RrQrPrS。PQR=RTQ7’文OR=Rr0，R=0，(2．5．13)而在条件(2．5．1)成立时，我们有f=rank(Sb)=c-1，这时有％‰瓦％删=A。．1(2．5．14)彬‰&％删=0“(2．5．15)根据式(2．5．10)、式(2．5．11)、式(2．5．14)以及式(2．5．15)，我们可以做出这样的结论：LDA／GSVD的投影矩阵‰。，岱助和NLDA的投影矩阵％恸都是从&的零空间与S的非零空间的交集中获得的，这两种算法的唯一不同点在丁二经过它们投影后得到的类间散度矩阵，c一。和人¨的不同。2．5．3MNLDA算法由上一小节的分析可知，当条件(2．5．1)成立时，NLDA和LDA／GSVD的差别仪仪在于投影后的类间散度矩阵人一和L一。的尺度不同。如果修改一下NLDA的尺度，它就会完全等价于LDA／GSVD，这样就得到了修改的零空间线性鉴别分析(MNLDA)算法。MNLDA算法描述如下：Stepl根据式(2．3．1)计算S，求出S的对应于非零本征值的本征向量Pl，p：，⋯，Pd。Step2根据式(2．2．2)计算&。令尸=(pl，p2，⋯，Pd)，尸对角化墨并有人=P7’S尸。此时，在去除S的零空间并归一化人后，可得到新的类内散度矩阵．』S。=A2∥SwPA2。Step3计算出叉的对应于零本征值的本征向量g。，q：，⋯，qs，则MNLDA的投影矩阵为I％砒删=PA2Q，其中Q=(g。，92，⋯，q，)。对于样本x，其新的MNLDA特征为Y=‰工(2．5．16)由MNLDA算法可知l‰&陟赢=Q7’A一2p7’&PAlQ=QrSwQ=0，(2．5．17)1l‰S彤k删=Qr人1P7’SPAlQ=QrIdQ=L(2．5．18)由式(2．5．17)和式(2．5．18)可知‰咒形瑟，删=‰S∥如一陟‰删．轧肜赢=‘-0，=‘(2．5．19)根据条件(2．5．1)中的rank(S,)=M-1和rank(Sw)=M—c，我们有2q 2小样本F的线性鉴别分析方法博L论文s=(M-1)一(M-c)=c-1，因此有‰＆‰=L．．‰&‰"-0c_l结合式(2．5．10)、式(2．5．11)、式(2．5．20)pA及式(2．5．21)可知‰=F‰，csvoA(2．5．20)(2．5．21)(2．5．22)其中么是正交矩阵。正交矩阵不会影响鉴别能力，因此，我们可以做出MNLDA等价于LDA／GSVD的结论。2．5．4MNLDA、LDA／GSVD和NLDA的比较分析LDA／GSVD算法第二步中的SVD处理非常耗时，特别是对于高维数据，然而，MNLDA和NLDA中的本征值分解(EVD)处理却很快，因此，NLDA和MNLDA的效率远高于LDA／GSVD。由上文的讨论知道，MNLDA和LDA／GSVD有相同的鉴别能力，这里我们再比较一下MNLDA和NLDA的鉴别能力。在文献[169】中，作者指出NLDA的第四步可以略去并提出了改进的零空间鉴别分析(INLDA)算法，INLDA在条件(2．5．1)成立时，与NLDA是等价的，即它们具有相同的鉴别能力。而MNLDA与INLDA的唯一区别是对角化墨后的归一化处理，此时根据NLDA和INLDA的等价性，我们可以得出结论：正是归一化处理导致了MNLDA和NLDA不同的鉴别能力。通过实验可以看到，这样的处理有时会增强鉴别能力，但有时却会减弱鉴别能力。2．5．5实验结果与分析本小节通过人脸识别与手指关节纹识别实验验证我们的观点。NLDA、LDA／GSVD和MNLDA分别用来提取特征，提取特征的维数都设定为c一1，之后利用最近邻分类器对提取的特征进行分类。2．5．5．1ORL人脸库上的实验ORL人脸数据库包含40个人的400幅人脸图像，每个人10幅图像。详见2．4．4．1小节的描述。在实验中，每个人的三幅图像被随机选为训练图像，剩余的图像作为测试图像。在分别利用NLDA、LDA／GSVD和MNLDA提取图像的特征后，使用最近邻分类器进行分类。实验重复运行10次，图2．5．1显示了三种算法在10个不同训练集下的识别率，表2．5．1列出了10次实验的平均识别率以及标准差，表2．5．2列出了三种算法的计算时间。 博k论文子宅间特征提取及七物特征识别应用测试次数图2．5．1在ORL人脸库上，三种算法在不同训练集下的识别率图2．5．1表明，不管训练集如何变化，MNLDA与LDA／GSVD都具有相同的识别率，并且NLDA的表现优于MNLDA和LDA／GSVD。从表2．5．1可以看到，MNLDA和LDA／GSVD的平均识别率只有86．1％，而NLDA的识别率达到了90．5％。从表2．5．2可以看到，NLDA和MNLDA比LDA／GSVD具有更高的效率，LDA／GSVD的计算时间是MNLDA的上百倍。表2．5．1在ORL人脸库上，二种算法在10次实验中的平均识别率(百分数)以及标准差3l 2小样本F的线性鉴别分析方法博}：论文表2．5．2在ORL人脸库上，三种算法在lO次实验中的计算时间(秒)(CPU：Pentium1．8GHzRAM：1Gb12．5．5．2AR人脸库上的实验实验使用AR人脸数据库的一个子库，其包括120个人1680幅图像，每个人14幅图像。详见2．4．4．2小节的描述。我们选择每个人的前3、4和5幅图像做训练，剩余图像做测试。分别利用NLDA，LDA／GSVD和MNLDA进行特征提取后，最近邻分类器被用来进行分类。图2．5．2显示了NLDA，LD～GSVD和MNLDA识别率随训练样本数的变化情况，表2．5，3列出了三种算法的在不同训练样本数下的识别率，另外，表2．5．4则列出了它们的运算时间。32表2．5．3在AR人脸库上，三种算法在不同训练样本数下的识别率(百分数) 博k论文子宅问特征提取及生物特征识别应用训练样本数图2．5．2在AR人脸库上，三种算法的识别率随训练样本数的变化表2．5．4在AR人脸库上，三种算法在不同训练样本数下的计算时间(秒)(CPU：Pentiurn1．8GHzRAM：1Gb)从图2．5．2和表2．5．3，我们仍然可以发现，不管训练样本数如何变化，MNLDA和LDA／GSVD都具有相同的识别率，另外MNLDA和LDA／GSVD比NLDA具有更高的识别率。从表2．5．4可以看到，MNLDA和NLDA明显比LDA／GSVD的效率更高。2．5．5．3YALE人脸库上的实验YALE人脸数据库包括15个人的165幅灰度图像，每人ll幅图像。详见2．4．4．3小节的描述。我们选择每个人的前2到7幅图像做训练，剩余的图像做测试。NLDA、LDAJGSVD和MNLDA分别被用来进行特征提取，提取特征后，最近邻分类器被用来进行分类。图2．5．3显示了三种算法的识别率随训练样本数的变化，表2．5．5则列出了三种算法的计33 2小样本F的线件鉴别分析方法博t论文算时间。训练样本数图2．5．3在YALE人脸库上，三种算法的识别率随训练样本数的变化情况表2．5．5在YALE人脸库上，三种算法在不N011练样本数下的计算时间(秒)(CPU：Pentium1．8GHzRAM：1Gb)从表2．5．5可以发现，MNLDA和NLDA的效率明显高于LDA／GSVD：从图2．5．3可以看到，不管训练样本数如何变化，MNLDA和LDA／GSVD都具有相同的识别率。另外，MNLDA和LDA／GSVD的识别率要高于NLDA的识别率。为什么在ORL人脸库上，NLDA的识别率高于MNLDA，而在AR和YALE人脸 博}：论文子宁间特征提取及生物特征识别应用库上，MNLDA的识别率高于NLDA?我们觉得这个问题可以这样解释：从2．5．4小节我们知道，仪仪是对角化S后的归一化过程导致了MNLDA和NLDA不同的鉴别能力。在文献【170】中，作者指出墨的本征向量包含两种成分，一种是区别不同人脸的本质差异(，)，另一种是由表情和光照变化引起的变化差异(于)。在ORL人脸库上，可能是对应于大本征值的本征向量包含j，而对应于小本征值的本征向量包含于。对角化S后的归一化过程将增强于的作用而减弱，的作用，然而，歹有利于识别而于则会对识别造成负面影响，所以，加入了归一化处理的MNLDA反而表现得不如NLDA。相反地，在AR和YALE人脸库上，j包含在对应小本征值的本征向量中，而于包含在对应大本征值的本征向量中，所以，这时的归一化处理将增强歹的作用而减弱于的作用，因此MNLDA的表现优于NLDA。2．5．5．4PolyU手指关节纹数据库上的实验PolyU手指关节纹数据库是由香港理工大学牛物特征识别中心创建的，其中的手指关节纹图像从165个志愿者采集得到，包括125个男性和40个女性。在这些志愿者中，有143人的年龄在20到30岁之间，其他人的年龄在30到50岁之间。这些样本采集于两个时间段，在每个时间段，要求每个志愿者分别提供左手食指、左手中指、右手食指和右手中指的6幅图像。因此，每个志愿者共提供了其4个手指的48幅图像，而这个数据库总共包含660个不同手指的7920幅图像。采集数据的两个时间段的平均间隔时间是25天，最大间隔和最小间隔分别足96天和14天。利用文献[164】中提出的ROI抽取算法，对采集到的手指关节纹图像进行了预处理。我们选取了此数据库中100个人的右手指的1200幅图像作为实验图像，并将这些图像缩放到55×llO像素大小，图2．5．4显示了其中一个人的右手指的12幅图像。秽?”：”—鬻—耀甲’’+—糍4⋯。彻”⋯”爹4一⋯移”镶’”：o僦龇‰_——幽‰：——，一中⋯一r。蔫o■一删⋯鼍·一一一≮够一”wⅢ““∞4‰‰‰目8穆⋯mq移‰施幽盗渤幽鞋翻缸趔警菇啦幽‰豳出幽潮趣豳0跫翰翻‰墟孙谢鼬国k瞄盔瞄曲盛l遴翻鏊醯交t磷篮；皱i函图2．5．4PolyU手指关肖纹数据库上一个人的右手指的12幅图像我们利用第一个时间段采集的6幅图像做训练，第二个时间段采集的6幅图像做测35 2小样本F的线件鉴别分析方法博十论文试。首先，分别运行LDA／GSVD和MNLDA提取图像的特征，接着使用最近邻分类器进行分类。表2．5．6列出了两种方法的识别率和计算时间。从表2．5．6可以看到，MNLDA的效率仍然是明显高于LDA／GSVD，但从表中我们同时看到，MNLDA和LDA／GSVD取得了不同的识别率。这一点是与我们之前的结论以及人脸识别实验的结果不一致的。为什么会出现这种情况?根据上文的分析我们知道，要在条件(2．5．1)成立时，MNLDA和LDA／GSVD才具有相同的鉴别能力。在这个实验中，总的训练样本的数目是600，可我们发现rank(St)=593≠600—1，即条件(2．5．1)是不成立的，因此，LDA／GSVD和MNLDA的等价性就不成立了。表2．5．6在PolyU手指关节纹数据库上，MNLDA和LDA／GSVD的识别率(百分数)及计算时间(秒)(CPU：Pentium1．8GHzRAM；1Gb)2．6本章小结本章对高维小样本情况下的线性鉴别分析方法进行了研究。首先分析了解决LDA小样本问题的两种流行算法，DLDA算法与FDA算法的关系，同时指出了DLDA算法的不足：它的投影向量没有归一化。为了克服DLDA的这个不足，我们对DLDA进行了归一化处理，从而提出了NDLDA算法，NDLDA算法具有归一化的本征向量。通过ORL、YALE和AR人脸库上的人脸识别实验，我们将NDLDA与DLDA以及FDA做了对比，实验结果表明，NDLDA比DLDA和FDA具有更高的识别率。其次，本章讨论了另外两种解决LDA小样本问题的流行算法，NLDA与LDA／GSVD算法在满足一个温和条件下的联系，并且此条件对于高维小样本数据一般都是成立的。基于这两种算法之间的联系，我们提出了等价于LDA／GSVD的MNLDA算法。当给定的温和条件满足时，MNLDA与LDA／GSVD具有相同的鉴别能力，但MNLDA具有更高的效率。我们还比较了NLDA和LDA／GSVD的效率，与MNLDA一样，NLDA也比LDA／GSVD具有更高的效率。在ORL、FERET和YALE人脸库上的人脸识别实验结果证明了，在给定的温和条件成立时，LDA／GSVD和MNLDA是等价的并且MNLDA具有更高的计算效率。当温和条件不成立时，LDA／GSVD与MNLDA的等价关系就不成立了，在PolyU手指关节纹库上的手指关节纹识别实验结果展示了这种情况。另外，NLDA与MNLDA的鉴别能力孰优孰劣与不同的数据库有关，通过人脸识别实验，我们对此给出了解释。36 博}=论文了：字间特征提取及生物特征识别应用3基于流形学习的子空间特征提取方法3．1引言主成分分析(PCA)和线性鉴别分析(LDA)主要考虑数据的全局特征，它们都是基于这样一种假设：数据满足高斯分布，并且测试数据和训练数据具有相同的分布。然而，由于数据采集的局限性以及数据输入的变化，这个假设往往不能成立。近年来，许多基于数据局部特征的流形学习算法被陆续提出，并被成功应用于特征提取，如等距映射(ISOMAP)[57]，局部线性嵌／x,．(LLE)[58]和拉普拉斯特征映射(LE)[59】等。这些流形学习算法寻找高维数据的非线性低维嵌入，从而达到降维的目的，它们的最大缺陷在于：如果要计算测试数据的低维表示，需要将测试数据加入训练集中，之后再重新运行整个算法，这会明显降低算法的效率。局部保持投影(LPP)[62，63]成功解决了这个问题，它是LE算法的线性逼近。LPP通过保持数据的邻域关系对数据进行降维，它寻找一个投影矩阵，经过此投影矩阵，原先靠近的数据点在投影后的低维空间中依然保持较近。对于测试数据仍然可以利用投影矩阵直接求出其低维表示，而不需要再重新运行算法，因此LPP的效率优于LE。LPP只考虑了数据的局部特征而忽略了数据的非局部特征，Yang等人认为这两种特征对分类识别都很重要，于是提出了非监督鉴别投影(UDP)[66，67]。UDP同时考虑局部和非局部特征，它的基本思想是：寻找一组投影方向，不但使原先靠得近的样本投影后靠得近，而且使原先离得远的样本投影后仍然离得远。可以认为UDP与分类识别有更为直接的联系，因此它比LPP具有更好的识别性能。LPP和UDP部没有利用数据的类别信息，它们属于非监督的子空间特征提取方法，为了进一步提高鉴别能力，一些同时利用数据的局部信息和类别信息的子空间特征提取方法被陆续提出，如边界Fisher分析(MFA)[72，73]、局部鉴别嵌入(LDE)[74】、鉴别局部保持投影(DLPP)[75】、局部敏感鉴别分析(LSDA)[77]、近邻鉴别投影(NDP)[76]、等角嵌入分析(CEA)[78]等，这些算法同时结合了Fisher准则和流形学习准则。与LDA一样，UDP也会遭遇小样本问题，即局部散度矩阵会出现奇异的情况[67】。为此，Yang等人在执行UDP算法时，首先利用PCA进行维数约减，使得降维后的局部散度矩阵不再奇异。这样做是避免了小样本问题，但是在利用PCA降维的过程中可能会丢失一些对分类识别有用的信息，因为此时UDP实际上只利用了局部散度矩阵零空间外的信息。对于LDA，为了在解决小样本问题的同时，不丢失有用的信息，Yang等人提出了完备的线性鉴别分析方法(CLDA)[47，481，CLDA同时利用类内散度矩阵的零空间内和零空间外的信息。受CLDA肩发，本章提出了完备非监督鉴别投影(CUDP)算法。CUDP同时利用局部散度矩阵的零空间内和零宅间外的信息，所以它比UDP具37 3基于流形学习的子宅间特征提取方法博t：论文有更强的鉴别分类能力。LDE算法同时考虑数据的局部信息和类别信息，但却忽略了数据的非局部信息，这些非局部信息存在于相距较远的数据点之间，可能对分类识别具有重要作用[67】。本章提出加权线性嵌入(WLE)算法，WLE同时充分利用数据的局部信息、非局部信息和类别信息，所以它比LDE具有更强的鉴别能力。LDA实际上也是同时利用了局部信息、非局部信息和类别信息，但它对局部信息和非局部信息是同等对待的。由流形学习的理论我们知道，局部信息在揭示数据集隐藏的流形结构方面，比非局部信息更为重要。根据局部信息和非局部信息不同的作用，WLE有区别地利用它们，因此，它比LDA的鉴别能力更强。在人脸数据库、掌纹数据库以及手指关节纹数据库上的实验结果证明，本章提出的算法能够有效提取数据的特征。3．2几种基于流形学习的子空间特征提取算法3．2．1局部保持投影(LPP)【631LPP求解一组投影方向，使得投影后样本的局部散度尽量小。为了描述局部散度，需要首先定义一个邻接矩阵H。假设有M个训练样本鼍(f=l，2，⋯，M)，则H的元素如下定义：f．如默，是五的尼近邻％：{1’或≤是Z的后近邻(3．2．1)【0，其他情形设w为一个投影方向，则通过W投影后的样本为：M=WTtO=l，2，⋯，M)。投影后的局部散度可以表示为：以咖平1季M啄圹¨2@2国=—L∑嘞(矿五-wTxj)22MML厶一J=Ip、4式(3．2．2)可化简为：以(叻=wTXLXTW，其中X=[五，x2，⋯，‰]是训练样本矩阵，L=D—H称为拉普拉斯矩阵[631，D是一个对角矩阵，它的对角线元素为矩阵日相应行的元素之和，即域=∑％。令是=j三艘Ⅸ1(3．2．3)‘MM、。足称为局部散度矩阵。 博一}二论文了宅间特白F提取及生物特征识别府用LPP的准则为求解投影方向W，最小化如下准则函数：小)=黑(3．2．4)这个问题可以转化为解广义本征方程：XLXrw=2XDXrW(3．2．5)若要提取d个特征，则LPP最终的投影方向为方程(3．2．5)的对应前d个最小本征值的本征向量。3．2．2非监督鉴别投影(UDP)1671UDP求解一组投影方向，不但使得投影后样本的局部散度尽量小，而且使得非局部散度尽量大。为了描述局部散度和非局部散度，也是需要首先定义一个邻接矩阵日，日的元素如下定义：fl如瓤，戡的后近邻％--tb并如题，的七近邻(3．2．6)【0，其他情形经过W投影后的局部散度仍然可以表示为式(3．2．2)，而非局部散度可以表示为：几(咖赤萎(1一％)(乃一乃)2，M。(3．2．7)=—1—∑(1-％)(M，T薯一M，T．o)22MM急I”、‘∥式(3．2．7)町转化为：JN(’．，)=M，r(S一墨)w，其中墨是如式(3．2．2)定义的局部散度矩阵，墨是如下定义的总体协方差矩阵：墨=击麓(薯一圳t叫T令SN=st—SL瓯称为非局部散度矩阵，此时有厶(w)=WT瓯w。UDP准则为求解投影方向W，最大化如下准则函数：，(w)：血盟：一wr；S一、．w一、÷Jfjow、WlsfW这个问题叮以转化为解广义本征方程：SNW=九SLW(3．2．8)(3．2．9)(3．2．10)(3．2．11)39 3基于流形学习的子窄间特征提取方法博‘}论文若要提取d个特征，则UDP最终的投影方向为方程(3．2．11)的对应前d个最大本征值的本征向量。3．2．3局部鉴别嵌入(LDE)1741LDE结合了数据样本的局部信息和类别标签信息，它寻找投影方向，使得投影后的数据满足：来自同类的近邻样本尽量靠近，而来自不同类的近邻样本尽量远离。LDE为来自同类的样本创建近邻图G。，为来自不同类的样本创建近邻图G6。对于图瓯，若五是_的k近邻并且它们来自同一个类，则在瓯中连接薯和■；对于图G6，若五是■的屯近邻并且它们来自不同的类，则在G6中连接薯和勺。这时，对应于G。的邻接矩阵饥和对应于q的邻接矩阵也分别定义如下：日。c‘力={三：如果五和t在Gw中姜蓑薯鬈c3．2．t2，f1％(f，／)={?【0，如果薯和_在G中曩蓑鬈鬈(3．2．13)其他情形7类似于LPP，可以创建如下的拉普拉斯矩阵对：L=仇一H。厶=见一Hb(3．2．14)(3．2．15)M其中Dw和D6是对角矩阵，它们的对角线元素为Dw(i，f)=∑H。(f，／)(f=l，2，⋯，M)，式(3．2．16)可以化简为(i=l，2，⋯，M)。LDE的准则是最大化如下函数：M膨∑∑玩(f，j)(wrxj一∥_)2‰(w)=等{L——————～(3．2．16)∑∑Hw(i，烈∥薯一矿_)2i=Ij=l‰c叻=筹笔WW五L．．．五(3．2．17)因此，LDE的投影矩阵可以由广义本征方程码Xrw=2XLwX7’w的对应前d个最大本征 博1．论文了宅问特征提取及t物特征识别应用值的本征向量构成。3．3完备非监督鉴别投影(CUDP)当数据样本的维数很高时，UDP算法中的局部散度矩阵S，会出现奇异的情况，此时广义本征方程(3。2．11)不能直接求解。为了解决这个问题，Yang等人对样本先进行PCA变换[67】，将其维数降低，使得S，不再奇异，之后再执行UDP算法。这样做实际上是去除了S，的零空间，然而S，的零空间内的信息其实对分类识别很重要。在S，的零空间内，局部散度以(W)为0，这时如果非局部散度，Ⅳ(w)不为0，准则函数(3．2．10)的值为无穷大。我们知道，准则函数(3．2．10)的值越大越好，所以S，的零空间内的信息不能丢弃。为此我们提出CUDP算法，CUDP同时利用s，的零空间内和零空间外的信息，在两个空间中都进行特征提取。3．3．1CUDP基本思想众所周知，总体散度矩阵墨的零空间对鉴别分类不起作用[67]，所以墨的零空间可以首先去除掉，这个可以通过PCA来完成。求解墨的对应非零本征值对应的本征向量露(待1，2，⋯，m)，令P=(Pl，p：，⋯，P。)，将样本投影到P上，得到暑=PT‘(江l，2，⋯，M)(3．3．1)用新的样本特征置构建局部散度矩阵SL和非局部散度矩阵雪Ⅳ。设贾=(墨，爰，⋯，-ru)为新的训练样本矩阵，则由式(3．3．1)町知叠=熹越T=击PTXLXTP=PT&P(3．3．2)‘MML、‘sN=st—SL=P1StP—P1sLP=P1(￡一SL)P(3．3．3)=PnsNP通过PCA去除墨的零空间后，如果此时雪：不奇异，即雪：不存在零空间，则可以直接使用蔓和雪．Ⅳ执行UDP算法。如若不然，则需要分别在叠的零宅问内和零空间外进行特征提取。对受进行特征分解，求出它的本征向量-qi(i=1，2，⋯，聊)。设SL的对应于非零本征值的本征向量为吼(f=l，2，⋯，s)，对应于零本征值的本征向量为吼(f=s+1，s+2，⋯，m)。分别将样本Yc，(i=1，2，⋯，M)投影到受的零空间内和零空间外。令垂=(g。，q：，⋯，吼)，垂=(吼小吼彬⋯，‰)，则投影到叠零空间外的样本特征为暑=Q1量(净l，2，⋯，M)(3．3．4)投影到零空间内的样本特征为暑=圣T置(f=1，2，⋯，M)(3．3．5)41 3基于流形学习的子宅间特征提取方法博士论文在叠的零空间内，用暑构建零空间内的非局部散度矩阵式，根据式(3．3．5)有S^，=Q1SⅣQ(3．3．6)在雪，的零空间内，局部散度为零，这时需要最大化非局部散度。求解投影方向，最大化函数：．厂(，)=，T式，。通过对吼进行特征分解来解此最大化问题，求出它的本征向量‘“=1，2，⋯，m—s)，‘O=1，2，⋯，m-s)按其对应的本征值降序排列。令R=(吒，r2，⋯，，辨一，)，对于样本X，投影到零空间内得到的新特征为：乏=R7垂’PTx。在雪：的零空间外，用量分别构建零空间外的局部散度矩阵雪：和非局部散度矩阵SⅣ，由式(3．3．4)可得SL=Q1SLQ(3．3．7)一、，雪Ⅳ=垂TjⅣ垂(3．3．8)这时的局部散度矩阵已经非奇异，所以可以执行UDP算法，求解投影方向v最大化准则函数：d(v)：百'，TsNv。通过求解广义本征方程巩'，：2SLv来解此最大化问题，求出该’，。S，’，“本征方程的本征向量吩a=l，2，⋯，s)，一O=l，2，⋯，s)按其对应的本征值降序排列。令V=('，，，'，：，⋯，屹)，对于样本x，投影到零空间外得到的新特征为：三=yT圣TPTx。为了同时利用两个空间的信息，我们将雪，的零空间内和零空间外的样本特征组合起来，形成最后的CUDP特征。零空间中的特征最为重要，所以其中的m—s维特征一般全部使用。若零空间外的特征维数取t，则最终的CUDP特征为：Y=(乏，三(1：f))。3．3．2CUDP算法根据3．3．1小节的分析，可以给出CUDP的算法：Stepl计算为(江1，2，⋯，M)的k近邻，根据式(3．2．6)构建H。由式(3．2．3)与式(3．2．8)分别求得墨和墨，根据式(3．2．9)求得晶。Step2PCA变换：求解出墨的对应于非零本征值的本征向量最U=1，2，⋯，聊)。令P=(p。，P2，⋯，P。)，将样本投影到墨的零空间外，得到毫=PT毛(江l，2，⋯，M)。Step3根据式(3．3．2)与式(3．3．3)分别计算SL和雪Ⅳ。若叠不奇异，求解广义本征方程雪Ⅳw=A叠W对应于前，个最大本征值的本征向量嵋(f=1，2，⋯，，)。令W=(M，M，2，⋯，M)，对于一个样本x，最终的CUDP特征为J，=WTPTx。算法结束。如若不然，执行Step4。Step4求出SL的本征向量吼(f=1，2，⋯，m)，设它的对应于非零本征值的本征向量为吼U=l，2，⋯，s)，对应于零本征值的本征向量为qi(江s+1，s+2，⋯，m)，令42 博t：论文子窄间特征提取及生物特征识别戍用Q=(吼，窖：，⋯，吼)，Q=(吼小吼+2，⋯，q。)，则投影到爰零空间外的样本特征为毫=Qr毫(扛l，2，⋯，M)，投影到￡零空间内的样本特征为鼍=Q1yc,(i=l，2，⋯，M)。Step5由式(3．3．6)计算武，求出．霸的本征向量I(待1，2，⋯，m—s)。令R=(rl,吒，⋯，，m叶)，对于样本x，投影到零空间内的新特征为：乏=R7垂TP7x。Step6由式(3．3．7)、(3．3．8)分别计算咒和．％，求出广义本征方程SⅣ，，=ASLv的本征向量吩(f=l，2，⋯，s)，vi(i=1，2，⋯，J)按其对应的本征值降序排列。令V=(H，’，：，⋯，Ps)，对于一个样本x，投影到零空间外的新特征为：三=V7圣TPTX。Step7零空间内的特征全部使用，零空间外的特征取f维，得到最终的CUDP特征：Y=(乏，三(1：t))。3．3．3实验结果与分析本小节通过人脸识别与人脸表情识别实验验证所提出的CUDP算法的有效性，CUDP与PCA、KPCA、LPP、UDP等子空间特征提取方法做了比较。在实验中，我们分别用PCA、KPCA、LPP、UDP和CUDP来做特征提取。对于LPP和UDP中的PCA步骤，实验中保持90％的PCA能量。对于KPCA，我们选择了多项式核K(x，y)=(1+xTy)d，其中参数d取最优值。另外LPP、UDP、CUDP中的近邻参数k均取最优值。3．3．3．1人脸识别实验(1)ORL人脸库的实验ORL人脸数据库包含40个人的400幅人脸图像，每个人lO幅图像。详见2．4．4．1小节的描述。在第一个实验中，我们选择每个人的前4幅图像作训练，后6幅图像作测试，分别使用LPP、UDP和CUDP进行特征提取，让近邻参数k从l变化到10。图3．3．1显示了3种算法的识别率随近邻参数k的变化情况。从图中可以看出三种算法都是在k取较小值的时候识别率比较高，并且CUDP算法的效果要好于LPP和UDP。而当k值取得过大时，三种算法的识别率都会下降。这个其实很容易解释：因为每个人有4幅训练图像，所以对于每幅图像只有另外3幅图像与自己是同类的(即属丁二同一个人)。如果将近邻参数k取得过大，必然会将一些与自己不同类的图像作为近邻处理，这样做显然是不合理的。因此，近邻参数k的值一般应该小于每类的训练样本数。43 3基F．流形学习的子宅间特征提取方法博～}论文褥oR嚣§近邻参数：k图3．3．1三种算法在ORL人脸库上的识别率随近邻参数k的变化在第二个实验中，我们随机选择每个人的3幅图像做训练，剩余的7幅图像做测试，实验重复执行20次，最后结果取平均值。表3．3．1列出了几种算法的最高平均识别率，相应的特征维数以及最优的近邻参数k。从表中可以看到，CUDP在特征维数取为80时的识别率达到了88．4％；PCA、KPCA、LPP和UDP的最高平均识别率分别只有86．3％、87．1％、83．5％和85．3％；KPCA在多项式参数d取2时取得最高识别率，LPP、UDP和CUDP在近邻参数k分别取2、2和l时取得最好的识别效果。表3．3．1五种算法在ORL人脸『荦f：的最高平均识别率(百分数)以及对应的特征维数和近邻参数(2)FERET人脸库的实验 博L论文子空间特征提取及生物特征识别应用FERET人脸库[171，172]是由美国国防部的DARPA计划赞助发起的，它已经成为测试和验证人脸识别算法的一个标准库。实验中使用了FERET库的一个子库，它由200个人的1400幅图像构成，每个人7幅图像。这些图像包括人脸表情、姿态以及光照的变化。根据眼睛和嘴巴的位置，我们将原图像的人脸部分剪裁出来，并将他们缩放到80x80像素大小。图3．3．2显示了其中一个人的7幅图像。图3．3．2FERET人脸库上一个人的7幅人脸图像在实验中，每个人的前3幅图像用来做训练，剩余的4幅图像做测试。图3．3．3显示了几种特征提取算法的识别率随提取的特征维数的变化情况。表3．3．2列出了它们的最高识别率，相应的特征维数以及最优的近邻参数k，实验中KPCA的多项式参数取d取最优值O．5。从图3．3．3可以看到，CUDP算法的识别率优于PCA、KPCA、LPP和UDP；CUDP能比UDP提取更多的有效特征，这是因为CUDP既利用了局部散度矩阵零空间外的信息，也利用了它的零空间内的信息；另外从图中还可以看到，CUDP算法的识另JJ率在特征维数取470左右时有明显的提高。这是冈为从这个维数开始，在零空间内特征的基础上加入了零空间外的特征，两个空间特征的组合使得识别率有明显提高。表3．3．2显示CUDP的最高识别率为47．5％，而PCA、KPCA、LPP和UDP分别只有43．3％、44．6％、40．4％和44．1％。表3-3．2五种算法在FERET人脸库￡：的最高识别率(百分数)以及对麻的特征维数和近邻参数45 3基于流形学习的予守间特征提取力法博1}：论文骼矗妥_：=冬维数图3．3．3五种算法在FERET人脸库上的识别率随特征维数的变化3．3．3．2人脸表情识别实验人脸表情识别实验在CMU和YALE组合人脸库上进行。利用基于局部Gabor滤波器[173]的空间自适应三角测量技术[174]，从CMU—PittsburghAU-Coded人脸表情数据库中获得463幅人脸表情面具图像。这些图像包括六种表情：惊讶、牛气、悲伤、高兴、害怕和厌恶，图像的分辨率为70×60像素。图3．3．4显示了其中一种表情的10幅图像。从YALE人脸库上选取了15个人的45幅图像，每个人3幅图像，这3幅图像表示三种表情：惊讶、高兴和悲伤。去除这些图像的背景后，仍然足利用基于局部Gabor滤波器的空间自适应三角测量技术，将这些图像转化成了面具图像，图像的分辨率也为70×60像素。图3．3．5显示了其中一种表情的10幅图像。9祭霉臻薷镰零◇露誉镰誊略露§壤铡睡辽迂也监岱选．迂送、图3．3．4CMU．PittsburghAU—Coded人脸表情数据库上的10幅人脸表情图像 博十论文7宅间特征提取及生物特征识别应用图3．3．5YAI，E人脸庠上的lO幅人脸表情图像在实验中，CMU—PittsburghAU．Coded人脸表情数据库中的前210幅面具图像用来做训练。这唑训练图像包括了该库所有的六种表情，每种表情有35幅训练图像。CMU—PittsburghAU．Coded人脸表情数据库中剩余的253幅面具图像以及YALE人脸库中的45幅面具图像用来做测试。表3．3．3列出了几种算法的最高识别率，对应的特征维数以及最优的近邻参数k。从表中可以看出，CUDP算法的识别率仍然是最高的，在近邻参数k取25，提取的特征维数为188时，CUDP的识别率达到了87．2％，而PCA、KPCA、LPP和UDP在参数和特征维数均取最优情况时的识别率分别只有81．2％、81．5％、83．2％和84．6％，其中KPCA的多项式核参数d取最优值O．5。表3．3．3五种算法在CMU和YALE组合人脸库上的最高识别率(百分数)以及对应的特征维数和近邻参数3．4加权线性嵌入(WLE)LDA算法除了如第2章第2节那样描述外，还有另外一种描述方法。首先按如下方法定义一个邻接矩阵日：％={L，如果‘和_属于吴忑磊耄此时类间协方差矩阵sb和类内协方差矩阵&可定义如下：咒专击善争刚¨盹训r(3．4．1)(3．4．2)47 3基F流形学习的予守间特征提取方法博士论文&2吉去善善％(薯一xj)(x,-xj)r(343)当每类的训练样本数相同时，Yang等人证明，使用式(3．4．2)年11式(3．4．3)定义的咒和S。执行LDA，与经典的LDA是等价的[67】。从日的定义以及式(3．4．2)和式(3．4．3)可以看到，LDA在创建咒和&时，局部信息(即局部样本对之间的信息)和非局部信息(即非局部样本对之间的信息)是等同对待的。然而，根据流形学习理论我们知道[57，58，59]，局部信息对于发掘数据集隐藏的流形结构更加重要，所以局部信息和非局部信息应该区别对待。由本章第2节的介绍叮知，LDE只考虑了数据的局部信息却忽视了数据的非局部信息，而非局部信息对特征提取和分类也很有用[67】。因此，局部信息和非局部信息需要同时被考虑。3．4．1WLE基本思想为了同时考虑局部信息和非局部信息并且有区别地对待它们，我们使用了高斯权重。高斯权重函数定义如下唧卜哔1n4川lf／嘶，：H一毕卜娜彬⋯B4渤10，其他情形H。(f，J)=唧[_学卜嬲彬一@4固0，其他情形WLE试图寻找这样的投影方向，通过这个投影方向投影后，加权类间散度与加权类内散度的比值足够大。经过W投影后的加权类间散度和加权类内散度可分别定义如下M五(w)=∑∑鼠(f，肌矿t一～dxj)2(3．4．7)i=l，=lM六(w)=∑∑fflw(i，j)OcTxj一∥_)2(3．4．8)i--Ij=l48 博}：论文子宅问特征提取及生物特征识别应用式(3．4．7)和式(3．4．8)可以化简为五(w)=wrx(怠一玩)xrW无(w)=矿x(瓯一鼠)xrw(3．4．9)(3．4．10)M其中Dw和怠是对角矩阵，其对角线元素分别为球i，f)=∑鼠(f，／)o=1，2，⋯，M)，，=l^，反(f，f)=∑／tb(i，．，)o=l，2，⋯，M)。此时，可类似于LDE定义拉普拉斯矩阵对：』=lL。=D。一H。(3．4．11)(3．4．12)WLE最大化如下准则函数dw,E(w)=筹=糍劣(3．4．13，WLE的投影矩阵由广义本征方程瓯xrw=A碰。XrW的对应前d个最大本征值的本征向量构成。3．4．2参数的设置方法参数选择在算法中占据重要地位，参数设置的优劣直接决定着算法的性能。对于WLE，参数乞和～出现在高斯权重的计算中。设置的参数应该使得权重满足两个要求：首先，权重应该反映局部信息和非局部信息的差异；另外，为了使非局部信息能够起作用，与局部样本对的权重相比，非局部样本对的权重不能太小。基于这两点，我们给出参数乙和0的设置方法。我们先讨论下如何设置参数乙，参数气可由类似的方法设置。计算出来自同一类的所有训练样本对间的距离，假设畋和九是任意两个距离，且有如>丸。这里，“可以被看做是一个非局部样本对间的距离，而d，可以被看做是一个局部样本对间的距离。由d，和dⅣ创建的高斯权重分别为猷咖唧㈢(3．4．14)州伊唧(一譬]@4朋，gL(tw)和gⅣ(0)的差异可以由gL(tw)与gⅣ(tw)的比值表示为：49 3基于流形学习的子窄间特征提取方法博t论文尺：掣：eXpf掣1一pf盟堕墼型1(3．4．16)gⅣ(o)‘L～／1L0／、“+吒的期望可以由2瓦估计，而九一以则可以由2A。估计，其中瓦表示所有来自同一类的训练样本对间距离的平均值，A。则表示它们的标准差。这时比值R可以由唧(警卜黼其由氏=竿唯一决定。为了制一个合适的删尺，姗需要选择一个合适的P，．，。当P，．，给定时，0可由下式求得f。：—4d．—Aw(3．4．17)同样地，如果给定了一个合适的磊，乞可由下式求得气：—4db—Ab(3．4．18)气=——(3．．)其中，乏表示所有来自不同类的训练样本对间距离的平均值，△。则表示它们的标准差。根据以上的分析，这时WLE只需要设置参数P。和岛。P。和岛的设置比0和气要容易，它们的最优范围受数据变化的影响不大。通过实验发现，当P。处于0到2之间而P6处于0到8之间时，WLE算法具有最好的性能。3．4．3与LDA和LDE的联系我们知道，P。和见可设置为任一正数。一方面，如果将它们都设置为0，根据式c34J7，和式c34J8，，我们有。=佃，乞=佃。这种情况下，所有的权重唧[一下IIx,-x,ll：]和唧[-毕一⋯，w瞅一⋯‰另外一方面，当我们将P。和仇设置得足够大时，0和气将变得很小。这时，我们先看下来自同一类的训练样本对。当0很小时，根据式(3．4．13)，局部样本对的权重g：．(0)与非局部样本对的权重gⅣ(0)的比值将变得非常大。这种情况发牛时，与鼠(气)对比，gⅣ(0)几乎町以认为是0，这就表示对于来自同一类的训练样本对，实际上只有局部信息被考虑了。类似的，当“很小时，对于来自不同类的训练样本对，实际上也是只有局部信息被考虑了。所以，当P，．，和既足够大时，WLE近似于LDE。Sn 博卜论文子宅间特征提取及生物特，征识别应用因此，可以得到这样的结论，LDA和LDE可以看做是WLE的两种特殊情况。3．4．4WILE算法由3．4．1小节可知，WLE算法需要解广义本征方程瓯xrw=A碰。X7’W。然而，在高维小样本的情况下，皿，x7’经常是奇异的，这时就会遇到小样本问题。为了解决这个问题，我们还是首先利用PCA降低数据的维数，使得瓯，xr在PCA的变换子空间中不再奇异。根据以上的讨论，WLE算法可以总结如下：Stepl对原始数据执行PCA算法，PCA的投影矩阵记为P，则数据五的新的PCA特征为，=P7’薯(扛l，2，⋯，M)。Step2根据公式(3．4．5)N(3．4．6)，并使用矿U=l，2，⋯，M)创建邻接矩阵鼠和疗。。接着根据公式(3．4．9)和(3．4．10)，并利用鼠和疗。计算五(w)和无(w)。Step3求解广义本征方程x朐厶x毛q=力x删乞墨乙q的对应前d个最大本征值的本征向量：gl，92，⋯，锄。Step4令Q=(吼，q2，⋯，qd)，则WLE的投影矩阵为‰￡=PQ。对于样本X，其新的WLE特征为Y=W，．rzEx。3．4．5实验结果与分析本小节通过YALE、FERET人脸数据库，PolyU掌纹数据库以及PolyU手指关节纹数据库上的识别实验检验WLE算法的性能。WLE与PCA、LPP、LDA以及LDE等特征提取方法做了对比，LPP、LDE和WLE均选取最优参数。最后使用最近邻分类器对提取的特征进行分类。3．4．5．1YALE人脸库上的实验YALE人脸数据库包括15个人的165幅灰度图像，每人11幅图像。详见2．4．4．3小节的描述。在第一个实验中，WLE在不同的参数n和岛下运行。我们分别用每个人的前4、5和6幅图像做训练，剩余的图像做测试。首先，我们将岛固定在2，让P。以步长O．4从0变化到8。图3．4．1显示了WLE的识别率随P。的变化情况，从中可以看到，不管训练样本数取为多少，WLE基本在P。处于O到2间时取得最大识别率。接下来，我们将P。固定在2，让以以步长1从O变化到20。图3．4．2显示了WLE的识别率随耽的变化情况，从中可以看出，不管训练样本如何变化，当玩在O到8之间时，WLE取得最优识别率。这些实验结果恰好证明了3．4．2小节的结论。从图3．4．1和3．4．2还可以看到，WLE的识别率随着九或死的变化出现振荡。我们认为这个现象可以这样解释：随着‰或以的增大，局部信息的作用增强，但同时非局部信息的作用减弱了，这两方面的共 3基F流形学习的予宅问特征提取方法博匕论文同作用造成了WLE识别率的振荡。在第二个实验中，我们将WLE与PCA、LPP、LDA以及LDE进行对比。随机选择每个人的4幅图像做训练，用剩余的图像做测试，实验重复20次。表3．4．1列出了每种算法的最大平均识别率、对应的维数以及最优参数。从表中可以看到，利用了样本的类别信息的监督算法LDA、LDE和WLE的表现优于非监督的算法PCA和LPP；LDE稍优于LDA；另外，WLE的表现优于LDA和LDE，它在P。取1而玩取0．4时获得最大识别率。52表3．4．1在YALE人脸库上，五种算法的最犬平均识别率(百分数)、标准差以及对应的维数和参数算法PCALPPLDALDEWLE维数56161416平均识别率90．991．792．593．194．5标准差2．43．02．93．83．0参数／k=2／k=2，吒=4P．．，=l，Pb=0．4图3．4．1在YALE人脸库上，WLE的识别率随P。的变化情况 博}=论交子窄间特征提取及生物特征识别应用图3．4．2在YALE人脸库上，WLE的识别率随Pb的变化情况3．4．5．2FERET人脸库上的实验实验在FERET人脸库的一个子库上进行，它包括200个人的1400幅图像，每人7幅图像。详见3．3．3．1小节的描述。我们对这些图像进行了直方图均衡化处理，图3．4．3显示了其中一个人的7幅均衡化的图像。图3．4．3FERET人脸库上一个人的7幅均衡化的人脸图像53 3基F流形学习的子宅间特征提取方法博t论文实验中每个人的前3幅图像做训练，剩余的图像做测试，PCA、LPP、LDA、LDE和WLE分别用来做特征提取。表3．4．2列出了五种算法的最大识别率、对应的维数以及最优参数。图3．4．4显示了五种算法的识别率随特征维数的变化情况。通过表3．4．2和图3．4．4我们能看到这么几点：首先，LDA、LDE和WLE的衷现优于PCA和LPP；其次，LDE的表现优于LDA：再次，WLE的表现最好，并且其在P。，=1、Pb=7时取得最高的识别率。表3．4．2在FERET人脸库L，五种算法的最大识别率(百分数)以及对应的维数和参数算法PCALPPLDALDEWLE维数150517365识别率54．045．154．956．959．1．参数／k=2／k。=1，吒=2P。=1，Pb=7图3．4．4在FERET人脸库上，五种算法的识别率随特征维数的变化情况3．4．5．3PolyU手指关节纹数据库上的实验实验使用PolyU手指关节纹数据库中100个人的右手指的1200幅图像作为实验图54 博L论文子宅间特征提取及生物特征识别戍用像，每个右手指12幅图像。详见2．5．5．4小节的描述。我们对这些图像进行了直方图均衡化处理，图3．4．5显示了其中一个人的右手指的12幅图像。图3．4．5PolyU手指关节纹数据库上一个人的右手指的12幅均衡化的图像我们使用第一个时间段拍摄的6幅手指关节纹图像做训练，剩余的6幅图像做测试。PCA、LPP、LDA、LDE和WLE分别用来进行特征提取。表3．4．3列出了五种算法的最大识别率以及对应的特征维数和参数。从表中可以看到，在这个实验中，LDA的表现好于LDE，这与YALE和FERET人脸库上的结果并不一致：然而，我们也能看到一个一致的结果，WLE依然是五种算法中表现最好的。由前面的分析知道，LDA和LDE可以看成是WLE的两种特殊情况，因此，不论LDA和LDE哪个表现更好，只要WLE选择了最优的参数，它总能展现出比另外两种算法更好的性能。表3．4．3在PolyU手指关节纹数据库I--_，五种算法的最大识别率(百分数)及其对应的维数和参数算法PCALPPLDALDEWLE维数957l605348识别率59．058．564．564．066．5．叁垫!一一．k=3／k。=3，％=9P。=1．4，肪=03．4．5．4PolyU掌纹数据库上的实验在实验中，我们选取香港理工大学的PolyU掌纹数据库的一个子库，其中包括100个不同掌纹的600幅图像，每个掌纹6幅图像。这6幅图像是在两个时间段获取的，前3幅拍摄于第一个时间段，后3幅拍摄于第二个时间段，两个时间段平均间隔2个月。使用文献[1751中的算法，我们剪切出图像的中，II,区域，将其缩放到128x128像素大小并且进行直方图均衡化处理，图3．4．6显示了其中一个掌纹的6幅图像。SS 3基于流形学习的子窄间特缸}提取疗法博1．论文图3．4．6PolyU掌纹数据库上一个掌纹的6幅均衡化的图像第一个时间段获得的3幅图像做训练，第二个时间段获得的3幅图像做测试，PCA、LPP、LDA、LDE和WLE分别用来提取图像特征。表3．4．4列出了五种算法的最佳识别结果以及对应的特征维数和参数。从图中可以看到，LPP在这个数据库上具有不错的性能，它比PCA、LDA和LDE具有更高的识别率；不过，WLE仍然取得了最高的识别率，当p。取0．4，以取l时，WLE的识别率达到了93．3％。表3．4．4在PolyU掌纹数据库上，五种算法的最人识别率(百分数)及其对应的维数和参数算法PCALPPLDALDEWLE维数10597949395识别率88．092．091．788．393．3参数／k=2／k。=1，kb=17P。=0．4，P6=13．5本章小结本章讨论了基于流形学习的子空间特征提取方法，主要对其中的LPP、UDP和LDE算法进行了研究。首先分析了UDP算法的不足，它只利用了局部散度矩阵零空间外的信息，基于此本章提出CUDP算法，CUDP同时利用局部散度矩阵零空间内和零空间外的信息。因为局部散度矩阵零空间内的信息对分类识别具有十分重要的作用，所以CUDP比UDP具有更强的识别性能。ORL、FERET入脸库上的人脸识别实验与CMU和YALE组合人脸库上的人脸表情识别实验的结果，证明CUDP是一种有效的非监督子空间特征提取56 博士论文了宅间特征提取及生物特征识别戍用算法。其次，为了克服LDE忽略了数据的非局部信息以及LDA将局部信息和非局部信息同等看待的不足，本章提出了WLE算法。WLE同时考虑局部信息、非局部信息和类别信息，并且通过使用权重有区别地对待局部信息和非局部信息。我们还提出了设置WLE参数的方法，并给出了参数的最优范围。在YALE和FERET人脸库以及PolyU掌纹和手指关节纹数据库上的实验，WLE均表现出很好的性能。57 4基F稀疏表示的子宅间特征提取方法博卜论文4基于稀疏表示的子空间特征提取方法4．1引言稀疏表示在信号处理领域已经获得了广泛应用，它被证明是一种有效的获取、表示和压缩高维信号的方法，这主要是由于信号可以用一些固定的基稀疏表示；此外，基于凸最优化或贪婪追踪的算法可以准确地计算出这些表示[1761。近年来，稀疏表示又被成功应用于计算机视觉和模式识别中，包括人脸识另lJ[90】、图像超分辨率[1771、运动和数据分害tJ[93，94]、监督去噪[178】、背景建模[179，180】以及图像分类[181，182]等。在文献[90]中，Wright等提出了基于稀疏表示的分类(SRC)方法，在人脸识别实验中，SRC比其他分类方法取得了更好的效果。在SRC算法中，一个测试样本被表示成所有训练样本的稀疏组合，并通过最小化厶范数来解这个稀疏表示问题。在获得稀疏表示系数后，计算出测试样本与每一类训练样本重构值之间的残差，最后将测试样本划分到残差最小的那个类。SRC是一种基于稀疏表示的分类方法，受它的启发，Qiao等人提出了基于稀疏表示的子空间特征提取方法——稀疏保持投影(sPP)[91】。对于每一个训练样本，sPP利用剩余的所有训练样本对其进行稀疏表示，求得稀疏表示系数。类似于基于流形学习的子空间特征提取算法中的邻接图，sPP使用求得的稀疏表示系数创建邻接图。由于稀疏表示系数是通过最小化厶范数求得的，因此这种邻接图又称为fl图，sPP利用厶图并通过图嵌入方法将样本数据投影到一个子空间中，从而提取数据的特征。由于稀疏表示系数中包含很强的鉴别信息，所以正图比一般的邻接图更有效，这就使得sPP比局部保持投影(LPP)[62，63]等流形学习算法具有更强的鉴别能力。在由SPP算法获取的子空间中，样本的稀疏重构关系能够得到保持。近十多年来，基于核的子空间特征提取算法如核主成分分析(KPCA)[14．16】和核Fisher鉴别分析(KFDA)[25—28]等在模式识别和机器学习中引起了不小的影响。KPCA和KFDA首先通过非线性映射将数据映射到高维特征空间，然后在新的高维特征空间中执行PCA和LDA。对于分类，通过利用核方法，Yu等提出了核最近邻(KNN)分类器[183】，KNN也是首先将数据映射到高维特征空间，之后在高维特征空间中应用最近邻小附)分类方法。由于在高维特征空间中，数据具有更好的线性可分性，一些在原特征空间线性不可分的数据，在高维特征窄间能够变得线性可分，所以这些基于核的算法提高了线性算法的性能。高维特征空间中数据向量的内积可以通过核函数求出。受到核方法的启发同时为了获得更有效的稀疏衷示系数，本章提出核稀疏表示的思想。核稀疏表示首先将数据映射到高维特征空间，接着利用核方法在高维特征空间中进行稀疏表示。我们知道，如果能够选择一个适当的核函数，数据将具有更好的线性町分58 博L论文子宅间特征提取及生物特征识别应用性。这时，在映射到的高维特征空间中，样本将可能更准确地由同类的训练样本线性表示，即样本的稀疏表示系数的非零值将更多地对应于同类训练样本，这样的稀疏表示系数无论对于分类还是特征提取都是很有利的。我们将高维特征空间中求得的稀疏表示系数称为核稀疏表示系数。将核稀疏表示系数用于分类中，本章首先提出基于核稀疏表示的分类(KSRC)算法。利用核稀疏表示系数，KSRC计算测试样本与每一类的训练样本重构值之间的残差，最后将测试样本划分到残差最小的那个类。实验表明，KSRC是一种有效的分类算法。将核稀疏表示系数运用在特征提取中，本章提出核稀疏保持投影(KSPP)。KSPP利用核稀疏表示系数创建邻接图，使用这幅邻接图并通过图嵌入方法寻找一个子空间，最后将数据投影到子空间中。经过KSPP投影后的数据可以保持原数据的核稀疏重构关系。在FERET、ORL人脸数据库以及PolyU掌纹数据库上的实验，KSPP都表现出不错的性能。4．2基于稀疏表示的分类(SRC)和稀疏保持投影(SPP)4．2．1稀疏表示假设我们有C类的M个训练样本，并且其中的第k类有足够多的训练样本，其训练样本矩阵记为鼍．[雌”吒'2’⋯，吒以]∈酞“厶，其中n是样本的维数，厶是第Jj}类的训练样本数。这种情况下，属于第k类的任一样本Y∈R”可以近似地表示成此类的所有训练样本的线性组合：y=噍．1t。l+％，2屯，2+⋯+以．厶％．‘(4．2．1)如若样本Y所属的类别开始是未知的，我们可以用所有训练样本的线性组合来表示Y：Y=Xh(4．2．2)其中X=[墨，置，⋯，置】-[五．1，五．2’⋯，艺。L]∈R“‘是包括c类所有M个训练样本的样本矩阵，h=[O，⋯，0，吃．1’％．2，⋯，hi,／ko，⋯，o]r∈瓞材是表示系数向量，理想情况下，h的非零元素只对应于第k类的训练样本。因此，当C很大时，h是稀疏的。当n