单位代码：10293密级：专业学位硕士论文论文题目：基于卷积神经网络的极光图像及极光序列分类研究学号1215012301姓名刘彬导师陈昌红专业学位类别工程硕士类型申请全日制专业申请（领域）图像处理与图像通信论文提交日期二〇一八年四月
TheAuroraImageandAuroraSequenceClassificationBasedonConvolutionNeuralNetworkThesisSubmittedtoNanjingUniversityofPostsandTelecommunicationsfortheDegreeofMasterofEngineeringByBinLiuSupervisor:Prof.ChanghongChenApril2018
南京邮电大学学位论文原创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得南京邮电大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。本人学位论文及涉及相关资料若有不实，愿意承担一切相关的法律责任。研究生学号：____________研究生签名：_____________日期：____________南京邮电大学学位论文使用授权声明本人承诺所呈交的学位论文不涉及任何国家秘密，本人及导师为本论文的涉密责任并列第一责任人。本人授权南京邮电大学可以保留并向国家有关部门或机构送交论文的复印件和电子文档；允许论文被查阅和借阅；可以将学位论文的全部或部分内容编入有关数据库进行检索；可以采用影印、缩印或扫描等复制手段保存、汇编本学位论文。本文电子文档的内容和纸质论文的内容相一致。论文的公布（包括刊登）授权南京邮电大学研究生院办理。非国家秘密类涉密学位论文在解密后适用本授权书。研究生签名：____________导师签名：____________日期：_____________
摘要极光是来自太阳和地球磁层的高能带电粒子流撞击大气层原子和分子而呈现的自然现象，极光图像及序列的研究能获取更多太阳和地球磁场的相互作用的细节及信息，有助于加强了解太阳对地球的影响规律和地球磁层的物理机制。本文针对极光序列以及静态图像进行了研究，主要做了两个方面的工作：一是基于多通道融合和卷积神经网络的极光静态图像的分类；另一个是基于动态池化图像网络的极光序列的分类。在极光静态的图像分类阶段，本文提出了一种基于多通道融合特征和卷积神经网络的分类方法。该方法针对传统特征提取只提取能表述极光图像的某种特定特征，如纹理特征、运动特征、局部特征、全局特征等，导致或多或少丢失极光图像的某些重要表征信息，造成研究效果不够好。本文方法集多种高效表征极光静态图像特征与一体，融合传统特征和深度学习自动学习特征，充分表征极光图像，实现良好的极光图像四分类。在极光图像序列分类阶段，本文提出了一种基于动态图像网络的极光序列分类方法。极光形态随时间推移会进行不断变化，极光图像序列是极光动态信息的载体，内含极光许多丰富信息。本文使用动态图像网络来对极光图像序列进行表述。该方法首先通过动态排名池化函数进行极光图像序列表征，得到极光动态图像；然后，用卷积神经网络进行动态图像特征训练提取特征；最后进行特征分类。以上所提两种方法均在中国北极黄河站的极光观测数据上进行实验，实验结果证明了上述两种方法的可靠性和有效性。关键词:极光图像分类，极光序列表征，多通道融合，动态图像网络，卷积神经网络I
AbstractAuroraisanaturallightphenomenon,whichoftenappersinhighlatituderegionandiscausedbythecollisionbetweenthehigh-energychargedparticleflowfromtheearth'smagnetosphereorouterspaceandatmosphericmoleculesoratoms.Thestudyoftheauroralmorphologyanditsevolutioncanobtainalotofinformationaboutthesolarwind–magnetosphereinteractionandgeomagneticphysics,whichishelpfultounderstandtheinfluenceofthesuntotheearthandthechangeruleofthespaceweather.Thispaperstudiestheaurorasequenceandthestaticimage.Itmainlyfocusesontwoaspectsofauroraimageresearch:Oneistheclassificationoftheaurorastaticimagesbasedonmulti-channelfusionandconvolutionalneuralnetwork;Anotheristheclassificationoftheaurorasequencebasedondynamicpoolimagenetwork.Aclassificationmethodbasedonmulti-channelfusionfeatureandconvolutionneuralnetworkisproposed.Thetraditionalfeatureistospecifysomecharacteristicsoftheextractedimagewhichismoreorlesslossofsomeusefulinformationoftheoriginalauroraimage,suchastexturefeature,globalfeaturesandlocalfeatures,resultinginapoorclassificationeffect.Usingmulti-channelfusiontechnologytofusetheoriginalimageinformationandthedesignatedeffectivetraditionalfeatureinformationintoafusionimage.Usingpre-trainingconvolutionneuralnetworktoautomaticextracteffectivefeatureinformationoffusedimage.Themulti-channelcharacteristicsanddeeplearningarecombinedtoobtainthecharacteristicsofhighefficientrepresentationofauroraimages.Amethodbasedondynamicimagenetworkisproposedforaurorasequenceclassification.Aurorasareconstantlychangingovertime,andtheauroraimagesequenceisthecarrierofauroraldynamicinformation,whichcontainsmanyrichinformationofaurora.Adynamicimagenetworkisusedtodescribethesequenceofauroraimages.Firstofall,byusingthedynamicrankingpoolingfunctiontocharacterizetheauroraimagesequences,theauroradynamicimagesareobtained.Then,thecharacteristicsofdynamicimagefeaturetrainingareextractedwiththeconvolutionneuralnetwork.Finally,thefeaturesareclassified.TheresultsontheauroralobservationdatafromtheChineseYellowRiverStationdemonstratethevalidityandreliabilityoftheproposedtwomethods.Keywords:auroralimagesclassification,auroralsequencesrepresentation,Multi-channelfusion,dynamicimagenetwork,ConvolutionalNeuralNetworkII
目录第一章绪论.............................................................................................................................................................1研究背景与意义........................................................................................................................................1研究进展与分析........................................................................................................................................4研究内容及主要工作................................................................................................................................7本文的组织结构........................................................................................................................................8第二章极光数据与极光图像常用特征...............................................................................................................10极光数据..................................................................................................................................................102.1.1极光图像预处理...........................................................................................................................102.1.2极光分类机制...............................................................................................................................12图像特征提取..........................................................................................................................................142.2.1局部二值模式纹理特征................................................................................................................152.2.2PCA网络深度特征........................................................................................................................17本章小结..................................................................................................................................................18第三章基于多通道融合和卷积神经网络的极光图像分类................................................................................19引言..........................................................................................................................................................19多通道融合特征......................................................................................................................................213.2.1原图通道........................................................................................................................................213.2.2LBP通道........................................................................................................................................213.2.3HS光流通道..................................................................................................................................233.2.4多通道融合特征............................................................................................................................24预训练CNN.............................................................................................................................................25基于SVM的极光图像特征分类............................................................................................................273.4.1归一化............................................................................................................................................283.4.2PCA降维........................................................................................................................................28实验结果与分析......................................................................................................................................283.5.1实验条件.......................................................................................................................................283.5.2极光图像四分类实验...................................................................................................................293.5.3分类效果对比实验.......................................................................................................................31本章小结..................................................................................................................................................32第四章基于动态图像网络的极光序列分类.......................................................................................................33引言..........................................................................................................................................................33动态图像..................................................................................................................................................344.2.1构建极光动态图像.......................................................................................................................344.2.2使用动态图像...............................................................................................................................384.2.3极光动态图像的快速计算...........................................................................................................384.2.4极光序列帧表示...........................................................................................................................39极光序列动态图像网络..........................................................................................................................40实验结果与分析......................................................................................................................................41本章小结..................................................................................................................................................44第五章极光图像特征提取演示系统开发...........................................................................................................45开发环境介绍..........................................................................................................................................45系统总体框架..........................................................................................................................................45界面实体呈现..........................................................................................................................................48III
第六章总结与展望...............................................................................................................................................52论文总结..................................................................................................................................................52工作展望..................................................................................................................................................53参考文献.................................................................................................................................................................54附录1攻读硕士学位期间撰写的论文................................................................................................................56附录2攻读硕士学位期间参加的科研项目........................................................................................................57致谢.........................................................................................................................................................................58IV
南京邮电大学专业学位硕士研究生学位论文第一章绪论第一章绪论研究背景与意义极光（Aurora），是一种绚丽多彩的自然发光现象，是太阳带电粒子流（太阳风）进入地球磁场是地球高层大气原子或分子发生物理电离作用，在地球南北两极附近地区高空呈现出色彩斑斓的光辉景象。在地球南极产生的极光现象称之为南极光，在地球北极上空产生的极光现象称之为北极光。地球极光分为南极光和北极光美丽极光。自古至今，极光现象一直存在于世，对极光现象的猜测和探索也一直在进行。早期由于科技的落后和科学知识的缺乏，人们对极光本质的理解不到位，造成了众说纷纭的现象。我国对于极光的描述追述到汉惠帝时期，在《汉书：天文志》中有这样的一段描述“天开东北，长二十余丈，逛十余丈，公元前193年”。爱斯基摩人把极光现象看作是人死后将灵魂牵引至天堂的指路灯；有的说法是地球外面在燃烧着熊熊大火；有的说法是极光是太阳折射引起的现象。随着人类文明、科学技术、物理学的迅猛发展，人们逐渐明白了极光是一种物理现象，明白及极光产生的本质面貌。极光现象是地球周围大规模的放电过程，是一种电离现象。从太阳来的带电粒子达到地球周围，由于地球磁场的存在，迫使带电粒子沿着地球磁场线集中到地球的南极和北极。地球磁层的磁力线携带着太阳风能量进入到地球的内部，驱动地球地磁场的形成。太阳风带电粒子进入两极的高空大气层并与大气中的分子和原子激烈碰撞，磁力线携带的能量与地球内部磁感抗而剩下许多消耗不掉的能量，因此便在地球南北两极产生了极光。极光现象经常出现的天空区域叫做极光卵，是一个以地球南极和地球北极为中心，距离地面高约一百公里至三百公里的带状的椭圆形状的一片区域。在地球纬度25度到纬度35度的范围内常出现极光现象，在地磁纬度45度到纬度60度之间的区域发生极光相对较少称为弱极光区，地磁纬度低于45度的区域基本不会发生极光现象称为微极光区。极光按照不同的分类标准有不同分类。按照极光激发粒子的类型来划分，可分为质子极光、电子极光等；按照极光的产生区域来划分，可分为极光带极光、中纬度极光红弧、极盖极光等；按照形态来进行划分，可分为帷幔冕状、放射冕状、热点状、弧状等。极光形态的变化与极光形成的前提条件密不可分，如太阳风、地球南北极高空大气层和地球磁层这三个影响因素[1]。有研究对太阳风组成成分的变化和太阳强弱变化和地球极光形成之间的关系进行试验，并得到了验证。因此，研究极光的形态[2]及其变化规律能获取更多地球与太阳之间的1
南京邮电大学专业学位硕士研究生学位论文第一章绪论相互作用，能更了解地球磁场的活动。这对于更好利用太阳风这一资源，使之对地球产生更好的影响，进而更好的为人类提供资源。地球的大气电离层与地球的磁层之间存在着一定的动力学关系，两者之间的动力学关系的变化会引起地球大气层的变化，进而影响地球极光形态的变化。形成极光的太阳风会影响卫星和航天设备等的正常运行以及干扰地球上的无线电的作用，产生的磁暴也会对地球上的电子控制系统产生影响。地球极光在形成是会伴随着巨大能量的释放，会对人类的生产和生活产生极大的影响。极光形成过程会有强大电流的释放，会对人类电力传输系统产生影响，扰乱人类正常活动的电力传输，可能会造成地球局部地区出现大规模的断电事故。极光形成过程释放的多余能量会造成全球无线电通讯的难题，如扰乱无线电信号传播、卫星雷达信号的接收、飞机潜艇等军事设备的通讯。现如今，如何合理利用极光产生带来的能量并使之更好的为人类服务，以及尽可能的消除极光活动对人类的不利影响，这方面的课题在全球的科学领域在广泛进行。极光是一种肉眼可见的美丽的光学景象，其光彩夺目、色彩斑斓、形态多变，具有着非常高的观赏性。鉴于极光观赏性的特点，可以将极光欣赏推广到当地的旅游业中去，带动当地旅游业的蓬勃发展，进而推动当地经济的提升，提高当地人民的生活水平。前提是，对地球极光形态发生的研究能够预知各个形态极光的发生时间发生规模以及发生强度。综上所述，极光研究有着许多十分重要的价值。因此，世界上的许多有一定条件的国家积极投入极光研究上，在地球的北极和南极建立科学考察站和极光综合观测系统，旨在尽可能的研究极光规律。我国的极光相关研究人员认识到地球极光的巨大研究价值，积极的投入到极光研究项目当中，即使我国不太具备高纬度极光的观测条件。我国地处于中低纬地区，在极光观测方面不具备先天的地理优势，但我国极光相关科研人员克服困难进行科研。为了加强在地球极地地区对极光的研究，先后于1995年1月和2003年11月分别在地球南极中山站和北极黄河站建立起先进的极光观测系统，具备对极光进行同步观测研究[3]的条件。中国建立的北极黄河站地处北纬78°55′、东经11°56′的挪威斯匹次卑尔根群岛新奥尔松地区，此处的观测站具备良好的极光观测地理条件[4]。随着科学技术的不断发展，更多新型的摄像设备也被逐步投入到极光科研中。在2003年11月，一组三波段（427.8nm、557.7nm和630.0nm）全天空成像设备投入北极黄河站安装并使用[5]，该设备如图1.1所示。这套极光观测系统包含三台电荷耦合元件（ChargeCoupledDevice，CCD）成像观测仪，能够在每年的12月至次年的2月进行24小时连续不断的极光观测活动，而且能在世界时（UniversalTime，UT）03:00～15:00期间观测到完整的极光卵。图1.1（a）展示了CCD成像仪结构：相机（camera）、光学透镜（opticallens）和控制器（controller）；图1.1（b）是CCD成像仪的实物图；图1.1（c）是三个波段CCD2
南京邮电大学专业学位硕士研究生学位论文第一章绪论成像仪的布局图，每个成像仪安装在独立的光学舱中，被一个透明的圆顶覆盖进行摄像设备的保护；图1.1（d）展示CCD成像仪拍摄的三波段观测图像样本，样本图像记录地平线上方景象。此套观测系统每隔10秒拍摄一幅极光图像，曝光时间7秒，成像读出时间3秒。拍摄而成的图像是14位图像，是512×512像素的图像。本文采用的所有极光图像都来自北极黄河站拍摄的557.7nm波段观测图像。图1.1中国北极黄河站的极光三波段观测系统（a）CCD成像仪组成结构图；（b）CCD成像仪实物图；（c）三波段CCD成像仪布局图；（d）三波段极光图像3
南京邮电大学专业学位硕士研究生学位论文第一章绪论研究进展与分析极光现象涉及到物理学、光学、空间天文学和图像学等领域。极光产生和变化形态的研究涉及地球物理学相关领域。极光不仅可以通过在科学站进行实体观察研究，也可以通过拍摄成图像记录下来再运用统计学、图像分析、模式识别、机器学习和深度学习等手段进行研究分析。极光研究历程，经历人体肉眼观察研究阶段、统计行为学研究阶段、计算机视觉技术研究阶段和深度学习研究阶段。极光研究包含极光静态图像研究方向和极光图像序列研究方向。极光静态图像研究在于图像分类方面的研究，极光图像序列研究包含序列分类和极光事件检测等方面。极光研究早期通过人眼进行观察。在1955年，Störmer第一次对极光进行了分类，把极光分为三类：无放射状极光（formswithoutraystructure），包括带状（band）、弥散块状（diffusepatches）和弧状（arc）；放射状极光（formswithraystructure），包括射线带状（rayedband）、帷幔状（drapery）和射线弧状（rayedarc）；火焰状极光（flamingaurora）形态较为复杂[6]。在1964年，Akasofu基于极光运动角度定义了四类极光：点亮型、赤道向扩展型、赤道向恢复型和西行浪涌型[7]。在1999年，我国空间物理学家胡红桥等在分析并研究了南极中山站所拍摄的极光数据后，将极光分为四类：浪涌型极光、带状极光、冕状极光和向日极光弧[8]。在2009年，我国的一位空间物理学家胡泽骏等根据在北极黄河站三波段全天空极光观测数据，把极光划分为四类：弧状极光、热点状极光、帷幔冕状极光和辐射冕状极光[9]。极光静态图像研究。在2004年，Syrjäsuo等首次将机器学习和模式识别技术运用到极光静态图像的分类中，首先利用傅里叶变换提取极光图像形状特征，然后将提取到的形状特征进行分类[10]。在2008年，高凌君等把Gabor变换运用到极光静态图像分类中，该方法首先提取极光静态图像的多尺度多方向的Gabor特征，然后利用主成分分析（PrincipalComponentAnalysis，PCA）进行降维再进行分类[11]。在2009年，付蓉等把形态学成分分析（MorphologicalComponentAnalysis，MCA）运用到极光静态图像的纹理特征提取中，首先把极光图像中的纹理部分和背景天空部分进行分离，再从纹理部分中提取统计特征，最后进行分类，该方法有效地抑制了背景噪声，提高了极光分类效果[12]。在2010年，王钰茹等基于灰度氛围矩阵（BasicGrayLevelAuraMatrices，BGLAM）[14][15]提出了更加适合用于表征极光形态的X-GLAM特征提取方法，该方法融合BGLAM优点和表征方向的能力，因此对冕状极光有较好的分类效果[13]。同年，王倩等将局部二值模式（LocalBinaryPattern，LBP）应用到极光图像特征的表述中，并且融合了分块化的思想[16]。该方法将极光全局形状与局部纹理进行表征，取得令人4
南京邮电大学专业学位硕士研究生学位论文第一章绪论满意的分类结果。韩冰等2013年在文档主题生成模型（LatentDirichletallocation，LDA）模型基础上提出一种融合显著性信息的LDA方法对极光图像进行分类，首先把机关静态图像的谱残差显著信息生成视觉字典便于加强极光图像语义信息，用于极光图像的特征表征，最后用支持向量机进行分类[17]；杨曦等2013年为提高极光图像的分类精度，提出通过分层小波将极光全局小波特征和局部小波特征并进行结合，然后采用主成分分析进行特征降维，最后通过支持向量机进行极光图像的弧状和三种冕状的四分类[18]；杨秋菊等2017年提出一种基于形态特征的极光自动分类方法，文中运用心理学韦伯定律衍生而出的韦伯描述算子对进行极光图像四分类，取得了非常优异的分类成绩[19]。极光图像序列研究。杨秋菊等2012年将隐马尔科夫模型（HiddenMarkovModel，HMM）用于极光图像序列研究，首先用uniform-LBP提取极光图像纹理特征，然后用HMM模型对极光图像序列纹理特征建模[20]。王倩等2012年将局部运动向量时空统计方法引入到极光图像序列研究中，极光图像序列动态信息通过多尺度正则化方法提取，接着利用极坐标投影和时空统计得到序列特征表征，最后实现对极向运动的检测[21]。韩冰等2014年运用空时极向LBP（spatial-temporalpolewardvolumeLBP，ST-PVLBP）手段进行极光序列研究，文中算法在保留单帧空间的位置信息与序列帧间的连续性信息的同时，还对特征的维度进行了降维操作，实现对弧状序列事件的有效高效检测[22]。宋亚婷等2016年基于动态纹理模型进行极光视频事件识别研究，文中首先引入张量分解技术，然后通过模型参数的马丁距离来表征极光序列间的差异性，最后实现极光图像序列自动识别[23]。杨秋菊等2017年基于韦伯描述符进行极光图像序列研究，通过模仿人体感官对不同类型极光图像序列的差异，采用心理学韦伯定律衍生而出的韦伯描述算子进行极光图像进行表征，实现有效的极光事件分布规律统计。从研究者将机器学习技术运用到极光图像研究中，相比人工标定分析阶段，获得了巨大的进步。在机器学习和模式识别领域中，进行图像序列方面的的处理手段通常包括图像处理和序列分析两部分。图像处理主要是提取图像的形状、位置、纹理等信息。序列分析以图像处理为基础，研究如何对图像信息进行整合、建模来实现图像序列的表征。分析图像序列的常用方法包括动态时间规整、小波变换[25]、隐马尔可夫模型（HiddenMarkovModel，HMM）[26]以及HCRF模型[27]等。动态时间规整算法，就是把两个代表同一个类型的事物的不同长度序列进行时间上的“对齐”[24]。HCRF最大的优点就是不存在独立性假设，能够利用上下文信息学习模型，它已成功应用于目标识别、手势识别、语音建模、同意/不同意多模态建模、人体行为识别等。近年来，随着科学技术的不断发展，随着计算设备处理能力的巨大提升，人们把机器学5
南京邮电大学专业学位硕士研究生学位论文第一章绪论习与认知神经学科相结合，产生了深度学习技术。深度学习技术能够使计算机模拟人类的思维模式，借鉴人类神经元以及人类视觉系统及大脑皮层视觉信息处理方式。深度学习在图像处理、计算机视觉、文本处理、语音处理等领域得到了广泛应用。20世纪60年代初期，Hubel等进行猫类大脑视觉皮层系统研究，提出感受野概念，并且进一步发现视觉皮层系统对信息的分层处理机制[28]。20世纪80年代中期，Fukushima等在感受野概念的基础上提出了神经认知机[29]。神经认知机通过将一个视觉模式分解为多个子模式，逐层阶梯式相连的特征处理器对子模式进行处理。此后，多层感知器的人工神经网络被提出[30]。在1990年，LeCun等首次提出误差梯度的反向传播算法，并将其用于手写数字识别[31]。在MNIST[32]手写数字数据库上取得了优异的识别性能。在2006年，加拿大多伦多大学教授GeofferyHinton和他的学生在国际顶尖学术刊物《Science》上发表了一片文章[33]，首次提出了深度学习的思想。这篇文章提出含有多个隐层的人工神经网络将具有强大的特征学习能力，经过训练模型提取的特征将会对输入的原始数据更具有本质的表征，十分有利于特征分类问题以及特征可视化问题。还提出了使用无监督学习实现“逐层初始化”，实现对输入数据进行分级信息表达，有效降低神经网络的训练难度。在2012年（ILSVRC-2012）的ImageNet[34]大规模视觉识别挑战上，8层的卷积神经网络AlexNet[35]被提出并应用，取得了本次大赛分类任务的冠军优异成绩。在ILSVRC-2014的定位和分类任务中，VGG被提出并应用到上述两项比赛任务中，获得了定位任务的大赛第一名和分类任务的大赛第二名，VGG将卷积网络的深度扩展到了19层。GoogleNet提出Inception深层网络架构，构建了惊人的22层的深层网络，在ILSVRC-2014的分类任务中博得头筹[36]。在卷积神经网络的深度不断增加的过程中，随之出现了很多的问题，比如梯度消失现象、网络性能降低、训练网络时间过长等。ResNet引入残差网络结构，改进了卷积神经网络随着深度增加造成的梯度消失了问题。Densnet设计了一种新的网络架构继续改进梯度消失现象，达到在保证网络中层与层之间的最大程度信息的传输情况下直接将所有网络层进行连接。卷积神经网络是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，模拟人类大脑皮层中局部敏感和方向选择神经元功能。深度学习技术在图像分类、定位任务、图像重建、图像增强等方面得到了大量有效的应用，但在极光研究中深度学习应用还处于萌芽阶段。韩冰等在2016年提出基于改进的主成分分析网络的极光图像分类方法[37]，首次将深度学习技术应用到极光相关研究中，首先通过改进的主成分分析网络来提取极光图像特征，然后利用支持向量机进行极光图像的分类，该方法取得了比较高的分类效果。文章在PCANet的基础上进行改进，针对PCANet进行图像处理将二维图像转化为一维图像造成图像信息丢失问题进行改进，提出了两级级联的2DPCA网6
南京邮电大学专业学位硕士研究生学位论文第一章绪论络进行极光图像处理。在保留原始图像现有结构信息外，还具有降维功能，加快了极光分类速度。但是研究中的2DPCA网络在对极光图像进行处理过程中，仅仅利用了极光图像的整体信息并没有很好的考虑极光图像的局部信息，因此还有些瑕疵。极光研究在深度学习技术这条康庄大道上还处于起步阶段，更有效的深度学习技术在极光研究中有待进一步进行发掘。综上所述，极光图像研究经历了人眼观测、手工标记、统计学分析、计算机视觉处理、机器学习、深度学习等阶段。在人工处理研究阶段，所有的处理流程都是基于人工进行，十分耗时耗力。而且，人工处理会存在工作人员疲劳粗心等产生的误差。接下来的用数字图像处理技术进行极光研究阶段，通常运用某种指定的特征提取极光图像特征并进行分类。传统特征相对单一，只能提取极光图像的某种指定特征，不能充分利用极光图像及序列所用的高效有用信息。深度学习技术在极光图像研究方面还处于萌芽阶段。深度学习技术通过模仿人类思维方式能够自动提取极光图像有效特征，能够通过自动学习大量的极光图像，形成更加准确的极光图像模型。如何继续深入地将深度学习技术应用到极光图像研究中，如何融合过去研究人员优异的传统特征及方法到极光图像研究里来，如何更加有效的表征极光图像以及极光图像序列是需要接下来研究和探讨的课题。研究内容及主要工作中国南极和北极的科学考察站每年持续获取大量极光观测数据，为极光研究带来丰富的数据库资源。深度学习技术需要通过大量的数据才能学习有效高效的信息。数据库越大对极光研究早期的人工识别阶段来说，是一个巨大的灾难，但对深度学习技术来说数据库越大养分越多。深度学习领域也有很多的技术，比如卷积神经网络、深度置信网络、递归神经网络、长短时记忆（LongShort-TermMemory，LSTM）、蒙特卡洛等等。如何将合适的深度学习技术运用到极光图像研究的合适方向需要一个过程，也为极光研究深度学习之路进行拓展。本文通过深度学习的相关技术对中国北极黄河站557.7nm波段的极光图像观测数据库，针对极光静态图像分类和极光静态图像序列分类这两个方向进行研究并分析。在极光图像研究过程中，传统特征用于极光图像分类等领域有一段很长的时间。在此时期，涌现出几种特征优秀的传统特征能很好的表征极光图像信息，如局部二值模式、韦伯描述符等。在深度学习应用阶段刚刚开始用双层PCA网络进行极光图像特征的提取。在过去的研究中，由于热点状极光的结构最复杂，造成热点状分类效果不理想。如何将深度学习技术与传统优秀特征结合共同应用到极光图像某一方向上；如何克服热点状极光难处理难分析；如何对极光图像以7
南京邮电大学专业学位硕士研究生学位论文第一章绪论及极光图像序列进行更加有效的表征。针对以上极光研究方面出现的问题，本文主要进行以下两个方面的研究：第一个是提出一种基于多通道融合和预训练卷积神经网络的极光图像分类方法。相比传统特征分类模式，本文既通过多通道融合技术将极光图像表征的多种有效传统特征进行融合处理，又运用预训练卷积神经网络对融合后的极光图像特征进行自动特征学习。多通道融合特征模块融合极光原始图像、局部二值模式特征图像和极光光流特征图像。极光原图通道极光的深度学习模块提供未损失任何信息的必要输入；局部二值模式通道图像为深度学习模块提供极光有效特征的重点突出；光流通道图像为深度学习模块提供极光图像的运动信息。本文通过卷积神经网络模块部分自动学习极光图像有效表征特征，既能得到从本质上区别各类极光有效信息，又能解决热点状极光难以区分的难题。该部分还通过主成分分析技术对研究过程中的特征进行降维，在保证分类准确率的同时加快训练、学习以及分类的速度。第二个是提出一种基于动态图像和深度学习的极光图像序列分类方法。极光是一个动态演变过程，极光图像序列相比较极光静态图像而言，包含更加丰富的信息。极光图像序列反映极光活动的一段时间动态演变过程。极光图像序列是有序的帧序列，帧序列决定了帧内极光的演变。本文首先对极光序列进行帧表示得到特征表示，然后通过池化排名函数得到极光序列的动态表示，接下来对得到的动态表示进行可视化，即最终极光序列用一幅RGB图像进行表征。得到动态图像表征的极光序列后，运用深度学习卷积神经网络进行极光序列特征自动学习，最后用分类器进行极光序列的分类。第三个是设计并实现了极光图像特征演示系统。极光图像特征提取演示系统实现手动选取指定图像，手动选取要提取的极光特征，然后进行所选特征的计算，最后对选取极光图像及选取处理图像的特征的效果对比展示。该系统能够直观有效的展示提取特征在视觉上是否有效，方便研究人员对极光特征进行筛选，具有重要的使用价值。本文的组织结构本文共分六个章节，以下是各个章节的标题及具体内容安排：第一章：绪论。这一章首先介绍了极光图像研究背景及意义，然后论述了极光图像研究方面的成果以及相关技术的运用，并且分析了过往研究方法的优缺点，最后阐述了本文的研究内容及主要工作，以及简要说明每一章节的具体内容。第二章：极光数据及极光研究常用特征。这一章首先介绍本文所用极光数据的相关信息，主要包括极光的分类机制以及极光图像的预处理。然后概述极光图像特征的常用提取方法，8
南京邮电大学专业学位硕士研究生学位论文第一章绪论并分析了各种特征对极光图像的适用性，最后重点介绍了极光图像处理中两种特征的提取方法：局部二值模式和PCA网络提取极光图像特征。第三章：基于多通道融合和卷积神经网络的极光静态图像分类。这一章首先介绍了多通道特征融合技术以及所选取的各个通道特征，然后介绍了预训练卷积神经网络，最后基于支持向量机对多通道融合卷积神经网络提取的高质量特征进行极光静态图像分类。在中国北极黄河站极光观测数据的数据库上进行极光静态图像的分类实验，并分析了实验结果。第四章：基于动态图像网络的极光序列分类方法。这一章首先介绍了动态图像技术及处理手段，然后将极光图像序列通过池化排名函数进行提取序列动态图像，接下来通过卷积神经网络对得到的动态图像进行训练及特征提取，最后进行分类。在中国北极黄河站极光观测数据上进行了实验，验证模型的有效性及极光序列的分类结果，并对实验结果进行了分析。第五章：极光图像特征提取演示系统开发。极光图像特征提取演示系统实现手动选取指定图像，手动选取要提取的极光特征，然后进行所选特征的计算以及特征提取效果展示。该系统能够直观有效的展示提取特征在极光图像视觉上是否有效，方便研究人员对极光特征进行筛选，加快了处理极光图像特征的研究进程。第六章：总结与展望。首先是对全文的主要内容和研究成果做了相应总结，然后对本文的下一步研究工作以及极光图像研究的未来进行了展望。9
南京邮电大学专业学位硕士研究生学位论文第二章极光数据与极光图像常用特征第二章极光数据与极光图像常用特征极光研究依赖于稳定有效的极光数据，非人眼观察的极光研究更需要高质量极光数据库。随着图像采集设备以及技术的不断发展，海量极光图像数据通过极地科研所的高分辨率极光观测系统获取。高效高质量的观测系统能够持续获取准确的极光形状、位置、状态等信息。由观测系统拍摄的极光图像数据是最原始的信息，还需要剔除某些无效图像以及排除图像噪声等其他干扰因素。图像处理、模式识别以及机器学习领域的图像分类基本包含标记训练测试样本、数据预处理、提取特征、训练分类器以及分类识别等阶段。极光图像研究也基本如此。以下是极光研究中，常用的一些处理技术。极光数据本文使用的极光图像数据库，来自中国极地科考站北极黄河站的极光观测数据。鉴于拍摄设备、极光活动强度和极地周边环境等方面的影响，极光科考站拍摄的原始数据存具有多种噪声问题。极光图像研究的前期需要对极光原始图像数据进行处理，去除某些图像噪声，剔除不适合研究的图像。下面将对极光图像预处理以及极光分类机制进行论述。2.1.1极光图像预处理因为拍摄设备、极光活动强度和极地周边环境等因素的影响，中国北极黄河站拍摄的极光原始数据存在某些方面的问题，不能够直接用于极光图像研究。比如黄河站拍摄的原始极光静态图像仅是一些数值阵列，根本不存在图像格式；原始极光图像中不仅存在着一些暗电流，还充斥着不少的图像噪声；原始极光图像的中心位置与所拍摄镜头的中心不重合，极光图像南北正方向和镜头南北正方向之间有一定的夹角，造成不方便观察极光运动形态；原始极光图像由于亮度和对比度不佳情况，进行人工标记与特征提取时会出现困难，因此极光图像亮度以及对比度需要进行合适的调整。借鉴极光科考站专家的经验，以及针对极光原始数据的一些特点，对极光原始数据进行如下步骤的预处理：（1）减暗电流操作。由于图像拍摄设备CCD成像仪固有的结构特点，拍摄图像时会在像素单元残存有电荷的累积（暗电流）。极地科研所拍摄的三个波段的极光图像暗电流各不相同，根据极地科研所专家的经验，557.7nm波长极光图像的暗电流为546，427.8nm波长极光图像10
南京邮电大学专业学位硕士研究生学位论文第二章极光数据与极光图像常用特征的1137，630.0nm波长极光图像的暗电流为594。需要特别注意的是，如果减去暗电流后极光图像某些像素点的灰度值为负的话，解决方法是将这些点的灰度值统统取值为零。（2）去除边缘噪声和裁剪操作。CCD成像仪用的摄像镜头是鱼眼镜头，一方面其拍摄图像的周边变形很厉害，造成拍摄极光形态与实际极光图像很不一致；另一方面在拍摄的极光图像周边能够清楚看到来自月光或者当地灯光的一些噪声点，造成极光图像的失真。解决措施是：首先按照CCD成像仪基本参数调整图像中心使之与成像仪镜头中心重合，然后利用直径440个像素的圆形掩模对极光原始图像进行裁剪，达到去除周边噪声的效果，极光图像大小也由原来的512像素×512像素变为440像素×440像素。（3）图像灰度拉伸操作。极光原始图像是14位的图像，最大灰度值是16383。通过对极光图像进行灰度直方图的统计发现，其灰度值大于4000的像素点比较稀少。鉴于此将极光原始图像的灰度值最大值设为4000，比4000大的点的灰度值都取为4000，其余像素值保持不变。再者将极光原始图像的灰度范围通过线性变换使之变换到[0,255]范围内。由于人眼能够分辨的灰度范围有限，通过线性变换不仅大幅减小了数据量，而且对于人眼观察研究来说几乎不受任何影响。（4）图像旋转操作。依据北极黄河站的观测系统参数，将极光原始图像按照逆时针方向旋转61.1度，能够使得地磁南北方向和极光图像的纵坐标方向保持统一，既符合我们人眼观察习惯便于人工标记，又能方便研究极光的极向运动。N20031224G132701N20040102G091742N20031221G035501N20031225G111841图2.1极光原始图像和预处理后图像对比（第一行为原始图像，第二行为预处理后图像）图2.1是一组极光原始图像以及对应预处理后极光图像的效果展示。图中极光原始图像的右上角都存有几个明显亮点，那是由北极黄河站观测系统附近的灯光所引起的噪声点，通11
南京邮电大学专业学位硕士研究生学位论文第二章极光数据与极光图像常用特征过裁剪操作后，预处理后图像中已不存在这些噪声点。从上下行对应极光图像及预处理极光图像的对比中还可以看到，经过图像灰度变换操作后，预处理后图像的对比度明显有了提高，但极光形态并没有明显差异，这非常有助于顺利进行对极光图像的人工观测标记操作以及后续的各种特征提取操作。通过图像旋转操作，能够很容易对极光是否发生了极向运动做出判别。如果在极光图像序列中有看到图像亮度较高的区域正在往图像的正上方运动，就可以判定此时的极光在发生极向运动。2.1.2极光分类机制地球极光的研究已有几十年的历史，从早期的肉眼观察手工标定识别，到统计分析、图像处理和模式识别分类。关于极光类别的研究也一直在进行。Akasofu在1964年根据极光特点划分为道向扩展、点亮、西行浪涌和赤道向恢复4种类型；胡等在1999年根据在南京中山站拍摄极光图像进行研究将极光划分为冕状、极光浪涌、向日极光弧和带状4种类型；Hu等在2009年根据在北极采集的全天空极光图像数据将日侧极光划分为帷幔冕状、极光亮斑、弧状和辐射冕状4种类型[9]；杨等在2017年基于形态特征的极光自动分类文章中将极光类型划分为弧状、帷幔冕状、辐射冕状和热点状4类[19]。胡泽骏等在文献[9]中根据北极黄河站拍摄的三个波段极光的形态和极光谱特征进行分析，将极光卵分为四个活动区间：04:30～06:30（UT）的W（warm）区、06:30～10:00（UT）的M（midday）区、10:00～12:30（UT）的H（hot）区和12:30～14:00（UT）的D（dusk）区，M区又被划分为两个子区间：06:30～09:00（UT）的G（gauze）区和09:00～10:00（UT）的R（radial）区。每个区间会与一种极光类型相对应：W和D区都对应弧状极光，G区与帷幔冕状极光相对应，R区与辐射冕状极光相对应，H区与热点状极光对应。此四类极光的分类机制在文献[16]中被加以验证并且被广泛采用，本文也采用弧状、帷幔冕状、辐射冕状和热点状4类的分类方式。（1）弧状极光（arcs）：弧状极光大都出现每天的上午和下午，上午出现的弧状极光也叫午前弧状极光（prenoonarcs），下午出现的弧状极光也叫午后弧状极光（postnoonarcs）。弧状极光在557.7nm波段的图像上会有强烈的极光激发现象。此类极光因图像内含有弧状结构形态，弧形结构呈东西方向上伸展比较长，南北方向比较窄，整体呈现带条状。有的弧状极光有一条弧状存在，有的弧状极光有多条弧状极光同时平行出现，有的弧状极光偶尔会出现扭曲、褶皱或者螺旋等情况。（2）辐射冕状极光（radialcorona）：辐射状极光在427.8nm与557.7nm波段上是弱激发现象，12
南京邮电大学专业学位硕士研究生学位论文第二章极光数据与极光图像常用特征但是在630.0nm波段有强烈激发。此类极光呈现放射形状的线条。内含从天顶向周围所有方向爆炸性地放出射线状。（3）帷幔冕状极光（drapery-likecorona）：此类极光在三个波段的激发都比较弱。帷幔冕状极光具有多条东西向细长的射线带、清晰的射线结构，具有明显的多层重叠排列结构，看上去像窗帘一样层层叠叠。具有平稳、区域分布广、轮廓不清晰、东西向强度均匀等特点。（4）热点状极光（hotspot）：此类极光形态最为复杂，此类极光在427.8nm、557.7nm和630.0nm三个波段上都有较强的极光激发现象。热点状极光图像包含有短暂的高亮射线束、亮斑和其它的一些不规则块的射线结构等结构。具有的不规则结构包含旋涡、弯曲的弧状等等。研究发现，热点状极光出现的时间较短。弧状N20040101G045001N20031224G133111N20040101G040851N20040112G113405N20040116G043523帷幔冕状N20040116G061913N20031221G050201N20040118G082552N20031225G063251N20040113G081533辐射冕状N20031222G094001N20040117G074823N20031227G114921N20031221G071011N20040103G062911热点状N20040112G105705N20031230G134654N20040101G100852N20040118G105122N20040117G065043图2.2四类极光类型图像（557.7nm波长）图2.2对557.7nm波长下的四类极光类型图像进行展示，极光图像下面的标记N20031230G134654是对该图像类型信息等的描述，其中的数字表示图像拍摄时间2003年12月30日13时46分54秒，N表示north（北极），G表示G波段拍摄的极光图像，即557.7nm波段拍摄的极光图像。极光图像中的圆形区域为极光卵，图像中像素的亮度高低表示了此处的极光极光强度强弱，亮度越高即灰度值越大表示该处极光激发越强，亮度越暗即灰度值越小表示极光激发越弱。本文在总结之前极光相关研究并结合各个波段极光图像特点后，选择仅采用557.7nm波段拍摄的极光图像数据用作研究。13
南京邮电大学专业学位硕士研究生学位论文第二章极光数据与极光图像常用特征图像特征提取特征提取是从图像中提取有用的数据或信息，得到图像的数据化表征，如数值、向量、符号等的表示。特征是通过测量或处理能够抽取的数据。对于图像而言，每一幅图像都具有能够区别于其他类图像的自身特征，有些是可以直观地感受到的自然特征，如亮度、边缘、纹理和色彩等；有些则是需要通过变换或处理才能得到的，如矩、直方图以及主成份等。常常将某一类对象的多个或多种特性组合在一起，形成一个特征向量来代表该类对象，如果只有单个数值特征，则特征向量为一个一维向量，如果是n个特性的组合，则为一个n维特征向量。该类特征向量常常作为识别系统的输入。实际上，一个n维特征就是位于n维空间中的点，而识别分类的任务就是找到对这个n维空间的一种划分。图像识别实际上是一个分类的过程，为了识别出某图像所属的类别，我们需要将它与其他不同类别的图像区分开来。这就要求选取的特征不仅要能够很好地描述图像，更重要的是还要能够很好地区分不同类别的图像。选择那些在同类图像之间差异较小，在不同类别的图像之间差异较大的图像特征，我们称之为最具有区分能力的特征。此外，在特征提取中先验知识扮演着重要的角色，如何依靠先验知识来帮助选择特征也是后面非常重要的问题。图像特征是图像的重要属性。常用的图像特征具有颜色特征、纹理特征、形状特征等。模式识别技术的关键之处是图像准确特征的高效提取，有了高效的特征表征，从而有效进行图像的分类、检索等应用的实现。由于中国北极黄河站极光观测系统中采用的CCD成像仪是单色的，颜色特征显然不适合极光图像的表征。形状是由闭合曲线围成的封闭范围，然而极光图像中仅有少部分的区域具有明显光斑的图像形状分明且边界清楚。大部分极光静态图像中是由呈射线状的光线区域组成，这些区域边缘比较模糊，不存在具体的形状，故形状特征也不利于对极光图像的研究。纹理特征是图像上重复出现的具有小范围有规则的灰度值分布，纹理特征反映了物体表面的结构属性，是图像固有特征之一。纹理是灰度（对彩色图像而言是颜色）在空间以一定的形式变换而产生的图案（模式），有时具有一定的周期性。纹理特征作为统计特征，对灰度的变化、旋转的变化等因素都有较好的鲁棒性。极光分类机制可以看出在不同类型的极光图像中，纹理信息以及纹理结构之间存在着较大差异，所以本文采用纹理特征作为极光静态图像的特征之一。下面将简要介绍局部二值模式（LocalBinaryPattern，LBP）纹理特征和基于改进PCA网络的深度特征。14
南京邮电大学专业学位硕士研究生学位论文第二章极光数据与极光图像常用特征2.2.1局部二值模式纹理特征极光LBP通道特征，LBP是由Ojala等人提出的一种纹理特征描述算子，用于描述图像中每个像素值和其近邻点像素值之间的关系[38]。LBP有较好的旋转不变性、灰度不变性等优点。目前，LBP已经被成功应用到图像匹配、人脸表情识别、行人检测等众多的领域。LBP用来做图像的局部特征比较，是纹理特征中的重要特征。（1）原始LBP算子原始的LBP算子定义为在3*3的窗口内，以窗口中心像素为阈值，将相邻的8个像素的灰度值与其进行比较，若周围像素值大于中心像素值，则该像素点的位置被标记为1，否则为0。这样，3*3邻域内的8个点经比较可产生8位二进制数（通常转换为十进制数即LBP码，共256种），即得到该窗口中心像素点的LBP值，并用这个值来反映该区域的纹理信息。如下图所示：图2.3初始LBP图2.3中的3×3方格表示一个纹理单元，它由一个中心像素和八个邻域像素组成，图中中心像素点的LBP值是00101100，转化为十进制是44。（2）圆形LBP算子基本的LBP算子的最大缺陷在于它只覆盖了一个固定半径范围内的小区域，这显然不能满足不同尺寸和频率纹理的需要。为了适应不同尺度的纹理特征，并达到灰度和旋转不变性的要求，Ojala等对LBP算子进行了改进，将3×3邻域扩展到任意邻域，并用圆形邻域代替了正方形邻域，改进后的LBP算子允许在半径为R的圆形邻域内有任意多个像素点[39]。从而得到了诸如半径为R的圆形区域内含有P个采样点的LBP算子。圆形邻域由R和P定义，圆心为中心像素，R为圆周的半径，P代表均匀分布在圆周上邻域像素个数。如果邻域点没有落在像素中心，可以通过使用双线性内插求出邻域点的灰度值来进行表征。中心像素LBP值的计算公式如下：?−1?1,?≥0????,?=∑?(??−??)2,?(?)={(2.1)0,?t。?∗作为极光图像序列表示，捕获了极光图像序列时间范围内的重要时间信息。参数d通过RankSVM公式进行学习：?∗=?(?,…,?;?)=argmin?(?)(4.1)1???2?(?)=‖?‖2+×∑max{0,1−?(?|?)+?(?|?)}2?(?−1)?>?公式目标函数的第一项是平方误差正则化，第二项是铰链损失函数。优化函数通过函数ρ(?,…,?;?)将包含T帧的极光图像序列映射到向量?∗。此向量包含1?了图像序列中的足够信息，他们都可以作为特征描述符使用。如上所述，我们使用学习排序函数的参数来模拟特定极光图像序列的时间动态。所有极光图像序列的所有功能都属于相同的参数族模型。然而，由于不同的极光图像序列在外观和动态上不同，每个函数的特点是不同的参数集。对于包含相同类别的不同极光图像序列是否具有相似的参数，仍有待考究。对于极光图像序列分类，基本假设在不同的极光图像序列中类似的动作会有相似的动态。也就是说，我们假设有一个理论概率密度函数，它基于不同的图像序列范围的时间进化的实例被采样作为一个极光类型。自然不同的极光图像序列排名相同的行动会有所不同，产生不同的功能，所以每个线性向量Ψ将有不同的参数表示。因此，一个主要的问题是学好每类极光类型Ψ概括在多大程度上对不同的极光图像序列具有同样的行动。映射函数ψ(.)，它现在是一个操作符，它将极光图像??中的每个像素堆积在一个大的矢量上。或者ψ(.)可以包含一个简单的非线性结构，比如平方根函数√∙(它对应于使用SVM中的Hellinger的内核)。在所有情况下，描述符?∗是一个实向量，它拥有相同数量的元素。因此，?∗可以被映射成标准RGB图像。由于该图像是通过对极光图像序列帧进行排序来获得的，它高度表征了整个极光图像序列。动态图像通过在图像序列中对像素强度进行积分和重新排序来捕捉时间进程中的极光图像序列信息。一些极光图像序列的动态图像如图所示。35
南京邮电大学专业学位硕士研究生学位论文第四章基于动态图像网络的极光序列分类动态图像极光图像序列图4.2弧状极光序列动态图像动态图像极光图像序列图4.3热点状极光序列动态图像36
南京邮电大学专业学位硕士研究生学位论文第四章基于动态图像网络的极光序列分类动态图像极光图像序列图4.4帷幔状极光序列动态图像动态图像极光图像序列图4.5放射状极光序列动态图像图4.2、图4.3、图4.4、图4.5分别给出了部分弧状、热点状、帷幔状、放射状机关图像序列及其序列动态图像展示。其中的极光图像序列只是从相对应的极光序列中截取了5幅极光图像，对应的极光序列中的极光图像帧都超过了5帧，得到的极光序列动态图像就如图中所示。37
南京邮电大学专业学位硕士研究生学位论文第四章基于动态图像网络的极光序列分类4.2.2使用动态图像考虑到对极光图像序列提取的动态图像是标准RGB图像的格式，可以应用对极光静态图像处理的任何方法来进行分析处理，尤其是任何先进的卷积神经网络模型。极光图像序列包含多幅同类型的极光静态图像，是在连续一段时间内某种类型的极光的活动情况。这里有几种方法对一个极光图像序列进行动态图像的处理。方法一，可以将整段极光图像序列提取一个动态图像，即该动态图像总结了整个极光图像序列，接下来就用此极光动态图像进行一系列的处理过程。方法二，可以将整段极光图像序列分为几个子序列，对每个极光图像子序列进行极光动态图像的提取，然后将这多个极光子序列的动态图像进行后续的处理过程。后者可以解决极光图像序列数据库小的问题，进而更好的进行极光图像序列研究。4.2.3极光动态图像的快速计算计算一个动态图像需要解决公式4.1的优化问题，虽然这在现代求解器中并不是特别慢，但在这一节中我们提出了一个近似于等级池的方法，它的速度快得多，在实践中也同样有效。后来，这种我们称之为近似等级池的技术，将会在深入CNN的中间层中加入等级池，并通过它来进行支持反向传播训练。近似等级池的推导是基于梯度优化中第一步进行的。从d=⃗0开始，梯度下降法得到的第一个近似解?∗=⃗0−?∇?(d)|⃗0，对于任何的η>0，∇?(⃗0)∝?=∑?>?∇max{0,1−?(?|d)+?(?|?)}|?=0⃗=∑?>?∇〈?,??−??〉=∑?>???−??。进一步优化?∗如下：1?1???∗∝∑?−?=∑[∑?−∑?]=∑?????????>??>???=1??=1?=1系数??由下式给出：??=2(?−?+1)−(?+1)(??−??−1)(4.2)公式4.2中的?=∑?1?是第t次谐波，并且?=0。??=10因此，rank池操作符变为：??̂(?1,…,??;?)=∑???(??)(4.3)?=1这是数据点的加权组合。动态图像计算在将极光图像帧进行预乘后，会减少累积运算，38
南京邮电大学专业学位硕士研究生学位论文第四章基于动态图像网络的极光序列分类因此会加快动态图像计算过程。一种可选择的等级池的构建不需要进行计算中间平均特征?=(1?)∑??(?)，而是在计算排名分数的时候直接使用独立的极光图像序列特征?(?)。??=1??在这种情况下，上面的推导得到了加权函数的类型：??=2?−?−1(4.4)??是t线性函数。4.2.4极光序列帧表示即使在无噪声的极光图像序列数据中，仍然会显示出高度的可变性。为了减少噪声和剧烈突变的影响，我们平滑原始极光图像序列信号(即帧表示??)。在本节中，我们讨论了从帧数据??获得平滑的鲁棒信号的三种方法。（1）独立帧表示??捕获图像序列进程最直观的表示方法是使用独立帧??=。这种方法有两个缺点。首先，‖??‖原始信号的变化很大，与此同时，独立帧在训练时可能会产生较高的排序错误。第二，独立帧表示的特征是，在??和t之间有一个弱的连接，由于在??和时间t之间存在微弱的相关性，排序函数可能无法正确地了解外观的演化。因此，在图像序列中的每一个帧中绘制预测的分数?=??∙?，并不像人们期望的那样平滑。???（2）移动平均在时间序列分析文献的启发下，我们考虑在T时刻以窗口大小T作为图像序列表示的移动平均，换句话说，我们考虑局部平滑的信号。对于移动平均，我们观察两个事实。首先，输出信号更加平滑。其次??保持了一个暂时的局部依赖于围绕t的周围帧，即帧[t,t+t]。然而，与独立帧表示不同的是，移动的平均模型在??和t之间建立了一个连接。因此，在预测的分数??中，图像序列宽的时态信息被很好地捕获。虽然移动平均表示可以更好地捕捉图像序列的外观演变，但我们仍然可以看到信号中的一般不稳定性。此外，我们注意到移动平均表示引入了不良的工件。首先，窗口大小T必须被选择，这并不总是简单的，因为动作经常发生在不同的节奏中。此外，由于边界效应，??在最后时刻没有定义图像序列的标志。（3）时变均值向量为了解决独立帧表示和移动平均的局限性，我们提出了第三种选择，即时间变化的平均向量。39
南京邮电大学专业学位硕士研究生学位论文第四章基于动态图像网络的极光序列分类1?我们来表示t时刻的均值??=×∑?=1??。然后，??只捕获时间t的单位平均外观向量???的方向，即(??=)。因此排名函数ψ学习时间t上的规范化。正如所期望的那样，输出是‖??‖平滑的，几乎类似于单调递增的函数。不同于独立的帧表示，时变的均值向量在输入??和目标t之间引入了更好的依赖关系。通过构造时间变化的平均矢量，仅从图像序列的正向流捕获时间信息。这是因为图像序列从过去到未来的帧。然而，也没有理由不应该以相反的顺序来考虑平均向量，从未来的帧开始，然后回溯到图像序列的过去帧。为了达到这个目的，我们产生了同样的目标，以相反的顺序播放极光图像序列。将把向前流捕获的外观演化称为正向秩池，而反向流则是反向的秩池。（4）非线性排名池化在前面小节中，我们只考虑了线性机器以获得基于等级池的序列表示。为了合并非线性，我们采用非线性特征图应用于图像序列V的每一个帧??，从而允许使用有效的线性排序机器的原始形式。一种常用的包含非线性的技术是预处理并通过非线性操作转换输入数据。让我们表示逐点地非线性算子Φ(•)作用于输入x，这样输出Φx(?)是一种非线性映射。我们用这种捕获通过非线性的非线性动力学特征图谱。在视觉识别任务中一个流行的内核是Hellinger：??ℎ???(?,?)=√?√?(4.5)Hellinger内核向内核机器引入了非线性，同时保持了可分离性，从而允许以原始形式解决优化问题。Hellinger内核能够很好地处理经常被观察到的特性。极光序列动态图像网络在前一节中，我们介绍了概念动态图像，它将包含在多个极光图像帧的极光图像序列中的信息集中在一个RGB图像中。在本节中我们基于上一节的极光序列动态图像进行后续处理，即将获取的极光序列动态图像库进行卷积神经网络自动特征提取。下图4.6是极光序列动态图像网络架构：40
南京邮电大学专业学位硕士研究生学位论文第四章基于动态图像网络的极光序列分类Loss卷LayerL积神经...网络Layer1极光动态图像RankPooling极光序列图4.6极光序列动态网络架构极光序列网络架构如图4.6所示，包含极光图像序列输入层、RankPooling层（提取序列的动态图像）以及预训练卷积神经网络层。整个网络架构流程是将极光动态序列输入网络，通过RankPooling层提取极光图像序列的动态图像，然后对动态图像进行预训练卷积神经网络的自动特征训练提取。本部分的预训练卷积神经网络采用与上一章节相同的的卷积神经网络。实验结果与分析（1）极光图像序列四分类实验为了验证用动态图像网络表征极光序列的有效性，本章在已标记极光序列数据库上进行有监督分类实验。已标记极光序列数据库是中国北极黄河站2003~2004年采集的越冬观测的19天557.7nm波长的极光图像数据：284个弧状极光序列、119个帷幔冕状极光序列、138个41
南京邮电大学专业学位硕士研究生学位论文第四章基于动态图像网络的极光序列分类辐射冕状极光序列和68个热点状极光序列。此数据库共包含609个序列，最短的序列包含18帧，最长有94帧，它们的平均长度为34.5帧。本章中采用五重交叉验证来估计分类精度，做10次实验并取平均的结果作为最终结果。图4.7极光图像序列四分类结果（训练测试比4:1）从图4.7中我们可以看到，弧状极光序列取得了高达94.8%的分类准确率，帷幔状极光图像序列取得了80.0%的分类准确率，放射状极光图像序列取得了83.3%的分类准确率，热点状极光图像序列取得了72.7%的分类准确率。可以看出，极光图像序列分类与上一章的极光静态图像分类具有相同的分类特点。都是弧状类极光具有非常好的分类识别效果，放射状极光和帷幔状极光具有良好的分类识别结果，而热点状极光图像相比其他三类极光分类识别效果最差。由图4.7可以看出，热点状极光跟帷幔状极光和放射状类极光相对比较容易错分，帷幔状极光跟放射状极光比较容易错分，原因在第三章中的实验结果和分析中已经给出分析。下面是在取得图4.7优秀结果时，SVM分类的参数选择结果：42
南京邮电大学专业学位硕士研究生学位论文第四章基于动态图像网络的极光序列分类(a)(b)图4.8参数选择结果图(a)SVM训练参数g，c参数选择结果3D视图；(b)SVM训练参数g，c参数选择结果等高线图图4.9进行极光图像序列动态图像训练卷积神经网络取得的迭代次数、目标参数训练以及top1错误率：(a)(b)图4.9极光序列动态图像卷积神经网络迭代结果(a)卷积神经网络目标函数随迭代次数训练结果图；(b)卷积神经网络预测出来结果最大概率分类错误值随迭代次数训练结果图由已标记的极光图像序列数据库看出，已标记的数据库四类极光图像序列有限，284个弧状极光序列、119个帷幔冕状极光序列、138个辐射冕状极光序列和68个热点状极光序列，此数据库共包含609个序列。有限的数据库必然会影响到分类效果。所以极光图像序列数据43
南京邮电大学专业学位硕士研究生学位论文第四章基于动态图像网络的极光序列分类库有待进一步进行扩充才能更好的进行极光图像序列的研究。（2）极光图像序列四分类对比实验本节在上一节实验数据结果的基础上进行与其他方法进行比较实验。实验数据在相同的数据库以及相同的训练测试比下进行对比实验。表4.1给出了本文方法与其它方法的比较。其中本文方法的准确率是在对极光图像序列进行动态极光图像提取，然后进行卷积神经网络训练以及SVM分类下取得的。从表4.1中可以看出，本文方法取得了最佳的分类效果。ST-PVLBP在计算时对当前帧的图像只考虑了上下方向两个相邻的像素，不能充分体现帧间运动信息的变化，虽然在弧状序列与非弧状序列分类中取得了不错的效果，但在四类极光序列分类中效果并不理想。HMM假设观测变量之间是相互独立的，但极光序列是一个动态变化的过程，前后帧之间存在一定的相似性，HCRF不存在独立性假设，利用上下文信息学习模型，所以取得了比HMM好的分类效果。HCRF+uLBP的方法，HCRF较好地刻画了极光中隐藏的带电粒子与大气原子的碰撞和极光图像形态动态变化这两个随机过程，结合分块的纹理特征提取策略，实现了对极光图像序列的一定有效表征[42]。本文方法采用动态图像表征极光图像序列，用卷积神经网络对极光动态表征图像进行有效自动特征提取，实现对极光图像序列的良好表征，因而取得不错的分类效果。表4.1本文方法与其它方法比较方法准确率本文方法87.23%HCRF+uLBP[42]81.27%HMM[20]79.81%ST-PVLBP[22]70.92%本章小结本文提出了一种基于动态图像网络的极光图像序列分类方法，实现了极光图像特征提取演示系统界面。极光动态图像有效表征了极光图像序列中的形态动态变化，融合了极光图像序列的有效分类信息。卷积神经网络对极光动态图像进行自动特征提取，利用深度学习手段进行高效特征进一步提取。最后进行支持向量机下的特征分类，实现极光图像序列的分类。在北极黄河站数据库上采集的极光图像数据进行的有监督实验，证明了动态图像模型用于表征极光序列的有效性，通过对未标记极光序列进行极光事分类实验，通过对实验结果的详细分析，证明了本章提出的极光图像序列分类方法的有效性。44
南京邮电大学专业学位硕士研究生学位论文第五章极光图像特征提取演示系统开发第五章极光图像特征提取演示系统开发极光图像特征演示系统旨在实现对极光图像进行指定特征提取并对提取结果进行展示。极光图像特征演示实现对极光图像进行指定特征提取并对提取结果进行展示。极光图像特征演示系统是用来对选择的极光图像特征进行提取并展示特征结果，能够对极光特征进行可视化操作。极光图像特征提取演示系统实现手动选取指定图像，手动选取要提取的极光特征，然后进行所选特征的效果展示。该系统能够直观有效的展示提取特征在视觉上是否有效，方便研究人员对极光特征进行筛选。开发环境介绍本系统的设计是在MATLAB提供的GUI平台上进行设计实现的。平台开发环境如下所示：（1）软件部分操作系统：Windows764位系统开发工具：Matlab2016b（2）硬件部分内存：8GCPU：Intel(R)Core(TM)i5硬盘：500G系统总体框架下图是极光特征提取演示系统的系统框架：45
南京邮电大学专业学位硕士研究生学位论文第五章极光图像特征提取演示系统开发打开文件三通道特征融合uLBP特征特征选择模块光流特征主界面初始特征提取极光特征提取登录系统界面演示系统原始图像特征展示窗口特征提取结果退出系统界面图像清屏退出系统图5.1极光特征提取演示系统框架整个界面演示系统如图5.1所示，包含界面模块、特征选择模块、特征演示模块、文件读取模块、特征提取模块以及系统退出模块。(a)界面模块界面模块包含登录界面、主界面以及退出界面。图5.2演示系统登录界面46
南京邮电大学专业学位硕士研究生学位论文第五章极光图像特征提取演示系统开发图5.3演示系统主界面主界面包含特征选取、打开文件、特征提取、显示、两个图像显示窗口、清屏以及退出等控件。退出界面，在完成极光图像特征提取演示系统后，点击主界面的在点击主界面的“退出”后会加载退出界面。此界面用于选择是否退出系统。图5.4演示系统退出界面(b)文件读取模块文件读取模块包含“打开文件”按钮、“清屏”按钮。“打开文件”按钮，用来进行打开所要进行提取特征的文件。针对ULBP特征选取的是单幅图像，针对光流特征选取的是一个文件夹（装有要提取光流特征的多幅原始图像，至少两幅）。“清屏”按钮，此按钮用来清除掉展示图像窗口里的内容。(c)特征选择模块此模块用于演示特征的选取。本文特征包含三种状态：初始、ULBP特征、光流特征、三通道特征融合。初始状态下，没有特征，必须选择ULBP、光流特征和三通道特征融合中的一种后，接下来的文件打开、特征提取、显示等操作才能实例化，否则将不能操作。ULBP特征状态下，选择此项，接下来即针对提取极光的ULBP特征进行的相关操作。光流特征状态下，47
南京邮电大学专业学位硕士研究生学位论文第五章极光图像特征提取演示系统开发选择此项，接下来即针对提取极光的光流特征进行的相关操作。三通道特征融合状态下，选择此项是针对第三章的多通道融合特征模块设计的，此时的三通道特征与第三章中描述的一样，详细内容可以查看第三章。(d)特征展示模块此模块用于极光图像特征的演示窗口。包含原始图像窗口、特征展示窗口、显示按钮。原始图像窗口用于显示没有提取特征的极光原始图像（进行过通用预处理操作后的图像）。特征演示窗口用于显示所提取特征后的特征图像展示。“显示”按钮，用于选取特征提取完成后，点击此按钮，在原始图像窗口和特征展示窗口进行图像的展示。如果提取的是静态特征，那么展示的图像是静态图像；如果要展示的是动态效果的图像，展示图像窗口展示的是动态的图像序列。(e)特征提取模块特征提取模块包含“特征提取”按钮以及背后的特征提取代码处理过程。“特征提取”按钮用来进行特征提取。并且此按钮在没有选择特征的情况下处于虚拟状态，不可用。(f)系统退出模块系统退出模块包含“退出”按钮。此按钮用来退出系统，清除掉所有缓存数据并退出界面系统。点击完“退出”按钮会弹出“退出系统界面”，若选择“是”即可退出系统，若选择“否”则返回系统可继续操作。界面实体呈现下面图像是极光图像演示系统的实体显示呈现。48
南京邮电大学专业学位硕士研究生学位论文第五章极光图像特征提取演示系统开发图5.5演示系统初始化展示图5.6演示系统ULBP特征提取展示49
南京邮电大学专业学位硕士研究生学位论文第五章极光图像特征提取演示系统开发图5.7演示系统三通道融合特征提取展示（原图通道）图5.8演示系统三通道融合特征提取展示（uLBP通道）50
南京邮电大学专业学位硕士研究生学位论文第五章极光图像特征提取演示系统开发图5.9演示系统三通道融合特征提取展示（光流通道）图5.5是极光图像特征演示系统进入主要界面后的效果，即未采取任何操作的效果。此时的极光图像特征提取所选取的特征处在初始这一状态，并且只有特征操作、清屏操作、退出操作上是可操作的按键，打开文件操作、特征提取操作以及显示操作都处于不可操作状态。图5.6是对极光静态图像提取uLBP特征并对特征效果进行对比显示的效果。图5.7、图5.8、图5.9是对极光静态图像进行三通道特征融合效果的展示：图5.7中的左边为原图通道展示，图5.7右边为三通道融合特征展示；图5.8中的左边为uLBP通道展示，图5.8中的右边为三通道融合特征展示；图5.9中的左边为光流通道展示，图5.9中的右边为三通道融合特征展示。51
南京邮电大学专业学位硕士研究生学位论文第六章总结与展望第六章总结与展望本文围绕极光静态图像分类和极光图像序列展开，主要分析讨论了基于多通道融合和卷积神经网络的极光静态图像分类识别、基于动态图像网络的极光图像序列分类研究、极光图像特征提取演示系统等几个问题。在本章中，将对全文的研究内容及主要工作进行总结并对将来的工作进行一些展望。论文总结极光是一种美丽的发生在南极和北极周围高空中的自然放光现象，它是由来自太阳和地球磁层的高能带电粒子流撞击大气层原子和分子，使其激发电离而产生。研究极光形态及其变化能够得到很多太阳与地球相互作用以及地球磁场活动的信息，这对于了解太阳对地球的影响规律和地球磁层的物理机制有很大帮助。本文围绕极光静态图像分类和极光图像序列分类展开，首先介绍了极光图像处理的研究背景和意义，并对当前的研究现状进行了总结和分析。然后重点介绍了基于多通道特征融合和卷积神经网络算法的极光静态图像分类以及基于动态图像和卷积神经网络的极光图像序列分类，本文的主要工作内容和研究成果如下：（1）讨论了极光的相关知识。首先，首先介绍了极光的发生原理，极光形成有三个必要的前提条件，分别是太阳风、地球磁层以及南北两极高空大气。接着介绍了研究极光对人类的重大意义，不仅可以使人们了解太阳与地球以及地球磁层的活动信息，还可以预防极光灾害，利用极光为人类造福。然后介绍了我国在极光观测研究方面的进展，重点介绍了北极黄河站的极光观测系统以及观测数据。最后介绍了极光相关的图像预处理技术以及极光分类机制，为下一步的极光图像研究提供必要的准备。（2）提出了一种基于多通道融合和预训练卷积神经网络的极光静态图像分类方法。多通道特征融合特征提取基于人工设定提取指定的样本特征，将不同的有代表性的突出极光图像的提取特征图放入图像的多个通道，融合后的图像具有图像多方位多角度的特征，充分体现图像有效可靠信息，充分对极光图像进行表征。极光原图通道极光的深度学习模块提供未损失任何信息的必要输入；局部二值模式通道图像为深度学习模块提供极光有效特征的重点突出；光流通道图像为深度学习模块提供极光图像的运动信息。通过卷积神经网络模块部分自动学习极光图像有效表征特征，既能得到从本质上区别各类极光有效信息，又能解决热点状极光难以区分的难题。该部分还通过主成分分析技术对研究过程中的特征进行降维，在保证分类52
南京邮电大学专业学位硕士研究生学位论文第六章总结与展望准确率的同时加快训练、学习以及分类的速度。（3）提出了一种基于动态图像网络极光图像序列分类方法以及极光特征提取演示系统。极光是一个动态演变的过程，相比一张静态极光图像，极光图像序列所包含的信息往往要更加丰富。通过极光动态图像来表征极光图像序列，然后在运用深度学习卷积神经网络进行序列特征学习，最后进行分类。（4）设计实现了极光特征提取演示系统。极光图像特征提取演示系统实现手动选取指定极光图像，手动选取要提取的极光特征，然后进行所选特征的计算及效果展示。该系统能够直观有效的展示提取特征在视觉上是否有效，方便研究人员对极光特征进行筛选。工作展望本文虽然在极光静态图像分类和极光图像序列分类的研究中得到了一定进展，但是依然有一些地方需要改进和完善。现结合本文的工作内容和研究成果，对本文的不足之处以及未来极光图像的研究方向做一个总结和展望：（1）深度学习网络的选取。本文选用的是简单的卷积神经网络，在多通道特征融合时也只是选取了三通道的极光图像特征进行融合。由于深度学习技术的持续研究，如何选取更加合适或者深度更深的网络对极光进行研究十分有必要。（2）极光图像数据库扩增。目前，极光图像数据库含有大量的极光数据，但是有标记的极光图像数据还十分有限。普通的人工标记极光图像的方法既耗费大量的人力、物力、和财力，但同时由于人力的疲劳造成大的标记误差等问题出现。如何利用高效的手段对极光图像数据进行自动标记，对极光图像数据量进行扩增是一个极光研究方向。（3）极光序列的高效分类。本文使用的动态图像网络进行极光图像序列分类。首先，将极光图像序列进行排名池化得到动态图像，将一个图像序列概括为一副图像或多或少会漏掉极光图像序列的某些有效信息。接下来可以考虑使用高效可靠的深度学习模型来处理极光序列，以此进行极光序列的高效研究。（4）结合极光的物理研究进行极光研究。随着科学技术的进步，人们对极光的物理认识也越来越全面准确。在对极光图像应用机器学习和模深度学习技术时，在训练测试时可以更多地结合极光物理研究的相关成果进行综合分析，推动机器学习和深度学习技术在极光研究方面的发展。53
南京邮电大学硕士研究生学位论文参考文献参考文献[1]KullenA,BrittnacherM,CumnockJA,etal.Solarwinddependenceoftheoccurrenceandmotionofpolarauroralarcs:astatisticalstudy[J].JournalofGeophysicalResearchSpacePhysics,2002,107(A11):13-1–13-23.[2]FeldsteinYI,ElphinstoneRD.Auroraeandthelarge-scalestructureofthemagnetosphere[J].EarthPlanets&Space,1992,44(12):1159-1174.[3]陈连增.中国极地科学考察回顾与展望[J].中国科学基金,2008,22(4):199-203.[4]程振波,石学法,陈志华等.2007中国北极黄河站夏季科学考察及黄河站概况[J].海洋科学进展,2008,26(1):112-118.[5]胡泽骏,杨惠根,艾勇等.日侧极光卵的可见光多波段观测特征－中国北极黄河站首次极光观测初步分析[J].极地研究,2005,17(2):107-114.[6]Störmer,C.Thepolaraurora.ClarendonPress,1955,Oxford.[7]AkasofuS.I.Thedevelopmentoftheauroralsubstorm.PlanetSpaceSci,1964,12(4):273-282.[8]胡红桥,刘瑞源,王敬芳等.南极中山站极光形态的统计特征[J].极地研究,1999(1):8-18.[9]HuZJ,YangH,HuangD,etal.Synopticdistributionofdaysideaurora:multiple-wavelengthall-skyobservationatYellowRiverStationinNy-Ålesund,Svalbard[J].JournalofAtmosphericandSolar-TerrestrialPhysics,2009,71(8-9):794-804.[10]SuoMTS,DonovanEF.Diurnalauroraloccurrencestatisticsobtainedviamachinevision[J].AnnalesGeophysicae,2004,22(4):1103--1113.[11]高凌君.基于Gabor变换的日侧极光分类算法研究[D].西安电子科技大学,2009.[12]付蓉,李洁,高新波.基于形态学成分分析的静态极光图像分类算法[J].光子学报,2010,39(6):1034-1039.[13]WangY,GaoX,FuR,etal.DaysidecoronaauroraclassificationbasedonX-graylevelauramatrices.ProceedingsoftheACMInternationalConferenceonImageandVideoRetrieval.ACM,2010:282-287.[14]QinX,YangYH.Similaritymeasureandlearningwithgraylevelauramatrices(GLAM)fortextureimageretrieval[C]//ComputerVisionandPatternRecognition,2004.CVPR2004.Proceedingsofthe2004IEEEComputerSocietyConferenceon.IEEE,2004,1:I-326-I-333Vol.1.[15]QinX,YangY.Basicgraylevelauramatrices:theoryanditsapplicationtotexturesynthesis.IEEEConf.onComputerVision,1:128-135,October2005.[16]WangQ,LiangJ,HuZJ,etal.Spatialtexturebasedautomaticclassificationofdaysideaurorainall-skyimages[J].JournalofAtmosphericandSolar-TerrestrialPhysics,2010,72(5-6):498-508.[17]韩冰,杨辰,高新波.融合显著信息的LDA极光图像分类[J].软件学报,2013,24(11):2758-2766.[18]杨曦,李洁,韩冰,高新波.一种分层小波模型下的极光图像分类算法[J].西安电子科技大学学报(自然科学版),2013,40(2).[19]杨秋菊,胡泽骏.一种基于形态特征的极光图像分类[J].中国科学(自然科学),2017,47(2):252-260.[20]YangQ,LiangJ,HuZ,etal.AuroralsequencerepresentationandclassificationusinghiddenMarkovmodels[J].IEEETransactionsonGeoscience&RemoteSensing,2012,50(50):5049-5060.[21]王倩,梁继民,胡泽骏.基于局部运动向量时空统计的极光事件检测[J].极地研究,2012,24(1):60-69.[22]韩冰,廖谦,高新波.基于空时极向LBP的极光序列事件检测[J].软件学报,2014(9):2172-2179.[23]宋亚婷,韩冰,高新波.基于张量动态纹理模型的极光视频分类[J].南京大学学报(自然科学),2016,52(1):184-193.[24]Dynamictimewarping[M].SpringerBerlinHeidelberg,2007.[25]RockingerO.Imagesequencefusionusingashift-invariantwavelettransform[C]//InternationalConference54
南京邮电大学硕士研究生学位论文参考文献onImageProcessing,1997.Proceedings.IEEEXplore,1997:288-291vol.3.[26]RabinerLR.AtutorialonhiddenMarkovmodelsandselectedapplicationsinspeechrecognition[J].ProceedingsoftheIEEE,1989,77(2):257-286.[27]QuattoniA,WangS,MorencyLP,etal.Hiddenconditionalrandomfields[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2007,29(10):1848-53.[28]HubelDH,WieselTN.Receptivefields,binocularinteractionandfunctionalarchitectureinthecat'svisualcortex[J].TheJournalofPhysiology,1962,160(1):106-154.[29]FukushimaK,MiyakeS.Neocognitron:Anewalgorithmforpatternrecognitiontolerantofdeformationsandshiftsinposi-tion[J].PatternRecognition,1982,15(6):455-469.[30]RuckDW,RogersSK,KabriskyM.Featureselectionusingamultilayerperceptron[J].JournalofNeuralNetworkCom-puting,1990,2(2):40-48.[31]LecunY,DenkerJS,HendersonD,etal.Handwrittendigitrecognitionwithaback-propagationnetwork[C]//AdvancesinNeuralInformationProcessingSystems.Colorado,USA:[s.n],1990:396-404.[32]LecunY,CortesC.MNISThandwrittendigitdatabase[EB/OL].http://yannlecun.com/exdb/mnist,2010.[33]HINTONGE,SALAKHUTDINOVR.Reducingthedimensionalityofdatawithneuralnetworks[J].Science,2006,313(5786):504-507.[34]DENGJ,DONGWSOCHERR,etal.Imagenet:Alarge-scalehierarchicalimagedatabase[C]//IEEEConferenceonComputerVisionandPatternRecogmition.PiscatawayNJ:IEEE.2009:248-255.[35]KrizhevskyA,Sutskever1,HintonGE.Imagenetclassificationwithdeepconvolutionalneuralnetworks[C]//AdvancesineuralInformationProcessingSystems.Cambridge:MITPress,2012:1097-1105.[36]SzegedyC,LiuW.JiaY,etal.Goingdeeperwithconvolutions[C]//ComputerVisionandPatternRecognition(CVPR)IEEEConferenceon.Boston,USA:IEEE,2015:1-9.[37]韩冰,贾中华,高新波.改进的主成分分析网络极光图像分类方法[J].西安电子科技大学学报(自然科学版),2017,44(1).[38]OjalaT,HarwoodI.Acomparativestudyoftexturemeasureswithclassificationbasedonfeaturedistributions[J].PatternRecognition,1996,29(1):51-59.[39]OjalaT,Pietik,InenM,etal.Multiresolutiongray-scaleandrotationinvarianttextureclassificationwithlocalbinarypatterns[J].IEEETransactionsonPatternAnalysis&MachineIntelligence,2002,24(7):971-987.[40]周鹏.基于支持向量机的车牌字符识别方法[J].数学技术与应用,2016(9):91.[41]袁国武,陈志强,龚健,徐丹,廖仁健,何俊远.一种结合光流法与三帧差分法的运动目标检测算法[J].小型微型计算机系统,2013,34(3).[42]XuB,ChenC,GanZ,LiuB.AuroraSequencesClassificationandAuroraEventsDetectionBasedonHiddenConditionalRandomFields[M]//ChineseConferenceonPatternRecognition.2016.55
南京邮电大学硕士研究生学位论文附录1攻读硕士学位期间撰写的论文附录1攻读硕士学位期间撰写的论文（1）陈昌红，刘彬，张浩。基于多通道和卷积神经网络的极光分类，计算机技术与发展，已录用。56
南京邮电大学专业学位硕士研究生学位论文附录2攻读硕士学位期间参加的科研项目附录2攻读硕士学位期间参加的科研项目（1）国家自然科学基金，基于多级深度学习的极光图像分类和局部特殊结构极光检测（61571353）。57
南京邮电大学专业学位硕士研究生学位论文致谢致谢研究生求学之路即将结束，在这三年的研究生学习生活后能够带着这段美好的记忆走向社会，我很幸福。非常感谢这几年一起走过来的各位老师和同学，是你们的帮助和陪伴才使我可以顺利完成学业，在此我谨向所有帮助、关心我的各位老师和同学们送上真心的祝福！首先，特别感谢我的恩师陈昌红教授。陈老师是一个负责任的好老师，她无论在我的学习过程中还是在我的生活中给与我很多的帮助，在指导我学术时耐心细致。陈老师在我面前树立了一个朴实认真、和蔼可亲的学者形象。两年多来，老师每周都会给我们开例会，跟老师汇报我们的每周所学，老师仔细认真聆听，然后跟我们讨论出现的问题。在陈老师的指导下，我的学习能力、自主能力和心态都有了很大的提升，让我意识到并学会要用积极乐观的心态去面对科学道路以及生活中的一切困难，陈老师永远是我的指明灯。陈老师也是一个温柔体贴的好老师，她经常关心我们的生活并给予帮助。非常感谢陈老师这三年给予我的指引和关怀。同时要感谢课题组的刘峰、干宗良、崔子冠、唐贵进等老师，在我的研究生学习阶段不论是在课业学习上还是在科研工作中，他们都给予我莫大的帮助和支持。他们渊博深厚的知识、严谨治学的作风，给我树立了最好的学习榜样。还有要感谢同师门的刘园、高亦超两位同学，我们从研一一直走到现在，虽然我们三个的研究方向不大一样，但我们有问题时也会经常讨论，从中我也得到了不少帮助，非常感谢。接着要感谢已经毕业了的余晓、周敏、徐摆摆三位师兄师姐，在我前期的工作中三位师兄师姐给予了我很多细心指导和帮助，非常感谢。最后感谢下一届的赵晴晴、季月鹏、张浩三位师弟师妹，在我工作较重时为我承担了部分工作，非常感谢。其次要感谢同宿舍的室友们。大家虽然住同一间宿舍，但不在同一间教研室学习，但我们在学习中不断的进行经验分享以及生活中的互帮互助，三年来谢谢室友们在生活和学习上给予我的帮助，我将带着这份友情一路前行。接着要特别感谢我的父母。感谢父母带我来到这个美丽的世界，通过无私的爱将我抚养长大，感谢父母无微不至的支持和关心，感谢父母在这二十多年的默默守护和付出。我要时刻牢记父母的辛苦付出。在今后我会用实际行动去继续努力，用行动来报答父母的哺育之恩。最后感谢参加论文评审和答辩的各位老师，感谢你们抽出宝贵时间参加答辩！58
微信/支付宝扫码支付