基于卷积神经网络的正则化方法

吕国豪;罗四维;黄雅平;蒋欣兰

【摘 要】正则化方法是逆问题求解中经常使用的方法.准确的正则化模型在逆问题求解中具有重要作用.对于不同类型的图像和图像的不同区域,正则化方法的能量约束形式应当不同,但传统的L1,L2正则化方法均基于单一先验假设,对所有图像使用同一能量约束形式.针对传统正则化模型中单一先验假设的缺陷,提出了基于卷积神经网络的正则化方法,并将其应用于图像复原问题.该方法的创新之处在于将图像复原看作一个分类问题,利用卷积神经网络对图像子块的特征进行提取和分类,然后针对不同特征区域采用不同的先验形式进行正则化约束,使正则化方法不再局限于单一的先验假设.实验表明基于卷积神经网络的正则化方法的图像复原结果优于传统的单一先验假设模型.

【期刊名称】《计算机研究与发展》 【年(卷),期】2014(051)009 【总页数】10页(P1891-1900)

【关键词】L1范数约束;L2范数约束;正则化方法;卷积神经网络;图像复原 【作 者】吕国豪;罗四维;黄雅平;蒋欣兰

【作者单位】北京交通大学交通数据分析与挖掘北京市重点实验室 北京 100044;北京交通大学交通数据分析与挖掘北京市重点实验室 北京 100044;北京交通大学交通数据分析与挖掘北京市重点实验室 北京 100044;北京交通大学交通数据分析与挖掘北京市重点实验室 北京 100044

【正文语种】中 文 【中图分类】TP18

由于逆问题的病态特性，对逆问题的直接求解一般被认为是不适定的，正则化方法是处理逆问题中经常使用的一种方法．在图像复原中，由于图像在成像、传输等过程中都存在着退化（模糊、噪声等），因此，如何从接收到的退化图像中尽可能恢复出原始的清晰图像具有重要的实用价值和研究意义．

对于图像复原，即使是最简单的图像退化模型，其复原过程仍然是一个病态问题．一种解决办法是通过对解空间加以约束，寻求满足一定先验条件的适定解，这一过程称为正则化方法．通过加入约束条件以实现稳定求解的方法最早是由Ivanov［1］在1962年提出的，其基本思想是约束复原图像的能量．同年Phillips［2］提出了类似的方法以及最平滑解的模型．1963年，Tikhonov［3］提出了求解病态问题的理论并应用于图像复原，即正则化方法，其基本思想是将对复原图像的能量进行约束改为对复原图像中高频成分的能量进行约束，例如，可以选用最简单的一阶高通滤波器——梯度算子（Tikhonov方法），也可使用多阶高通滤波器的滤波结果的组合（Phillips方法）［2］．此后，人们不断对正则化方法进行改进，以提高复原图像的质量，例如，自适应正则化方法［4－5］、使 用 L1 范 数 约 束 的 方 法 TV（total variation）模型［6］、TV 模型的改进算法［7］、进一步的超稀疏约束（采用0．5～0．8范数）［8］、统计特性的约束［9－11］、L1 范数和 L2 范数的组合［12］等等．此外，一些用于图像复原的滤波器，例如，Wiener滤波器［13］、Tikhonov滤波器［3］等，可以看作是不同正则化方法所对应的能量泛函优化问题的解析解．

上述正则化方法对整幅图像往往采用同一种能量泛函形式．在图1中，图1（a）

采用L2范数得到较好的复原效果（即图1（d）优于图1（c）），而图1（e）采用L2范数得到结果却较差（即图1（g）优于图1（h）），这说明能量泛函的合理形式因图像类型的不同而不同．进一步考虑，对于一个复杂图像中的不同部分也需要使用不同的能量泛函形式，以取得理想的结果．

基于这种想法，本文希望通过对图像内部不同子块的特征进行提取，进而利用提取的特征判断图像子块为纹理区域或平坦区域．针对不同特征区域采用不同的先验形式进行正则化约束，正则化方法不再局限于单一的先验假设．然而，目前广泛使用的特征提取算法（例如 Harris角点检测［14］、SIFT特征［15］）很难完成上述工作，这是因为：

Fig．1 Results of two type of images using different norm constraints．图1 2类图像使用不同能量泛函形式的复原结果

1）上述特征提取方法所指定的特征点是人为按照一定的规则指定的，所以在图像子块中是否存在满足要求的特征点具有不确定性；

2）即便在图像子块内存在满足要求的特征点，但这些特征点是否能够准确地反映出图像纹理区域和平坦区域的区别还存在不确定性，即根据人为指定的规则提取的特征点是否具有区分图像纹理区域和平坦区域的能力还需要进一步研究． 近年来卷积神经网络（convolutional neural network，CNN）在计算机视觉、图像处理领域得到了广泛的应用．卷积神经网络模型是一种多层神经网络，它起源于共享权值网络（sharing weights neural network）［16－17］，该模型由于最初主要应用在语音识别中，因此也称时延神经网络（time delay neural networks，TDNNs）［18］．在图像分析方面，由于时序关系不明显，因此称共享权值网络更为确切．卷积神经网络由两种类型层次组成：卷积层和子采样层，主要特点是位于同一层的所有单元共享相同的权值，检测的特征也相同．这样，这些检测到的特征送入高层时就能够实现平移不变性的特征检测，同时，通过子采样策

略保证对畸变不敏感．

卷积神经网络已经成功地应用在人脸检测［19－20］、手写体识别［16］、语音检测［21］、文本分析［22］、视频分析［23］、车牌识别［24］等领域．另外，Lecun等人［25］加入稀疏编码约束改进模型，在多个视觉任务中取得了很好的结果．

基于上述讨论，本文提出了基于卷积神经网络的正则化方法，其基本思想是更改传统正则化方法中对于图像中各个部分服从统一分布的简单假设，寻找出依据图像局部先验的更精确的描述方法． 1 图像模糊与复原

图像退化的因素有很多，最简单的退化模型（即线性移不变模型）可以描述为一个卷积过程，即

其中，I表示原始的清晰图像；g表示退化后的图像；卷积核k也称为点扩散函数，描述图像的模糊过程；ε（x，y）表示噪声．

对于式（1）描述的最简单的退化模型（假设ε（x，y）＝ε为独立同分布的高斯加性噪声），图像复原（即由g求得I或I的近似解）的基本思想是寻找一个复原图像，使得经过退化后最接近I，即

在式（2）中采用了L2范数的平方（即常用的能量定义方式）来度量经过退化后与I的接近程度．

但是，如果存在函数I0经过卷积核k作用后变为 （即（k＊I）（x，）＝0），那么与＋c· I经过0 0y

0退化后与I的接近程度相同，即式（2）无法对I－与＋c·I进行区分，即解的不

唯一，从而难以得到理0想的图像复原结果．为了解决解不唯一的问题，需要对解加以（先验的）约束，从而对与＋c·I0进行区分，即正则化方法．例如，从式（2）的解空间中除去I0所在空间，然后进行求解，即

其中，ψ表示某一函数空间，即人们根据先验知识对求解结果进行约束，从而使得复原图像I－具有某些特殊的性质，例如I－中不可以含有剧烈的大幅度的震荡等．

式（3）是一个有约束（I－

∈ψ）的优化问题，在求解过程中，通过Lagrange乘子法，将其转化为一个无约束的优化问题，即

其中，λ称为正则化参数，其作用是在解的先验约束和解经过退化后与模糊图像的相似程度之间寻求一种平衡．对于式（4）这样的无约束的优化问题，一般采用L2范数约束和L1范数约束两种方法，也就是本文所称的传统正则化方法． 1．1 L2范数约束

L2范数约束下的正则化方法是基于核空间的元素（k是低通滤波器）以高频分量的假设，将对复原图像的能量进行约束改为对复原图像中高频成分的能量进行约束，即

式（5）可以转化为求解极小化能量泛函的变分问题，进一步利用变分法求解，得到相应的Eular－Larange方程为

其中，表示散度算子．L2范数约束模型是一种各向同性的扩散模型，且其扩散系数均为1．这种扩散模型没有反映出沿边缘方向和梯度方向扩散的差别，因此在图

像复原的同时也使得图像的边缘发生了模糊，但也正是由于L2范数约束的扩散系数相同，对于图像内部的平坦区域往往能取得较好的复原效果． 1．2 L1范数约束

采用L1范数约束的形式对图像进行复原即TV 模型［7］：

L1范数约束对复原图像中高频成分能量的约束采用L1范数的形式．式（7）也可以转化为求解极小化能量泛函的变分问题，进一步利用变分法求解，得到相应的Eular－Larange方程为

L范数约束仅沿图像梯度

的正交方向扩1散，而朝梯度方向无扩散．对于图像中的每一个像素点L1范数约束始终存在一个边缘方向和一个梯度方向，这在图像的纹理、边缘区域可以取得很好的复原结果，但在图像的平坦区域得到的边缘方向并不真实存在，此时仍沿边缘方向扩散会导致在平坦区域的噪声抑制不充分，甚至出现虚假边缘，产生阶梯效应． 2 卷积神经网络正则化方法

图像复原正则化的本质是人们对于图像性质的一种先验认识．各种不同正则化方法的提出可以看作人们不断地修改或提高先验认识，从而使得其更加逼近图像真实特性的过程．为了寻求对图像先验的更好描述，提高图像复原结果，对于传统的正则化方法，可以从以下2个方面进一步分析和思考：

1）优化传统正则化方法中高通滤波器，更好地区分复原图像中的纹理区域和平坦区域；

2）改进对传统正则化方法中能量泛函形式，使得由该能量泛函形式约束形成的子空间和复原图像所在的子空间尽可能匹配．

已有许多文献对于滤波器的设计进行了研究，提出了多种基于统计或学习的改进滤

波器［7－12］．本文主要针对2）进行研究，将传统的图像复原问题转化为一个分类问题，利用卷积神经网络对图像的不同子块的特征进行提取和分类，进而针对不同特征区域采用不同的先验形式进行正则化约束．本文采用梯度算子作为滤波器进行分析和实验，理论和实验结果可以方便地推广到其他高阶或复杂的滤波器． 2．1 卷积神经网络正则化方法的基本思想

传统的正则化方法基于图像各部分服从同一分布的简单假设，利用式（5）、式（8）将图像各部分不加区别地加以处理限制了图像复原效果．本文提出的基于卷积神经网络正则化方法就是尝试着突破这一假设．卷积神经网络正则化方法不再拘泥于单一的范数约束形式，而是寻求如何更加准确地描述图像中不同区域的特征，并对其采用不同的范数约束形式．在将一幅图像划分成若干子块之后，传统的正则化方法所处理的图像块可以看作被嵌入到根据真实物体的形态结构、位置关系决定的二维平面中，而卷积神经网络正则化方法通过对不同区域图像块特征的分类，将图像中彼此相邻部分之间的位置关系打破，利用图像块内部的特征进行分类和重组．卷积神经网络正则化方法实质上是对于一副图像中的图像子块寻找有效的特征并对其进行分类，进而根据图像块的有效特征采用不同的正则化约束方式．图2描述了传统正则化方法和卷积神经网络正则化方法的区别：

Fig．2 Different views on images．图2 不同正则化方法对图像空间的看法 在图2中，传统的正则化方法对图像中的任何图像子块并不加以区分，因此对整张图像使用同一个先验假设，即某一种能量泛函定义方式．而基于卷积神经网络正则化方法认为图像中不同的区域具有不同的特征，同一张图像中相邻的部分可能在卷积神经网络正则化方法上属于不同的范数优化集合，而图像中相距较远的部分也可能在卷积神经网络正则化方法上属于相同的范数优化集合．因此基于卷积神经网络正则化方法根据图像中不同部分的不同特征采用不同的正则约束方法． 2．2 基于卷积神经网络的正则化模型

基于卷积神经网络正则化的基本思想是将一幅图像视为由若干子块组成，根据子块的局部特征对其采用不同的先验约束形式进行正则化．因此，该方法需要解决2个问题：

1）寻找一种度量方式对图像中不同部分的特征进行度量，进而准确反映图像的纹理和平坦区域的区别；

2）寻找与图像块特征相对应的正则化约束方式进行约束求解，得到复原图像． 对于问题1），本文采用卷积神经网络作为特征提取方法，通过使用样本图像对卷积神经网络进行训练，寻找合适的滤波器组合对图像中的不同子块图像特征进行提取并分类．对于问题2），本文采用L1范数、L2范数及其线性组合作为正则化约束的泛函定义形式，则卷积神经网络正则化模型可以表示为

其中，gi 分别表示图像I－，g的子块，参数αi由图像块gi 确定，即αi＝αi（gi）（在本文中，αi 根据图像块gi的特征（纹理或平坦区域）选取0或1）． 2．2 ．1 卷积神经网络

本文采用卷积神经网络对图像复原进行约束，即对于图像中的纹理区域和平坦区域进行分类．图3给出具体的例子：

Fig．3 Different features of different image blocks．图3 同一图像中不同区域的图像特征

本文将卷积神经网络分为特征提取与表达以及特征分类两部分．特征提取与表达部分用来提取适合的特征以助于图像块的分类；特征分类部分对特征提取与表达部分给出的特征进行准确分类．两者相互配合完成对图像内部不同子块的特征分类，指导正则化方法选取适合的先验假设约束形式，具体介绍如下： 1）特征的提取与表达

我们将卷积神经网络中输入层，C1，S2，C3，S4，C5层合称为图像子块的特征

提取部分，共有5层结构（不包含输入层）．

对于特征提取阶段的卷积神经网络可以看作是由卷积层和子采样层2种结构交替组成的．

卷积和子采样过程如图4所示，包括用一个可训练的滤波器fx（权值系数ωx的组合）去卷积一个输入的图像（第1阶段为输入的图像，其他阶段为特征图），然后加一个偏置bx，得到卷积层Cx．子采样过程包括将邻域4个像素通过权值系数ωx＋1求加权和变为1个像素，再加上偏置bx＋1，然后通过一个sigmoid激活函数，产生特征图Sx的1/4大小的特征图Sx＋1．C层可看作是模糊滤波器，用于提取特征，S层的空间分辨率逐层递减，而每层所含的平面数递增，用于压缩数据并产生更多的信息．

在图3中，Surf．Ⅰ对应的图像块包含大量平坦区域，利用L2范数作为先验约束有助于消除图像的模糊和噪声；而Surf．Ⅱ对应的图像块振荡特性明显，使用L1范数作为先验约束较为合适．因此如何准确地对图像内部不同子块的特征进行分类成为必须解决的问题．

Fig．4 Convolution and sub sampling processing．图4 卷积和子采样过程 对于一幅图像中的每一个子块图像（32×32像素），其处理方式如图5所示： Fig．5 Feature extraction of convolution neural network regularization．图5 卷积神经网络正则化的特征提取

我们将子块图像中的每一个像素看作神经元，C1层是一个卷积层，由8个特征图构成，每个特征图是通过一种卷积滤波器提取输入图像的一种特征（8个特征图分别对应8个卷积滤波器）．特征图中每个神经元与输入图像的5×5的区域相连，如图5的C1部分．这8个5×5的卷积滤波器的权值由训练样本训练得到，且对于一个特征图权值共享．由于不考虑子图的边缘点的滤波结果，特征图的大小为28×28．

S2层是子采样层，有8个14×14的特征图．特征图中的每个神经元与C1中相对应特征图的2×2区域相连．S2层每个神经元的结果由C1层相邻的4个神经元相加后乘以一个可训练权值参数，再加上一个可训练偏置参数，最后通过sigmoid函数计算得到，如图5的S2部分．每个神经元的2×2区域互不重叠，因此，S2中每个特征图为C1中特征图大小的1/4．

C3层也是卷积层，它同样通过5×5的卷积核卷积S2层，只是在这里为了简化实验我们使用了一种5×5的卷积核，得到的特征图只有10×10个神经元，共计由30个10×10大小的特征图构成．值得注意的是，C3层中的每个特征图连接S2层中的所有8个或者部分特征图组合，即表示本层的特征图是由上一层提取到的特征图的不同组合通过卷积得到，其组合原则如图6所示．采用组合的原因是为了模拟人眼视觉中底层结构构成的上层更抽象的结构．

Fig．6 Feature combination order on layer C3．图6 C3层特征组合方式 S4层是一个子采样层，与S2层类似由30个5×5大小的特征图构成．特征图中的每个单元与C3层中相应特征图的2×2区域相连接．

C5层是一个卷积层，有200个特征图．在这里我们使用了全连接，每个单元与S4层的全部30个单元的5×5区域相连．C5层特征图的大小为1×1． 至此原始的32×32的图像子块转变为200维的特征向量，即32×32的图像子块用一个200维的特征向量表示．这样我们就完成了图像的特征提取阶段，应当指出的是特征提取阶段所需的卷积矩阵权值、偏置值均通过训练得到，其依据的算法为扩展的反向传导算法［26］，保证了特征提取的客观性． 2）特征的分类

我们将卷积神经网络中隐含层和输出层合称为图像子块的特征分类部分，共有两层结构，如图7所示．

卷积神经网路的特征分类部分使用了成熟的3层结构神经网络模型（这部分很容

易用其他分类算法替换）．输出层设计为一个神经元，以完成对L2范数约束和L2范数约束的选取．对于这部分权值的学习算法直接利用了经典的BP学习算法［27］．

Fig．7 Structure of feature recognition．图7 特征识别阶段结构 2．2．2 变分梯度流模型

根据卷积神经网络确定图像块gi对应的参数αi后，即可对卷积神经网络正则化模型（如式（9）所示）进行求解，利用变分法可以得到卷积神经网络正则化模型对应的变分梯度下降流：

由于一幅图像被划分为相互独立的图像子块，因此式（10）可以转化为在彼此孤立的图像块上的扩散过程，即

由变分法可得到式（11）对应的偏微分方程形式：称为扩散核k（x，y）的对偶

其中，A＝k＊＊gi－k＊＊k＊表示扩散过程中扩散源的分布，函数k＊（x，y）＝表示函数k（x，y）的共轭，如果函数k（x，y）为实函数，那么k（x，y）＝，在本文中，αi根据图像块gi的特征（纹理或平坦区域）选取1或0．采用有限差分法求解偏微分方程（12），可得到相应的数值算法，从而通过迭代对卷积神经网络正则化模型进行近似求解． 3 实验及结果分析

在本文的实验中，我们在常用的测试图像（Boat，Lena等）和实验室手工拍摄的自然图像中选取400张基本图像，将图像按32×32大小分块，构成7万张原始的清晰图像库；使用上述400张清晰图像加入模糊核为5×5的高斯模糊和标准差为

0．05的高斯白噪声构成模糊加噪图像，利用上述分块方法，获得模糊加噪图像库．采用峰值信噪比（PSNR）作为评价标准，对模糊加噪图像库中的每一个图像块分别使用L1范数约束和L2范数约束进行图像复原，进而与原始标准图像库中的图像块进行比较，计算其PSNR值，选择使得复原图像结果PSNR值较大的复原方法，作为分类的结果．实验样本库由模糊加噪图像库和对应的L1，L2范数分类结果两部分组成．使用L1范数约束的样本和L2范数约束的样本比例约为1∶1． Fig．8 Comparison of experimental results on Boat and Lena．图8 测试图像Boat和Lena上的实验结果比较

在样本库中选择高斯模糊作为模糊形式的主要原因是高斯模糊是一类常见的图像模糊，常用于描述光学成像仪器设备所产生的模糊，也是视觉成像中金字塔模型的基础．高斯模糊具有指数阶频率衰减速度，相比其他模糊类型，例如运动模糊、聚焦不准等，高斯模糊更难进行复原．

选取PSNR的原因是PSNR计算简便，且可根据需要变更为信噪比（SNR）、均方根误差（MSE）或其组合形式．

从样本库中抽取6万张图像作为训练样本库，1万张图像作为测试样本库．为了简化泛函形式以便于计算，αi只取0或1，即在不同的图像子块中只选择L1范数和L2范数约束之一． 3．1 实验结果比较与分析

本文选取高斯模糊进行实验，即点扩散函数选为高斯函数，卷积核大小为5×5，卷积神经网络步长为1，重复迭代100次，经过训练后卷积神经网络对训练样本的拟合程度为97．64%．我们在常用的测试图像上进行实验，并同L2范数约束［3］、L1范数约束［6］和L1 范数和L2 范数的组合［12］进行了对比，结果如图8所示．

对测试图像库中的常用图像进行数值比较，采用MSE，SNR，PSNR评价图像复

原的结果，如表1所示．

对于MSE值越小表示复原图像和原始清晰图像差别越小；SNR，PSNR刚好相反，即值越大越好．从图8和表1可以看出，卷积神经网络正则化方法取得了理想的复原结果．可见，相对于滤波器的优化，能量泛函形式的优化更为重要． 针对实验室采集的自然图像，卷积神经网络正则化和L1范数约束以及L2范数约束方法进行对比实验的实验结果如图9所示．

Table 1 Comparison of Different Restoration Results表1 不同复原方法的复原结果数值比较Evaluation L2Norm Constraint L1Norm Constraint Combination of L1＆L2 CNN Regularization MSE 343．043 3 45．548 9 148．453 9 23．224 5 SNR 10．417 3 18．206 8 14．584 3 21．381 0 PSNR 24．892 8 31．631 7 28．561 9 34．510 7

Fig．9 Comparison of CNN regularization and traditional single functional constraint．图9 卷积神经网络正则化方法和传统单一泛函约束方法的比较 从图9可以明显看出卷积神经网络正则化方法的优势，图中不同特征的图像块都得到了有效的复原，使得复原图像更加自然，从而克服了传统正则化方法“顾此失彼”的缺陷． 3．2 计算代价分析

使用L1约束或L2约束进行图像复原时时间复杂度为O（n3），其中n表示图像子块像素数大小．本文提出的方法可以对独立的图像块分别进行操作，且图像子块像素数远小于一幅图像的像素数，为此，其计算复杂度和迭代稳定性均远优于不分块图像的时间复杂度．另外，考虑到在图像分块后，图像子块的复原可以并行处理，其计算代价可进一步降低．不足之处主要表现在卷积神经网络需要预先学习，学习是需要消耗时间的，但是这些学习过程可以离线训练，对于真正在线的复原过程没有影响．

4 结 论

本文通过应用卷积神经网络对自然图像中不同区域（一般为图像子块）特征进行有效标识，并建立该特征与（合理的）能量泛函形式之间的一种对应关系，以构建一种以图像局部特征为基础的正则化方法．

寻找能合理标识图像块特征的方法是卷积神经网络正则化方法取得好的复原效果的关键．除了使用卷积神经网络方法之外，我们将尝试一些以图像分割为特征的指标，例如分形维数等．如何寻找更加有效的特征，标识不同图像区域的类型，建立特征与能量泛函形式之间的合理关系，从而改进和提高已有方法，这些是我们继续研究的目标． 参考文献

［1］ Ivanov V K．On linear ill－posed problems［J］．Dokl Akad Nauk SSSR，1962，14（145）：270－272

［2］ Phillips D L．A technique for the numerical solution of certain integral equations of the first kind［J］．Journal of the ACM，1962，9（1）：84－97

［3］ Tikhonov A N．On the Solution of Ill－posed Problems and the Method of Regularization ［M］． Providence： American Mathematical Society Press，1963：1035－1038

［4］ Pace D，Aylward S，Niethammer M．A locally adaptive regularization based on anisotropic diffusion for deformable image

registration of sliding organs ［J］．IEEE Trans on Medical Imaging，2013，32（11）：2114－2126

［5］ Liu Peng， Zhang Yan， Mao Zhigang． A restoration algorithm for images contaminated by impulse noise ［J］．Journal of Computer

Research and Development，2006，43（11）：1939－1946（in Chinese）（刘鹏，张岩，毛志刚．一种脉冲噪声图像复原算法［J］．计算机研究与发展，2006，43（11）：1939－1946）

［6］ Rudin L，Osher S，Fatemi E．Nonlinear total variation based noise removal algorithms ［J］． Physica D： Nonlinear Phenomena，1992，60（1）：259－268

［7］ Marquina A，Osher S．Explicit algorithms for a new time dependent model based on level set motion for nonlinear deblurring and noise removal［J］．SIAM Journal of Scientific Computing，2000，2（22）：387－405

［8］ Levin A，Fergus R，Durand F，et al．Image and depth from a

conventional camera with a coded aperture［J］．ACM Trans on Graphics，2007，26（3）：701－709

［9］ Levin A．Blind motion deblurring using image statistics［C］//Proc of the 20th Annual Conf on Neural Information Processing Systems．Cambridge，CM：MIT，2006：841－848

［10］ Shan Q，Jia J，Agarwala A．High－quality motion deblurring from a single image［J］．ACM Trans on Graphics，2008，27（3）：73－83 ［11］ Zhu S C，Mumford D．Prior learning and gibbs reactiondiffusion［J］．IEEE Trans on Pattern Analysis and Machine Intelligence，1997，19（11）：1236－1250

［12］ Lu Chengwu，Huang Hua．TV＋TV2regularization with nonconvex sparseness－inducing penalty for image restoration［J］．Mathematical Problems in Engineering，2014，3（11）：1－15

［13］ Honig M L， Goldstein J S． Adaptive reduced－rank interference suppression based on the multistage Wiener filter［J］．IEEE Trans on Communications，2002，50（6）：986－994

［14］ Mikolajczyk K，Schmid C．Scale ＆affine invariant interest point detectors ［J］．International Journal of Computer Vision，2004，60（1）：63－86

［15］ Lowe D G．Distinctive image features from scale－invariant

keypoints［J］．International Journal of Computer Vision，2004，60（2）：91－110

［16］ LeCun Y，Bottou L，Bengio Y，et al．Gradient－based learning applied to document recognition［J］．Proceedings of the IEEE，1998，86（11）：2278－2324

［17］ LeCun Y，Boser B，Denker J S，et al．Backpropagation applied to handwritten zip code recognition ［J］．Neural Computation，1989，1（4）：541－551

［18］ Sejnowski T，Rosenberg C R．Parallel networks that learn to pronounce English text［J］．Complex Systems，1987，1（1）：145－168 ［19］ Tivive F H C，Bouzerdoum A．A new class of convolutional neural networks （SICoNNets）and their application of face detection ［C］//Proc of the Int Joint Conf on Neural Networks．Piscataway，NJ：IEEE，2003：2157－2162

［20］ Chen Yingning，Han Chinchuan，Wang Chengtzu，et al．The application of a convolution neural network on face and license plate detection ［C］//Proc of the 18th Int Conf on Pattern

Recognition．Piscataway，NJ：IEEE，2006：552－555

［21］ Sukittanon S，Surendran A C，Platt J C，et al．Convolutional networks for speech detection［C］//Proc of the 8th Int Conf on Spoken Language．Piscataway，NJ：IEEE，2004：1077－1080

［22］ Simard P，Steinkraus D，Platt J C．Best practices for convolutional neural networks applied to visual document analysis［C］//Proc of the 7th Int Conf on Document Analysis and Recognition．Piscataway，NJ：IEEE，2003：958－962

［23］ Mobahi H H，Collobert R，Weston J．Deep learning from temporal coherence in video［C］//Proc of the 26th Annual Int Conf on Machine Learning．New York：ACM，2009：737－744

［24］ Zhao Zhihong，Yang Shaopu，Ma Zengqiang．License plate character recognition based on convolutional neural network LeNet－5［J］．Journal of System Simulation，2010，22（3）：638－641（in Chinese）（赵志宏，杨绍普，马增强．基于卷积神经网络LeNet－5的车牌字符识别研究［J］．系统仿真学报，2010，22（3）：638－641）

［25］ Ranzato Y M，Boureau L，LeCun Y．Sparse feature learning for deep belief networks［J］．Advances in Neural Information Processing Systems，2007，20：1185－1192

［26］ Ji Shuiwang，Xu Wei，Yang Ming，et al．3Dconvolutional neural networks for human action recognition ［J］．IEEE Trans on Pattern Analysis and Machine Intelligence，2013，35（1）：221－231

［27］ Sadeghi B H M．A BP－neural network predictor model for plastic injection molding process［J］．Journal of Materials Processing

Technology，2000，103（3）：411－416