一种基于权重融合与特征选择的双流人脸反欺诈检测方法与流程

本发明涉及的人脸检测
技术领域：
，尤其涉及一种基于权重融合与特征选择的双流人脸反欺诈检测方法。
背景技术：
：随着生物特征识别技术的完善成熟，指纹识别、虹膜识别、语音识别技术逐渐被应用到各行各业的安防系统中，而人脸识别因其交互性、易获取性、可视化程度高等优势逐渐成为主流；然而这些优势也为系统的安全带来了隐患，早在2002年，lisathalheim等人使用照片、简短视频对facevacs-logon人脸系统进行了检测，成功欺骗并通过了身份的确认；这一事实使人们对人脸识别技术的安全性产生了极大的质疑，人脸反欺诈—这一亟待解决的课题，随之应运而生。目前人脸的欺诈方式主要包括以下几种：(1)偷拍到的人脸照片；(2)网上公开的人脸视频；(3)计算机软件合成的三维人脸模型；(4)塑料、橡胶材料制成的人脸面具，虽然3d打印等生物仿真技术如今已可逐步投入使用，但考虑到设备成本、高效便捷等因素，目前最主流的欺诈手段还是拍摄合法用户的人脸照片和视频，在近十多年的人脸欺诈研究中，常用的纹理特征如：局部二值模式(lbp)、方向梯度直方图(hog)、haar特征，在灰度图像的真假人脸识别中取得了较好的实验结果，随后人们考虑在rgb、hsv、ycbcr等彩色空间中进行实验，增加了人脸的多样性；但是这些方法大都是在单一颜色或者单一特征中的进行，真假人脸的识别效果不够好。技术实现要素：本部分的目的在于概述本发明的实施例的一些方面以及简要介绍一些较佳实施例。在本部分以及本申请的说明书摘要和发明名称中可能会做些简化或省略以避免使本部分、说明书摘要和发明名称的目的模糊，而这种简化或省略不能用于限制本发明的范围。鉴于上述现有基于权重融合与特征选择的人脸反欺诈检测方法存在的问题，提出了本发明。因此，本发明目的是提供一种基于权重融合与特征选择的双流人脸反欺诈检测方法，其将采集的hsv像素特征、ycbcr像素特征、bsif灰度特征和神经网络卷积特征、lbp特征和hog特征进行权重融合，大大提高了真假人脸的识别效果，同时提供了鲁棒性，还加快了运行效率。为解决上述技术问题，本发明提供如下技术方案：一种基于权重融合与特征选择的人脸反欺诈检测方法，其特征在于：包括，通过采集设备采集人脸图片；提取特征，并确定人脸标签；对特征进行融合；以及，判断人脸真假，并响应于显示设备上；其中，所述特征包括hsv像素特征、ycbcr像素特征、bsif灰度特征和神经网络卷积特征、lbp特征和hog特征；其中，所述融合区分为权重融合和分数级融合。本发明的有益效果：本发明方法将采集的hsv像素特征、ycbcr像素特征、bsif灰度特征和神经网络卷积特征、lbp特征和hog特征进行权重融合，大大提高了真假人脸的识别效果，同时提供了鲁棒性，还加快了运行效率。附图说明为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其它的附图。其中：图1为本发明基于权重融合与特征选择的人脸反欺诈检测方法第一个实施例的整体流程示意图。图2为本发明基于权重融合与特征选择的人脸反欺诈检测方法第二个实施例的提取hsv像素特征和ycbcr像素特征，并确定人脸标签的流程示意图。图3为本发明基于权重融合与特征选择的人脸反欺诈检测方法第三个实施例的hsv颜色空间模型示意图。图4为本发明基于权重融合与特征选择的双流人脸反欺诈检测方法第三个实施例的提取bsif灰度特征，并确定人脸标签的流程示意图。图5为本发明基于权重融合与特征选择的双流人脸反欺诈检测方法第四个实施例的提取神经网络卷积特征，并确定人脸标签的流程示意图。图6为本发明基于权重融合与特征选择的双流人脸反欺诈检测方法第六个实施例的提取hog特征和lbp特征，并确定人脸标签的流程示意图。图7为本发明基于权重融合与特征选择的双流人脸反欺诈检测方法第六个实施例的灰度图示意图。图8为本发明基于权重融合与特征选择的双流人脸反欺诈检测方法第六个实施例的lbp特征模型示意图。图9为本发明基于权重融合与特征选择的双流人脸反欺诈检测方法第七个实施例的casia数据集人脸结构示意图。图10为本发明基于权重融合与特征选择的双流人脸反欺诈检测方法第七个实施例的replay-attack数据集人脸示意图。图11为本发明基于权重融合与特征选择的双流人脸反欺诈检测方法第七个实施例的实验框架示意图。具体实施方式为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合说明书附图对本发明的具体实施方式做详细的说明。在下面的描述中阐述了很多具体细节以便于充分理解本发明，但是本发明还可以采用其他不同于在此描述的其它方式来实施，本领域技术人员可以在不违背本发明内涵的情况下做类似推广，因此本发明不受下面公开的具体实施例的限制。其次，此处所称的“一个实施例”或“实施例”是指可包含于本发明至少一个实现方式中的特定特征、结构或特性。在本说明书中不同地方出现的“在一个实施例中”并非均指同一个实施例，也不是单独的或选择性的与其他实施例互相排斥的实施例。再其次，本发明结合示意图进行详细描述，在详述本发明实施例时，为便于说明，表示器件结构的剖面图会不依一般比例作局部放大，而且所述示意图只是示例，其在此不应限制本发明保护的范围。此外，在实际制作中应包含长度、宽度及深度的三维空间尺寸。实施例一参照图1，为本发明第一个实施例，提供了一种基于权重融合与特征选择的双流人脸反欺诈检测方法的整体结构示意图，如图1，一种基于权重融合与特征选择的双流人脸反欺诈检测方法包括步骤：s1：通过采集设备采集人脸图片；s2：提取特征，并确定人脸标签；s3：对特征进行融合；以及，s4：判断人脸真假，并响应于显示设备上。具体的，本发明包括步骤：s1：通过采集设备采集人脸图片，需说明的是，人脸图片为采集设备拍摄的图片或视频截取的图片，而采集设备为摄像头或照相机等设备；s2：提取特征，并确定人脸标签，其中，提取的特征区分为hsv像素特征、ycbcr像素特征、bsif灰度特征、神经网络卷积特征、lbp特征和hog特征；s3：对特征进行融合，其中，融合区分为权重融合和分数级融合；以及，s4：判断人脸真假，并响应于显示设备上，其中，显示设备为手机、电脑或电子锁等显示屏，需强调的是，s2和s3步骤位于处理模块中处理，具体的，处理模块是由各种电子元件(控制器、处理器和电池等)以及电路板构成的具有处理功能的器件，本方法将采集的hsv像素特征、ycbcr像素特征、bsif灰度特征和神经网络卷积特征、lbp特征和hog特征进行权重融合，大大提高了真假人脸的识别效果，同时提供了鲁棒性，还加快了运行效率。实施例二参照图2，该实施例不同于第一个实施例的是：提取hsv像素特征和ycbcr像素特征，并确定人脸标签的步骤包括：s211：将rgb人脸图分别映射到hsv颜色空间和ycbcr颜色空间，并标准化rgb人脸图；s212：提取hsv像素特征和ycbcr像素特征；s213：利用随机森林判断该hsv像素特征和ycbcr像素特征的人脸标签分别为y1和y2。具体的，参见图1，其主体包括步骤：s1：通过采集设备采集人脸图片，需说明的是，人脸图片为采集设备拍摄的图片或视频截取的图片，而采集设备为摄像头或照相机等设备；s2：提取特征，并确定人脸标签，其中，提取的特征区分为hsv像素特征、ycbcr像素特征、bsif灰度特征、神经网络卷积特征、lbp特征和hog特征；s3：对特征进行融合，其中，融合区分为权重融合和分数级融合；以及，s4：判断人脸真假，并响应于显示设备上，其中，显示设备为手机、电脑或电子锁等显示屏，需强调的是，s2和s3步骤位于处理模块中处理，具体的，处理模块是由各种电子元件(控制器、处理器和电池等)以及电路板构成的具有处理功能的器件，本方法将采集的hsv像素特征、ycbcr像素特征、bsif灰度特征和神经网络卷积特征、lbp特征和hog特征进行权重融合，大大提高了真假人脸的识别效果，同时提供了鲁棒性，还加快了运行效率；而提取hsv像素特征，并确定人脸标签的步骤包括：s211：通过处理模块将rgb人脸图分别映射到hsv颜色空间和ycbcr颜色空间，并标准化rgb人脸图；s212：提取hsv像素特征和ycbcr像素特征；s213：利用随机森林判断该hsv像素特征和ycbcr像素特征的人脸标签分别为y1和y2，其中，y1和y2均为1或0的列矩阵。进一步的，hsv颜色空间是一种基于色调(h)、饱和度(s)、亮度(v)三种分量的锥状颜色空间模型(参照图3)，色调h，表示色彩的基本属性颜色，由逆时针旋转的角度表示，范围是0度至360度，其中红色表示为0度，绿色表示为120度，蓝色表示为240度；饱和度s，表示颜色的纯度，纯度越高，颜色越深，由圆锥体的底面半径表示，范围是[0,1]；亮度v，表示颜色的亮暗程度，在圆锥的顶点(v＝0，h、s无意义)表示黑色，圆锥底面中心(v＝1,s＝0,h无意义)表示白色，两者的连线表示由暗至亮的灰度变化；hsv是根据人眼的视觉原理构建的空间模型，符合人的感官认知，用于图像识别的处理，其中，将rgb转化为hsv的公式如下：进一步的，ycbcr颜色空间是由亮度(y)、蓝色分量(cb)、红色分量(cr)三种基向量组成的颜色空间模型，ycbcr与hsv相似，可以将亮度信息分离出来，并且与rgb是一种线性转化关系，其中，将rgb转化为ycbcr的计算公式如下：使用时，处理模块的rgb人脸图像标准化为16*16的大小，然后转化到hsv和ycbcr两种颜色空间上，将两种彩色空间保留作为新的像素级特征，用于更全面的保留真实人脸和欺诈人脸在颜色方面的差异。实施例三参照图4，该实施例不同于以上实施例的是：提取bsif灰度特征，并确定人脸标签的步骤包括：s221：将rgb人脸图转成灰度图像；s222：调整灰度图像大小；s223：提取bsif特征；s224：利用随机森林判断该bsif特征的人脸标签y3。具体的，参见图1，其主体结构包括步骤：s1：通过采集设备采集人脸图片，需说明的是，人脸图片为采集设备拍摄的图片或视频截取的图片，而采集设备为摄像头或照相机等设备；s2：提取特征，并确定人脸标签，其中，提取的特征区分为hsv像素特征、ycbcr像素特征、bsif灰度特征、神经网络卷积特征、lbp特征和hog特征；s3：对特征进行融合，其中，融合区分为权重融合和分数级融合；以及，s4：判断人脸真假，并响应于显示设备上，其中，显示设备为手机、电脑或电子锁等显示屏，需强调的是，s2和s3步骤位于处理模块中处理，具体的，处理模块是由各种电子元件(控制器、处理器和电池等)以及电路板构成的具有处理功能的器件，本方法将采集的hsv像素特征、ycbcr像素特征、bsif灰度特征和神经网络卷积特征、lbp特征和hog特征进行权重融合，大大提高了真假人脸的识别效果，同时提供了鲁棒性，还加快了运行效率；而提取hsv像素特征，并确定人脸标签的步骤包括：s211：通过处理模块将rgb人脸图分别映射到hsv颜色空间和ycbcr颜色空间，并标准化rgb人脸图；s212：提取hsv像素特征和ycbcr像素特征；s213：利用随机森林判断该hsv像素特征和ycbcr像素特征的人脸标签分别为y1和y2，其中，y1和y2均为1或0的列矩阵；而提取bsif灰度特征，并确定人脸标签的步骤包括：s221：将rgb人脸图转成灰度图像；s222：调整灰度图像大小；s223：提取bsif特征；s224：利用随机森林判断该bsif特征的人脸标签y3，其中，y3为1或0的列矩阵。其中，bsif灰度特征是以独立分量分析(ica)为模型，利用自然图像的统计信息进行滤波，其将局部图像块映射到学习到的基向量子空间上，使用阈值为0的线性滤波器对每个像素坐标进行二值化，bsif有助于描述一些具有异样特征的图片，因此对欺诈人脸在光照、遮挡等条件上的差异较为敏感。例如，对于大小为l*l的图像块x和同样尺寸的线性滤波器wi，滤波器的响应si和二值化的特征bi表示如下：对于n个wi滤波器，可以叠加到一个尺度为n*l2的矩阵w中，一次性计算所有的响应：s＝w*x。具体的，通过处理模块将采集设备采集到的原始rgb彩色图像标准化为128*128，并将这些图像转化为灰度图，从相关的滤波器中，选择9*9窗口的滤波器对每一张人脸图像进行特征提取，并将这些分量进行级联，作为最终的bsif特征。实施例四参照图5，该实施例不同于以上实施例的是：提取神经网络卷积特征，并确定人脸标签的步骤包括：s231：搭建一个包含5个卷积层的神经网络；s232：标准化rgb人脸图大小；s233：利用rgb人脸图和平均人脸图做差，得到的新人脸图；s234：新人脸图放入到神经网络中进行卷积；s235：取出第四个卷积层的映射图作为单张人脸图的卷积特征；s236：将rgb人脸图的卷积映射连接起来，得到神经网络卷积特征；s237：利用随机森林判断该神经网络卷积特征的人脸标签y4。具体的，参见图1，其主体结构包括步骤：s1：通过采集设备采集人脸图片，需说明的是，人脸图片为采集设备拍摄的图片或视频截取的图片，而采集设备为摄像头或照相机等设备；s2：提取特征，并确定人脸标签，其中，提取的特征区分为hsv像素特征、ycbcr像素特征、bsif灰度特征、神经网络卷积特征、lbp特征和hog特征；s3：对特征进行融合，其中，融合区分为权重融合和分数级融合；以及，s4：判断人脸真假，并响应于显示设备上，其中，显示设备为手机、电脑或电子锁等显示屏，需强调的是，s2和s3步骤位于处理模块中处理，具体的，处理模块是由各种电子元件(控制器、处理器和电池等)以及电路板构成的具有处理功能的器件，本方法将采集的hsv像素特征、ycbcr像素特征、bsif灰度特征和神经网络卷积特征、lbp特征和hog特征进行权重融合，大大提高了真假人脸的识别效果，同时提供了鲁棒性，还加快了运行效率；而提取hsv像素特征，并确定人脸标签的步骤包括：s211：通过处理模块将rgb人脸图分别映射到hsv颜色空间和ycbcr颜色空间，并标准化rgb人脸图；s212：提取hsv像素特征和ycbcr像素特征；s213：利用随机森林判断该hsv像素特征和ycbcr像素特征的人脸标签分别为y1和y2，其中，y1和y2均为1或0的列矩阵；而提取bsif灰度特征，并确定人脸标签的步骤包括：s221：将rgb人脸图转成灰度图像；s222：调整灰度图像大小；s223：提取bsif特征；s224：利用随机森林判断该bsif特征的人脸标签y3，其中，y3为1或0的列矩阵；而提取神经网络卷积特征，并确定人脸标签的步骤包括：s231：搭建一个包含5个卷积层的神经网络；s232：标准化rgb人脸图大小；s233：利用rgb人脸图和平均人脸图做差，得到的新人脸图；s234：新人脸图放入到神经网络中进行卷积；s235：取出第四个卷积层的映射图作为单张人脸图的卷积特征；s236：将rgb人脸图的卷积映射连接起来，得到神经网络卷积特征；s237：利用随机森林判断该神经网络卷积特征的人脸标签y4，其中，y4为1或0的列矩阵。具体的，搭建一个包含5个卷积层的神经网络，前三个卷积层，每个卷积层之后是一个池化层和激活层，第一个池化层使用最大池化的方式，第二、三池化层使用平均池化的方式，激活层采用relu函数来消除负值并加速训练，在每个卷积层我们对卷积后的特征图进行补0，使得特征图的输入输出尺寸相同，最后在softmax层使用两个神经元进行真假人脸的分类，网络的主体框架如表1所示，包括网络的层数、核的尺寸、步长、输入输出特征图的大小。层结构核尺寸步长输入图片大小输出图片大小卷积层15*513*(32*32)32*(32*32)池化层13*3232*(32*32)32*(16*16)卷积层25*5132*(16*16)32*(16*16)池化层23*3232*(8*8)32*(8*8)卷积层35*5132*(8*8)64*(8*8)池化层33*3264*(8*8)64*(4*4)池化层44*4164*(4*4)64*(1*1)池化层51*1164*(1*1)2*(1*1)softmax--------2*(1*1)1*2实施例五该实施例不同于以上实施例的是：hsv像素特征、ycbcr像素特征、bsif灰度特征和神经网络卷积特征采用权重融合f。具体的，参见图1，其主体包括步骤：s1：通过采集设备采集人脸图片，需说明的是，人脸图片为采集设备拍摄的图片或视频截取的图片，而采集设备为摄像头或照相机等设备；s2：提取特征，并确定人脸标签，其中，提取的特征区分为hsv像素特征、ycbcr像素特征、bsif灰度特征、神经网络卷积特征、lbp特征和hog特征；s3：对特征进行融合，其中，融合区分为权重融合和分数级融合；以及，s4：判断人脸真假，并响应于显示设备上，其中，显示设备为手机、电脑或电子锁等显示屏，需强调的是，s2和s3步骤位于处理模块中处理，具体的，处理模块是由各种电子元件(控制器、处理器和电池等)以及电路板构成的具有处理功能的器件，本方法将采集的hsv像素特征、ycbcr像素特征、bsif灰度特征和神经网络卷积特征、lbp特征和hog特征进行权重融合，大大提高了真假人脸的识别效果，同时提供了鲁棒性，还加快了运行效率；而提取hsv像素特征，并确定人脸标签的步骤包括：s211：通过处理模块将rgb人脸图分别映射到hsv颜色空间和ycbcr颜色空间，并标准化rgb人脸图；s212：提取hsv像素特征和ycbcr像素特征；s213：利用随机森林判断该hsv像素特征和ycbcr像素特征的人脸标签分别为y1和y2，其中，y1和y2均为1或0的列矩阵；而提取bsif灰度特征，并确定人脸标签的步骤包括：s221：将rgb人脸图转成灰度图像；s222：调整灰度图像大小；s223：提取bsif特征；s224：利用随机森林判断该bsif特征的人脸标签y3，其中，y3为1或0的列矩阵；而提取神经网络卷积特征，并确定人脸标签的步骤包括：s231：搭建一个包含5个卷积层的神经网络；s232：标准化rgb人脸图大小；s233：利用rgb人脸图和平均人脸图做差，得到的新人脸图；s234：新人脸图放入到神经网络中进行卷积；s235：取出第四个卷积层的映射图作为单张人脸图的卷积特征；s236：将rgb人脸图的卷积映射连接起来，得到神经网络卷积特征；s237：利用随机森林判断该神经网络卷积特征的人脸标签y4，其中，y4为1或0的列矩阵。而hsv像素特征、ycbcr像素特征、bsif灰度特征和神经网络卷积特征采用权重融合f，权重融合f采用如下公式计算：其中，y为特征预测的人脸标签矩阵，即y＝[y1，y2，y3，y4]；其中，为最优权重，最优权重采用最小二乘法s(y)公式计算；其中，s(y)＝||yw-y||2该方程的具体解法如下：||yw-y||2＝(yw-y)t(yw-y)＝(wtyt-yt)(yw-y)＝wtytyw-2wtyty+yty对于上式w求导得：当时，s(y)取最小值：对s(y)进行微分求最值，可得到：其中，w为预测结果的权重矩阵，y为人脸图像的实际标签矩阵。实施例六参照图6，为本发明的第六个实施例，该实施例不同于以上实施例的是：提取hog特征和lbp特征，并确定人脸标签的步骤包括：s241：将rgb人脸图转化成灰度图；s242：确定灰度图的像素并计算梯度大小和方向，同时使用lbp算子对灰度人脸图进行特征提取；s243：根据不同的方向计算直方图和灰度直方图的分别级联；s244：提取hog特征和lbp特征；s245：筛选特征；s246：利用支持向量机判断该hog特征和lbp特征的人脸标签。具体的，参见图1，其主体结构包括步骤：s1：通过采集设备采集人脸图片，需说明的是，人脸图片为采集设备拍摄的图片或视频截取的图片，而采集设备为摄像头或照相机等设备；s2：提取特征，并确定人脸标签，其中，提取的特征区分为hsv像素特征、ycbcr像素特征、bsif灰度特征、神经网络卷积特征、lbp特征和hog特征；s3：对特征进行融合，其中，融合区分为权重融合和分数级融合；以及，s4：判断人脸真假，并响应于显示设备上，其中，显示设备为手机、电脑或电子锁等显示屏，需强调的是，s2和s3步骤位于处理模块中处理，具体的，处理模块是由各种电子元件(控制器、处理器和电池等)以及电路板构成的具有处理功能的器件，本方法将采集的hsv像素特征、ycbcr像素特征、bsif灰度特征和神经网络卷积特征、lbp特征和hog特征进行权重融合，大大提高了真假人脸的识别效果，同时提供了鲁棒性，还加快了运行效率；而提取hog特征和lbp特征，并确定人脸标签的步骤包括：s241：将rgb人脸图转化成灰度图(如图图7)；s242：确定灰度图的像素并计算梯度大小和方向，同时使用lbp算子对灰度人脸图进行特征提取；s243：根据不同的方向计算直方图和灰度直方图的分别级联；s244：提取hog特征和lbp特征；s245：筛选特征；s246：利用支持向量机判断该hog特征和lbp特征的人脸标签，其中，筛选特征采用方差选择法和主成分分析法。其中，lbp是一种用于图像纹理处理的局部灰度描述算子，lbp特征的原理(如图8所示)：在某一窗口范围内，以窗口的中心像素为阈值，并与相邻的像素进行比较，若周围像素小于阈值像素则记为0，否则记为1，将周围像素的二进制数转化十进制，即得到中心像素的lbp值，lbp算子采用公式如下：其中，(xc，yc)表示中心像素的坐标，像素值为gc，p表示以r为半径，领域上像素的个数，gi表示领域像素；在此lbp特征提取选择半径为1的8邻域lbp算子对每个人脸图像提取lbp特征，将直方图级联作为整个图像的lbp特征。其中，hog(方向梯度直方图)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子，hog特征通过计算和统计图像局部区域的梯度方向直方图来构成特征，其对图形的几何和光学变化有很好的稳定性，在细粒度的尺度抽样、细粒度的方向选择上有较好的检测结果，在人脸欺诈中，由于真实人脸与照片、视频人脸相比，眼睛、嘴巴部位有着一定的凹凸痕迹，hog特征能用于对真假人脸的判别，在此采用在8*8尺度上对人脸的每个区域计算像素的梯度大小和方向，根据不同的方向计算直方图，将每个区域直方图级联作为整个图像的hog特征。其中，方差的大小可以衡量信息量的丰富程度，提取到的lbp特征和hog特征先用方差法分别对这两种特征进行粗过滤，去除各自内部方差较小的特征，然后将两种特征进行级联作为新的特征，使用主成分分析法再进行一次特征筛选，这样可以更大可能地去除冗余特征，提高运行效率。在此假设l为m*n的lbp特征矩阵，其中m为样本数，n为特征的维数，对于第j列的特征t，其方差选择法的计算公式如下：其中ti为第i个样本第j列的特征，μ为第j列特征的均值，σj为第j列特征的方差，即可以计算出每一列特征的方差σ1，σ2，.......σn，将每一列特征按照方差递减进行降序排序，然后取出方差较大的前k维作为新的lbp特征，hog特征也按照相同的方法进行筛选，然后将得到的两种新的特征级联，用主成分分析法再进行一次降维。实施例七参照图11，为本发明的第七个实施例，该实施例不同于以上实施例的是：对特征进行融合采用分数级融合判断真假。具体的，参见图1，其主体包括步骤：s1：通过采集设备采集人脸图片，需说明的是，人脸图片为采集设备拍摄的图片或视频截取的图片，而采集设备为摄像头或照相机等设备；s2：提取特征，并确定人脸标签，其中，提取的特征区分为hsv像素特征、ycbcr像素特征、bsif灰度特征、神经网络卷积特征、lbp特征和hog特征；s3：对特征进行融合，其中，融合区分为权重融合和分数级融合；以及，s4：判断人脸真假，并响应于显示设备上，其中，显示设备为手机、电脑或电子锁等显示屏，需强调的是，s2和s3步骤位于处理模块中处理，具体的，处理模块是由各种电子元件(控制器、处理器和电池等)以及电路板构成的具有处理功能的器件，本方法将采集的hsv像素特征、ycbcr像素特征、bsif灰度特征和神经网络卷积特征、lbp特征和hog特征进行权重融合，大大提高了真假人脸的识别效果，同时提供了鲁棒性，还加快了运行效率。而特征进行融合采用分数级融合判断真假，其中，hsv像素特征、ycbcr像素特征、bsif灰度特征、神经网络卷积特征、lbp特征和hog特征选取的特征不同以及使用分类器效果的不同，在此采用求和规则，调试分类效果的比重，通过最终的分数级融合，对一张图片属于真实人脸还是欺诈攻击的人脸做出最终的判断。进一步的，为了测试实验的效果，在两个常用的人脸反欺诈数据集caisfasd和replay-attack上进行实验，其中，casiafasd是由真实人脸视频和欺诈人脸视频构成的，在此，将视频由50个参与人员分成不想交的两组拍摄而成，包括一个训练集(20个子集)和一个测试集(30个子集)，欺诈攻击的种类有3种：(1)扭曲的照片攻击，即通过弯曲照片来模拟人的脸部运动；(2)切割照片攻击(照片面具)，即剪掉照片的眼睛区域，欺诈者藏在照片后面，通过小孔眨眼模拟真实人脸；(3)视频攻击，即录制合法人员的脸部活动，制成视频，冒充真实人脸，是真是人脸还是欺诈攻击，制成的视频都有：低质、正常画质、高清，三种分辨率，参照图9显示了csaiafasd的一个样例，其中每一列分别是：真实人脸照片、扭曲的照片攻击、切割的照片攻击、视频攻击，每一行分别表示：低质、正常画质、高清的照片。进一步的，replay-attack是一个人脸视频数据集，是由50个参与者拍摄而成的视频集，数据集由1200个mov格式的视频构成，包括训练集、测试集、验证集三部分(分别是360个视频、480个视频、360个视频)，其中训练集和验证集分别由60个真实人脸视频、150个手持拍欺诈摄视频和150个固定拍摄欺诈视频组成。测试集是由80个真实人脸视频、200个手持拍摄欺诈视频和200个固定拍摄欺诈视频，视频在两种光照环境下拍摄：(1)可控环境，即场景的背景是相同的，并使用荧光灯作为照明光源；(2)恶劣环境，即场景的背景是不一致的，以太阳光作为光源；数据集包括三种欺诈攻击方式：(1)打印攻击，即将高分辨率的真实人脸照片打印在a4纸上，并拍摄成视频；(2)移动(手机)攻击，即真实人脸在iphone3gs(分辨率480*320)上拍摄成视频后，在摄像头前二次成像拍摄的视频；(3)高清(平板)攻击，即真实人脸在ipad(分辨率1024*768)上拍摄成视频后，在摄像头前二次成像拍摄的视频，图10显示了replay-attack数据集的一个样例，其中每一列分别表示：真实人脸、打印攻击、iphone视频攻击、ipad视频攻击，第一行是可控环境下拍摄的视频，第二行是自然环境下拍摄的视频。frr(误拒率)、far(误识率)是用于评价实验结果优劣的两个指标，当frr越小时，表示真实人脸被错误识别而误判的可能性越低，当far越小时，表示欺诈攻击被误判成真实人脸的可能性越低，但判断依据又是相互矛盾的，其中的一个降低必然导致另一个的升高，使用等错误率(equalerrorrate，简称eer)和半总错误率(halftotalerrorrate，简称hter)作为评价指标，将far和frr放入同一坐标系中，far是随阈值增大而减小的，frr是随阈值增大而增大的，它们有交点；这个点是在某个阈值下的far与frr等值的点，即eer，hter表示far和frr的均值，计算方法为：hter＝(frr+far)/2，当这两个参数越小时，系统的性能越好，从而能综合评价实验的优劣。实验在一个64gb内存的工作站上进行，它有11gb的ram和gtx1080ti显卡，程序的编程是由matlab2016a完成，对于replay-attack视频数据集，每隔4帧抽取一张图片，共得到训练集图片23215张、测试集图片30646张、验证集图片23136张，对于casiafasd视频数据集，由于缺少验证集，从20个从训练子集中取出10个子集，从30个测试子集中取出10个子集组合成验证集，以便使用最小二乘法计算得最优权重，对于casiafasd数据集，每隔5帧抽出一张人脸图片，共得到训练集图片9126张、测试集图片13308张、验证集图片9000张，对于每一张人脸图片都归一化为128*128的大小，在特征选择部分保留hog特征方差较大的前80％特征，对于lbp特征保留方差较大的前30％部分，在级联进行主成分分析时，保留贡献率较大的前90％特征作为最终筛选的特征。在最终的分数级融合时，经过多次调参实验，将最小二乘融合部分和特征选择部分的权重分别设置为0.8：0.2，这样得到的实验结果更加优异，表2和表3分别显示了实验得到的结果。casiaeer(等错误率)hter(半总错误率)hsv像素特征6.587.46ycbcr像素特征7.398.30bsif灰度特征9.649.12神经网络卷积特征11.6110.20权重融合6.437.26特征选择14.4816.93分数级融合6.246.90表2casia数据集实验结果replayeer(等错误率)hter(半总错误率)hsv像素特征6.264.64ycbcr像素特征4.594.06bsif灰度特征15.9415.35神经网络卷积特征11.0110.52权重融合4.153.76特征选择16.6818.85分数级融合4.083.54表3replay-attack数据集实验结果由表2可以看出，在casia数据集上单个特征的实验中，效果最好的是hsv颜色空间的像素特征，eer和hter分别是6.58和7.46；在通过权重融合的方法之后，实验的eer和hter有了些许降低，分别是6.43和7.26；由表3可以看出，在replay-attack数据集上单个特征的实验中，效果最好的是ycbcr颜色空间的像素特征，eer和hter分别是4.59和4.06，在经过最优权重的自适应融合判别之后，eer和hter分别有了一定的降低，分别是4.15和3.76；由此看出，因为两种数据集是由不同的设备、在不同的环境下拍摄的，不同的颜色对于实验的效果也会有影响；在经过最终的分数级融合之后，实验得到了更好的结果，在casia数据集上eer和hter分别降低到了6.24和6.90，在replay-attack数据集上eer和hter分别降低到了4.08和3.54；从灰度图像中提取的特征分类效果明显比彩色特征要差，尤其是特征选择中的实验，eer和hter都比较高，可能提出的这种关于灰度特征提取的方法不适合视频图像；从cnn中提取的卷积特征，它的效果也是一般，可能与输入初始图像的大小有关，设置了32*32的图像大小，可能造成了图像信息的损失，在两个数据集上的eer和hter都有了不同程度的降低，说明我们的融合方法是有效的。本发明将颜色特征、神经网络的卷积特征、传统的纹理特征相结合，使得本专利的算法相对于单一特征有着更好的鲁棒性；使用最小二乘法对各种特征的判别结果进行计算，使得特征的判别结果得到了最优组合；使用方差选择法和主成分分析法相结合，对特征进行选择，去除了冗余信息，提高运算效率应理解的是，在任何实际实施方式的开发过程中，如在任何工程或设计项目中，可做出大量的具体实施方式决定。这样的开发努力可能是复杂的且耗时的，但对于那些得益于此公开内容的普通技术人员来说，不需要过多实验，所述开发努力将是一个设计、制造和生产的常规工作。应说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的精神和范围，其均应涵盖在本发明的权利要求范围当中。当前第1页12