人像采集中脏数据筛查方法研究之方法简介

　　与结构化数据不同，照片属于非结构化数据，不能通过简单的逻辑规则来直接清理。因此，在这一批“脏数据"的处理上，先后尝试了MD5校验法、图片灰度直方图分析法、SIFI聚合法来筛查民警上传的不合格图片。

　　（一）MD5校验法

　　MD5即（Message—DigestAIgorithm5）信息-摘要算法5。由于MD5算法具有易压缩性、易计算性和强抗碰撞性的特征，已被广泛用于确保文件或信息传输的完整一致性。MD5校验值的长度是固定的128Bit，其总共有2的128次方种不同的值，因此，不同两个文件的MD5值相同的可能性微乎其微。因此，利用照片MD5值校验的方法筛查重复文件（数据）的方法，在工作中是可行的。处理过程为：把所有人员档案里已存储的照片全部计算出MD5值，并建立专门的索引字段。对于采集提交以及已经上传的照片进行快速比对。对于MD5值重复的图片，系统判断为重复采集，予以自动清理。

　　（二）图片灰度直方图分析法

　　通过对比身份证照片与现场采集照片发现，受采集条件限制，身份证照片以及户籍照片都是在照相室内采集，后期出于制作证件的需要又经过制证软件处理，其背景均是纯白色。但相比之下，由于人像采集多是在日常工作生活中，受光线、拍照环境、拍照流程的影响，外勤民警采集重点人员所拍摄到的人像照片的背景通常要比户籍照片暗得多。

　　根据三原色原理，可将任意彩色图片分解为红、绿、蓝三纯色通道图片。RGB矩阵就是一个三维数组，各维度分别保存红绿蓝的颜色值。红绿蓝三个维度的颜色值全部为255的为纯白色，RGB值为（255，255，255）。通过对身份证照片以及普通照片的灰度直方图分析，如图1所示，左侧身份证照片的灰度直方图中像素灰度分布比较集中，明显聚集在255白色位置，而右侧，在普通拍摄条件下的照片灰度值则分布比较分散。

　　第一步，把图片转换成RGB三维矩阵，每个维度分别存储红色、绿色和蓝色的颜色值。从图片pixelColor中取出红绿蓝的色值，保存到三维数组中；

　　第二步，假如原图某点的颜色为RGB（R，G，B），我们利用浮点算法Gray：R*0.3+G*0．59+B*0.11，将其降为灰度一维图像。灰度值是图像被数字化时由计算机赋予的值，它代表了原稿某一个点位的平均亮度信息；

　　第三步，依据整个图片的灰度值，形成对应的直方图；

　　最后，我们设置了一个15％的预警阈值，高于此阈值的图片，系统自动进行预警。

责任编辑：思睿