Phenomics| 深度学习模型助力掌纹表型特征提取和分类

近日，《表型组学》（Phenomics）以封面论文在线发表了上海交通大学翟广涛教授联合中国科学院营养与健康研究院汪思佳研究员团队题为Palmprint Phenotype Feature Extraction and Classification Based on Deep Learning的文章。

Phenomics封面 (第二卷第四期)

在胚胎发育早期，受基因和环境的影响，在手足内侧会形成由凹凸嵴线形成的纹路，这种纹路被称为皮肤纹理，简称肤纹或皮纹（图1a）。这些嵴线的形成和结构特征在人群中存在多样性，在人与大自然抗争的进化史上扮演着重要角色。基于大规模人群的肤纹研究可以解析肤纹表型多样性背后的形成机制及演化过程，但目前亟需解决肤纹表型的快速、准确分类或量化。该研究提出了一种新的基于深度学习的掌褶线提取与表型分类架构，可以大大减少周边细纹的影响，进一步以2D掌纹图像进行掌纹表型分类任务，准确率达95.7%。

研究背景

在人类手掌心区域一般有三条明显的屈褶线，分别为远侧屈褶线（III）、近侧屈褶线（II）和纵侧屈褶线（I），它们常被称为“掌褶线（纹）”或“掌纹主线”（图1b）。根据掌褶线在人群中的多样性和分布频率，主要可分为四种类型：①一般型；②猿线-近侧和远侧横向折痕相交于手掌，因其在非人猿类中常见而得名；③悉尼线-近侧屈褶线延伸横跨手掌，因其在悉尼被首次描述而得名；④三径向基折痕-纵侧与近侧屈褶线在手掌虎口处不相交，也称为“开放折痕”(图1c)。

掌褶线因具有个体独特性和永久稳定性而被应用于个人身份验证、信息安全及医学辅助诊断等各个领域。个人身份验证需要对输入的指掌纹与待验证的身份进行比对以确认它们的一致性，该领域主要关注具有个体独特性的细节特征；与个人身份验证不同，该研究则主要针对掌褶线进行特征提取，进而对掌褶线进行表型分类，这提高了大规模群体多样性研究的效率和准确性。

图1 肤纹介绍和掌褶线表型分类

研究结果

该文提出的基于深度学习的掌褶线特征提取和表型分类框架包含三个不同的模块（图2a）。在REM模块，该文提出使用基于Blaze Palm[1]预训练的手部关键点定位深度学习网络，从手掌图像中定位小拇指指根节点、食指指根节点，依据这两点位置计算出ROI区域位置进而截取出所需的ROI区域。在PLEM模块，利用整体嵌套边缘检测HED网络提取ROI区域中的掌褶线，最终将其作为PC输入实现掌纹表型的分类。其中，PLEM中的HED结构如图2b所示，采用VGG16网络作为骨干网络，去掉全连接层，融合各阶段的多尺度特征提取所需的掌褶线信息。为衡量提取结果与原始掌褶线之间的主要结构相似性，该文采用了SSIM[2]作为评价指标。在最后PC模块，该文比较了常用ResNet18和ResNet34网络作为表型分类器，并利用迁移学习的思想，使用在ImageNet数据集上预先训练的参数初始化ResNet分类器。

图2 该文提出的模型结构

与现有ROI提取方法相比，该文基于深度学习的ROI提取成功率为95.2%。将提取出的ROI区域，进一步输入PLEM模块进行掌褶线提取。与四种传统边缘检测算子相比，该研究提取的掌褶线与原始掌褶线结构相似性得分达到0.813，检测效果得到明显提升（图3a）。这是由于传统的边缘检测算子依靠灰度值变化来寻找边缘，但掌纹上的边缘包括掌纹主线、小嵴线和接触挤压产生的褶皱，边缘检测算子提取的结果中包含很多噪声信息。在不同阶段，边缘检测神经网络各层间提取的特征不同。网络浅层的输出类似于边缘检测算子的输出，包含主线、皱纹和许多其他无用的特征。随着层数越来越深，HED 模型会过滤掉无用的特征，保留主线特征（图3b）。

图3掌褶线表型提取结果

在掌纹分类的过程中，由于原始数据中存在严重的数据不均衡问题（一般型掌纹占比达到90%以上），因此我们对其它类型掌纹进行了数据增强。在此基础上，通过比较不同边缘检测算子提取的掌褶线，并使用ResNet34网路进行表型分类。结果显示该文提出的主线提取方法能够提升最终表型分类的性能，最终的掌纹分类准确率为95.7%，且对于占比不高的小样本也能进行很好的预测分类(图4)。

图4 掌褶线表型分类准确率

研究结论

该文提出了一种新的掌纹表型提取深度学习架构，可以大大减少细纹的影响，进一步从2D掌纹图像中分类掌纹表型。该文研究者利用预训练的手部关键点定位模型来提高复杂情况下的 ROI 提取性能。与现有ROI提取方法相比，该文的提取成功率为95.2%。相较于传统的边缘检测算子，该文首次提出的基于深度神经网络的掌褶线提取模型具有更强的特征学习能力，提取的掌褶线与真实掌纹线的相似度得分为0.813。该文使用提取的掌褶线进行掌纹表型分类任务，准确率达到 95.7%。此外，他们还构建了一个新的带有人工标记掌褶线表型分类和掌纹主线的数据集CAS_Palm ,以期为肤纹特征的进一步研究提供帮助。

上海交通大学翟广涛教授和中国科学院营养与健康研究院汪思佳研究员为该论文的通讯作者。上海交通大学硕士生范禹和复旦大学人类表型组研究院、生命科学学院博士后李金喜为共同第一作者。该研究得到了上海市科技重大专项（2017SHZDZX01），国家自然科学基金（61831015）和中国博士后科学基金（2019M651351）项目的资助。

Abstract

Palmprints are of long practical and cultural interest. Palmprint principal lines, also called primary palmar lines, are one of the most dominant palmprint features and do not change over the lifespan. The existing methods utilize filters and edge detection operators to get the principal lines from the palm region of interest (ROI), but can not distinguish the principal lines from fine wrinkles. This paper proposes a novel deep-learning architecture to extract palmprint principal lines, which could greatly reduce the influence of fine wrinkles, and classify palmprint phenotypes further from 2D palmprint images. This architecture includes three modules, ROI extraction module (REM) using pre-trained hand key point location model, principal line extraction module (PLEM) using deep edge detection model, and phenotype classifier (PC) based on ResNet34 network. Compared with the current ROI extraction method, our extraction is competitive with a success rate of 95.2%. For principal line extraction, the similarity score between our extracted lines and ground truth palmprint lines achieves 0.813. And the proposed architecture achieves a phenotype classification accuracy of 95.7% based on our self-built palmprint dataset CAS_Palm.

通讯作者：翟广涛

翟广涛，上海交通大学电子信息与电气工程学院教授、博导，任《Displays》(Elsevier)主编、《中国科学：信息科学》编委、上海市图像图形学学会副理事长。发表国际期刊和会议论文四百余篇，被引用万余次，入选爱思唯尔中国高被引科学家。曾获得全国优博、优青、青年拔尖人才等荣誉，主持NSFC重点、国家重点研发等项目。获2017年中国电子学会自然科学一等奖，获PCS2015和IEEE ICME2016最佳学生论文奖，IEEE TMM 2018最佳论文奖和2021 最佳论文提名奖，IEEE MMC Workshop 2019、CVPR DynaVis Workshop 2020、IEEE BMSB 2022最佳论文奖。

通讯作者：汪思佳

汪思佳，中国科学院上海营养与健康研究所研究员、博士生导师。现任中国科学院计算生物学重点实验室副主任、中国科学院上海生物医学大数据中心副主任。入选“国家海外高层次人才计划”，先后承担“国家自然基金委优秀青年科学基金”、“国家重大研究计划”等十余项国家及省部级项目。在Cell、Nat Genet、Nat Commun、Am J Hum Genet、J Invest Dermatol等国际知名期刊上发表论文五十余篇，论文累计引用四千余次。目前课题组的主要科研方向为开发及运用系统组学分析方法及人工智能算法，利用人群队列产生的生物大数据，构建人体表型与基因及其他组学特征的互作网络，建立预测个体健康状况的算法模型。

第一作者：范禹

范禹，男，上海交通大学电子信息与电气工程学院硕士研究生，师从翟广涛教授。主要研究方向包括图像分割、图像质量评估等，参与国家自然科学基金及上海市自然科学基金项目等多项研究课题。

第一作者：李金喜

李金喜，于中国科学院上海营养与健康研究所获得计算生物学方向博士学位（师从汪思佳研究员），之后进入复旦大学人类表型组研究院、生命科学学院从事博士后工作，一直致力于人类体质性状的遗传学研究，解析人体表型-基因及环境暴露间关联网络，并借助人工智能算法，系统开展体质特征和疾病间关系预测。在该领域取得了多项原创性成果，在Cell 、Am J Hum Genet.、Hum Genet.等权威期刊发表论文多篇，总被引近180次，部分工作被F1000Prime、Nature 等高亮推荐，并被央视新闻、新华社等多家权威媒体报道。主持中国博士后科学基金面上项目、特别资助（站中）项目。获评“谈家桢博士后学者奖”、复旦大学“超级博士后”和“优秀博士后”称号。

Phenomics期刊简介

Phenomics是一本新创的同行评审国际期刊，聚焦表型组学前沿研究，搭建全球表型组学领域专家交流的国际平台，推动该领域相关的理论创新和学科发展。

本期刊拥有强大的国际编委团队，复旦大学金力院士担任主编，美国系统生物学研究所Leroy Hood院士、澳大利亚莫道克大学Jeremy Nicholson院士、德国莱布尼兹环境医学研究所Jean Krutmann院士、复旦大学唐惠儒教授共同担任副主编，复旦大学丁琛教授担任执行主编，另有来自全球多国的三十多位著名科学家共同组成编委团队，以及四十多位青年科学家组成青年编委团队。

我们诚挚地邀请广大科研人员投稿！