前言

本文是根据一篇论文总结写的。

论文英文名为：Dual-domain and Multiscale Fusion Deep Neural Network for PPG Biometric Recognition。

中文名为：双域多尺度融合深度神经网络的PPG生物特征识别。大家感兴趣的可以查看原文。

DOI: 10.1007/s11633-022-1366-8

概述

光容量描记(PPG)生物识别技术已受到广泛关注。尽管深度学习在PPG生物识别方面取得了良好的性能，但仍存在几个挑战:

1)如何有效地从时间和频率PPG信号中提取特征融合表示。

2)如何有效捕捉一系列PPG信号的跃迁信息。

3)如何从一维时频序列数据中提取时变信息。

为了解决这些挑战，我们提出了一种双域和多尺度融合深度神经网络(DMFDNN)用于PPG生物特征识别。DMFDNN主要由一个用于PPG生物识别的双分支深度学习框架组成，它可以从时域和频域学习时变和多尺度的判别特征。同时，我们设计了一个多尺度转换信息提取模块，该模块由多个接收域不同的卷积层组成，用于获取多尺度转换信息。

此外，提出了双域注意力模块，以加强PPG生物识别中时域和频域数据贡献更大的域。在四个数据集上的实验表明，DMFDNN优于最先进的PPG生物识别方法。

研究背景

在过去的十年中，利用一些生理信号的生物识别技术，如心电图(ECG)、光电容积描记术(PPG)和肌电图(EMG)，逐渐引起了广泛的关注。

与广泛应用的人脸、指纹等生物特征相比，PPG信号作为生物特征具有以下优势：

1)PPG信号是通过将传感器附着在活人身上获得的，可以提供活体检测的证据。

2)难以伪造或复制，PPG信号作为生物特征具有较高的安全性。

3. PPG信号不仅包含个人身份验证信息，还包含心脏健康和心理状态信息。

4. PPG信号是一维数据，体积小。

PPG生物识别技术以其独特的优势越来越受到研究者的关注。

PPG存在的问题

PPG生物识别技术是一项新技术，目前已有许多方法被提出。深度学习(Deep learning, DL)在PPG生物识别中取得了良好的性能，许多相关方法已经被报道。

然而，现有的PPG生物识别深度学习方法使用**小尺度卷积滤波器来提取振幅特征，而忽略了显式捕获PPG波的一系列过渡信息。**例如，收缩波和舒张波的转换信息以及二向切波对识别PPG信号至关重要。

1、小尺度卷积滤波器可以提取局部振幅信息，大尺度卷积滤波器可以提供不同形态特征的过渡信息。所有这些信息对PPG生物特征识别至关重要。

因此，如何设计一个模型从PPG信号中提取不同尺度的转换信息是将深度学习应用于PPG生物识别的一个具有挑战性的问题。

2、现有的PPG生物识别深度学习方法大多是从原始PPG信号中提取特征。

原始PPG信号容易受到采集设备、身体位置以及各种生理和心理因素的影响，且随时间变化不稳定。

PPG信号包含时频域特征，一些方法将原始PPG信号转换为频域特征作为深度学习模型的输入，用于PPG生物特征识别。然而，现有的PPG生物特征识别深度学习方法只考虑利用单域特征，没有同时使用时域和频域融合输入神经网络模型中。

因此，如何将时间信息和频率信息融合为深度学习模型的输入是一个具有挑战性的问题。

3、现有的PPG生物识别工作大多没有利用一维时频数据的序列关系。

现有的用于PPG生物特征识别的深度学习方法大多仅使用卷积神经网络(CNN)来提取深度PPG特征。在不考虑一维序列数据的情况下，CNN在高维图像数据上取得了更好的结果。一些深度学习方法仅使用长短期记忆(LSTM)网络从原始PPG信号中提取时变信息。因此，PPG生物识别的一个具有挑战性的问题是设计一个健壮的深度模型，从一维时频序列数据中提取时变信息。

本文的创新点

为了解决上述挑战，在本文中，我们提出了一种双域和多尺度融合深度神经网络(DMFDNN)用于PPG生物特征识别。DMFDNN由两个分支的深度学习框架组成，可以从时域和频域学习时变和多尺度的判别特征。

同时，设计了一个多尺度的过渡信息提取模块，该模块由多个接收域不同的卷积层组成。此外，提出了双域注意力模块，以加强PPG生物识别中时域和频域数据贡献更大的域。所提出的DMFDNN的总体架构如下图所示。

本工作的主要创新点如下:

1)我们开发了一种新的双分支深度学习框架，用于PPG生物识别，可以从时域和频域学习时变和多尺度的判别特征。

2)为了获取PPG波的一系列跃迁信息，设计了一个多尺度提取模块，该模块由多个接收场不同的卷积层组成。

3)我们提出了双域注意力模块，以加强对PPG生物识别有更大贡献的域。

数据处理

数据预处理

PPG信号容易受到各种噪声的影响，如基线漂移、电力线干扰和运动伪影。预处理过程包括以下步骤:

巴特沃斯滤波：采用四阶巴特沃斯滤波器对PPG信号进行滤波，并将截止频率设置为0.5 ~ 18 Hz，有效地抑制了基线漂移噪声和电力线干扰。

变分模态分解：首先，为了减轻运动伪影的影响，将PPG信号通过变分模态分解分解为不同的模态。PPG信号X按中心频率wk可分解为不同模式Xk。

其中为{Xk}不同模态集，{wk}为中心频率集,k=[0,1,2,…,K],K为模态数

规范化：我们对PPG信号采用评分标准归一化。

整个预处理过程如图所示：

数据分割

我们通过滑动矩形窗口将预处理后的PPG信号分割成固定长度的序列，并将每个分割后的序列作为一个样本。为了获得足够的训练样本，我们通过移动具有重叠分数的矩形窗口来分割PPG信号，这是一种数据增强方法。测试样本通过滑动矩形窗口得到，没有任何重叠。

特征提取

特征提取时域特征：我们提取PPG样本的波形作为时域特征，包括最大、最小振幅、区间和标准差。

频域特性：我们提取了离散小波变换(DWT)和短时傅里叶变换(STFT)作为一维PPG信号的频域特征。采用小波包分解法将PPG样本分解为小波系数，采用三级小波的Daubechies小波Db8得到DWT特征值。

模型结构

所提出的DMFDNN模型由三个主要部分组成：

1)LSTM网络学习时变判别特征；

2)多尺度特征提取模块学习过渡信息；

3)双域注意力模块学习互补信息。

LSTM网络

由于PPG信号的时频特征是长期依赖的，我们利用LSTM网络来提取时变判别特征。LSTM网络结构如图所示：

H经LSTM网络处理时频特征矩阵X，可以得到LSTM网络的输出:H = LSTM(X)

多尺度特征提取模块

过渡信息是PPG生物特征识别的关键。为了获取过渡信息，我们利用不同尺度的卷积滤波器提取判别特征，多尺度特征提取(MSFE)模块如下所示：

首先，我们使用膨胀率从1到3的3个扩张卷积分支来转换LSTM网络的输出。然后，每个分支设置三个卷积层。每个分支的卷积核数从512个逐步减少到128个，同时可以继续提取高级语义特征并同时降维。

双域注意模块

识别与验证

该模型将PPG样本转化为上下文向量，进一步用于识别和验证。在识别模式下，我们设计了具有softmax函数的全连接层来预测上下文向量的标签

实验部分

数据集

Beth Israel Deaconess Medical Center (BIDMC)、
Multi-parameter Intelligent Monitoring for Intensive Care (MIMIC)、CapnoBase and Biosec1。

Table 1 gives the number of subjects, frequency and length of PPG signals on the four datasets.

识别指标

在识别模式下，主体识别率作为评价标准，定义为：