杨光 钞苏亚 聂敏 刘原华 张美玲
(西安邮电大学通信与信息工程学院,西安 710121)
长短期记忆(long-short term memory,LSTM)神经网络通过引入记忆单元来解决长期依赖、梯度消失和梯度爆炸问题,广泛应用于时间序列分析与预测.将量子计算与LSTM 神经网络结合将有助于提高其计算效率并降低模型参数个数,从而显著改善传统LSTM 神经网络的性能.本文提出一种可用于图像分类的混合量子LSTM (hybrid quantum LSTM,HQLSTM)网络模型,利用变分量子电路代替经典LSTM 网络中的神经细胞,以实现量子网络记忆功能,同时引入Choquet 离散积分算子来增强数据之间的聚合程度.HQLSTM 网络中的记忆细胞由多个可实现不同功能的变分量子电路(variation quantum circuit,VQC)构成,每个VQC 由三部分组成: 编码层利用角度编码降低网络模型设计的复杂度;变分层采用量子自然梯度优化算法进行设计,使得梯度下降方向不以特定参数为目标,从而优化参数更新过程,提升网络模型的泛化性和收敛速度;测量层利用泡利Z 门进行测量,并将测量结果的期望值输入到下一层实现对量子电路中有用信息的提取.在MNIST,FASHION-MNIST 和CIFAR 数据集上的图像分类实验结果表明,与经典LSTM、量子LSTM 相比,HQLSTM 模型获得了较高的图片分类精度和较低的损失值.同时,HQLSTM、量子LSTM 网络空间复杂度相较于经典的LSTM 网络实现了明显的降低.
人工神经网络凭借其强大的非线性信息处理能力及泛化能力[1,2],成为一种重要的机器学习模型,被广泛应用于信号处理[3,4]、自然语言处理[5,6]、图片分类等领域[7-9].量子计算基于量子态相干叠加、纠缠等特性,能够提供强大的并行计算能力[10-17].如何将量子计算与人工神经网络相结合,充分发挥二者的优势,从而改进经典神经网络架构,提升网络计算性能成为研究者们关注的一个重要方向.Kouda 等[18-21]初步提出了早期受经典神经网络激发的量子神经网络(quantum neural network,QNN)模型,为该领域的研究提供了借鉴思路.2019 年,Cong 等[22]提出的量子卷积神经网络(quantum convolutional neural network,QCNN)只使用O(log(N))变分参数作为N个量子位的输入大小从而减少了网络的复杂度;2020 年,Henderson 等[23]提出了量子卷积层的概念,通过随机量子电路增强了从数据中提取特征的能力,但是缺乏非线性操作来增强网络的泛化性;2021 年,Niu 和Ma[24]提出了具有多层激活函数的QNN,增强了网络模型的健壮性.针对二维图片数据,2022 年,Houssein 等[25]提出用随机化量子电路构造混合QNN 模型,在对新冠肺炎图片分类实验中,达到了较高的分类精度;同年,Hur 等[26]和Chen 等[27]分别提出了不同的QCNN 模型,均达到了较好的图片分类效果.
然而以上QNN 网络模型缺乏网络层之间的相互关联和记忆功能,不利于解决数据信息丢失问题,且训练精度有待提高.Xia 和Kais [28]提出了一种用于计算分子基态能量的混合量子-经典神经网络,利用量子测量的期望值作为下一层量子门的角度参数,达到了较好的拟合效果;同年,Mari 等[29]提出了4 种在混合经典-量子神经网络中使用转移学习的模型结构,实现了较高的量子态分类精度.以上研究表明量子测量的期望值有利于从量子电路中提取有效信息.
长短期记忆(long-short term memory,LSTM)神经网络是一种特殊的循环神经网络[30-32],其利用记忆细胞来增强各层之间的相互关联,解决了传统循环神经网络数据长期依赖以及梯度消失问题,被广泛应用于时间序列分析与预测领域.对于二维图片数据,LSTM 神经网络可增强其数据之间的记忆功能,从而达到充分提取图片序列特征的效果[33,34].但是利用经典 LSTM 网络进行图片分类,存在训练参数过多、计算速度慢及破坏图片空间特征的问题.然而利用量子强大并行计算能力的量子长短期记忆神经网络(quantum long-short term memory,QLSTM)可以较快提升网络训练速度,减少网络参数,因此近年来得到学者们的关注.2020 年,Chen 等[35]首次提出一种QLSTM 模型用于拟合时间序列,降低了模型的复杂度,并提高其收敛速度.但是该模型只针对一维数据进行设计,而如何面向不同维数、类型多样的数据来构造网络,并进行网络性能优化还有待进一步研究.
针对二维图像分类领域的需求,本文提出了一种混合量子长短期记忆(hybrid quantum LSTM,HQLSTM)神经网络模型.HQLSTM 网络中的每个记忆细胞由多个可实现不同功能的VQC(variation quantum circuit,VQC)组成,VQC 的编码层采用角度编码进行图片数据转换,避免大量图片数据导致过深的网络结构;变分层利用量子自然梯度优化算法的优化过程进行构建,使网络参数的优化过程不沿任何特定的方向,确保网络参数优化更具普遍性以及更快收敛;为实现量子网络与经典网络的连接,减少图片数据之间关联信息的流失,测量层将测量每一个量子比特得到的期望值作为经典层传入下一层作为Ry门的参数,达到从量子电路中提取有效信息的目的.此外,为保留二维图片的空间特征,本文采用Choquet 离散积分算子代替记忆细胞的求和算子,达到既能充分提取图片序列特征又不损失图片空间特征的目的.在实验部分,本文采用三个公开数据集: MNIST 手写数据集、FASHION-MNIST 服饰数据集和CIFAR彩色数据集进行模型图像分类性能验证,结果表明,与经典LSTM 及文献[35]中的QLSTM 相比,本文提出的HQLSTM 实现了较高的分类精度,同时具有较低的空间复杂度.随着量子计算机的不断发展,在未来的人工智能领域具有积极的应用价值.
2.1 LSTM 网络模型结构
LSTM 网络模型由若干记忆细胞组成,如图1所示.每个记忆细胞由遗忘门、输入门、输出门三部分组成.A t-1代表前一时刻记忆细胞的状 态,At+1代表后一时刻记忆细胞的状态.记忆细胞的数据输入由当前时刻的输入数据xt以及前一个记忆细胞隐藏层输出h t-1共同决定.通过将Choquet离散积分算子代替LSTM 记忆细胞求和项来加强数据之间的关联程度.
图1 LSTM 网络模型结构Fig.1.The structure of the LSTM network model.
遗忘门通过δ激活函数使其输出f t处于[0,1]之间,从而决定前一个记忆细胞c t-1信息遗忘程度.f t和Sigmoid 激活函数可表示为
it
输入门主要决定当前记忆细胞的输入值,由 和k t共同决定.i t通过δ激活函数控制当前记忆细胞的输入值,kt通过 t anh 激活函数来生成当前记忆细胞的候选量.如(2)式和(3)式所示:
当前记忆细胞状态Ct的更新主要由两部分组成: 1)ft作用于C t-1决定当前记忆细胞旧的记忆;2)i t作用于k t决定当前记忆细胞新的记忆,旧的记忆和新的记忆共同构成当前记忆细胞状态Ct.具体过程可表示为
输出门主要用于决定当前记忆细胞Ct对输出ht的影响.先将当前记忆细胞Ct作用于 t anh 激活函数进行归一化处理,再根据xt和h t-1计算得出Ot决定C t输出数据对ht的影响.具体过程可表示为
其 中,δ为Sigmoid 激活函数,W fx,Wix,W kx,Wox为输入数据x t的不同权重矩阵,W fh,W ih,Wkh,W oh为前一个记忆细胞输出数据h t-1的不同权重矩阵,b f,b i,b k,b o为不同偏移权重向量.
2.2 Choquet 离散积分算子
为利用LSTM 网络的序列记忆优势进行图片分类,同时又不损失图片空间信息,本文利用n维的Choquet 离散积分算子修改LSTM 细胞单元中的求和算子,产生了一个多维的信息聚合,从而使图片的空间特征充分表达,实现图片中所有像素数据之间更深入关联的目标.
一维的Choquet 离散积分算子可表示为
其中,σ代表排列体,即x σ(1)≤···≤xσ(m).Aσ(i):={σ(i),···,σ(m)},m代表一维向量的个数,q代表一个常数值,|A|代表集合A中的元素个数.
二维的Choquet 离散积分算子可表示为
二维的Choquet 离散积分算子过程可如图2所示.
图2 二维的Choquet 离散积分算子图示Fig.2.Two-dimensional Choquet discrete integral operator diagram.
3.1 HQLSTM 网络模型结构
图3 为包括3 个记忆细胞的HQLSTM 网络模型结构,每一个记忆细胞同样由遗忘门、输入门、输出门三部分组成.与经典LSTM 不同之处在于,HQLSTM 网络模型将经典LSTM 中的不同权重参数矩阵更换为新构建的具有不同参数的6 个VQC,每一个VQC 根据所处的门的位置来实现不同的功能.
图3 HQLSTM 网络模型结构Fig.3.The structure of the HQLSTM network model.
3.2 HQLSTM 细胞中的VQC
图4 给出了HQLSTM 细胞中的VQC 结构,由编码层、变分层、测量层三部分组成.
图4 HQLSTM 细胞中的VQC 结构Fig.4.The overall structure of the HQLSTM network model.
3.2.1 编码层
编码层用于实现经典数据到量子数据之间的转换,由于本文使用量子网络对大量图片进行分类,将会给网络模型带来较大复杂度.因此本文采用角度编码的方式来减少网络模型的深度,从而提升网络模型的训练速度.具体过程由Ry门和H门实现.
Ry门和H门可表示为
编码具体过程如下: 首先,量子H门将初始化量子态|0〉⊗···⊗|0〉 转化为纠缠态,如(13)式所示:
由于直接将二维图像数据作为序列输入,会造成图像空间特征的损失,因此本文在HQLSTM 每一个记忆细胞中均采用Choquet 离散积分算子对图像数据和前一时刻HQLSTM 记忆细胞的隐藏层输出h t-1进行聚合,达到减少输入数据大小、避免图像空间特征损失以及加强记忆细胞间相互关联的目的.以28 × 28 的图像数据为例,将其加载到图4 所示4 量子比特VQC 的详细原理及过程如下.
步骤1为利用一副图片内部数据的相互关联,并减少量子比特数,首先将预处理后的28 ×28 的图像数据分割为49 份4 × 4 的图像数据,并将隐藏层的维数设为1 × 4,其后将4×4 图像数据和1 × 4 隐藏层数据进行拼接得到大小为5 × 4的经典数据.
步骤2为避免图像空间特征的损失,将上一步大小为5×4 的经典数据经过Choquet 离散积分算子得到大小为1×4 的聚合数据加载到4 量子比特的VQC 中.Choquet 离散积分算子的具体聚合过程如下所示:
式中,4 项Choquet 离散积分均可由(9)式得到一个具体的聚合数据,h t为t时刻HQLSTM 记忆细胞隐藏层的输出.x i,j为28×28 的图像数据中的第i行、第j列.
步骤3经过步骤1、步骤2,一幅28 × 28 的原始图片被转换为49 份1 × 4 的聚合数据,因此将HQLSTM 网络中记忆细胞更新次数(即time_step)设置为49,并将记忆细胞的输出值与经典全连接层进行连接,通过激活函数得到每一类的输出概率值,概率值最大的即为当前图像的分类类别.
3.2.2 变分层
为使量子网络梯度更新方向不以任何参数为目标且具有在量子态空间定义的度量张量,从而使量子网络优化方式更具泛化性、更快收敛,因此变分层设计主要根据本文的量子自然梯度优化算法原理,即通过变分层第1 部分的参数化单量子比特门R y的测量结果,以及经过多个CNOT 双量子比特门的第2 部分参数化单量子比特门R y的测量结果共同构成Fubini-Study 度量张量g,从而完成网络参数的更新,达到优化网络模型的效果.
当N为偶数时,变分层构造过程可表示为
当N为奇数时,变分层构造过程可表示为
其中,C NOTi,j代表作用于第i和第j量子位的双量子比特门.
3.2.3 测量层
测量层用于对量子比特进行测量操作.由于期望值能够从量子电路中提取有用信息,因此为了能够更大限度的保留输入数据中的信息,本文利用泡利Z门对每一个量子比特进行测量,再将测量得到的期望值b i作为下一层R y门的参数,从而连接两个量子电路,实现对量子电路中测量信息的有效利用:
其中,Z为泡利Z门,N为VQC中的量子比特数,为作用于第i个量子比特上的泡利Z门测量的期望值,U0(x) 为VQC 中编码层的单量子比特旋转门R y,U i(θi) 为VQC 中变分层的单量子比特旋转门R y.
3.3 HQLSTM 中的细胞结构
3.3.1 遗忘门
利用VQC1 实现遗忘门操作,经Choquet 离散积分算子处理后得到的大小为1 × 4 的经典数据v(h,x) 经过量子角度编码输入到VQC1,经过VQC1 变分层中的各个旋转门及CNOT 门之后,再利用泡利Z门分别对4 个量子比特进行测量,将测量得到的1 × 4 维经典期望值作为VQC1 的输出.其后,通过Sigmoid 激活函数作用于该输出,使其值处于[0,1]之间,从而得到遗忘程度f(t),f(t) 的值决定了上一时刻记忆细胞c t-1的保留与丢弃:
3.3.2 输入门
利用VQC2 和VQC3 实现输入门操作,经Choquet 离散积分算子处理后得到的大小为1 ×4 的经典数据v(h,x) 经过量子角度编码分别输入到VQC2 和VQC3,经过VQC2 和VQC3 变分层中的各个旋转门及CNOT 门之后,再利用泡利Z门分别对4 个量子比特进行测量,将测量得到的1 × 4 维经典期望值分别作为VQC2 和VQC3的输出.其后,通过Sigmoid 激活函数作用于VQC2的输出,使其值处于[0,1]之间,从而得到输入程度i t,通过tanh 激活函数作用于VQC3 的输出,使其值处于[—1,1]之间,从而得到记忆细胞候选量kt,最终通过计 算f(t)⊗ct-1和i t ⊗kt之 和,来生成当前记忆细胞状态量c t:
3.3.3 输出门
利用VQC4 实现输出门操作,经Choquet 离散积分算子处理后得到的大小为1×4 的经典数据v(h,x) 经过量子角度编码输入到VQC4,经过VQC4 变分层中的各个旋转门及CNOT 门之后,再利用泡利Z门分别对4 个量子比特进行测量,将测量得到的1 × 4 维经典期望值分别作为VQC4的输出.其后,通过Sigmoid 激活函数作用于VQC4的输出,使其值处于[0,1]之间,从而得到输出程度ot.之后为保持隐藏层维度和最终输出维度一致,将o t ⊗tanh(ct) 得到的1 × 4 维经典数据分别作为VQC5 和VQC6 的输入,与其他VQC 操作类似,最后利用泡利Z门分别对4 个量子比特进行测量,得到的1 × 4 维经典期望值作为VQC5和VQC6 的输出h t和y t:
3.4 量子自然梯度优化算法
由于一般的梯度下降算法存在泛化性差且收敛速度慢的缺点,因此本文采用量子自然梯度优化算法对VQC 角度参数进行更新,量子态空间存在一种独特的酉不变度量张量Fubini-Study,而量子自然梯度优化算法利用该张量计算所得到的梯度下降算法是对自然梯度的直接量子模拟,能使梯度下降的方向不以任意一个参数为目标,具有更强的适用性,同时达到网络模型更快收敛的目的[36].该优化算法具体计算过程如下所示.
第1 步定义损失函数L(x;θ) 和损失函数梯度∇ L(x;θ) .
其中,U(θ) 为酉算子,U0(x) 为用于角度编码的量子R y门,H为哈密顿算子,本文利用单比特量子旋转R y门作为酉算子、泡利Z矩阵为哈密顿算子.
第2 步由于损失函数L(x;θ) 是非凸函数,寻找全局最优较为困难,因此通过(28)式的离散时间动力系统来迭代寻转局部最优:
其中,η为学习率,g(θ) 为Fubini-Study 度量张量.
本文VQC 电路中Fubini-Study 度量张量的计算过程如下所示(其部分VQC 结构如图5 所示).
图5 计算Fubini-Study 度量张量的部分VQC 结构Fig.5.Calculate part of the VQC structure of the Fubini-Study metric tensor.
一般的变分量子电路可表示为
因此,本文利用(32)式g来代表Fubini-Study度量张量:
对第一个参数化量子门的层前面的v0(θ0,θ1) 的前两个比特做测量,得到g0:
对第2 个参数化量子门的层前面的v1(θ2,θ3) 的前两个比特做泡利y和泡利x测量,得到g1:
第3 步利用(28)式的一阶最优条件来优化参 数.将求得的Fubini-Study 度量张量g代 入(35)式即可得到更新后的参数值:
4.1 实验数据集
为验证分类器的性能,本文采用3 个公开的数据集进行实验,分别是灰度图像数据集MNIST和FASHION_MNIST以及RGB 图像数据集CIFAR.图6(a)为MNIST手写数据样本示例,包括数字0—9 十大类.图6(b)为FASHION_MNIST服饰数据样本示例,包括T 恤、牛仔裤、套衫、裙子、外套、凉鞋、衬衫、运动鞋、包、短靴十大类.图6(c)为CIFAR 数据样本示例,包括飞机、汽车、鸟类、猫、鹿、狗、蛙类、马类、船、卡车十大类.首先对3 种数据集均进行一些必备的预处理操作,包括图片平移、翻转、旋转、去噪、归一化.之后各随机抽取30000 样本作为训练集,随机抽取10000 样本作为测试集,每一个灰度图片的尺寸为28 × 28,彩色图片尺寸为32 × 32.
图6 数据集样本 (a) MNIST 数据集;(b) FASHION-MNIST 数据集;(c) CIFAR 数据集Fig.6.Dataset image samples: (a) MNIST dataset;(b) FASHION_MNIST dataset;(c) CIFAR dataset.
4.2 网络模型参数
本文实验中LSTM,QLSTM[35]和HQLSTM网络模型参数如表1 和表2 所示.
表1 LSTM 网络模型参数Table 1.LSTM network model parameters.
表2 QLSTM 和HQLSTM 网络模型参数Table 2.QLSTM and HQLSTM network model parameters.
4.3 网络模型评价方法
为验证本文所提出的HQLSTM 网络模型的性能,采用分类精度Accuracy 和交叉熵验证损失值Loss 两个方法对网络模型进行评价分析.
(37)式中T i(j),i=j: 真实类别为i,正确分类为类别i的总数量.F i(j),ij: 真实类别为j,错误分类为i的总数量.i,j=1,2,···,N.N为总类别数.(38)式中y p为预测的类别,y i为真实的类别.
4.4 图像数据集实验结果与分析
本文采用LSTM,QLSTM,HQLSTM 三种网络模型分别针对MNIST,FASHION-MNIST 和CIFAR 三种图像数据集进行分类实验,其中MNIST,FASHION-MNIST 为灰度图,CIFAR 为彩色图.
4.4.1 MNIST 数据集实验结果
图7(a)给出了在MNIST 数据集上3 种模型的分类精度随着迭代次数的变化情况.可以看出,当迭代次数大于80 后,3 种模型的分类精度趋于稳定,而HQLSTM 模型由于深度的网络记忆功能以及量子计算的并行计算能力使分类精度最高达到99.154%,LSTM 分类精度最低为97.306%.图7(b)给出了在MNIST 数据集上3 种模型利用随机梯度下降(stochastic gradient descent,SGD)优化算法得到的交叉熵损失函数随着迭代次数的变化情况.可以看出,当迭代次数小于10 时,3 种模型的损失值趋于一致.但当迭代次数大于10 后,随着迭代次数增多,量子网络模型深度记忆功能得以体 现,HQLSTM 的损失值达到最低.图8 为 在HQLSTM 模型中,利用本文提出的量子自然梯度优化算法和普通批梯度下降算法两种不同优化算法的损失值对比,可以看出,在MNIST 数据集中,本文所采用的量子自然梯度优化算法具有的独特的参数更新策略使损失值下降的更快且更低.
图7 MNIST 数据集 (a)分类精度对比;(b)损失函数值对比Fig.7.MNIST dataset: (a) Comparison of classification accuracy;(b) comparison of loss value.
图8 不同优化算法损失值对比Fig.8.Comparison of loss values of different optimization algorithms.
4.4.2 FASHION-MNIST 数据集实验结果
图9(a)给出了在FASHION-MNIST 数据集上QLSTM,LSTM,HQLSTM 三种模型分类精度随着迭代次数的变化情况.可以看出,在更复杂的数据集中,由于HQLSTM 网络模型较强的泛化性以及较深的网络记忆功能,整个迭代过程中HQLSTM 的分类精度始终高于QLSTM 和LSTM.当迭代次数大于60 后,3 种网络的分类精度均趋于稳定,HQLSTM 的分类精度达到最高为98.273%,QLSTM 和LSTM 基本持平.图9(b)给出了在FASHION-MNIST 数据集上3 种模型利用SGD优化算法得到的交叉熵损失函数随着迭代次数的变化情况.可以看出,HQLSTM 的损失值始终低于QLSTM 和LSTM.当迭代次数大于60 次后,3 种模型的损失值基于趋于稳定,HQLSTM 的损失值达到最低,LSTM 达到最高.图10 为在HQLSTM 模型中,普通批梯度下降算法和量子自然梯度优化算法两种不同优化算法的损失值对比,可以看出,在FASHION-MNIST 数据集中,本文所采用的量子自然梯度优化算法也同样比普通批梯度下降算法达到的损失值更低.
图9 FASHION-MNIST 数据集 (a) 分类精度对比;(b) 损失函数值对比Fig.9.FASHION-MNIST dataset: (a) Comparison of classification accuracy;(b) comparison of loss value.
图10 不同优化算法损失值对比Fig.10.Comparison of loss values of different optimization algorithms.
4.4.3 CIFAR 数据集实验结果
为了进一步验证HQLSTM 对复杂彩色图像数据集的分类效果,本节利用CIFAR 彩色图像数据集进行分类验证,由于CIFAR 为三通道RGB图像数据集且每幅图像的大小为32 × 32,当采用Choquet 积分算子得到1 × 4 维的输入数据时,需要将time_step 设置为192.图11(a)给出了在CIFAR彩色图像数据集上LSTM,QLSTM,HQLSTM 三种模型分类精度随着迭代次数的变化情况.可以看出,HQLSTM 的分类精度也始终高于LSTM 和QLSTM.HQLSTM 最高分类精度为98.631%,QLSTM 最高分类精度为96.334%,LSTM 最高分类精度为92.671%.图11(b)给出了在CIFAR 彩色图像数据集上3 种模型利用SGD 优化算法得到的交叉熵损失函数随着迭代次数的变化情况.可以看 出,HQLSTM 的损失值始终低于QLSTM 和LSTM.说明HQLSTM 在彩色数据集上同样具有较快的收敛速度.因此,本文提出的HQLSTM 网络模型无论对灰度图还是RGB 图像,均实现了较优的性能.
图11 CIFAR 彩色数据集 (a)分类精度对比;(b)损失函数值对比Fig.11.CIFAR color dataset: (a) Classification accuracy;(b) comparison of loss value.
表3 给出QLSTM[35],HQLSTM 与经典LSTM三种网络模型在MNIST,FASHION-MNIST 和CIFAR 三种图片数据集下所实现的分类精度.在MNIST 数据集上,本文提出的HQLSTM 网络模型达到了最高的分类精度99.154%,LSTM 和文献[35]中提出的量子LSTM 网络模型分类精度基本持平,分别为97.306%和97.894%;在FASHIONMNIST 数据集上,本文提出的HQLSTM 网络模型也达到了最高的分类精度98.273%,QLSTM 的分类精度次之,为96.865%,LSTM 的分类精度最低为96.829%.在CIFAR 彩色数据集中,HQLSTM网络模型也达到了最高的分类精度98.631%,QLSTM 的分类精度为96.334%,LSTM 的分类精度为92.671%.可以看出,不管针对灰度图或者彩色图,HQLSTM 均优于其他的两种模型,进一步证明了HQLSTM 网络模型的优势.
表3 不同网络模型图像分类精度比较Table 3.Comparison of image classification accuracy of different network models.
4.5 模型复杂度分析
机器学习模型的复杂度通常由空间复杂度和时间复杂度来衡量,因此下面主要从这两个方面进行分析.
4.5.1 空间复杂度
空间复杂度取决于机器学习模型的参数数量.在长短期记忆网络训练过程中,总的参数数量与记忆细胞数量及时间步(time_step)数有关,这里以一个记忆细胞在一个时间步的参数个数为例进行分析.
根据LSTM 网络结构,将一个记忆细胞在一个time_step 的参数个数记为p1:
式中,n为输入大小,h为隐藏层大小,m为经过全连接层映射最终输出大小.式中 4×((n+h)×h+h) 表示记忆细胞中所有权重参数个数,h×m+m表示全连接层参数个数.
对于QLSTM 网络,将一个记忆细胞在一个time_step 的参数个数记为p2:
其中,N为VQC 中量子比特的个数,d为VQC 中变分层的深度.式中 6×(N ×d) 为6 个VQC 电路中所有的角度参数个数,N ×m+m为全连接层参数个数.
对于HQLSTM 网络,将一个记忆细胞在一个time_step 的参数个数记为p3:
在本文中,LSTM 网络的隐藏层大小h等于输入层大小n.同时,为保证QLSTM 网络与HQLSTM网络具有相同的纠缠程度,在具有1 层VQC 结构的QLSTM 中,d=2,而在具有2 层VQC 结构的HQLSTM 中,d=1.此外,3 种模型的全连接层的参数个数是相同的,因此在比较三者的空间复杂度时,忽略这一部分影响.根据(39)式—(41)式可以得到3 种模型除全连接层之外,LSTM 网络的空间复杂度为O(8n2),而QLSTM 网络与HQLSTM网络的空间复杂度均为O(12n) .因此,相比于经典LSTM 网络,量子LSTM 网络的空间复杂度显著降低.
4.5.2 时间复杂度
对于经典机器学习模型,当计算硬件资源能力一定的情况下,时间复杂度主要取决于模型的浮点运算次数FLOPs (floating point operations).
根据2.1 节中的经典LSTM 的记忆细胞结构,在一个time_step 中,一次细胞更新所需的FLOPs 主要取决于遗忘门、输入门、输出门中的矩阵乘、加运算量,根据 (1)—(3)式和(6)式,可得一个LSTM 记忆细胞更新的运算量C1(FLOPs)为
在本文中,LSTM 网络的隐藏层大小h等于输入层大小n,由(42)式可以得到LSTM 网络的时间复杂度为O(16n2+12n) .
对于量子机器学习模型,文献[37]指出执行量子电路算法的时间复杂度是由在给定的容错范围内成功执行该算法所需的操作数所决定.在文献[38,39]中均采用量子电路中量子门的总数量衡量其时间复杂度.参照该方法,本文首先给出在一个time_step,一次细胞更新过程中,QLSTM 网络及HQLSTM 网络的量子门数量.
一个QLSTM 记忆细胞所需单量子比特操作数量为 1 2N+6×Nd,所需CNOT 门操作数量为6×2Nd.根据3.1 节HQLSTM 网络结构,一个HQLSTM 记忆细胞所需单量子比特操作数量为24N+6×2Nd、所需CNOT 门操作数为 6×4Nd.
为保证QLSTM 网络与HQLSTM 网络具有相同的纠缠程度,在具有1 层VQC 结构的QLSTM 中,d=2,而在具有2 层VQC 结构的HQLSTM 中,d=1.此外,由于单比特量子门的操作时间远低于双比特量子门,一般可以忽略单比特量子门的操作时间.因此可以得到QLSTM 网络及HQLSTM 网络的时间复杂度均为O(24n) .
尽管如此,并不能将经典LSTM 网络的时间复杂度O(16n2+12n) 与QLSTM 网络及HQLSTM网络的时间复杂度O(24n) 直接进行比较,也并不能简单地认为量子LSTM 的时间复杂度优于经典LSTM.下面主要从两个方面进行讨论.
一方面,在量子机器学习模型中,由于执行双量子比特门CNOT 操作所需时间较长,为其计算优势带来了一定的挑战.例如,在离子阱量子计算机系统演示原型中,单量子门操作需要几微秒,双量子门操作需要10—100 µs.而对于普通经典计算机,一次浮点运算约需50 ps.近年来,实现更快的量子操作门成为量子计算机发展的重要目标.2018 年,Watson 等[40]在天然硅锗量子点中利用电驱动自旋共振(electrically driven spin resonance,EDSR)在280 ns 内演示了CNOT 门操作.2022 年,Chew 等[41]实现了在纳秒时间尺度上完成超快能量交换,这种超快相干动力学产生的条件相位是量子门的关键资源,开辟了量子模拟和量子计算在偶极-偶极相互作用设定的速度极限下运行的路径,Ohmori 团队[41]使用10 ps 的特殊激光束操纵铷原子,实现了6.5 ns 的双量子比特门.以上研究的突破为提升量子机器学习模型的计算性能具十分积极的意义.
另一方面,在以VQC 为基础的经典-量子混合机器学习模型中,对特定观测量的期望值的测量是不可缺少的环节.为此,在真实量子计算机上,需要对大量的全同量子态进行多次重复测量从而求得其期望值.这意味着对于同一组输入数据需要执行多次重复的量子编码、变分与测量过程,从而造成计算时间的极大消耗,成为制约VQC 性能的关键瓶颈.传统量子层析所需的测量复杂度为O(N4),2017 年,杨靖北等[42]提出先利用量子态密度矩阵的对角元素进行观测,再根据观测结果选择非零的非对角元素观测算符进行测量,可得出对d=2n维希尔伯特空间中任意n量子位中含有的l个非零本征值的叠加态进行重构所需最少测量次数为d+2l-3 .2020 年,Gokhale 等[43]将VQC电路所需的O(N4) 项单独测量划分为可同时测量的线性大小的可交换族,最后通过算法演示可将O(N4) 缩减为O(N3) .2021 年,Huang 等[44]通过设计以相干量子态为输入且经过希尔伯特空间映射的相干量子态为输出的量子机器学习模型,分析得到该模型预测泡利观测期望值的测量复杂度仅为O(n) .以上研究的展开是实现量子变分方法及其应用的关键基础,也将是作者后续研究工作的重要内容.同时,VQC 的优势也不容忽视.一方面,VQC 为量子神经网络提供了一个通用框架,其参数数量与经典网络相比有明显降低,已被应用于分类、深度强化学习等领域,另一方面,由于目前NISQ 设备仍然缺乏量子纠错和容错量子计算能力,而VQC 已被证明对噪声具有鲁棒性,因此VQC 可避免现有NISQ 设备存在的复杂量子误差.相信随着研究的不断突破,未来VQC 还有广泛的应用空间.
量子深度学习正处于快速发展的阶段,但是现有量子神经网络未充分利用网络之间的记忆功能,因此通过网络之间的记忆功能来增强网络性能有待提高.本文提出了一种基于新的VQC 的HQLSTM网络模型用于图像分类.通过将6 个不同参数的VQC 嵌入HQLSTM 网络模型中的不同位置,从而降低了经典LSTM 网络的复杂度,而且利用量子电路中的纠缠等特性加深了网络模型中记忆细胞内和记忆细胞间的关联程度,增强了图像数据特征的充分表达.最后,利用量子自然梯度优化算法,能使梯度直接在量子空间模拟,让参数不沿特定方向更新,达到模型更快收敛的目的.同时为了不损失图像的空间特征,本文在网络模型中引入Choquet 离散积分算子进一步聚合数据特征.通过在MNIST,FASHION-MNIST 和CIFAR 彩色图像数据集上实验验证可知,HQLSTM 实现了较高的分类精度以及较低的空间复杂度.因此,HQLSTM模型实现了较好的可行性和有效性.在之后的研究工作中,也可将该模型广泛应用于医疗诊断、信号处理、语音识别、异常检测等领域.
猜你喜欢复杂度比特量子《量子电子学报》征稿简则量子电子学报(2022年1期)2022-02-25决定未来的量子计算小学科学(学生版)(2020年1期)2020-01-19新量子通信线路保障网络安全科学大众（中学）(2019年2期)2019-04-08一种低复杂度的惯性/GNSS矢量深组合方法中国惯性技术学报(2019年6期)2019-03-04比特币还能投资吗海峡姐妹(2017年10期)2017-12-19比特币分裂三联生活周刊(2017年33期)2017-08-11求图上广探树的时间复杂度中央民族大学学报（自然科学版）(2017年2期)2017-06-11比特币一年涨135%重回5530元银行家(2017年1期)2017-02-15一种简便的超声分散法制备碳量子点及表征西安工程大学学报(2016年6期)2017-01-15某雷达导51 头中心控制软件圈复杂度分析与改进火控雷达技术(2016年3期)2016-02-06