郝明达，普运伟，2，周家厚，杨洋，陈如俊
(1.昆明理工大学 国土资源工程学院，昆明 650093；
2.昆明理工大学 计算中心，昆明 650500)
航空(含无人机)高光谱遥感已成为对地观测的重要途经[1]，更高的空间分辨率和光谱分辨率提高了对地物属性信息的探测能力。然而，航空高光谱遥感数据在采集过程主要受到硬件的限制，如果可以通过模型的方法建立起特征区域中航空RGB影像和高光谱遥感影像之间的映射关系，从而预测其他区域的高光谱遥感影像，将有助于降低对地观测应用的成本。一种可行的办法是对模型结构进行改进，以提高模型的精度和效率，进而推动高光谱遥感影像更大的应用可能性。
2017年前，人们主要基于线性变换的方法建立影像之间的映射关系，从而生成高光谱遥感影像，随着深度学习方法的加入提高了生成星载高光谱遥感影像的精度[2]。之后，Arad 等[3-4]推出的NTIRE 2018、2020 竞赛促进了深度学习模型的更迭；
施展[5]基于深度学习提出了高光谱图像的空谱超分辨率重建算法；
Zhao 等[6]提出的四级层次回归模型通过采用密集残差块(residual dense block)[7]去除了生成高光谱自然图像过程中产生的伪影；
Li等[8]加入注意力机制到模型中，实现了先进的影像重建质量。这些方法的发展对多光谱影像生成高光谱遥感影像起到了借鉴作用，如He等[9]通过光谱响应函数引导神经网络生成了高光谱遥感影像；
Deng等[10]开发了M2H-Net模型用于机载多光谱遥感影像生成高光谱遥感影像，从而预测多光谱遥感影像的光谱信息。
上述研究对建立航空RGB影像和高光谱遥感影像之间的映射关系给出一种可行的研究思路，本文通过结合密集卷积神经网络架构和自适应注意力块提出一种新型密集注意力卷积神经网络模型。在保证影像生成质量的条件下，显著降低了现有深度学习网络架构模型参数量，带来了更多的效率提升。通过在真实的多模态(航空RGB影像和高光谱遥感影像是由不同传感器获取的)AeroRIT 场景[11]影像和同源的(航空RGB影像是由高光谱遥感影像根据光谱响应函数模拟生成)雄安航空感影像中进行定量对比实验和分析，验证了所提方法的可行性和良好性能。
1.1 RGB影像光谱增强
RGB影像X与高光谱影像Y像素之间存在某种线性关系[12]，这种线性关系可以用式(1)表示。
Ym×c=Xm×n·Sn×c+Bm×c
(1)
式中：m表示单波段中的像素数；
c表示高光谱影像中的波段；
n表示RGB影像中的波段数；
S表示RGB影像和高光谱影像之间的转换矩阵；
B表示偏差。神经网络的发展为寻找优化X与Y之间的最佳映射关系提供了助力。
1.2 密集注意力块构建原理
Wang 等[13]说明了将注意力机制与残差卷积块相连接，可以使上一层次的注意力图来引导下一层次注意力图的生成从而增强上下文信息。相较于残差连接中对特征的求和，密集残差连接则是通过组合多个特征，可以获得更好的性能，所以，本文选择在文献[6]所使用的密集块中插入注意块，构建密集注意力卷积神经网络模型，增强了特征提取和映射能力。一方面，每层注意力图都有N-1层输入，注意力块对不同层的注意力图进行综合，生成第N层的注意力图，提高了不同注意力图之间的知识共享。另一方面，注意力图在多个注意力块下进行更迭，对后续层的注意力图进行指导，提高了生成注意力图的质量。因此高光谱影像重建质量得以提升，密集注意力神经网络模型的架构思想如图1所示。
图1 在密集卷积神经网络架构中添加注意力块
其中，所使用的密集卷积神经网络架构是通过在相邻的层之间使用更短的连接组合多个特征，缓解了梯度消失问题，加强了特征传播、鼓励了特征重用，因此，可以训练更深的模型结构，使之更加有效。后续层引入了前面所有层的特征图，如式(2)所示。
XN=FN([X0，X1，…，XN-1])
(2)
式中：[x0，x1，…，xN-1]是指从0，…，N-1层生成的特征图。通过密集连接函数F(·)将多个输入组合为一个张量。
在特征提取和映射阶段，使用Mou 等[14]提出的双分支融合模块(dual-branch fusion module，DFM)作为本文使用的注意力模块。因采用轻量级注意力块，使得模型参数量减少，同时又可以充分利用影像中的空间相关性和光谱相关性。为了进一步提高特征映射中通道的相关性，可引入文献[8]提出的自适应通道注意力模块进行通道加权，从而构建出本文所使用的融合DFM与自适应通道注意力的注意力模块，如图2所示。
图2 修改后的DFM融合注意力模块
(3)
具体来说，首先通过元素加法合并来自两个分支的特征图，然后通过使用一个全局池化产生全局特征向量v，用于指导局部操作和非局部操作之间的精确自适应选择。之后，通过两个全连接层生成两个权值向量wNL，wL，用于在两个结果中进行自适应通道选择。
1.3 主模型构建
本文提出的DACNN model(dense attention convolutional neural network model)由单个密集注意力块(dense attention block，DA Block)加输入卷积块(3×3卷积核)和映射卷积块(3×3卷积核)构建。单个DA块中包含5个带有P个Relu卷积块和5个修改后的DFM块进行密集残差连接。
用于本文航空RGB影像光谱增强所用的主模型如图3所示，图4为主模型使用的密集注意力块。
图3 本文所使用的密集注意力卷积神经网络主模型
图4 密集注意力块
2.1 研究区域
AeroRIT 场景数据是由Rangnekar 等在罗切斯特理工学院校园上空通过塞斯纳飞机携带两种类型的摄像系统采集的，其中包含RGB影像、辐射率影像、反射率影像和分类标签影像。由于航空RGB影像和高光谱数据是由不同设备采集地，因此本节将其定义为多模态影像。RGB和高光谱影像均已经过正射校正和光谱定标。其中，AeroRIT场景的光谱范围是400～900 nm之间，按照每10 nm进行取样，共提供了51个可用波段，高光谱数据的单位为Wm-2sr-1um-1。同时使用ENVI 通过经验线模型(ELM)对定标后的辐射影像进行了表面反射率计算，并对高光谱影像进行了像素级标注。
2.2 数据预处理
在AeroRIT 场景左、中、右3个部分中取出部分数据作为训练集、验证集、测试集，以32的重叠度切分为64像素×64像素的图像块。其中训练集共有3 127张、验证集共有177张、测试集共有626张，保证各数据集之间无像素重叠泄露。对RGB影像除以214、辐射率影像限制在[0，214]除以214、反射率影像限制在[0，100]除以100归一化到[0，1]之间。
3.1 实验设置和精度评价指标
在训练过程中，设置模型的批量大小为20，优化算法为Adam，学习率初始化为0.000 1，使用多项式幂为1.5的学习率衰减策略，训练100次后停止。选取L1作为损失函数，如式(4)所示。
L1=E[‖X-Y‖1]
(4)
算法在Pytorch框架上实现，在Tesla P100 GPU进行训练验证，在Tesla K80 GPU和GeForce GTX 960上进行测试。
实验中选取平均峰值信噪比(MPSNR)、平均结构相似性(MSSIM)、均方根误差(RMSE)、光谱角(SAM) 4个评估指标来定量评估模型的质量。
3.2 生成高光谱影像精度对比
为了验证提出新型网络架构生成高光谱影像的精度，采用本文所提DACNN模型和DenseUnet模型、HRnet模型和AWAN模型对测试数据进行实验，各种模型所生成辐射率校准和反射率校准的高光谱影像精度对比如表1和表2所示。
由表1和表2可知，本文所提的DACNN模型所生成的辐射率影像的MPSNR指标值为29.132 7，比AWAN模型高0.03，比HRnet模型高1.24，比DenseUnet模型高2.50。生成反射率影像的MSSIM指标值为0.964，比AWAN模型高0.001，比HRnet模型高0.005，比DenseUnet模型高0.025。所生成反射率影像的RMSE指标值为0.029，比AWAN模型低0.001 3，比HRnet模型低0.003，比DenseUnet模型低0.004，均具有最好的性能。同时，因为采用了轻量级的注意力机制，相比较其他模型上百兆的权重参数，新型网络架构仅需要23 MB的权重参数就可以实现与AWAN 200 MB权重参数相媲美的效果。
表1 生成辐射率校准高光谱影像精度
表2 生成反射率校准高光谱影像精度
3.3 生成高光谱影像质量对比
为了验证提出新型网络架构生成高光谱影像的精度，采用本文所提DACNN模型、DenseUnet模型、HRnet 模型和AWAN模型对测试数据进行实验，所生成的高光谱影像如图5所示。在实验过程中，HRnet 模型和DenseUnet 模型均使用密集卷积神经网络架构，AWAN模型则使用空间注意力、通道注意力和非局部注意力模块。对AWAN模型去除了光谱响应函数损失替换为L1进行训练。所有模型在相同的训练次数和训练批次下进行训练。
注：所选取的感兴趣区域(棒球场、道路、草地)由图(A)航空RGB影像和图(B)灰度图所示。其中，原始影像和DenseUnet、HRnet、AWAN、DACNN算法生成的辐射率影像由子图(a)～(e)所示，生成的反射率影像由子图(f)～(j)所示，生成的辐射率影像一阶导数图由子图(k)～(o)所示，生成的反射率影像一阶导数图由子图(p)～(t)所示。子图(a)～(t)的影像均采用高光谱影像的(40，2，10)波段合成。
通过查看对比图5中这些影像的数据，可以发现本文模型生成得到的影像在颜色、纹理和形状细节方面与原始影像相似，同时注意力机制的加入，深度学习网络对影像中的部分地物具有更加突出的关注，建立了远程像素之间的关系。通过与原始一阶高光谱影像的对比可以发现，重建后的高光谱影像减少了原始图像中的噪声。
3.4 典型地物光谱曲线对比
为了进一步验证DACNN模型生成高光谱影像精度，在影像中选取棒球场、路、草地，将各种算法生成高光谱曲线与原始对象进行对比，结果如图6、图7所示。
在高光谱遥感影像光谱曲线中，有关地物属性的信息表现在光谱曲线的波峰和波谷，为了区分重建后高光谱影像与原始高光谱影像同一地物下光谱曲线的细微变化，本文通过光谱微分技术对光谱特征的差异性进行了增强处理，通过计算地物的一阶导数，可以在梯度上观察反射光谱曲线的细微变化。由图6、图7可以观察到相对于道路，模型对棒球场和草地的拟合难度高，且相对于辐射率影像，模型在反射率影像中的拟合难度高，虽然多个模型均可以获得与原始高光谱影像相似的光谱曲线，但在图7中可以更好观察到本文模型在波峰和波谷更接近原始高光谱影像。
注：从原始影像和DenseUnet、HRnet、AWAN、DACNN算法生成影像所选取的棒球场、道路、草地3个感兴趣区域中提取的光谱曲线的对比图如子图(a)～(c)所示，进行一阶导数光谱增强后生成的对比图如子图(d)～(f)所示。
注：从原始影像和DenseUnet、HRnet、AWAN、DACNN算法生成影像所选取的棒球场、道路、草地3个感兴趣区域中提取的光谱曲线的对比图如子图(a)～(c)所示，进行一阶导数光谱增强后生成的对比图如子图(d)～(f)所示。
3.5 在不同传感器生成高光谱影像精度对比
为了验证模型在不同传感器、不同区域上的泛化性能，选择了雄安新区航空高光谱遥感影像数据集进行了进一步分析，其中高光谱数据集是由中国科学院上海技术物理研究所研制的高分专项航空系统全谱段多模态成像高光谱仪采集的，光谱范围在400～1 000 nm之间，同样每10波段进行采样，共使用了51个波段。其中RGB影像的生成是通过光谱响应函数对高光谱数据进行光谱重采样生成，本文使用的是高分一号(GF1-WFV)的光谱响应函数，此处也可选择其他光谱响应函数生成RGB影像。可见，航空RGB影像是由高光谱遥感影像模拟生成，因此本节将其定义为同源影像。模型在不同传感器上所生成的高光谱影像精度对比结果如表3所示。
表3 模型在不同传感器上生成高光谱影像精度对比
从表3可知，本文提出的轻量级模型生成的高光谱遥感影像在SAM指标上的值是0.982 1，相比于AWAN上低0.03，相比于HRnet模型低0.38，相比于DenseUnet模型低0.85。
此外，生成的雄安航空高光谱遥感与原始高光谱遥感影像的空间和光谱对比图如图8所示。由图8可知，本文模型生成的高光谱影像在空间和光谱上均与原始高光谱影像相似，并且可观察到生成的高光谱影像中噪声信息显著减少，实验结果表明本文模型具有较好的泛化性能。
注：子图(b)、子图(c)均采用高光谱影像的波段合成(40，2，10)。
3.6 实验小结
本文通过在真实的多模态AeroRIT 场景影像和同源的雄安航空遥感影像中进行实验，由表1至表3的定量结果可以观察到不同模型方法在同源影像上的精度远高于在真实多模态影像下的精度，这说明了在真实的多模态遥感影像场景下，建立不同影像之间的映射关系更加困难，更值得去关注模型在真实场景下的应用性能。由图5、图8的生成高光谱影像质量图可以观察到，通过模型生成的影像的噪声水平显著低于原始高光谱遥感影像。由图6至图8的典型地物光谱曲线对比可知，通过本文模型的方法获取到的高光谱影像与原始高光谱影像更加相似，且参数量显著下降，这有助于提高算法的性能。
综上，航空RGB影像结合深度学习可以学习到与原高光谱影像相似的光谱曲线，但是针对生成高光谱遥感影像中光谱曲线的光谱变异性研究仍然需要定量化计算。相比较航空RGB影像宽的光谱间隔，学习到的光谱曲线带有更多可区分性的特征，因此针对航空RGB影像、生成高光谱遥感影像和原始高光谱遥感影像进行进一步的精细分类有助于比较模型的性能。另一方面，在大面积航空影像上，仍然需要选择和采集某个地区或者多个地区的时序高光谱影像生成特征影像库，并与算法结合分析对其他区域生成高光谱影像的影响。另外要研发更高效、质量更高符合遥感定量化研究的生成算法，以及在神经网络对参数的优化作用，以更好地驱动光谱特征对航空影像空间纹理特征的辅助作用。
本文提出密集注意力卷积神经网络模型，通过密集注意力卷积架构和注意力机制结合，用于从航空RGB影像预测高光谱影像中的地物属性信息。实验结果表明，所提模型可以生成与原高光谱影像相似的光谱特征和空间特征，同时在保证生成影像质量的条件下，显著减少了模型的参数量，为航空RGB影像生成高光谱遥感影像提供更高的效率，表明本文模型具有良好的性能和适用性，并且模型架构方法具有一定的通用性。虽然对于真实的多模态影像生成高光谱遥感影像会有地物属性信息的丢失，但是相对于RGB影像来说，通过模型方法预测生成光谱信息将给航空RGB影像带来了更多的应用潜力。需要说明的是，本文选取的是部分波段进行实验，因此仍具有一定局限性，对于上百个通道的高光谱影像进行分析时，有必要进一步优化模型结构，减少内存占用，提高运算效率。显然，大模型可能具有更强的泛化性和鲁棒性，但必然会增加运行成本，在诸如航空(无人机)等限制计算资源的设备上进行实时分析时，高效便捷的模型显得尤为重要。在后续的研究中，我们将以提高RGB影像重建后的高光谱遥感影像的地物分辨能力为目标，展开更深入细致的研究，以提高所提模型和方法的工程适用性。
猜你喜欢密集反射率注意力近岸水体异源遥感反射率产品的融合方法研究海洋通报(2022年4期)2022-10-10让注意力“飞”回来小雪花·成长指南(2022年1期)2022-04-09具有颜色恒常性的光谱反射率重建光谱学与光谱分析(2022年4期)2022-04-06耕地保护政策密集出台今日农业(2021年9期)2021-11-26密集恐惧症英语文摘(2021年2期)2021-07-22基于地面边缘反射率网格地图的自动驾驶车辆定位技术汽车文摘(2018年2期)2018-11-27“扬眼”APP:让注意力“变现”传媒评论(2017年3期)2017-06-13A Beautiful Way Of Looking At Things第二课堂(课外活动版)(2016年2期)2016-10-21全球导航四大系统密集发射卫星太空探索(2015年5期)2015-07-12欧盟等一大波家电新标准密集来袭中国质量与标准导报(2015年2期)2015-02-28