近期，深圳大学医学部生物医学工程学院汪天富、雷柏英教授团队的研究成果《MHW-GAN: Multi-discriminator Hierarchical Wavelet Generative Adversarial Network for Multi-modal Image Fusion》在顶级期刊IEEE Transactions on Neural Networks and Learning Systems（IF：10.4）上发表。论文第一作者是赵程博士，通讯作者是汪天富教授和雷柏英教授，深圳大学为第一署名单位。
通过对不同模态的数据进行学习来获取包含特定目标或细节信息的融合图像是图像融合技术的目的。然而，当前多数基于深度学习的图像融合算法通过设计损失函数而不是专门的构造网络模块来约束边缘纹理信息的学习。且在算法实现过程中忽略中间层特征的影响，导致层间细节信息的丢失。在本文中，作者提出了一种用于多模态图像融合的多判别器分层小波生成对抗网络（MHW-GAN）。 首先，作者构建了一个分层小波融合（HWF）模块作为 MHW-GAN 的生成器，实现对不同层级不同频率的特征信息的融合，从而避免不同模态中间层信息的丢失。其次，通过构建边缘感知模块（EPM）来集成来自不同模态的边缘信息，以避免边缘信息丢失。 随后，利用生成器和三个判别器之间的对抗学习关系来约束融合图像的生成。其中生成器的目标是生成一幅融合图像来欺骗三个判别器，而三个判别器的目标是分别从源图像和联合边缘图像中区分融合图像和边缘融合图像。通过不同模态数据之间的对抗学习关系，促使最终的融合图像不仅包含原始图像的强度信息同时可以避免边缘纹理细节信息的丢失。在公共和自采集的四类多模态图像数据集上进行实验表明，所提算法在主客观评估中均优于其他较为先进的融合算法。
本研究提出的多判别器分层小波生成对抗网络框架用于多模态数据融合
该研究获得了国家重点研发计划、国家自然科学基金、广东省自然科学基金、深圳市重点基础研究发展计划、马歇尔生物医学工程实验室等项目资助。
研究成果链接:
https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=10177917
科研动态