图像融合论文阅读:DenseFuse: A fusion approach to infrared and visible images

news/2024/7/21 3:54:25 标签: 论文阅读, 深度学习, 图像处理

@article{li2018densefuse,
title={DenseFuse: A fusion approach to infrared and visible images},
author={Li, Hui and Wu, Xiao-Jun},
journal={IEEE Transactions on Image Processing},
volume={28},
number={5},
pages={2614–2623},
year={2018},
publisher={IEEE}
}


论文级别:SCI A1
影响因子:10.6

📖[论文下载地址]


文章目录

  • 📖论文解读
    • 🔑关键词
    • 💭核心思想
    • 🪢网络结构
    • 📉损失函数
    • 🧲融合策略
      • 加法策略
      • L1范式+softmax(本文采用的融合策略)
    • 🔢数据集
    • 🎢训练设置
    • 🔬实验
      • 📏评价指标
      • 🥅Baseline
      • 🔬实验结果
  • 🚀传送门
    • 📑图像融合相关论文阅读笔记
    • 📚图像融合论文baseline总结
    • 📑其他论文
    • 🎈其他总结
    • ✨精品文章总结


📖论文解读

在编码器中使用了密集连接来提取特征,使用解码器得到融合图像。

🔑关键词

Image fusion, deep learning, dense block,infrared image, visible image.
图像融合,深度学习,密集块,红外图像,可见光图像

💭核心思想

使用AE+密集块实现VIF.
融合策略:L1范式+softmax

参考链接
[什么是图像融合?(一看就通,通俗易懂)]

🪢网络结构

在这里插入图片描述
在这里插入图片描述

📉损失函数

在这里插入图片描述
损失函数=结构相似性损失+像素损失
在这里插入图片描述
O和I分别代表输出和输入图像,像素损失是输出O和输入I的欧几里得距离。
结构性损失如下:
在这里插入图片描述
SSIM(·)表示结构相似度运算。在训练阶段,λ分别设置为1、10、100和1000。

🧲融合策略

加法策略

在这里插入图片描述
在这里插入图片描述

L1范式+softmax(本文采用的融合策略)

在这里插入图片描述
在此图中, ϕ i m \phi_i^m ϕim代表特征图,活动水平映射 C ^ i \hat C_i C^i可以由L1范式和基于块的平均算子计算得出。
初始活动水平映射 C i C_i Ci为:
在这里插入图片描述
在这里插入图片描述
r决定了块的大小,本文作者设置为1.
在这里插入图片描述

🔢数据集

-MS-COCO 的灰度图作为训练输入图像,256×256

图像融合数据集链接
[图像融合常用数据集整理]

🎢训练设置

🔬实验

📏评价指标

  • EN
  • QABF
  • SCD
  • FMI_W & FMI_DCT
  • SSIM_A
  • MS_SSIM

参考资料
✨✨✨强烈推荐必看博客 [图像融合定量指标分析]

🥅Baseline

  • CBF,JSR,GTF,JSRSD,CNN

参考资料
[图像融合论文baseline及其网络模型]

🔬实验结果

在这里插入图片描述
在这里插入图片描述

更多实验结果及分析可以查看原文:

📖[论文下载地址]


🚀传送门

📑图像融合相关论文阅读笔记

📑[DeepFuse: A Deep Unsupervised Approach for Exposure Fusion with Extreme Exposure Image Pair]
📑[GANMcC: A Generative Adversarial Network With Multiclassification Constraints for IVIF]
📑[DIDFuse: Deep Image Decomposition for Infrared and Visible Image Fusion]
📑[IFCNN: A general image fusion framework based on convolutional neural network]
📑[(PMGI) Rethinking the image fusion: A fast unified image fusion network based on proportional maintenance of gradient and intensity]
📑[SDNet: A Versatile Squeeze-and-Decomposition Network for Real-Time Image Fusion]
📑[DDcGAN: A Dual-Discriminator Conditional Generative Adversarial Network for Multi-Resolution Image Fusion]
📑[FusionGAN: A generative adversarial network for infrared and visible image fusion]
📑[PIAFusion: A progressive infrared and visible image fusion network based on illumination aw]
📑[CDDFuse: Correlation-Driven Dual-Branch Feature Decomposition for Multi-Modality Image Fusion]
📑[U2Fusion: A Unified Unsupervised Image Fusion Network]
📑综述[Visible and Infrared Image Fusion Using Deep Learning]

📚图像融合论文baseline总结

📚[图像融合论文baseline及其网络模型]

📑其他论文

📑[3D目标检测综述:Multi-Modal 3D Object Detection in Autonomous Driving:A Survey]

🎈其他总结

🎈[CVPR2023、ICCV2023论文题目汇总及词频统计]

✨精品文章总结

✨[图像融合论文及代码整理最全大合集]
✨[图像融合常用数据集整理]

如有疑问可联系:420269520@qq.com;
码字不易,【关注,收藏,点赞】一键三连是我持续更新的动力,祝各位早发paper,顺利毕业~


http://www.niftyadmin.cn/n/5281621.html

相关文章

合并一个excel文件中的多个sheet

import pandas as pd #要合并的文件路径 filepath/Users/kangyongqing/Documents/kangyq/202311/班均及合班储备/最后校验/二批次组班/ file1z小班合班方案_2012(1).xlsx #获取文件d的所有sheet名 df1pd.read_excel(filepathfile1,sheet_nameNone,engine…

Linux基础 - Linux ARM 原子读写

背景 在Linux Arm kernel实现原子读写64位数据&#xff1b; 接口代码 #include <linux/atomic.h> atomic64_t my_atomic_var ATOMIC64_INIT(0);void atomic_write_64(atomic64_t *v, int64_t new_value) {atomic64_set(v, new_value); }int64_t atomic_read_64(atomi…

C语言—每日选择题—Day61

指针相关博客 打响指针的第一枪&#xff1a;指针家族-CSDN博客 深入理解&#xff1a;指针变量的解引用 与 加法运算-CSDN博客 第一题 1. 下面指针所指向的内容&#xff0c;可以修改的是&#xff08;&#xff09; A&#xff1a;const int* a B&#xff1a;int const* b C&#x…

centos 安装 Miniconda

在 CentOS 上安装 Miniconda 的步骤通常包括下载 Miniconda 安装脚本、运行脚本以及配置环境。以下是详细步骤&#xff1a; 1. 下载 Miniconda 安装脚本 首先&#xff0c;您需要从 Miniconda 的官方网站下载适用于 Linux 的安装脚本。您可以使用 wget 命令在 CentOS 终端中直…

ElasticSearch DSL Bool查询

Bool 查询的三个主要成分&#xff1a;must、should 和 must_not。 must&#xff1a; 这个条件是必须满足的。比如&#xff0c;你想找一本关于 Python 编程的书&#xff0c;那么你会在 must 里写上关键词 “Python”。 should&#xff1a; 这相当于你的偏好条件&#xff0c;…

oracle表空间对象迁移到其他表空间

oracle数据库的磁盘空间满了&#xff0c;除了简单粗暴的增加磁盘空间外&#xff0c;还可以缩小表空间的datafile&#xff0c;因为正常业务运行中&#xff0c;表数据的删除和增加&#xff0c;会造成表空间里面里面有很多空的地方。方案有很多种&#xff0c;我这里简单介绍一下&a…

JAVA设计模式(三)-原型

JAVA设计模式(三)-原型 本篇文章主要讲下java 创建型设计模式中的原型模式. 何谓原型模式: 简单来说就是 将一个对象作为原型&#xff0c;通过对其进行复制而克隆出多个和原型类似的新实例。 使用原型模式,就可以简化实例化的过程, 不必依赖于构造函数或者new关键字. 由于j…

Zabbix6 使用Agent2实现证书监控的详细步骤

目标 我们的目标是通过获取网站的证书信息来实现网站证书监控。 使用agent2的key 只需使用其中的key&#xff0c;就能实现我们的目标功能。然而&#xff0c;由于它返回的是json格式的数据&#xff0c;我们需要根据数据来配置监控项目&#xff08;item&#xff09;和触发器&am…