图像融合是将两个或多个具有互补信息和冗余特性的图像进行多层次、多级别、多方向的综合处理，减小图像的冗余性和模糊性，使得融合后的图像信息更丰富、更精准、更可靠，为后续的图像检测、图像识别、图像分类、图像理解等相关研究和应用提供技术基础。
机器识别图像主要依赖图像的各种底层视觉特性信息，提取出图像的形状、颜色直方图、纹理、轮廓等底层视觉特征，分析不同的底层视觉特征之间的联系，实现图像的分类，进而达到图像识别的目的。其缺点是：纯粹的依赖图像底层特征的做法，缺乏对图像内容潜在的语义分析，难以捕捉到图像的直接视觉效果以外的人文或情感信息。图像的底层视觉特性和图像的高级语义之间存在语义鸿沟，导致图像的检索不理想。在图像检索，图像识别和分类一定程度上依赖于图像语义标注，这使得研究图像的语义标注算法成为图像理解领域的热点，也是人工智能的重要研究课题。
图像标注算法和模型的涌现
- 共现模型。利用统计学建立图像与标注词之间的映射关系。共现模型首先把图像划分成若干规则区域，然后对分割得到的区域进行分类，得到图像的区域与关键词之间的共生概率，然后选择对分割得到的区域进行分类，得到图像的区域与关键词之间的共生概率，然后选择共生概率大的关键词对图像进行标注。
- 机器翻译模型。利用传统的语言统计翻译模型，同样基于分割图像的做法，但是机器翻译模型的分割强调有意义的分割，分割过程能够实现对象识别，从标注图像中分割出来的图像区域与现实对象存在对应关系，以便于把分割出的区域能与具体对象建立关联，并将视觉特征转化为语义标注词。
- CMRM模型（ cross modia relevance model）
- CRM模型（continous-space relevance model）
- 图学习模型 自然语言处理中的语义上下文关系被用来图像底层视觉特征和高级语义之间建立关联。其中：
- LSA模型（latent semantic analysis）
- PLSA模型（probailistic latent semantic analysis） 这两种模型被用来分析图像和标注词之间的关系。
图像融合解释：将两个或多个具有互补信息和冗余特性的图像进行多层次、多级别、多方向的综合性处理，减小图像的冗余性和模糊性，使得融合后的图像信息更丰富、更为精准可靠、具有更佳的互补性、更有利于理解，更加适合人类接受和计算机理解，为后续图像的检测和识别、图像分类和图像理解等处理提供了技术支撑。
图像分割算法现状
阈值分割算法，边缘检测分割算法，区域分割算法，以及近年流行的图论分割算法，聚类分割算法
基于边缘分割算法有：Prewitt算法、Roberts算法、Laplacian算法以及Sobel算法等。想要取得理想分割效果经常需要合理运用各种边缘检测算法。
基于区域的分割算法，利用灰度级的不连续性来查找区域的边界。常用的操作是区域生长，以及区域的分离与合并。
基于图论的分割算法，将图像映射成带有权重的无向图，然后对图进行划分处理，得到若干个不同的子图。归一化割的图划分方法，简称“N-cut”。最小割算法（Min-cut）是一种典型的N-cut算法。Min-cut利用图像的局部信息计算图结点之间的距离。
基于聚类的分割算法；缺点：图像的空间信息没有得到处理。例如基于模糊C-均值聚类（FCM）对噪声比较敏感。FCM算法的改进算法如下：针对FCM算法的空间信息的改进：
- FCM_S算法，加入了领域信息
- FCM_S1算法，利用预算值进行聚类。
- FCM_S2算法
针对FCM_S是像素级的改进
- EnFCM算法，结合图像的统计信息，把计算工作量降低到灰度级量级。
- FGFCM算法，建立空间相关性和灰度相关性，提高算法抗造性。
- NWFCM算法，利用非局部空间信息来计算领域像素到聚类中心的距离。
针对FCM聚类算法和邻域加权的FCM聚类算法中的参数问题的改进：
- FLICM算法，使用模糊因子取代参数。
- NDFCM算法，基于核函数的局部FCM算法。
基于非局部空间信息的改进：
- FCM_NLS算法，基于非局部空间信息，提前对原图像的非局部空间进行滤波。
- FCM_SNLS算法，基于自调节非局部空间信息的FCM聚类算法。
新的图像分割理论：
- 图像的颜色分布和纹理空间处理方面的经验模态分解EMD。
图像融合算法现状
图像融合的主要流程是先进行图像的配准和特征提取，再进行决策，最后进行图像融合。依据所处上述处理流程中的不同阶段，图像融合可分为像素级融合、特征级融合和决策级融合三个层次。