图像分割汇总

Image Segmentation（图像分割）：所谓图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使得这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显的不同。简单的说就是在一副图像中，把目标从背景中分离出来。对于灰度图像来说，区域内部的像素一般具有灰度相似性，而在区域的边界上一般具有灰度不连续性。

Medical Image Segmentation（医学图像分割）：医学图像分割的目的是使图像中解剖或病理结构的变化更加清晰;它在计算机辅助诊断和智能医疗中发挥着至关重要的作用，极大地提高了诊断的效率和准确性。目前流行的医学图像分割任务包括肝脏和肝脏肿瘤分割，脑和脑肿瘤分割，视盘分割，细胞分割，肺分割和肺结节等。一般的图像分割任务主要分为了语义分割和实例分割。但在医学图像分割中，由于每个器官或组织都有很大的不同，所以医学图像的实例分割并无太大意义，医学图像分割通常都指语义分割。

superpixels（超像素）：超像素是一系列像素的集合，这些像素具有类似的颜色、纹理等特征，距离也比较近，需要注意的是，超像素很可能把同一个物体的不同部分分成多个超像素，如下图，其中每个白色线条区域内的像素集合就是一个超像素。

Semantic Segmentation（语义分割）：就是把图像中每个像素赋予一个类别标签（比如汽车、建筑、地面、天空等），比如下图就把图像分为了草地（浅绿）、人（红色）、树木（深绿）、天空（蓝色）等标签，用不同的颜色来表示。存在的问题是：不同的人标上的颜色是一样的，因为类别相同，也就是说语义分割只能判断类别，无法区分个体。

Instance Segmentation（实例分割）：有点类似于物体检测，不过物体检测一般输出的是 bounding box，实例分割输出的是一个mask。实例分割和上面的语义分割也不同，它不需要对每个像素进行标记，它只需要找到感兴趣物体的边缘轮廓就行。

Image Classification： 图像分类，用于识别图像中物体的类别（如：bottle、cup、cube）
Object Localization： 目标检测，用于检测图像中每个物体的类别，并准确标出它们的位置。

Panoptic Segmentation（全景分割）：它是语义分割和实例分割的结合，即同时实现对背景的语义分割和前景的实例分割。如下图所示，每个像素都被分为一类，如果一种类别里有多个实例，会用不同的颜色进行区分，我们可以知道哪个像素属于哪个类中的哪个实例。比如下图中黄色和红色都属于人这一个类别里，但是分别属于不同的实例（人），因此我们可以通过mask的颜色很容易分辨出不同的实例。

Interactive Segmentation（交互式分割）：交互式分割是用户通过提供目标物体前景和背景信息实现交互式的监督分割。交互式分割往往是建立在自动分割的基础上，对已有的监督信息中增加人为（模拟人为）的标记，实现更加精细的分割。例如仅对感兴趣的目标进行分割，在自动分割结果不够好的情况下通过用户介入矫正，特定医疗图像的目标分割等。

Matting：Matting 是将图像分解为前景和背景的处理，以便于将前景合并到新的背景上. 这也是绿幕greenscreen 的关键技术，被广泛应用于视频生产、图形和APPs 中。简而言之，分割是对图像中每个像素分配一个二值标签0,1，以表示背景和前景，而Matting是求解公式中连续的 alpha 值。

图中，边缘区域，尤其是头发，是由 0-1 之间的真实 alpha 值的. 因此，分割的二值性导致前景边界周围出现严格边界，留下可见的不好效果. 解决了部分透明度和前景问题，对第二帧的合成更有利.

比如paddlepaddle就提供以下四种四种分割功能： （精度到头发丝了）

参考链接：

超像素、语义分割、实例分割、全景分割傻傻分不清？ - 知乎 (zhihu.com)

飞桨PaddlePaddle-源于产业实践的开源深度学习平台

Matting - Background Matting 简单理解 - AI备忘录 (aiuai.cn)

2022-02-11 17：00更

Video Object Segmentation（视频目标分割）：对视频中感兴趣的目标进行分割，给定第一帧mask的VOS称为one-shot VOS （单样本VOS），无第一帧目标mask的称为zero-shot VOS（无样本VOS）。通常会给定目标mask，求特定目标的mask，下图为实例级视频目标分割的例子：